Какие проекты позволяют распознавать говорящего по голосу?
https://habrahabr.ru/post/144491 - почитайте поверхностно для начала))
Посоветую немного другой подход: это пересечение коридоров средней несущей сигнала для пиковых значений (или коридор отклонений).
1. Берём нормализованный сигнал (ось x: время, ось y: амплитуда) и строим среднюю кривую. 
2. Затем, делаем допуск на погрешности: увеличиваем толщину кривой и получаем доверительную зону, в которой мы будем рассматривать сигнал.
3. Затем, пересекаем зону из только что полученного входного сигнала (с микрофона) со всеми хранимыми эталонными зонами (одна такая зона - один заранее записанный голос человека с применёнными преобразованиями из п.1 и п.2). 
Максимальное совпадение зон при пересечении (наложении) даст искомого члена семьи.