Нейронна мережа навчилася малювати портрети по голосу (ФОТО)

Група американських розробників представила нейронн мережу Speech2Face, здатну намалювати портрет людини по його голосу. Про це повідомило arXiv.org.

Моделі під силу намалювати зображення, взявши за основу підлогу, расу, вік. Розробкою займався колектив з Массачусетського технологічного інституту, у складі якого був Тахьон О.

Читайте також: Вчені розповіли, як роботи колонізують Місяць

Вчені вирішили використовувати для навчання нейромережі датасета AVSpeech. Він містить близько мільйона коротких відео більше сотні тисяч різних людей. При цьому відео- та аудіо розділені.

Точність роботи технології творці визначили відповідно до трьох демографічними показниками. Порівняно піддали підлогу, орієнтовний вік і расу людей з оригінальних роликів та «висновок», зроблений нейромережею.

Також були виявлені недоліки моделі. Вона не завжди в змозі визначити вік з точністю до десяти років, а найкраще зображує європеоїдів і азіатів. Вважається, що остання проблема пов'язана з нерівномірністю присутності різних рас у вибірці для навчання.

За словами дослідників, в їхні плани не входило доскональне копіювання зовнішності людини. Вони прагнули до точної ідентифікації статі, віку, етносу.

На фото: оригінальні зображення, відновлені і «намальовані» по голосу.

Читайте також: Китайці планують створити робота-гумориста