Заговори на языке, которого не знаешь — своим голосом

Смотри, идея на одну строку: ты записываешь полминуты своей речи, печатаешь сообщение по-русски — а приложение отдаёт голосовое на турецком, корейском или немецком. И голос в нём — твой. Не диктор, не робот. Ты, говорящий на языке, которого никогда не учил.

И вот что тут свежее. Озвучивать текст модель умела и год назад, но был затык: либо это чужой синтезированный голос, либо твой — но только на одном языке. 2 июня Microsoft показала MAI-Voice-2: она подхватывает голос с короткого сэмпла (5–60 секунд) и говорит на 15 языках, включая русский и английский, сохраняя именно твою манеру. Вот на этом весь проект и держится: твой голос «переезжает» в чужой язык.

Почему именно это

Это не «читалка твоим голосом» — там ты озвучиваешь текст на своём же языке. Тут фишка в другом: язык, которого ты не знаешь.

Подумай про сцену. У друга день рождения, а его родной язык — не твой. Можно написать «happy birthday» в переводчике, но это холодный текст чужими словами. А можно прислать голосовое, где ты поздравляешь его на его языке, своим голосом. Это уже не открытка — это почти как ты приехал.

И «магии» тут меньше, чем кажется. Приложение — труба: перевело твой текст на нужный язык, отдало перевод и твой сэмпл модели, вернуло аудио. Вся сложность — в паре аккуратных запросов.

Чему научишься

• Цепочка из двух моделей. Сначала одна модель переводит текст, потом другая озвучивает его твоим голосом. Ты впервые соберёшь конвейер, где выход одного шага — вход следующего.
• Сэмпл голоса как ввод. Один кусок звука — образец тебя, другой вход — что и на каком языке сказать. Модель их не путает, если не путаешь ты.
• «Промпт как фича». Голос на чужом языке — не отдельная технология. Это инструкция: «переведи на корейский, потом прочитай этим голосом». Хороший запрос и есть твоя главная функция.

Готовый стартовый промпт

Не проси агента «сделай приложение, которое говорит на любом языке моим голосом» — он начнёт гадать, где брать перевод и образец. Дай сценарий, шаги и границы:

Сильный промпт не оставляет места для догадок: видно два шага, видно, где перевод, где образец, видно границу. Результат с первого раза ближе к тому, что ты хотел.

Что в итоге

Утром у друга день рождения. Ты открываешь приложение, печатаешь пару тёплых фраз, выбираешь его язык, жмёшь «играть» — и из динамика звучишь ты, поздравляешь его на его родном языке. Скидываешь голосовое в чат. Он переслушивает три раза. А ты ни дня не учил этот язык — просто один раз записал полминуты себя.

И сразу про важное: озвучивай только свой голос — или голос того, кто прямо разрешил. Это та граница, которую переходить не надо, и про неё стоит помнить с первой строчки кода.

Источник: Microsoft AI — MAI-Voice-2: клонирование голоса с короткого сэмпла на 15 языках