Голосовой помощник, который не болтает — а сам ставит таймер, пока руки в тесте

Смотри, идея на одну строку: ты говоришь вслух — «поставь таймер на десять минут», «сколько двести грамм муки в стаканах», «читай следующий шаг» — а помощник не просто отвечает голосом, а сам делает: заводит таймер, пересчитывает, листает рецепт. Руки в тесте, экрана ты не касаешься. Он и слушает, и жмёт кнопки за тебя.

И это не собеседник для репетиции вслух, который умеет только разговаривать. Этот работает руками, пока твои заняты.

Почему это только что стало возможно

Раньше голосовой помощник был устроен просто: послушал → ответил голосом. Сказать он мог что угодно, а вот сделать — ничего. «Поставь таймер» он бы проговорил, но таймер заводил бы ты сам, вытерев руки о фартук.

6 июля 2026 OpenAI выкатила gpt-realtime-2.1-mini — модель «речь-в-речь», которая на лету вызывает твои функции. Дословно: модель «планирует шаг, вызывает твою функцию, потом отвечает». То есть посреди разговора она сама решает «тут нужен таймер», дёргает твой код set_timer(10), а голосом говорит «поставил, десять минут». И отвечает на четверть быстрее прежнего — пауза почти пропала. Вот на этом голос и превращается из болтуна в помощника.

Чему научишься

• Инструменты для голоса (function calling). Ты описываешь 2–3 маленькие функции — «завести таймер», «перевести граммы в стаканы», «добавить в список покупок» — и модель сама решает, когда какую дёрнуть. Это tool use, только не текстом, а посреди живого разговора.
• Речь-в-речь в реальном времени. Не «записал → подождал → услышал ответ», а постоянный голосовой поток туда-обратно. Совсем другой тип приложения, чем привычный «запрос-ответ».
• Функции — это «руки» помощника. Поймёшь на пальцах: характер и слова задаёт промпт, а что он умеет делать — это те функции, которые ты ему дал. Добавил add_to_list — и он умеет собирать список; не добавил — только болтает.

Готовый стартовый промпт

Не проси «сделай голосового помощника для кухни» — выйдет говорилка без рук. Назови модель, функции и поведение:

Сильный промпт не оставляет догадок: видно модель, видно три функции-«руки», видно, что отвечать надо коротко и подтверждать сделанное. Помощник с первого раза выходит рабочим, а не болтливым.

Что получится

Руки по локоть в тесте. Ты говоришь: «поставь таймер на двенадцать минут» — вжик, таймер пошёл, голос: «поставил, двенадцать». «Сколько двести грамм муки в стаканах?» — «примерно полтора». Дочитал шаг — «дальше», и он читает следующий. В конце: «добавь в список яйца и молоко» — записал. Ты не вытер руки ни разу и ни разу не ткнул в экран.

План на выходные

1. Суббота. Подними голосовое соединение с моделью: говоришь — она отвечает голосом без паузы. Пока без функций, просто живой разговор.
2. Воскресенье. Добавь одну функцию — set_timer. Научи модель её вызывать и озвучивать результат. Заработало — добавь вторую и третью.
3. Наведи на свой реальный рецепт и приготовь что-нибудь, ни разу не коснувшись телефона.

Начни с одной функции. «Помощник, который умеет всё» оставь на потом — сначала пусть надёжно ставит один таймер по голосу.

Источник: OpenAI gpt-realtime-2.1 и mini: речь-в-речь с рассуждением и tool use (MarkTechPost)