OpenAI открыла разработчикам доступ к GPT-Live-1.1 — обновленной модели для голосовых ИИ-агентов. Она сможет слушать собеседника во время собственного ответа и реагировать на перебивания. Пользователь сможет уточнить запрос или добавить детали, не дожидаясь конца реплики.

С 15 октября модель уже работала в голосовом режиме ChatGPT для подписчиков Plus и Pro. Теперь разработчики смогут подключить ее к своим приложениям через программный интерфейс API под названием gpt-live-1.1.
По данным OpenAI, новая версия точнее распознает речь, особенно буквы и числа, и лучше выполняет инструкции, чем GPT-Live-1. Компания также улучшила произношение. При переключении между языками модель стабильнее сохраняет голос и акцент.
Сложные вычисления, поиск информации и работу с внешними сервисами разработчик сможет поручить другой модели или агенту на сервере. GPT-Live-1.1 сможет передавать им задачи и поддерживать разговор, пока они работают.
Например, голосового помощника можно подключить к системе заказов магазина. Покупатель сможет попросить проверить доставку, а затем уточнить номер заказа прямо во время ответа. Помощник учтет новые данные, запросит информацию в системе и озвучит результат.
Активная голосовая сессия стоит $0,05 за минуту. Работу дополнительных моделей и инструментов оплачивают отдельно, поэтому эти расходы нужно учитывать при расчете стоимости помощника.
Для периодов тишины OpenAI добавила режим ожидания Standby за $0,02 в минуту — на 60% дешевле активной сессии. Разработчик сможет настроить переход в него после 5–60 секунд тишины. Модель приостановит работу, но соединение останется открытым. Когда пользователь снова заговорит, диалог продолжится.
Standby доступен для GPT-Live-1 и GPT-Live-1.1 в соединениях через WebRTC — технологию передачи голоса в реальном времени.
Источники: OpenAI