ElevenLabs представила Eleven Realtime — две модели для голосовых помощников: v1 Mini и v1 Max. В независимом тесте Big Bench Audio от Artificial Analysis старшая версия Max правильно ответила на 98,8% из 1000 устных вопросов на логику, а Mini — на 75,9%.
Раньше при создании голосовых помощников разработчикам приходилось отдельно подбирать распознавание речи, модель для подготовки ответа и средство озвучивания, а затем настраивать их совместную работу. В Eleven Realtime компания объединила эти компоненты в готовые системы. Разработчикам больше не потребуется самостоятельно согласовывать каждый этап разговора.
Mini позволит создавать недорогих ассистентов, учебных собеседников и виртуальных персонажей. Модель сможет учитывать паузы, реагировать на перебивания и продолжать свою реплику, когда человек лишь подтверждает, что слушает, — например, говорит «угу».
Max подойдет для поддержки клиентов и обработки заявок, где одного ответа недостаточно. Помощник сможет следовать длинным инструкциям, обращаться к внешним сервисам и выполнять несколько связанных действий прямо во время разговора.
Разницу между версиями показали и испытания с внешними инструментами: Max успешно завершила 87,1% таких задач, Mini — 60,3%. Эти результаты относятся к тестовым разговорам, а не означают такую же надежность при любых обращениях клиентов.
Обе версии смогут общаться более чем на 90 языках и использовать свыше 17 тысяч голосов из библиотеки ElevenLabs. Через платформу ElevenAgents помощников можно будет подключать к телефону, сайту, WhatsApp и системам контакт-центров, снабжать документами компании, ограничивать их действия и проверять качество разговоров.
Источник: ElevenLabs