Google представила Gemini Robotics ER 2 — модель, которая поможет роботам понимать происходящее вокруг, планировать действия и распределять работу между несколькими машинами. Разработчики уже могут подключить ее к своим проектам через Gemini API или попробовать в Google AI Studio.
Для выполнения длинной задачи роботу недостаточно распознать предмет и получить команду. Ему нужно понимать, что уже сделано, когда переходить к следующему шагу и как исправиться, если действие не удалось. Gemini Robotics ER 2 сможет следить за непрерывным видео с камер и по нему оценивать ход работы. Например, система должна заметить, когда лампочка уже закручена или мусорный пакет завязан, и только после этого дать следующую команду.
Модель не будет напрямую управлять моторами. Она составит общий план и передаст отдельные действия системам, которые отвечают за навигацию, захват предметов и движения робота. Одновременно Gemini сможет обращаться к поиску и другим внешним инструментам. В демонстрации Google модель управляла роботом Spot от Boston Dynamics, который по голосовой команде находил и приносил пачку попкорна.
Gemini Robotics ER 2 также позволит нескольким роботам работать вместе. Одна машина сможет передать часть задачи другой, если та лучше подходит для конкретного действия. Например, мобильный робот может перевозить предметы, а робот с манипулятором — брать их и раскладывать.
По данным Google, в тесте на определение момента завершения действия модель показала точность 91,3%. В среднем она ошибалась по времени менее чем на секунду и работала в четыре раза быстрее более крупных моделей из сравнения. Система также смогла остановить робота при появлении человека рядом и продолжить работу, когда зона снова стала свободной.
Источник: Google DeepMind