Mobile ALOHA - исследовательский проект Стэнфорда, который показал, что мобильного двурукого робота можно научить готовить и убирать по 50 демонстрациям. COBOT Magic - готовая платформа AgileX, построенная на этой идее.
В 2024 году ролики, где робот обжаривает креветку, вызывает лифт и моет сковороду, разошлись по всему интернету. За ними стоял не дорогой гуманоид, а сравнительно простая система: мобильная база, две руки и несколько веб-камер. Главное в ней - не механика, а способ сбора данных и обучения. Разбираем, что такое Mobile ALOHA, как работает телеоперация ведущими руками и что даёт лаборатории готовый комплект AgileX COBOT Magic.
Mobile ALOHA разработали Zipeng Fu, Tony Z. Zhao и Chelsea Finn из Стэнфордского университета; статья «Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation» опубликована в январе 2024 года. Проект развивает стационарную систему ALOHA - двурукий стенд для обучения тонкой манипуляции - и ставит её на мобильную базу AgileX Tracer.
Авторы показали, что по 50 демонстрациям на задачу робот учится автономно выполнять сложные мобильные сценарии: обжарить и подать креветку, открыть двухстворчатый шкаф и убрать туда тяжёлые кастрюли, вызвать лифт и войти в него, ополоснуть сковороду под краном. Совместное обучение на новых данных и уже существующих датасетах стационарной ALOHA повышало долю успешных попыток до 90%. Код и описание аппаратной части опубликованы открыто.
Ключевая идея ALOHA - пара «ведущая рука - ведомая рука». Оператор держит и двигает ведущие манипуляторы, а ведомые руки робота в реальном времени повторяют их положение. Никаких джойстиков и VR: человек просто выполняет задачу руками, и движение напрямую переносится на робота.
В Mobile ALOHA к этому добавлено управление базой всем телом: оператор физически связан с платформой и перемещает её вместе с собой, подталкивая колёса. Так одна и та же демонстрация содержит и движения рук, и перемещение по помещению - это и называется телеоперацией всего тела.
Пока оператор выполняет задачу, система синхронно записывает изображения с камер (в Mobile ALOHA - две камеры на запястьях и одна верхняя) и положения суставов обеих рук и базы. Один эпизод - одна полная демонстрация задачи от начала до конца. Для обучения записывают десятки эпизодов с вариациями: другое положение предметов, другой свет, немного другая траектория.
Качество датасета важнее объёма: демонстрации должны быть последовательными, а камеры - неподвижными относительно робота. Именно поэтому стандартизованная аппаратная платформа так ценна: данные, собранные на одной установке, переносятся на такую же установку в другой лаборатории.
Собранные демонстрации используются для обучения с учителем - модель учится по изображениям с камер и текущему положению суставов предсказывать следующие действия. В статье Mobile ALOHA сравнивались три метода: ACT, Diffusion Policy и VINN.
| ACT (Action Chunking with Transformers) | Метод авторов оригинальной ALOHA (Tony Z. Zhao и соавторы, 2023). Трансформер предсказывает не одно действие, а сразу последовательность - «чанк». Это снижает накопление ошибок; в исходной работе робот осваивал тонкие задачи с успехом 80-90% по 10 минутам демонстраций |
| Diffusion Policy | Метод 2023 года (Cheng Chi и соавторы): действия генерируются как в диффузионных моделях изображений - постепенным «очищением» от шума. Хорошо справляется с задачами, где есть несколько правильных способов выполнения |
| VINN | Подход на основе поиска похожих ситуаций в датасете; в статье Mobile ALOHA использовался как дополнительный метод сравнения |
Оригинальную Mobile ALOHA лаборатория может собрать сама по опубликованной документации: закупить руки, базу, камеры, изготовить раму, наладить питание, драйверы и синхронизацию данных. Это месяцы инженерной работы до первого эпизода датасета. AgileX COBOT Magic - готовая платформа на той же идее, которую производитель прямо описывает как систему на основе Mobile ALOHA.
| Что это | Mobile ALOHA - исследовательская система и статья; COBOT Magic - серийная платформа AgileX |
| Руки | Mobile ALOHA - ViperX 300; COBOT Magic - AgileX PiPER |
| Мобильная база | У обеих - AgileX Tracer |
| Камеры | Mobile ALOHA - три RGB веб-камеры; COBOT Magic - камера глубины Orbbec DaBai и две камеры на запястьях |
| Вычисления | Mobile ALOHA - ноутбук с GPU; COBOT Magic - промышленный ПК, опция NVIDIA Jetson |
| Сборка | Mobile ALOHA - самостоятельно по документации; COBOT Magic - готовый комплект |
| ПО | Mobile ALOHA - открытый код авторов; COBOT Magic - ROS 1/2, ACT, Diffusion Policy, интеграция VLA-моделей |
COBOT Magic рассчитан на лаборатории ИИ, университеты и R&D-центры, которые хотят заниматься имитационным обучением и VLA-моделями, а не сборкой стенда. Состав вычислителя, монитора и питания производитель не публикует, поэтому конфигурацию мы подтверждаем при заказе. Для обучения политик понадобится отдельный компьютер с GPU, а для сбора данных - оператор и время: десятки демонстраций на каждую задачу.
Нет. Mobile ALOHA - исследовательская система Стэнфорда. COBOT Magic - готовая платформа AgileX, построенная на той же схеме телеоперации и той же базе Tracer, но на собственных руках PiPER.
В работе Mobile ALOHA использовали 50 демонстраций на задачу. Реальный объём зависит от сложности задачи и вариативности среды.
Платформа построена на той же идее и поддерживает ACT и Diffusion Policy. Код авторов рассчитан на их аппаратную конфигурацию, поэтому перенос требует адаптации под руки PiPER и камеры комплекта.
Ведущие руки - инструмент сбора данных: через них оператор показывает задачу. После обучения политика управляет ведомыми руками автономно, а ведущие остаются для записи новых демонстраций и дообучения.
Сбор демонстраций освоит оператор без навыков программирования. Настройка обучения, развёртывание политик и интеграция VLA-моделей требуют инженера с опытом ROS и Python.
+7 925 995-49-15 · info@100xbot.ru