Apple HALO: робот Unitree G1 с Mac mini ориентируется в незнакомых домах

Обучение в 1000 виртуальных домов

Главная трудность в обучении гуманоидов — сбор данных: обычно требуются удалённое управление или запись движений человека. Apple подготовила 1000 виртуальных домов с разной планировкой и обстановкой и сгенерировала почти 163 тыс. обучающих эпизодов, примерно 300 часов движения. Ошибочные попытки, например когда стопа проходила сквозь пол, отбраковывались автоматически. Набор данных создавался 48 часов на 250 графических процессорах Nvidia H100.

Число сред оказалось важным. Когда сидеть учили в одном доме, успех в новых симулированных помещениях составлял 43%, а после обучения на 1000 домов вырос до 84%.

Китайский робот с Mac mini

Своего гуманоида Apple не создавала. В экспериментах использовали Unitree G1 китайского производителя, дополнив его камерой на голове и корпусом с Mac mini M4 Pro и 64 ГБ памяти. Mac интерпретирует команды и планирует движения, остальным управляет штатный Nvidia Jetson Orin NX, поэтому внешний компьютер не нужен. Первый модуль разбивает задачу на простые действия, второй около трёх раз в секунду строит план движения на ближайшие 5 секунд, третий на частоте 50 Гц управляет моторами и балансом.

В тестах приседание удалось в 100% попыток, проход через дверь — в 93%, подход к предмету — в 92%, ползание — в 90%, толкание коробок — в 88%, посадка на стул — в 85%.

С многошаговыми задачами хуже: средний успех упал до 70%, причём проверяли их лишь в одной реальной среде. Сценарий «присесть, подойти к предмету и толкнуть коробку» удался только в половине попыток. По словам исследователей, после первого действия робот часто оказывался в положении, из которого не видел следующую цель.