Apple HALO : un robot Unitree G1 et un Mac mini à l'épreuve

1 000 logements virtuels pour s'entraîner

Le principal obstacle à l'entraînement des humanoïdes reste les données : il faut en général démontrer les gestes par téléopération ou capture de mouvement. Apple a donc généré 1 000 logements virtuels aux agencements et mobiliers variés, soit près de 163 000 épisodes d'entraînement et environ 300 heures de mouvements. Chaque exemple associe une consigne, la vue du robot et la séquence de mouvements correspondante. Les tentatives invalides, comme un pied traversant le sol, sont écartées automatiquement. La préparation a pris 48 heures sur 250 GPU Nvidia H100.

La diversité a été déterminante : entraîné dans un seul environnement, le système réussissait à s'asseoir dans 43 % des nouvelles pièces simulées ; avec 1 000 environnements, 84 %.

Un robot chinois avec un Mac sur le dos

Apple n'a pas construit son propre humanoïde. L'équipe a modifié un Unitree G1, du fabricant chinois, en ajoutant une caméra sur la tête et un boîtier contenant un Mac mini M4 Pro avec 64 Go de mémoire. Le Mac interprète les consignes et planifie les mouvements ; le Nvidia Jetson Orin NX du robot gère le reste, sans liaison permanente avec un ordinateur externe.

HALO repose sur trois modules : l'un découpe la consigne en étapes simples, le deuxième planifie environ trois fois par seconde les cinq secondes de mouvement à venir, le troisième pilote les moteurs à 50 Hz et maintient l'équilibre.

Des limites sur les tâches enchaînées

S'accroupir sous un obstacle a réussi à chaque essai, franchir la porte 93 % du temps, atteindre un objet 92 %, ramper 90 %, pousser des cartons 88 % et s'asseoir 85 %. Pour les tâches en plusieurs étapes, la moyenne tombe à 70 %, testée dans un seul environnement réel. La séquence la plus difficile (s'accroupir, s'approcher d'un objet, pousser un carton) n'a réussi qu'une fois sur deux. Les chercheurs notent qu'après la première action, le robot se retrouvait souvent dans une position où la cible suivante n'était plus visible.