Как робот Boston Dynamics видит мир вокруг

Компания Boston Dynamics показала, как один из её роботов видит и воспринимает окружающий мир.

Робот Atlas должен найти блестящую металлическую деталь в тусклом освещении, понять где она лежит, аккуратно схватить и точно установить в паз. Промахнешься на пару сантиметров — и деталь застрянет или упадет. А если что-то пошло не так, Atlas может найти упавшую деталь на полу и повторить попытку.

Секрет в трехслойной системе зрения. Сначала камеры определяют, что вообще находится вокруг — стеллажи, препятствия, опасности на полу. Система выделяет ключевые точки на промышленных конструкциях: зеленые показывают общие контуры, красные — внутреннюю структуру полок и ниш. Это помогает роботу понимать, куда именно можно что-то поставить.

Дальше включается 3D-восприятие. Atlas вычисляет свое положение относительно каждого стеллажа, сопоставляя найденные точки с внутренней картой окружения. Если некоторые углы не видны или робот стоит под углом, система полагается на множество внутренних точек между разделителями полок. Даже когда инженер в видео сдвигает контейнер, Atlas мгновенно замечает изменения и корректирует свои планы.

SuperTracker — это мозг системы отслеживания объектов. Он объединяет данные от датчиков суставов робота с картинкой с камер. Когда Atlas хватает предмет, система точно знает, где он должен находиться при каждом движении. Если объект скрывается из поля зрения или выскальзывает из захвата, робот это сразу понимает.

Для определения позы объектов Atlas использует хитрый алгоритм "отрендери-и-сравни". Система обучена на синтетических данных и может работать с сотнями промышленных деталей, имея их 3D-модели. Робот создает несколько гипотез о положении объекта, проверяет их на согласованность и выбирает лучший вариант.

Но самое важное — идеальная калибровка между тем, что видит Atlas и тем, как он двигается. На видео видно, как цифровая модель робота точно накладывается на реальное изображение — руки, ноги и торс находятся именно там, где думает робот. Эта точность достигается сложными процедурами калибровки, которые учитывают неточности сборки и даже температурные изменения.