Як робот Boston Dynamics бачить світ навколо

Компанія Boston Dynamics показала, як один із її роботів бачить і сприймає навколишній світ.

Робот Atlas повинен знайти блискучу металеву деталь у тьмяному освітленні, зрозуміти, де вона лежить, акуратно схопити і точно встановити в паз. Промахнешся на пару сантиметрів — і деталь застрягне чи впаде. А якщо щось пішло не так, Atlas може знайти деталь, що впала на підлозі і повторити спробу.

Секрет у тришаровій системі зору. Спочатку камери визначають, що взагалі знаходиться довкола – стелажі, перешкоди, небезпеки на підлозі. Система виділяє ключові точки на промислових конструкціях: зелені показують загальні контури, червоні – внутрішню структуру полиць та ніш. Це допомагає роботу розуміти, куди саме можна щось поставити.

Далі вмикається 3D-сприйняття. Atlas обчислює своє положення щодо кожного стелажу, зіставляючи знайдені точки з внутрішньою картою оточення. Якщо деякі кути не видно або робот стоїть під кутом, система покладається на велику кількість внутрішніх точок між роздільниками полиць. Навіть коли інженер у відео зсуває контейнер, Atlas миттєво помічає зміни та коригує свої плани.

SuperTracker – це мозок системи відстеження об'єктів. Він поєднує дані від датчиків суглобів робота з картинкою з камер. Коли Atlas вистачає предмет, система точно знає, де він повинен бути при кожному русі. Якщо об'єкт ховається з поля зору або вислизає із захоплення, робот це одразу розуміє.

Для визначення пози об'єктів Atlas використовує хитрий алгоритм "отрендері-і-порівняни". Система навчається на синтетичних даних і може працювати із сотнями промислових деталей, маючи їх 3D-моделі. Робот створює кілька гіпотез про становище об'єкта, перевіряє їх узгодженість і вибирає найкращий варіант.

Але найважливіше - ідеальне калібрування між тим, що бачить Atlas і тим, як він рухається. На відео видно, як цифрова модель робота точно накладається на реальне зображення – руки, ноги та торс знаходяться саме там, де думає робот. Ця точність досягається складними процедурами калібрування, які враховують неточності збирання і навіть температурні зміни.