Машинное зрение и самообучение для Kuka

Студенты Массачусетского технологического института написали нейросеть, реализующую алгоритм машинного зрения с самостоятельным обучением. Благодаря ей, робот способен определять, к какому классу относится лежащий перед ним незнакомый объект, и как с ним нужно обращаться.

Универсальные манипуляторы Kuka уже становились героями наших публикаций. Они используются на сборочных линиях, играют музыку, подают напитки и взаимодействуют с людьми. Однако чтобы научить их выполнять какую-то новую операцию, требуется уйма времени и постоянный контроль соответствия заложенных в программе условий реальной обстановке. 

В Лаборатории искусственного интеллекта МТИ решили пойти дальше, и разработали систему машинного зрения на основе нейросети, относящиеся к типу алгоритмов «с обучением без учителя». Подробнее о ней можно прочитать в препринте научной публикации «Изучение визуальных характеристик объекта для роботизированной манипуляции», а наглядная демонстрация представлена ниже.

В ролике видно, что манипулятор оснащён камерой. Это модуль RGB-D с датчиком глубины, как в Microsoft Kinect. Основная камера в нём снимает изображение в цвете, а вспомогательная работает в монохромном режиме и одновременно снимает объект под слегка другим углом. Получается стереопара, дающая роботу представление о взаимном расположении объектов и их частей.

Сначала манипулятор снимает объект с разных ракурсов и составляет его 3D-карту. После чего он классифицирует его и использует общий шаблон взаимодействия для найденного класса объектов. Остаётся дело за малым – показать роботу десятки (а лучше – сотни и тысячи) подобных предметов, чтобы он научился их различать и правильно поднимать. Где же взять столько подходящих образцов?

Недолго думая, студенты просто сняли свои кроссовки и предложили роботу научиться поднимать их за язычок. Несмотря на то, что кроссовки были разного размера, цвета и стиля, их форма была общей, а значит и 3D-карта отличалась от объёмных карт других предметов.

Разные предметы и их 3D-карты. Изображение: Tom Buehler/CSAIL

После тренировки, Kuka с нейросетью научился поднимать за язычок любые кроссовки, в том числе и новые для него, отсутствовавшие в обучающей подборке. Благодаря информации о цвете он также может выбирать определённый кроссовок из нескольких, что мы видим в ролике на примере коричневой пары.

После обуви настала очередь бейсболок и прочих головных уборов, а затем обучение повторили на кружках для кофе. Итого получилась подборка примерно из полусотни объектов трёх классов. Этого недостаточно для настоящего обучения, но уже хватает для первичной демонстрации.

В основу проведённого исследования легла другая известная работа студентов Принстонского университета: «3D-соответствие: изучение локальных геометрических дескрипторов по данным RGB-D реконструкций», которая была представлена в 2017 году на конференции IEEE CVPR (Computer Vision and Pattern Recognition).

Источник: https://arxiv.org/abs/1806.08756

 

Загрузка ...
The Robot
Adblock
detector