Российские ученые разработали программное обеспечение, которое позволяет управлять промышленным роботом с помощью жестов. Над системой работали специалисты Донского государственного технического университета вместе с коллегами из МГТУ «Станкин». О разработке 17 апреля пишет ТАСС.
Как это работает?
Система объединяет данные обычной камеры и датчика глубины. Камера фиксирует изображение, а сенсор глубины определяет расстояние до объектов. В Минобрнауки утверждают, что такое сочетание помогает компенсировать слабые стороны каждого из каналов по отдельности — например, при плохом освещении или сбоях в определении глубины сцены.
На основе этих данных исследователи создали дескриптор движения — набор признаков, который описывает действия оператора и позволяет системе точнее распознавать жестовые команды. Программа построена на алгоритмах компьютерного зрения и нейросетевых технологиях, а сейчас обучена распознавать 10 жестов. После этого команда передается на контроллер, где заранее задано, какое действие должен выполнить робот-манипулятор.
Применение — от сборки до лазерной обработки
По данным Минобрнауки, систему можно использовать там, где человек и робот работают рядом: при погрузке, сборке, окраске, лазерной обработке, маркировке и других производственных операциях. Разработчики рассчитывают, что это позволит приблизить отечественные промышленные манипуляторы к зарубежным аналогам без опоры на импортное ПО.
Читайте также
