Техническое зрение для робота

Блог 100xbot · 22.09.2026 · обновлено 25.10.2026 · редакция 100xbot

Камера превращает робота из машины, работающей по заученным точкам, в машину, которая находит деталь. Разбираем, какие технологии зрения бывают, как их калибруют и освещают, какие задачи решаются надёжно и почему проекты срываются.

Без зрения робот работает только с деталями, которые лежат точно в известной позиции: в кассете, кондукторе, на ложементе. Камера снимает это ограничение - робот находит деталь, определяет её положение и корректирует траекторию, читает маркировку, проверяет качество. Но фраза «поставим камеру, и робот всё увидит» - опасное упрощение. Результат определяют не мегапиксели, а выбор технологии под задачу, калибровка, освещение и то, как система ведёт себя, когда не уверена в распознавании. Ниже - практическое описание того, что работает в цеху и в лаборатории, а что остаётся красивой демонстрацией.

Когда зрение нужно, а когда нет

Зрение оправдано, когда положение детали заранее неизвестно или меняется: детали на конвейере без упоров, россыпь в таре, разные типоразмеры в одном потоке, ручная выкладка оператором. Второй класс задач - контроль: наличие компонентов, геометрия, маркировка, дефекты поверхности.

Если деталь всегда приходит в одну позицию через кассету, кондуктор или подающее устройство, зрение только добавляет стоимость и точку отказа. Иногда дешевле и надёжнее доработать оснастку, чем распознавать разброс. Поэтому первый вопрос проекта - не «какую камеру купить», а «можно ли убрать неопределённость механически».

2D или 3D

Правило выбора простое: если деталь лежит на плоскости и её высота известна, начинайте с 2D. Переходить к 3D стоит, когда третья координата действительно неизвестна или нужен контроль формы.

Критерий2D-зрение3D-зрение
Что измеряетПоложение и поворот объекта на плоскости, контуры, яркость, цвет, кодыКоординаты точек в пространстве: облако точек или карту глубины
Типовые задачиДетали на столе и конвейере, чтение кодов, контроль комплектностиЗахват из россыпи, детали разной высоты, контроль формы и объёма, депаллетирование
Требования к сценеОбъект лежит на известной плоскости, контраст с фономМеньше зависит от фона, но чувствительно к бликам и тёмным поверхностям
Сложность настройкиНиже, много готовых инструментовВыше: сегментация облака, выбор точки захвата, проверка столкновений
СтоимостьНижеВыше: камера, вычислитель, программное обеспечение
Скорость обработкиОбычно вышеЗависит от плотности облака и алгоритма

Технологии 3D-зрения

ТехнологияПринципСильные стороныОграничения
Структурированный светПроектор выводит на сцену известный рисунок, камера по его искажению вычисляет глубинуВысокая точность на ближних дистанциях, плотное облако точекБлики на металле, засветка солнцем, чувствительность к движению во время съёмки
Пассивное стереоДве камеры, глубина по смещению одних и тех же точек на двух изображенияхРаботает при обычном освещении, на больших дистанцияхПлохо на однотонных поверхностях без текстуры
Активное стереоСтереопара плюс проектор инфракрасного узора, который добавляет текстуруУниверсальность, компактность, популярно в мобильной робототехникеТочность ниже, чем у структурированного света, шум на краях
Время пролёта (ToF)Измерение времени возврата модулированного света для каждого пикселяБыстро, компактно, без сложной обработкиМноголучевые отражения, ошибки на тёмных и блестящих поверхностях, невысокое разрешение
Лазерная триангуляцияЛазерная линия и камера, профиль строится при движении объекта или сканераОчень высокая точность профиля, контроль геометрииНужно относительное движение, сканирует линию, а не всю сцену сразу

Где ставить камеру

Стационарная камера над рабочей зоной снимает сцену, пока робот выполняет предыдущую операцию, поэтому не замедляет цикл. Её проще защитить от вибраций и загрязнений, а калибровка делается один раз. Минус - руки робота и деталь могут перекрывать обзор, а точность падает на краях большого поля зрения.

Камера на запястье робота подъезжает к детали и снимает с близкого расстояния, давая высокую точность локально и возможность осмотреть объект с нескольких ракурсов. Зато каждая съёмка добавляет время в цикл, камера испытывает ускорения и удары, а кабель проходит через подвижные оси.

Часто комбинируют обе схемы: общая камера находит деталь грубо, камера на захвате уточняет положение перед взятием. Так устроены и многие исследовательские стенды - например, у AgileX COBOT Magic есть верхняя камера глубины и камеры на запястьях.

Калибровка

Камера измеряет в пикселях и в своей системе координат, а робот движется в своей. Чтобы связать их, нужны два вида калибровки. Внутренняя калибровка камеры определяет фокусное расстояние, центр и искажения объектива. Калибровка «рука-глаз» (hand-eye) находит взаимное положение камеры и робота: для камеры на запястье - относительно фланца, для стационарной - относительно основания робота.

Освещение важнее камеры

Большинство проблем технического зрения - это проблемы света: блики на металле, тени от людей и самого робота, солнце из окна, разный свет в дневную и ночную смену, мерцание ламп. Алгоритм, настроенный утром, вечером перестаёт находить деталь. Закрытая зона с собственной подсветкой решает больше, чем дорогая камера, и это первое, что стоит проверить на объекте.

Вычислитель и связь с контроллером робота

Система зрения - это не только камера. Нужен вычислитель, на котором работает обработка: промышленный контроллер технического зрения, ПК или встраиваемый модуль с графическим ускорителем, если используются нейросети и плотные облака точек. Его производительность определяет время обработки кадра, а значит, и вклад зрения в цикл.

Результат распознавания передаётся роботу как координаты и ориентация точки захвата в системе координат робота. В промышленных ячейках для этого используют промышленные сети или TCP-соединение по протоколу производителя робота, в исследовательских - топики и сервисы ROS 2. Важно заранее договориться о формате данных, системе координат, обработке ошибок и о том, кто отвечает за проверку достижимости точки и отсутствия столкновений при подходе: система зрения или программа робота.

Отдельная тема - синхронизация. Если деталь движется по конвейеру, нужно знать момент съёмки и скорость ленты, чтобы робот пришёл туда, где деталь окажется, а не туда, где она была на снимке.

Типовые задачи и их зрелость

ЗадачаТиповая технологияНасколько надёжно на практике
Поиск детали на плоскости с коррекцией положения и поворота2DНадёжно при стабильном освещении и контрасте с фоном
Чтение штрихкодов, DataMatrix, текста маркировки2DНадёжно при правильной подсветке и качественной маркировке
Контроль наличия и комплектности2DНадёжно, если признаки хорошо видны
Измерение геометрии в допусках2D с телецентрическим объективом или лазерная триангуляцияНадёжно при жёсткой механике и калибровке
Депаллетирование однотипных коробов3DХорошо отработано, сложности со стрейч-плёнкой и плотно стоящими коробами
Захват однотипных деталей простой формы из россыпи3DРаботает, но требует пилота и проработки захвата
Захват блестящих деталей сложной формы из россыпи3D с подготовкой сценыСложно: блики, перекрытия, детали цепляются друг за друга
Поиск «любых дефектов» на поверхности2D и нейросетиТолько при достаточной выборке примеров дефектов и стабильном освещении
Манипуляция незнакомыми объектамиRGB-D и обучаемые политикиПредмет исследований, демонстрации не переносятся напрямую в производство

Нейросети: где помогают и что им нужно

Нейросетевые модели хорошо справляются с тем, что трудно описать правилами: объекты с вариативным внешним видом, органика, мягкая упаковка, классификация дефектов. Но им нужна обучающая выборка, снятая в реальных условиях: с рабочим освещением, загрязнениями, разными партиями сырья. Редкие дефекты - отдельная проблема: если брак встречается раз в тысячу деталей, собрать достаточно примеров трудно, и приходится использовать методы поиска аномалий, обученные только на хороших деталях.

Модель нужно сопровождать: при смене поставщика заготовок, упаковки или освещения качество распознавания падает, и выборку дополняют. Закладывайте в проект процесс сбора сложных случаев и повторного обучения, а не только первичную разметку.

В исследовательской робототехнике камеры используются ещё и как вход для обучаемых политик управления: робот учится действовать прямо по изображению на демонстрациях оператора. Именно так работают пайплайны ACT и Diffusion Policy на стенде COBOT Magic. Это сильный инструмент для лабораторий, но перенос таких политик в производство требует отдельной проверки надёжности.

Почему проекты зрения проваливаются

Как внедрять: порядок работ

Зрение на исследовательских платформах

Для лабораторий и вузов техническое зрение - одна из самых востребованных тем: калибровка, сегментация, оценка позы объекта, захват по облаку точек, обучение по демонстрациям. Платформы из нашего каталога уже оснащены камерами. AgileX COBOT Magic имеет камеру глубины Orbbec DaBai и две камеры на запястьях для сбора датасетов и имитационного обучения. Unitree Go2 EDU U2 несёт камеру глубины Intel RealSense D435i и лидар, что позволяет отрабатывать восприятие и навигацию на мобильной платформе. AgiBot A3 Ultra EDU оснащён лидаром, RGB-D и несколькими камерами.

Манипулятор AgileX PiPER поставляется без камеры, и это удобный учебный стенд для самостоятельной сборки системы зрения: студенты выбирают камеру, крепят её на запястье или над столом, проходят калибровку hand-eye и пишут захват по найденной позе в ROS 2. Помогаем подобрать камеру и подсветку под учебную программу.

Платформы с камерами и лидарами

Вопросы и ответы

Чем 2D-зрение отличается от 3D

2D-камера определяет положение и поворот объекта на плоскости, читает коды и проверяет наличие элементов. 3D-система измеряет глубину и даёт облако точек, что нужно для захвата из россыпи, деталей разной высоты и контроля формы. 2D проще и дешевле, начинать стоит с него.

Какую 3D-камеру выбрать для робота

Для точного захвата на малых дистанциях обычно выбирают структурированный свет, для мобильных роботов и универсальных задач - активное стерео, для быстрых грубых измерений - ToF, для контроля профиля - лазерную триангуляцию. Выбор проверяют съёмкой реальных деталей.

Что такое калибровка hand-eye

Это определение взаимного положения камеры и робота. Для камеры на запястье ищут её положение относительно фланца, для стационарной - относительно основания робота. Без неё робот не сможет перевести найденные камерой координаты в свои.

Нужно ли зрение каждому роботу

Нет. Если деталь всегда приходит в известную позицию через кассету, кондуктор или подающее устройство, зрение только удорожает систему. Оно нужно при разбросе положения детали или для контроля качества.

Почему система зрения работает нестабильно

Чаще всего из-за освещения: солнце из окна, тени, смена ламп. Вторая причина - сместившаяся камера и потеря калибровки. Третья - детали в реальном потоке отличаются от образцов, на которых настраивали систему.

Сколько времени занимает внедрение

Простой 2D-поиск детали с коррекцией положения - дни работы при подготовленной сцене. Захват из россыпи или контроль дефектов с обучением нейросети - недели, с обязательным пилотом на реальном потоке.

Работает ли bin picking в реальном производстве

Для однотипных деталей простой формы - да, при проработке захвата и подсветки. Для блестящих деталей сложной формы, которые цепляются друг за друга, задача остаётся сложной, и решение принимают только по результатам пилота.

Какую платформу взять для изучения технического зрения в вузе

Для изучения калибровки и захвата по камере подходит манипулятор AgileX PiPER с внешней камерой, для обучения по демонстрациям - AgileX COBOT Magic с тремя камерами, для восприятия на мобильной платформе - Unitree Go2 EDU U2 с камерой глубины и лидаром.

Смотрите также

+7 926 443-41-73 · info@100xbot.ru
Горчаков Григорий Григорьевич, индивидуальный предприниматель · ИНН 501306632267 · ОГРНИП 311504014600060 · 119234, г. Москва, Раменский бульвар, д. 1, кластер «Ломоносов». Оплата по счёту и договору.
Каталог · Решения · Блог · О компании · Доставка и оплата · Контакты · Политика обработки персональных данных · Согласие