Главная / Блог / Компьютерное зрение / Компьютерное зрение в контроле качества на производстве

Компьютерное зрение в контроле качества на производстве

Автоматический визуальный контроль заменяет усталый глаз и стабильно работает в любую смену. Рассказываем, что нужно для запуска, где подстерегают риски и как решить главную проблему: брака слишком мало.

Что именно можно контролировать камерой

Визуальный контроль на производстве — одно из самых практичных применений компьютерного зрения. Камера не устаёт, не отвлекается и проверяет каждое изделие, а не выборочную партию. Типичные задачи делятся на несколько групп.

Поиск дефектов поверхности. Царапины, вмятины, сколы, коррозия, потёки краски, пятна.
Контроль комплектности и сборки. Все ли винты на месте, правильно ли установлен разъём, нет ли лишних деталей.
Проверка геометрии. Размеры, зазоры, положение отверстий, соосность.
Чтение маркировки. Номера, штрихкоды, даты, сопоставление с заказом.
Сортировка. Разделение продукции по типам, цветам, сортам.
Контроль упаковки. Наличие этикетки, целостность плёнки, уровень наполнения.

Для разных задач подходят разные подходы: классификация годен или брак, детекция дефектов с локализацией, сегментация для измерения площади повреждения. Различия видов сегментации разобраны в статье про семантическую и инстанс-сегментацию.

Начинается всё не с нейросети, а со света

Самая частая причина провала проектов контроля качества — плохая постановка съёмки. Нейросеть не вытащит дефект, которого не видно на изображении. Поэтому сначала проектируется оптический узел.

Что нужно продумать

Освещение. Рассеянный свет скрывает рельеф, косой подчёркивает царапины и вмятины, тёмное поле выявляет сколы на глянцевых поверхностях. Для блестящих деталей нужны поляризаторы и купольные осветители.
Камера и объектив. Разрешение подбирается по размеру минимального дефекта: на него должно приходиться не менее нескольких пикселей. Затвор должен быть достаточно быстрым, чтобы не смазывать изделие на движущемся конвейере.
Фиксация положения. Чем стабильнее положение изделия, тем проще модель. Направляющие, упоры и триггеры по датчику снижают разброс.
Защита от помех. Посторонний свет, вибрации, пыль на объективе, перегрев.
Скорость. Сколько изделий в минуту проходит и сколько времени доступно на обработку.

Правило из практики: если дефект плохо виден человеку на снимке, обученная на этом снимке модель его тоже не найдёт. Сначала улучшайте картинку, потом обучайте.

Главная проблема: брака слишком мало

Парадокс качественного производства в том, что дефектов мало. Это хорошо для бизнеса и плохо для обучения. Если брак составляет доли процента, за смену не набрать и десятка примеров, а нужны сотни и тысячи, причём разных видов и степеней.

Возникает ещё одна сложность: дефекты разнообразны. Царапина бывает длинной и короткой, глубокой и поверхностной, на разных участках, при разном освещении. Новый вид дефекта может появиться в любой момент, и его, понятно, нет в обучающих данных.

Способы справиться

Накопление. Складывать весь отбракованный материал и снимать его на тот же стенд. Работает, но медленно.
Искусственное создание брака. Намеренно повреждать образцы. Годится для дешёвых деталей, для дорогих неприемлемо.
Обучение на нормальных изделиях. Модель учит, как выглядит норма, и сигнализирует об отклонениях. Не требует примеров брака, но хуже локализует и даёт ложные срабатывания.
Аугментация. Наложение дефектов на реальные снимки нормальных изделий, изменение освещения и положения.
Синтетические данные. Построение 3D-модели изделия и моделирование дефектов с заданной формой, размером и положением. Подробнее в разделе про синтетические датасеты.

Синтетика для брака: как это выглядит на практике

Рассмотрим обезличенный пример. Производитель бытовой техники хотел контролировать пластиковые корпуса: сколы по кромке, следы литьевых дефектов, непрокрас. Реального брака было несколько десятков фотографий, а вариантов дефектов гораздо больше.

Мы построили цифровую копию корпуса с материалом, соответствующим реальному пластику: цвет, шероховатость, блики. Затем смоделировали дефекты: сколы разной глубины, потёки, пятна, подсветили сцену так же, как на реальном стенде, и добавили шум и размытие камеры. Каждому дефекту автоматически сформировали маску и рамку.

Получился датасет с тысячами кадров, где доля брака регулируется произвольно, а типы и положения дефектов покрывают весь диапазон. Модель, обученная на таком наборе и подстроенная на небольшом числе реальных кадров, показала рабочую полноту и снизила нагрузку на контролёров. Ценность подхода в том, что новые виды дефектов добавляются заказом на новую партию рендера, а не ожиданием, когда брак случится.

Условие успеха: стенд съёмки должен быть воспроизведён в сцене точно, включая положение света и параметры камеры. О важности этого мы подробнее писали в статье про domain gap.

Сравнение подходов к данным для контроля качества

Подход	Скорость старта	Охват видов брака	Затраты	Риски
Накопление реального брака	Медленно	Только то, что случилось	Низкие деньги, большое время	Редкие дефекты не попадут в обучение
Искусственный брак	Средне	Ограниченный	Потери изделий	Дефекты не похожи на настоящие
Обучение на норме	Быстро	Любые отклонения	Низкие	Ложные срабатывания, слабая локализация
Аугментация реальных кадров	Быстро	Средний	Низкие	Неестественные наложения
Синтетические данные	Средне	Широкий, управляемый	Зависят от объёма	Нужна проверка на реальных кадрах

На практике лучше всего работает сочетание: норма из реальных снимков плюс дефекты из синтетики плюс небольшой реальный набор для проверки.

Метрики, которые важны бизнесу

Для производства стандартные метрики машинного обучения нужно перевести на язык цены.

Пропуск брака. Сколько дефектных изделий уходит к покупателю. Дорогая ошибка, ведёт к рекламациям.
Ложная бракованность. Сколько годных изделий отправляется в отходы или перепроверку. Съедает выход годной продукции.
Доля автоматических решений. Сколько изделий принимается без участия человека.

Практическая схема — трёхзонный порог. Уверенно годные пропускаются, уверенно бракованные отбраковываются, спорные идут на проверку человеку. Так система берёт на себя основной поток, а человек остаётся для сложных случаев. Пороги подбираются по стоимости ошибок, определения метрик есть в статье про метрики детекции.

Интеграция в линию и процессы

Камера и модель — часть системы. Нужно решить, как результат попадает в управляющую логику: стоп линии, выброс изделия толкателем, запись в журнал. Нужно хранить кадры брака и спорных решений для разбора и дообучения. Нужно показывать статистику мастеру смены.

Связь модели с процессами предприятия — отдельная работа, которую мы выполняем в рамках направления автоматизации: конвейеры данных, интеграция ML-моделей, отчётность, уведомления.

Что мониторить после запуска

Распределение уверенности по времени: сдвиг означает загрязнение оптики, смену партии материала, износ оснастки.
Долю отбракованных изделий: резкий рост может означать как проблему на линии, так и сбой модели.
Результаты выборочной ручной проверки.
Время обработки и загрузку оборудования.

Вопросы персоналу и охрана труда

Внедрение зрения на линии затрагивает людей, и лучше обсудить это заранее. Контролёры опасаются, что система их заменит, хотя на практике они переходят к разбору спорных случаев и анализу причин брака, где нужен опыт. Привлеките их к приёмке: пусть они размечают спорные кадры и проверяют результаты. Это поднимает качество данных и снимает сопротивление.

Отдельно подумайте о безопасности: кабели, подвесы и осветители не должны мешать обслуживанию линии, а яркие стробирующие источники требуют защиты для глаз персонала.

Оценка окупаемости

Оценка начинается с простых вопросов. Сколько изделий проверяется в смену и сколько людей занято контролем? Какова стоимость одной рекламации или возврата? Какая часть брака пропускается сегодня? Сколько годной продукции списывается из-за перестраховки?

Затраты складываются из оптики и камер, вычислительного блока, данных и разметки, разработки модели, интеграции и поддержки. Эффект — снижение рекламаций, высвобождение людей на более сложные задачи, стабильность контроля во все смены, накопление статистики по причинам брака. Для типовых линий окупаемость считают в месяцах, но это сильно зависит от стоимости дефекта.

Частые ошибки

Начинать с модели, а не со света и оптики.
Обучаться на данных одной смены и одной партии, а потом удивляться дрейфу.
Не разделять данные по партиям и смешивать почти одинаковые кадры в обучении и проверке.
Не предусмотреть процесс обновления: модель стареет вместе с линией.
Требовать сто процентов точности и не проектировать участие человека.

С чего начать

Соберите по пятьдесят-сто кадров нормы и всего имеющегося брака на предполагаемом стенде, опишите дефекты и допуски, оцените цену ошибок. С этим набором уже можно оценить реализуемость и выбрать подход к данным. Если брака мало или изделие ещё не запущено в серию, обсудите с нами синтетический датасет: напишите на [email protected], и мы подготовим тестовый набор по запросу.

Нужен датасет под вашу задачу?

Подготовим тестовую партию изображений с разметкой, чтобы вы могли проверить подход на своей модели. Напишите на [email protected] или оставьте заявку.