Отрасли, где работают синтетические датасеты

Синтетические данные полезны везде, где модель должна распознавать объекты, а реальных снимков не хватает или их дорого размечать. Ниже — отрасли и типичные задачи, с которыми к нам приходят.

Где синтетика даёт максимум

Синтетические датасеты не привязаны к отрасли: им нужны объекты, которые можно смоделировать, и задача, в которой модель должна что-то увидеть. Но есть ситуации, где выигрыш особенно заметен:

• реальных снимков мало или они недоступны;
• нужная ситуация происходит редко: дефект, нештатная поза, опасное событие;
• объектов очень много видов, и их ассортимент постоянно меняется;
• ручная разметка слишком дорога или слишком медленна;
• условия съёмки сильно различаются: свет, ракурсы, фон, погода;
• объект ещё не существует, но модель нужна заранее.

Ниже — отрасли, с которыми мы работаем чаще всего. Примеры задач обобщённые: мы не раскрываем клиентов и детали их проектов, но типовые сценарии узнаваемы. Если вашей отрасли в списке нет, это не значит, что подход не сработает. Достаточно, чтобы объект можно было описать в 3D. Посмотреть, как выглядят наши наборы, можно на странице Примеры датасетов.

Производство и контроль качества

Это одна из самых востребованных областей. Камеры над конвейером должны замечать брак, считать детали, проверять комплектность и положение узлов. Главная сложность в том, что брак встречается редко: на тысячу годных деталей приходится единицы дефектных, а новые виды дефектов появляются после изменений в технологии.

Типичные задачи:

• обнаружение царапин, сколов, вмятин, трещин, следов коррозии на металлических и пластиковых поверхностях;
• проверка комплектности: все ли крепёжные элементы на месте, правильно ли установлен узел;
• считывание положения детали для захвата манипулятором;
• сортировка деталей по типам на общем конвейере;
• контроль упаковки и маркировки на линии фасовки.

Как это решает синтетика: по CAD-модели мы создаём тысячи вариантов детали, добавляем к ним дефекты разной степени тяжести и в разных местах, меняем освещение цеха, фон конвейера и положение камеры. Модель видит больше вариантов брака, чем когда-либо появится на реальной линии. Подробности для этой области мы разбирали в статье Компьютерное зрение в контроле качества на производстве.

Ритейл

В магазинах камеры и мобильные приложения должны узнавать товары: на полке, в корзине, на кассе самообслуживания. Ассортимент огромен, упаковка меняется несколько раз в сезон, а сфотографировать каждый товар во всех ракурсах и положениях очень долго.

Типичные задачи:

• контроль выкладки: на месте ли товар, соответствует ли планограмме, не закончился ли;
• распознавание товаров на кассах самообслуживания, в том числе весовых и без штрихкода;
• подсчёт остатков по фото полки;
• обнаружение чужой продукции на полках;
• анализ покупательских маршрутов и интереса к витринам (в обезличенном виде).

Как это решает синтетика: по макету упаковки строится 3D-модель, затем на виртуальную полку расставляются сотни единиц в разных вариантах плотности, с перекрытиями и неровным светом. Новый товар добавляется в датасет без съёмки: достаточно модели. О типичных проблемах и решениях рассказано в статье Распознавание товаров на полке: задачи и подводные камни.

Логистика и склады

Склады — среда с однообразным окружением и большим количеством одинаковых объектов, где модели надо различать мелкие отличия. Важны точность подсчёта и скорость работы.

Типичные задачи:

• подсчёт паллет, коробок и контейнеров на стеллажах и в зонах приёмки;
• распознавание маркировки, этикеток и штрихкодов в сложных условиях;
• контроль целостности упаковки и перекоса груза на паллете;
• определение занятости ячеек;
• навигация складских роботов и погрузчиков;
• оценка габаритов грузов по карте глубины.

Как это решает синтетика: мы моделируем склад, стеллажи, паллеты и коробки разных размеров, тип освещения (люминесцентные лампы, дневной свет из ворот), загрязнения, плёнку с бликами. Карты глубины получаются автоматически и без дорогих сенсоров на этапе подготовки данных.

Сельское хозяйство

Агро-задачи отличаются огромной вариативностью: сорта, стадии роста, погода, время суток, сезон. Собрать данные за все периоды можно только за несколько вегетационных циклов, и это слишком долго.

Типичные задачи:

• подсчёт плодов, колосьев, растений на изображениях с дронов и тракторов;
• обнаружение сорняков для точечной обработки;
• распознавание признаков заболеваний листьев и плодов (как инструмент поддержки решений агронома);
• контроль созревания;
• учёт поголовья и контроль состояния животных на ферме;
• оценка плотности посевов и всходов.

Как это решает синтетика: мы создаём процедурные модели растений на разных стадиях, меняем освещение, туман, влажность поверхности, углы съёмки и высоту полёта дрона. Особенно полезно, что редкие болезни и аномалии можно создавать в нужной пропорции.

Безопасность

В системах безопасности ценные данные чаще всего самые чувствительные. Съёмка людей поднимает вопросы приватности, а опасные ситуации в реальности лучше не воспроизводить. Синтетика позволяет обойти обе проблемы.

Типичные задачи:

• обнаружение средств индивидуальной защиты на людях: каска, жилет, перчатки;
• контроль проникновения в запретные зоны;
• обнаружение оставленных предметов;
• обнаружение дыма и открытого огня на ранней стадии;
• определение нештатных поз, например падения человека, в обезличенном виде;
• проверка соблюдения порядка на объектах.

Как это решает синтетика: виртуальные персонажи в разной одежде, с разным телосложением и поведением размещаются в моделях помещений и территорий. Нет реальных лиц и персональных данных. Подробнее о теме: Синтетические данные и приватность.

Транспорт

Транспортные системы требуют распознавания в сложных и опасных условиях. Дождь, снег, ночь, ослепление фарами — всё это нужно показать модели, но дожидаться таких условий в нужном количестве нерационально.

Типичные задачи:

• распознавание транспортных средств, знаков, разметки, светофоров;
• обнаружение пешеходов и велосипедистов в плохую погоду;
• контроль состояния дорожного покрытия: ямы, трещины, лужи;
• определение занятости парковок;
• подсчёт и классификация транспортных средств на въезде;
• оценка габаритов и позиции вагонов, контейнеров, судов в портах.

Как это решает синтетика: в виртуальной сцене можно воспроизвести любые погодные условия, время суток, положение солнца, состояние покрытия. Разметка получается автоматически, включая глубину и сегментацию, которые для автономных систем особенно важны.

Медицина

Это область, где мы подходим осторожно и сразу обозначаем границы. Мы не создаём диагностические решения и не обещаем клинических результатов. Наша роль — готовить обучающие данные для вспомогательных задач, где окончательное решение всегда остаётся за специалистом, а любое применение проходит собственную проверку и валидацию на стороне заказчика.

Типичные задачи, где синтетика может помочь:

• распознавание инструментов и расходных материалов на столе и в лотке (учёт, подготовка укладок);
• контроль комплектности наборов и упаковки;
• обучение и тренажёры: распознавание объектов в симуляторах;
• задачи лабораторной автоматизации: пробирки, штативы, планшеты;
• прототипирование алгоритмов, когда реальных данных ещё нет, а доступ к ним ограничен.

Синтетические данные не заменяют клинические. Любую модель, влияющую на здоровье людей, необходимо проверять на настоящих данных по правилам вашей отрасли. Мы рассматриваем такие проекты индивидуально и сначала выясняем, какую именно часть задачи разумно решить синтетикой.

Робототехника

Роботу нужно видеть так же, как человеку, а часто лучше. Обучение в реальном мире дорого и небезопасно: каждый эксперимент требует времени, а ошибки ломают оборудование. Поэтому именно робототехника была среди первых областей, где синтетические данные стали стандартом.

Типичные задачи:

• определение положения и ориентации объекта для захвата (оценка позы в шести степенях свободы);
• bin picking: захват деталей, лежащих навалом;
• построение карт глубины и сегментации для навигации;
• распознавание препятствий и людей рядом с рабочей зоной;
• визуальное наведение манипулятора и контроль результата операции.

Как это решает синтетика: для робота важна геометрическая точность. Мы выдаём и положение, и ориентацию объекта, и карту глубины, и ключевые точки. Для обучения можно создавать миллионы вариантов расположения деталей в ящике, которые невозможно собрать вручную. Многие задачи пересекаются с темой Оценка позы и ключевые точки.

AR и VR

Приложения дополненной и виртуальной реальности должны понимать, что видит камера устройства: поверхности, объекты, руки пользователя, глубину сцены. От качества распознавания зависит комфорт и достоверность.

Типичные задачи:

• сегментация помещения: пол, стены, мебель;
• отслеживание рук и жестов;
• определение положения головы и взгляда;
• привязка виртуальных объектов к реальным предметам;
• оценка глубины для корректных перекрытий виртуальных и реальных объектов.

Как это решает синтетика: сцены с разной мебелью, освещением и людьми создаются массово; глубина и ключевые точки рук получаются без дорогой съёмки с датчиками. Это особенно важно, когда устройство ещё в разработке и реальных данных с него нет.

Электронная коммерция

Интернет-магазины и маркетплейсы работают с тысячами карточек, где нужно автоматически определять, что изображено, проверять качество фотографий и искать похожие товары.

Типичные задачи:

• автоматическая классификация и атрибутирование товаров по фотографиям;
• удаление фона и выделение товара;
• поиск похожих товаров по изображению;
• модерация карточек: нечитаемые, смазанные, не соответствующие описанию фото;
• виртуальная примерка и подбор в интерьере;
• генерация дополнительных ракурсов и сцен для карточки.

Как это решает синтетика: 3D-модель товара позволяет получить неограниченное число ракурсов, фонов и контекстов. Одновременно модель каталога можно использовать и для обучения нейросетей, и для самих карточек. Это одно из мест, где пересекаются наши направления 3D-моделирования и датасетов.

Не нашли свою отрасль

Если в списке нет вашей сферы, опишите задачу нашей команде. Мы быстро скажем, подходит ли синтетика, какие объекты нужно смоделировать и какой объём данных реалистично подготовить. Часто выясняется, что задача близка к одной из перечисленных выше, просто называется иначе. Порядок работы описан на странице Как мы работаем, а ориентиры по стоимости — на странице Цены.