Синтетические датасеты для компьютерного зрения

Мы генерируем изображения с нуля: строим 3D-сцены, рендерим их в нужных условиях и сразу получаем точную разметку. Подходит для редких, дорогих и ещё не существующих объектов.

Что это и кому нужно

Синтетический датасет — это набор изображений (или видео), созданный не камерой, а программой: объекты строятся как 3D-модели, помещаются в сцены, освещаются и снимаются виртуальной камерой. Вместе с картинкой система выдаёт всё, что нужно для обучения: рамки, маски, ключевые точки, карты глубины. Разметка не рисуется вручную, а вычисляется из самой сцены, поэтому она точна до пикселя и не зависит от усталости разметчика.

Такой подход нужен тем, кто упирается в данные. Типичные заказчики:

• производители, которым нужно находить дефекты, но брак встречается в одном случае из тысячи;
• команды, разрабатывающие продукт, которого ещё нет физически: нечего снимать, а модель хочется обучить заранее;
• ритейл и FMCG, где ассортимент и упаковка меняются каждые несколько недель;
• компании, которые не могут снимать реальные сцены из-за приватности, безопасности или стоимости съёмки;
• стартапы, которым нужно быстро получить рабочий прототип модели без полугодового сбора данных.

Если вы сомневаетесь, подходит ли вам синтетика, прочитайте сравнение синтетических и реальных данных: там честно разобраны сильные и слабые стороны подхода.

Задачи, которые решаем

Мы работаем с задачами компьютерного зрения, где важна массовость и точность разметки.

• Детекция объектов. Поиск и локализация предметов на изображении: детали на конвейере, товары на полке, оборудование на объекте, транспорт, упаковка.
• Сегментация. Выделение точного контура объекта: для роботов-манипуляторов, контроля формы, измерения площади дефекта.
• Оценка позы и ключевые точки. Положение и ориентация объекта или человека: захват деталей, контроль сборки, анализ движений.
• Оценка глубины. Карты глубины для навигации, измерения габаритов и работы с сырьём на складе.
• Классификация и дообучение. Расширение редких классов в несбалансированных наборах, чтобы модель не игнорировала малые категории.
• Несуществующие объекты. Прототипы, концепты, будущие модификации изделий, редкие аварийные ситуации, которые невозможно или опасно воспроизводить.

Что входит в работу

• Анализ задачи: что распознаём, с какой камеры, в каких условиях, какая метрика важна заказчику.
• Подготовка или доработка 3D-моделей объектов и окружения, настройка материалов (см. 3D-моделирование).
• Проектирование распределения сцен: ракурсы, расстояния, освещение, фоны, перекрытия, помехи.
• Настройка виртуальной камеры под вашу реальную: разрешение, оптика, шум, искажения.
• Массовый рендеринг и автоматическая разметка в нужных форматах.
• Проверка качества на контрольных выборках и подготовка отчёта.
• Передача данных, структуры и описания, а также рекомендации по смешиванию с реальными изображениями.

Как проходит работа

1. Бриф и постановка задачи. Обсуждаем, что должна делать модель, какие классы, какие камеры, какие условия. Вы присылаете фотографии, чертежи или описания объектов и, если есть, образцы реальных снимков.
2. Пилотная выборка. Собираем небольшой тестовый датасет, обычно несколько сотен изображений. Это бесплатный ориентир по качеству по запросу: вы проверяете, насколько картинка похожа на вашу реальность.
3. Согласование сцен. Фиксируем список объектов, диапазоны параметров, формат разметки, количество изображений на класс.
4. Построение ассетов. Создаём модели, материалы, окружения. Если нужно, используем фотограмметрию для реальных предметов.
5. Массовая генерация. Запускаем рендеринг партиями. После каждой партии просматриваем случайную выборку и корректируем параметры.
6. Валидация. Сравниваем распределения синтетических и реальных изображений, при необходимости проверяем обучение небольшой модели. Методика описана в статье как проверить качество синтетического датасета.
7. Поставка. Передаём датасет, описание и рекомендации по обучению. После ваших экспериментов дорабатываем сцены по результатам.

Что получает клиент

• Изображения в PNG или JPEG, при необходимости видео и последовательности кадров.
• Разметка: баундинг-боксы, маски инстансов и классов, ключевые точки, карты глубины, нормали по запросу.
• Форматы аннотаций: COCO, YOLO, Pascal VOC или собственный. Подробнее о форматах в разделе Разметка.
• Разбиение на обучающую, валидационную и тестовую части.
• Описательная карточка датасета: классы, количество, распределение условий, параметры камеры.
• Отчёт о проверке и список рекомендаций по обучению.
• Исходные сцены и модели, если это предусмотрено договором.

Объём и сроки

Ниже ориентиры. Точные цифры зависят от сложности объектов, количества классов и требований к реализму; расчёт делаем после брифа и пилота.

Чем больше объём, тем ниже цена одного изображения: основные затраты приходятся на подготовку моделей и сцен, а рендеринг масштабируется почти линейно. Общие принципы расчёта смотрите на странице Цены.

На что обратить внимание

Разрыв между рендером и реальностью. Самая частая проблема синтетики — модель блестяще работает на рендерах и хуже на живых кадрах. Лечится доменной рандомизацией, корректными материалами, реалистичным шумом камеры и добавлением небольшого количества реальных изображений. Подробный разбор в статье про domain gap.

Слишком однообразные сцены. Если все изображения похожи, модель запоминает сцену, а не объект. Нужно варьировать фон, свет, масштаб, положение и перекрытия.

Некорректные пропорции классов. Если редкого класса в датасете столько же, сколько частого, а в реальности иначе, модель будет давать ложные срабатывания. Распределение стоит обсуждать заранее.

Отсутствие реальной контрольной выборки. Проверять качество синтетического обучения нужно на реальных изображениях, пусть и немногих. Сто размеченных реальных кадров дают больше информации, чем десять тысяч синтетических.

Ожидание чуда от малого объёма. Преимущества технологии раскрываются на больших датасетах. Для нескольких десятков изображений проще и дешевле снять реальные.

Игнорирование режима использования. Если модель будет работать на слабом устройстве, камеру нужно имитировать сразу с теми же ограничениями. См. компьютерное зрение на edge-устройствах.

Частые вопросы

Сколько изображений нужно для обучения детектора?

Зависит от числа классов, вариативности условий и требований к точности. Для простой задачи с одним-тремя классами хватает нескольких тысяч изображений, для сложной сцены нужны десятки тысяч. Ориентиры разобраны в статье сколько изображений нужно для обучения детектора.

Можно ли обойтись только синтетикой, без реальных данных?

Иногда да, особенно для объектов с простой геометрией и контролируемыми условиями. Чаще всего лучший результат даёт смесь: основной объём синтетический, небольшая доля реальных изображений. Пропорции зависят от задачи.

Вы создаёте объекты, которых не существует?

Да. Мы строим модели по чертежам, эскизам и описаниям: прототипы, будущие модификации, редкие дефекты. Это одно из ключевых преимуществ подхода.

Как проверить, что вы делаете то, что мне нужно?

Запросите тестовый датасет. Мы соберём небольшую выборку по вашему описанию, вы просмотрите её и проверите на своей модели. Это снижает риск до начала большого проекта.

В каких форматах приходит разметка?

COCO, YOLO, Pascal VOC и другие по согласованию. Если у вас собственный формат, напишем конвертер.

Кому принадлежат результаты?

Права на датасет и условия по исходным моделям фиксируются в договоре. По умолчанию датасет передаётся вам, а особенности по исходным 3D-ассетам обсуждаются отдельно.

Подходит ли синтетика для моей отрасли?

Скорее всего. Примеры задач есть в разделе Отрасли, образцы данных — на странице Примеры датасетов. Если вашей задачи нет в списке, опишите её, мы скажем честно, подойдёт ли подход.

Что нужно подготовить, чтобы начать?

Достаточно описания задачи и нескольких примеров: фотографий объектов, чертежей, образцов реальных снимков с вашей камеры. Если материалов мало, мы сами уточним недостающее. Чем точнее вы опишете условия, в которых модель будет работать, тем быстрее получится подобрать сцены.

Пример типового проекта

Производитель комплектующих хочет находить микротрещины на деталях. Реальных бракованных деталей в наличии сорок штук, а для обучения нужны тысячи вариантов. Мы строим модель детали по чертежу, создаём библиотеку трещин разной длины, глубины и ориентации, настраиваем свет и камеру, как на линии контроля, и рендерим десятки тысяч кадров, на каждом из которых маска дефекта вычислена точно. Затем модель обучается на смеси синтетики и десятка реальных снимков и проверяется на отложенной реальной выборке. Другие сценарии показаны в разделах Отрасли и Примеры датасетов.

Почему технология раскрывается на больших объёмах

Основные затраты на синтетический датасет приходятся на подготовку: модели, материалы, сцены, настройку камеры. Эти затраты фиксированы. Каждый следующий кадр обходится дёшево, потому что считается автоматически, а разметка вычисляется сама. Поэтому у тысячи изображений цена кадра высокая, а у ста тысяч уже ощутимо ниже стоимости съёмки и ручной разметки. Именно поэтому мы предлагаем сначала тестовую выборку, а потом масштабирование: вы платите за уверенность в качестве, а не за объём наугад. Расчёт экономики подробно разобран в статье экономика синтетических данных.