Аугментация датасетов

Если реальные изображения уже есть, но их мало или они однообразны, мы увеличим разнообразие набора, сохранив или пересчитав разметку, и покажем, что именно улучшилось.

Что это и кому нужно

Аугментация — это искусственное расширение датасета: из каждого исходного изображения получается несколько новых вариантов, в которых изменены условия, но объект остаётся тем же. Простейшие приёмы известны всем: отражения, повороты, изменение яркости. Но на практике базовых трансформаций часто недостаточно, и нужна осознанная стратегия, привязанная к тому, где модель будет работать.

Услуга нужна, когда:

• есть размеченный набор на несколько сотен или тысяч изображений, и модель на нём переобучается;
• съёмка в разных условиях (смена, погода, площадка) стоит дорого или физически недоступна;
• в наборе дисбаланс: одни классы представлены сотнями примеров, другие десятками;
• модель хорошо работает на валидации и плохо на новой площадке, потому что освещение, фон или камера отличаются;
• нужно подготовить данные к дообучению без повторной ручной разметки.

Если реальных данных почти нет, аугментация не поможет: размножать нечего. В таком случае начинайте с синтетических датасетов, а к аугментации возвращайтесь позже.

Задачи, которые решаем

• Увеличение разнообразия условий. Освещение, тени, экспозиция, цветовой баланс, погода, время суток.
• Имитация реальных помех. Шум матрицы, смаз при движении, размытие из-за фокуса, артефакты сжатия, пыль и загрязнение объектива.
• Смена фонов и окружения. Объект переносится в другие сцены с корректными тенями и масштабом.
• Перекрытия и неполная видимость. Частично закрытые объекты, обрезанные краем кадра, скученные группы.
• Балансировка классов. Увеличение доли редких категорий за счёт их аккуратного размножения и подмешивания.
• Добавление новых экземпляров. Вставка отрендеренных 3D-объектов в реальные снимки, чтобы расширить набор без повторной съёмки.
• Геометрические преобразования с пересчётом разметки. Повороты, масштаб, перспектива, кадрирование с корректным обновлением рамок, масок и ключевых точек.

Что входит в работу

• Аудит исходного датасета: распределение классов, размеры объектов, условия съёмки, качество разметки, дубликаты.
• Выбор набора трансформаций под вашу задачу и условия эксплуатации.
• Реализация конвейера аугментации и его запуск на полном объёме.
• Пересчёт аннотаций вместе с изображениями: рамки, маски, ключевые точки, карты глубины.
• Подмешивание отрендеренных объектов в реальные сцены по необходимости (3D-моделирование).
• Проверка результата: просмотр выборки, поиск артефактов, контроль корректности разметки.
• Отчёт: какие трансформации применены, в какой доле, какие параметры, как воспроизвести.

Как проходит работа

1. Получаем данные и описание задачи. Нужны исходные изображения, аннотации в любом из распространённых форматов, а также сведения о том, где модель будет работать.
2. Аудит. Проверяем разметку на ошибки, считаем статистику, находим пробелы в покрытии условий. Если разметка слабая, предложим сначала исправить её (см. Разметка).
3. План аугментации. Составляем список трансформаций с диапазонами параметров и долями. Согласуем с вами.
4. Пилот. Применяем план к небольшой части данных и показываем примеры «до» и «после». На этом шаге отсекаем нереалистичные приёмы.
5. Полный запуск. Масштабируем на весь набор, генерируем нужное количество вариантов.
6. Проверка. Случайная выборка просматривается человеком, разметка проверяется автоматически на выход за границы и вырожденные маски.
7. Поставка. Передаём расширенный датасет, скрипты и отчёт. По желанию помогаем с первыми экспериментами обучения.

Что получает клиент

• Расширенный датасет в исходной структуре и формате: COCO, YOLO, Pascal VOC или другом согласованном.
• Исходные и аугментированные изображения отдельно, с маркировкой происхождения каждого файла.
• Пересчитанные аннотации, прошедшие автоматическую валидацию.
• Скрипты и конфигурация конвейера с параметрами, чтобы вы могли воспроизвести или изменить аугментацию.
• Отчёт: статистика до и после, список трансформаций, примеры, рекомендации по смешиванию и обучению.
• Рекомендации, как не допустить утечки данных между обучающей и тестовой частями.

Объём и сроки

Сроки зависят прежде всего от размера исходного набора и сложности трансформаций. Простые приёмы считаются быстро, подмешивание 3D-объектов требует подготовки моделей.

Точная оценка появляется после аудита, когда ясно, что именно нужно менять. Общие ориентиры собраны на странице Цены.

На что обратить внимание

Утечка в тест. Если из одного снимка получилось пять вариантов и они попали в разные выборки, метрики будут завышены. Разбивать данные на обучающую и тестовую части нужно до аугментации, а тест аугментировать не нужно вовсе.

Нереалистичные трансформации. Поворот на 180 градусов безобиден для аэрофотосъёмки и вреден для распознавания текста или товаров, у которых есть «верх». Поэтому набор приёмов выбирается под задачу, а не копируется из туториала.

Слишком агрессивные параметры. Когда яркость или шум доведены до крайностей, модель учится на картинках, которых никогда не увидит. Лучше умеренный диапазон и больше вариантов.

Испорченная разметка. Геометрическая аугментация без пересчёта аннотаций ломает рамки и маски. Мы проверяем границы, площади и порядок ключевых точек после каждого преобразования.

Однородность исходника. Если все снимки сделаны одной камерой на одной площадке, аугментация увеличит число файлов, но не разнообразие. Иногда проще добавить синтетические сцены, о чём подробно написано в статье про смешивание синтетики и реальных данных.

Дублирование ошибок. Если в исходной разметке есть неточности, аугментация размножит их. Начинать стоит с проверки аннотаций.

Частые вопросы

Чем ваша аугментация отличается от встроенной в библиотеки обучения?

Библиотечные приёмы работают на лету во время обучения и подходят для базовых случаев. Мы готовим расширенный датасет заранее, подмешиваем отрендеренные объекты и сложные помехи, проверяем результат глазами и отдаём воспроизводимый отчёт. Это дополняет, а не заменяет встроенные приёмы.

Сколько раз можно размножить датасет?

Разумный предел зависит от разнообразия исходника. Обычно в 3–10 раз без заметной пользы от дальнейшего размножения. Дальше эффективнее добавлять новый контент: реальный или синтетический.

Нужна ли мне разметка для начала?

Желательно, но не обязательно. Если разметки нет, мы можем сначала разметить данные, а потом расширить их. Подробнее о форматах и видах работ на странице Разметка.

Можно ли аугментировать видео?

Да, с учётом временной согласованности: параметры меняются плавно между кадрами, а не случайно в каждом. Для детекции в потоке это существенно.

Как понять, что аугментация помогла?

Сравниваются метрики на реальной контрольной выборке до и после. Мы рекомендуем фиксировать базовую модель и менять только данные. Про метрики подробно в статье метрики детекции.

Вы работаете с нашими данными конфиденциально?

Да. Условия обработки и хранения исходных данных фиксируются в договоре, доступ ограничивается участниками проекта, а по окончании работы данные удаляются по вашему запросу.

Можно ли заказать только скрипты без обработки данных?

Можно. Мы разработаем конвейер аугментации под ваш формат и передадим код с документацией, а запускать его будете сами.

Какие трансформации вы применяете чаще всего?

Изменение освещения и экспозиции, шум и размытие, смена фона, частичные перекрытия, небольшие повороты и масштабирование, имитация артефактов сжатия. Конкретный набор определяется задачей: для контроля качества на конвейере важнее блики и тени, для уличных камер погода и время суток.

Как вы переносите разметку при геометрических преобразованиях?

Рамки, полигоны и ключевые точки пересчитываются математически вместе с изображением, после чего проверяются автоматически: нет ли выхода за границы кадра, остаются ли маски связными, сохраняется ли порядок точек. Подозрительные случаи просматриваются человеком.

Что делать, если после аугментации метрики не выросли?

Это нормальная ситуация, и она тоже информативна. Возможно, узкое место не в разнообразии условий, а в качестве разметки, в недостатке редких классов или в несоответствии камер. Мы разбираем ошибки модели по группам и предлагаем следующий шаг, который может быть и другим направлением работ.

Пример типового проекта

Сеть магазинов обучает модель распознавать товары на полке. Есть три тысячи размеченных фотографий, но сделаны они в двух магазинах при дневном свете. В новых точках освещение другое, ценники закрывают часть упаковки, камеры стоят под другим углом, и точность падает. Мы анализируем набор, добавляем вариации освещения и перспективы, имитируем перекрытия ценниками и соседними упаковками, а недостающие позиции подмешиваем как отрендеренные объекты. После этого набор вырастает в несколько раз, а модель получает опыт тех условий, которых не было в исходной съёмке. Подробнее о таких задачах написано в статье про распознавание товаров на полке.

Как мы измеряем пользу

Мы предлагаем простой эксперимент. Берём вашу базовую модель, фиксируем настройки обучения и обучаем её на исходных и на расширенных данных. Сравниваем метрики на отдельной реальной выборке, которую не трогаем при аугментации. Разница показывает чистый вклад данных. Если вклад небольшой, вы узнаёте об этом до того, как расширите набор в десятки раз, и экономите бюджет.