Главная / Блог / Разметка данных / Автоматическая разметка: когда человек больше не нужен

Автоматическая разметка: когда человек больше не нужен

Ручная разметка дорога и медленна, поэтому автоматизацию хочется применять везде. Разбираем четыре подхода к автоматической разметке, их реальные ограничения и ситуации, в которых без человека всё-таки не обойтись.

Почему разметку вообще автоматизируют

Типичный проект по компьютерному зрению начинается с оценки: нужно разметить 20 000 изображений по 8 объектов на каждом. Это 160 000 рамок. При скорости 8 секунд на рамку получается около 350 часов чистой работы, без проверки и исправлений. Если нужны маски, цифра вырастает в несколько раз. Бюджет и сроки быстро выходят за разумные пределы, и возникает естественный вопрос: нельзя ли доверить это машине?

Можно, но «автоматическая разметка» означает разные вещи. Иногда речь о подсказках, которые ускоряют человека, иногда о модели, размечающей данные без людей, иногда о датасете, у которого разметка возникает при создании. У каждого подхода свои условия применимости, и путаница в терминах приводит к завышенным ожиданиям. Ниже четыре основных способа.

Способ первый: предразметка обученной моделью

Идея: взять уже обученный детектор или сегментатор, прогнать через него неразмеченные изображения и получить черновые аннотации. Затем человек проверяет и исправляет, а не рисует с нуля. Такая схема называется предразметкой (pre-labeling) или полуавтоматической разметкой.

Выигрыш зависит от качества исходной модели. Если она находит 85 процентов объектов с верными рамками, человек исправляет оставшиеся 15 и удаляет ложные срабатывания, а общее время сокращается в 2-4 раза. Если модель угадывает хорошо меньше половины, проверка становится медленнее разметки с нуля, потому что исправлять чужие ошибки неприятнее, чем рисовать свои.

Ограничения:

модель повторяет собственные ошибки, и разметчик, склонный доверять подсказкам, их пропускает (эффект привязки);
для новых классов, которых не знает готовая модель, предразметка бесполезна;
качество резко падает на непохожих данных.

Практический совет: начинайте с небольшой вручную размеченной выборки в несколько сотен кадров, обучайте промежуточную модель, предразмечайте следующую порцию, исправляйте, обучайте заново. Так цикл ускоряется с каждой итерацией.

Способ второй: интерактивные инструменты и модели-подсказчики

Современные модели сегментации умеют строить маску по одному-двум кликам или по рамке. Разметчик указывает на объект, инструмент возвращает контур, а человек подправляет его при необходимости. Для масок это ускоряет работу в 5-10 раз по сравнению с обводкой полигоном.

Что важно знать:

Качество сильно зависит от типа объекта. Чёткие контрастные предметы получаются отлично, тонкие, прозрачные, блестящие и низкоконтрастные, хуже.
Маска от инструмента требует проверки на границе. Именно там ошибки концентрируются, и именно они ухудшают итоговую модель.
Это всё ещё разметка человеком: он принимает решение, где объект и какой он. Просто инструмент снимает рутину обводки.

Для задач, где нужны единичные сотни кадров с масками, такой подход часто оптимален. Для десятков тысяч он всё равно упирается в количество человеческих кликов.

Способ третий: активное обучение и самообучение

Если размечать всё нет смысла, можно размечать только самое полезное. Активное обучение выбирает для ручной разметки изображения, на которых модель наименее уверена или которые сильнее всего отличаются от уже виденных. Остальные, лёгкие и похожие, остаются без разметки или размечаются автоматически с высоким порогом уверенности.

Родственный подход, псевдоразметка: модель размечает неразмеченный массив, из результата отбираются предсказания с уверенностью выше порога, и они добавляются в обучение как настоящие. Метод даёт прирост, когда размеченных данных мало, а неразмеченных много, но у него есть известный риск: ошибки закрепляются. Порог уверенности нужно подбирать на отложенной выборке с проверенной разметкой, а не «на глаз».

Эти методы экономят бюджет, но не отменяют человека. Они переносят его усилия туда, где они нужнее всего. Как оценить, что остаётся ошибкой, а что допустимым шумом, описано в статье про контроль качества разметки.

Способ четвёртый: разметка как побочный продукт генерации

Принципиально другой путь: не размечать готовые картинки, а получать их вместе с аннотациями. Когда изображение создаётся рендером из 3D-сцены, для каждого пикселя известно, какому объекту он принадлежит. Рамки, маски, карты глубины, ключевые точки и 6D-позы вычисляются по геометрии и не содержат ни человеческих, ни модельных ошибок. Разметка в этом случае не процесс, а свойство данных.

Преимущества очевидны:

нулевая предельная стоимость разметки одного нового кадра;
одинаковые правила на всём датасете: нет разметчиков, нет расхождений;
доступны аннотации, которые вручную получить нельзя: глубина, нормали, оптический поток, точные позы;
разметку можно пересчитать, если изменились требования (другой порог видимости, другой формат).

Ограничения тоже есть. Синтетический датасет требует 3D-моделей и сцен, а модель, обученная только на нём, может хуже работать на реальных кадрах из-за разрыва доменов. Тема подробно разобрана в статье про domain gap и в материале о смешивании синтетики и реальных данных. Поэтому типичная схема: основная масса данных синтетическая, небольшая реальная часть служит для настройки и проверки. Подробнее об услуге: синтетические датасеты.

Сравнение подходов

Подход	Ускорение	Требует человека	Слабое место
Предразметка моделью	в 2-4 раза	проверка и исправления	повторение ошибок модели
Интерактивные маски	в 5-10 раз для масок	клики и правка границ	тонкие и блестящие объекты
Активное обучение	сокращает объём ручной работы	разметка выбранной части	подбор порогов, закрепление ошибок
Синтетика с разметкой	практически без ручной работы	подготовка сцен и проверка	перенос на реальные данные

Когда человек действительно не нужен

Полностью обойтись без людей можно в довольно узком наборе условий:

Данные получены генерацией, и правила разметки однозначно выводятся из геометрии (видимая рамка, маска экземпляра, глубина).
Задача формально определена: вы можете описать алгоритмом, что считать объектом и что нет.
Проверка качества выполняется на небольшой реальной выборке, которую один раз размечают вручную.

Во всех остальных случаях человек остаётся в процессе, меняется только его роль: вместо рисования он определяет правила, проверяет выборочно, разбирает спорные случаи и размечает эталонную выборку.

Где человек по-прежнему необходим

Эталонная выборка. Чтобы измерить качество модели, нужна независимая проверенная разметка. Автоматика не может оценивать сама себя.
Спорные и редкие случаи. Нестандартные объекты, дефекты нового вида, неоднозначные ситуации.
Определение классов и правил. Что считать дефектом, где граница между классами, как поступать с частично видимыми объектами. Это решения, а не вычисления; см. правила разметки рамок.
Аудит. Регулярный просмотр случайных примеров ловит дрейф качества, который статистика не покажет.

Автоматическая разметка не отменяет контроль, а меняет его форму: от массового рисования к выборочной проверке и работе с исключениями.

Как выбрать подход под проект

Ориентиры, которыми мы пользуемся при консультациях:

есть готовая модель и нужен быстрый старт на реальных фото: предразметка плюс проверка;
нужны маски для нескольких сотен кадров: интерактивные инструменты;
огромный массив неразмеченных данных и ограниченный бюджет: активное обучение с эталонной выборкой;
объекты редкие, дорогие в съёмке или несуществующие, а нужен большой объём с богатой разметкой: синтетические данные.

Часто эффективнее всего сочетание: синтетика даёт массу размеченных данных и обучает стартовую модель, а она предразмечает небольшой реальный набор, который проверяют люди.

Частые заблуждения

Есть несколько устойчивых представлений, которые мешают здраво оценивать автоматизацию. «Современная модель размечает без ошибок»: нет, она ошибается тем реже, чем ближе данные к тем, на которых она обучалась, а на специфичных объектах промышленности точность заметно ниже. «Автоматическая разметка всегда дешевле»: если предразметка требует много исправлений, выигрыша нет. «Синтетика заменяет всё»: она закрывает основной объём, но проверка на реальных кадрах остаётся обязательной.

Итог

Автоматическая разметка, это набор разных инструментов с разной зоной ответственности. Честный ответ на вопрос «когда человек не нужен» звучит так: когда разметка вытекает из способа создания данных и подтверждена эталонной проверкой. В остальных случаях автоматизация сокращает объём ручного труда в разы, но не обнуляет его.

Если вы выбираете между ручной разметкой, предразметкой и генерацией датасета, напишите на [email protected]: мы оценим вашу задачу и предложим вариант, который уложится в бюджет. Стоимость ручной работы и способы её сокращения мы также разбираем на странице цен.

Нужен датасет под вашу задачу?

Подготовим тестовую партию изображений с разметкой, чтобы вы могли проверить подход на своей модели. Напишите на [email protected] или оставьте заявку.