Чтобы решить задачи классификации и сегментации изображений мы использовали краудсорсинговый сервис Яндекс.Толока.
Платформа позволяет в короткие сроки обрабатывать данные: заказчик публикует задание, а зарегистрированный пользователь принимает его, проходит обучение и выполняет работу за определенное вознаграждение.
Как правило, размещаемые задания достаточно простые и их исполнение
не требует специальной подготовки.

Мы разместили в Толоке два вида заданий. В первом необходимо было проверить фотографии на соответствие следующим требованиям:

1. На фотографии есть надгробие.
2. Его хорошо видно.
3. На нем есть текстовая часть, состоящая более чем из двух строк.

Отобранные благодаря такой классификации изображения сформировали базу для второго задания — разметки надгробий. С помощью специального инструмента толокеры должны были выделить эпитафии строго по границе текста. Если на одной фотографии было два надгробия, текст размечался на обоих.

С помощью Яндекс. Толоки мы получили два набора изображений:

• прошедшие классификацию
• прошедшие классификацию и сегментацию.

Эти данные легли в основу обучающей и тренировочной выборки для двух нейронных сетей — по классификации и сегментации фотографий соотвественно.

Задача 1: Классификация
Мы использовали стандартный классификатор библиотеки Tensorflow. Точность классификации получалась ~ 0,6 после порядка 30 эпох. Эпоха — одна итерация в процессе обучения, включающая предъявление всех примеров из обучающего множества и проверку качества обучения на контрольном множестве.
Мы также попробовали использовать одну из новейших архитектур нейронных сетей EfficientNet. Результаты оказались неудовлетворительными: для тонкой настройки сети набор изображений слишком неоднородный.

Задача 2: Сегментация
Для этой задачи мы использовали нейронную сеть UNet c базовыми и ручными настройками. Хорошего результата удалось достичь с базовыми.
Для обучения нейросети использовались 1120 изображений — все доступные нам фотографии.
Точность классификации по результатам обучения составила 93%.
Это достойный результат, который позволяет рассчитывать на достаточно хорошее распознавание текстов надгробий.

Для распознавания текста в сервисах OCR используется языковая модель, обученная на определенном корпусе текстов. Модель выбирается автоматически или указывается в конфигурации.

Сервис выделяет найденный текст на изображении и группирует его по уровням: слова в строки, строки в блоки, блоки в страницы.
В ответе указывается достоверность (confidence) распознавания символов — уверенность сервиса в результате. Например, значение «confidence: 0.9 412 244 558» означает, что с вероятностью в 94% текст распознан корректно.

Плохо распознаются:
— рукописный текст и художественные шрифты;

— вертикальный текст;
— произвольный набор букв и чисел (автомобильные номера);

— когда каждый символ пишется в отдельной ячейке (анкеты);

- короткие слова и числа в ячейках таблицы;

- очень крупный текст.

Первые «разведывательные» результаты подсчета метрик оказались неудовлетворительными — мы начали думать, что с этим делать.