Компьютерное зрение в Гараже
ПАНДАН,2024
Кураторы: Иван Бибилов и Екатерина Юшкевич
Цель:
- разработать недорогое и быстрое решение для музейной оцифровки крупноформатных объектов
Три направления работы:
"исследовательское" - сбор исследовательского "поля" для определения области применения нашей разработки
"технологическое" - разработка кода для сборки единого "полотна" изображения из отдельных кадров видео
"физическое" - поиск и создание наилучших условий для качественной съемки объекта
- разработать недорогое и быстрое решение для музейной оцифровки крупноформатных объектов
Три направления работы:
"исследовательское" - сбор исследовательского "поля" для определения области применения нашей разработки
"технологическое" - разработка кода для сборки единого "полотна" изображения из отдельных кадров видео
"физическое" - поиск и создание наилучших условий для качественной съемки объекта
Направления работы
1
Полевое исследование
Найти примеры хорошего и плохого сканирования, проанализировать ситуацию в области музейной оцифровки
2
Сбор материалов
Снять в Гараже материалы для версии кода 1.0 (пробной версии кода)
3
Настройки камеры и улучшение конструкции
Найти наиболее подходящие настройки и усовершенствовать конструкцию для съемки, чтобы сканирование получилось более точным
4
Код
Протестировать и доработать существующий код или написать новый
Полевое исследование
ВОПРОС:
Как сейчас организован процесс 2d сканирования в музеях?
ОТВЕТ:
Для оцифровки "плоских" предметов используются различные виды сканеров, могут использоваться и фотоаппараты со студийным освещением. Часто используется специальное ПО для постобработки.
Наиболее распространенными объектами для оцифровки являются:
фотографии и изображения, документы и рукописи, картины и иллюстрации, карты и планы, журналы и газеты
Наиболее распространенными объектами для оцифровки являются:
фотографии и изображения, документы и рукописи, картины и иллюстрации, карты и планы, журналы и газеты
ВОПРОС:
Какие компании предоставляют услуги сканирования для музеев?
ОТВЕТ:
Сейчас рынок очень монополистичен - практически для всех музеев и библиотек оборудование предоставила компания "Элар" (на российском рынке), есть точечные партнерства с IBM И Google
ВОПРОС:
Что нам удалось узнать из собранного поля?
ОТВЕТ:
- Музеи чаще всего сканируют своими силами на оборудовании, позволяющем оцифровывать объекты не больше формата А4
- Часть музеев в принципе не имеет средств для покупки оборудования
- Рынок сканирования очень концентрирован (не более 3 компаний), а стоимость оборудования стартует от 1.5 млн (отечественное) и 40 млн (импортное)
Весь процесс сканирования занимает обычно около месяца, само сканирование идет 2 – 2,5 недели. Стоимость зависит от объемов и форматов, обычно от 300 000 р. за несколько десятков тысяч листов. Плохо проходит распознавание некоторых машинописных текстов, слишком крупные объекты тоже нельзя отсканировать.
Сканирование материалов происходит внутри самой институции. Есть сканер, на котором можно оцифровывать как фотоотпечатки, так и пленку. В случае, когда необходимо произвести оцифровку материалов большего размера, мы обращаемся в отдел фондов другого музея.
Основная проблема связана с размерами материалов для сканирования. Некоторые снимки или печатные изображения, превышающие формат А4, не помещаются в сканер.
Можно обозначить в качестве проблемы отсутствие отдельного пространства для сканирования материалов, что затрудняет условия для процесса оцифровки.
Основная проблема связана с размерами материалов для сканирования. Некоторые снимки или печатные изображения, превышающие формат А4, не помещаются в сканер.
Можно обозначить в качестве проблемы отсутствие отдельного пространства для сканирования материалов, что затрудняет условия для процесса оцифровки.
Мы сканируем все сами, для этого есть два специальных сотрудника.
Стоимость сканирования определяется фиксированной зарплатой двух сотрудников. Сканирование не подходит в принципе для фотографий, потому что это ожог для изображеия. Ещё одна проблема - неправильная цветоопередача. У нас есть цветовая шкала, но для сложных случаев, например, больших форматов это сложнее сделаать.
Стоимость сканирования определяется фиксированной зарплатой двух сотрудников. Сканирование не подходит в принципе для фотографий, потому что это ожог для изображеия. Ещё одна проблема - неправильная цветоопередача. У нас есть цветовая шкала, но для сложных случаев, например, больших форматов это сложнее сделаать.
Мы не делаем объемное сканирование артефактов. Более того, мы делаем хорошие фото и видео только тех предметов из музейной коллекции, которые или популярны , или нужны для рекламы, или делаем фото для нужд экспозиции (когда необходимо показать и предмет, и его же с оборота).
Все, что музей сканирует на разных видах сканера, - это бумажные документы, фотографии и негативы, которые хранятся в нашем архиве. Самая значимая проблема - это авторское право.
Все, что музей сканирует на разных видах сканера, - это бумажные документы, фотографии и негативы, которые хранятся в нашем архиве. Самая значимая проблема - это авторское право.
Имеется планетарный сканер формата A2 и больше (1 разворот - 3 с) и другое оборудование. В основном работы выполняются для архива, музейное сканирование не осуществляется, в крупных музеях есть свои сканеры. Рынок концентрирован - около 3 фирм занимаются крупноформатным сканированием. Стоимость самого простого сканера российского производства - от 1.5 млн, зарубежного - от 40 млн.
Исследователь ряда Музеев г. Йошкар-Олы
"За 2 года сотрудники музея создали карточки и справочники на 2000 экспонатов из 200 000 к объектов. Главная проблема - нехватка кадров и специального оборудования. До сих пор в музее не проводится оцифровка музейных объектов при помощи специального сканера."
Проект студентов МГУ "Музей в кармане" - "...мы написали проект и получили оборудование на 10 миллионов рублей."
"За 2 года сотрудники музея создали карточки и справочники на 2000 экспонатов из 200 000 к объектов. Главная проблема - нехватка кадров и специального оборудования. До сих пор в музее не проводится оцифровка музейных объектов при помощи специального сканера."
Проект студентов МГУ "Музей в кармане" - "...мы написали проект и получили оборудование на 10 миллионов рублей."
Конструкция
Чем лучше съемка, тем проще может быть код для создания сканов
Например, с использованием профессионального освещения, камеры, штативов меньше придется заниматься светокоррекцией и работать с искажениями. Но проблема в том, что профессиональная аппаратура габаритная и дорогостоящая, и не многие люди обладают знаниями и навыками для профессиональной съемки.
Выбор наилучших настроек камеры
Настройки
Выбор наилучших настроек и их влияние на сканирование
VS
Сравнение съемки на iPhone и Samsung
Свет
Выбор наилучшего света: вспышка, общий свет, темнота, свет от ламп, кольцевая лампа
Фильтры
Есть проблемы, которые можно решить наложением фильтров
Как мы снимаем?
- белый ватман (фон) + горизонтальные рейки + опора + моторчик, наматывающий нить, привязанную к телефону + диодная лента + уровень + телефон с выстроенными настройками камеры = сканер;
- снимаем предмет на видео полосками, вручную перемещаем плакат от полоски к полоске;
- при съемке важно создать условия отсутствия других источников света в помещении
Эксперименты со светом
Вспышка:
+ более четкая картинка
— создает блики
Общий свет:
+ ровный цвет с минимальными тенями, хорошо может подойти для бликующих поверхностей
— потеряна четкость и яркость изображения из-за недостатка освещения
Два софтбокса:
+ картинка лучше передает цвета, но света все еще недостаточно
— шумы на изображении
Софтбоксы и кольцевая лампа:
+ четкая, яркая, насыщенная картинка, заметны все детали и неровности
— есть тени от движения
Лампы:
+ равномерное достаточное освещение без шумов и теней
+ более четкая картинка
— создает блики
Общий свет:
+ ровный цвет с минимальными тенями, хорошо может подойти для бликующих поверхностей
— потеряна четкость и яркость изображения из-за недостатка освещения
Два софтбокса:
+ картинка лучше передает цвета, но света все еще недостаточно
— шумы на изображении
Софтбоксы и кольцевая лампа:
+ четкая, яркая, насыщенная картинка, заметны все детали и неровности
— есть тени от движения
Лампы:
+ равномерное достаточное освещение без шумов и теней
Преимущества и ограничения нашей конструкции
- Низкая стоимость и мобильностьСканер прост в сборке (телефон+алюминиевые рейки) и является беспрецедентным по стоимости решением, что делает его доступным для музеев с небольшим бюджетом на оцифровку.
- Вариативность примененияНаш сканер позволяет сканировать не только стандартные по размеру картины, но и более крупные объекты (карты, афишы, пр.), а также не вполне плоские объекты, которые нельзя разместить в планшетное устройство - ковры, ткань, паркет
- Легкость освоения алгоритма оцифровкиПоскольку нами был написан код, способный быстро "склеивать" кусочки картины из видео с телефона, научить работать по этому алгоритму другого человека достаточно просто.
- Ограничения существующей версии кодаНевозможность полной автоматизации процесса - человеческий фактор остается важным на всех этапах
- "Стыковка" финальных "полосок" требует программ "ручной" постобработки
- Параметры для "склеивания" кадров также задает пользователь + иногда их нужно корректировать в процессе
Особенности и сбор материалов в архиве музея Гараж
Мы два раза съездили в архив Гаража в Санкт-Петербурге и отсняли материалы для склейки.
- первый раз - 3 плаката, телефон перемещается вручную;
- второй раз - автоматизированное движение телефона, 4 плаката (3 сняты с сантиметровой лентой для улучшения качества склейки)
Постер №1Однотонное неконтрастное изображение
Постер №2"Идеальный" с миллиметровкой
Постер №3Глянцевая и бликующая поверхность
Постер №4Текст + глянцевая поверхность
Особенности
- Однотонное неконтрастное изображениеАлгоритму расчета наложения сложнее определить границы по которым рассчитывается совмещение
- Глянцевая поверхностьГлянцевая поверхность создает блики, искажающие изображение
- ШрифтыНа плакатах используются шрифты как машинные, так и рукописные шрифты, для распознавания которых нужны различные подходы
Код
Код |
прошлый год vs cейчас
прошлый год vs cейчас
Код прошлого года соединял полоски с помощью особых точек (метод kp2d) - в нем можно было менять параметры, ошибки и искажения сложно было систематизировать и исправлять, как следствие код работал непредсказуемо.
Мы стремимся, чтобы код этого года был основан на простой арифметике и прост для понимания => легко было отследить, на каком этапе возникает ошибка и как ее исправить;
Повороты
На искажение при склейке полос существенно влияют даже незначительные повороты кадров относительно друг друга . Поэтому важно расчитывать не только смещение по вертикали и горизонтали но и угол поворота. Последнее внутри одной полосы мы и пробовали.
Светофильтры
Добавить фильтры, которые улучшат работу кода и качество финального изображения
Предобработка
Предобработка
- резкость (фильтр Лапласа)
- насыщенность
- контраст
- темные участки (highlights)
Для одной полосы:
1'47'' съемка
0'55 склейка
2160x8800 размер полосы
Итог из 10 линий:
(плакат 40x60 примерно)
12 минут снимали
9 минут клеили
и вышло 20000x8800
20000 - это 10 раз по 2160, но часть попала на наложение)
1'47'' съемка
0'55 склейка
2160x8800 размер полосы
Итог из 10 линий:
(плакат 40x60 примерно)
12 минут снимали
9 минут клеили
и вышло 20000x8800
20000 - это 10 раз по 2160, но часть попала на наложение)
Эксперименты с распознаванием текста
Работа с корректировкой самого изображения и тестирование возможностей OpenCV
- увеличением контрастности, размытием/повышением резкости, переводом в чб, пр.
- Работа с библиотекой pytesseract и ее настройками (разные режими параметра config)
Работа с корректировкой самого изображения и тестирование возможностей OpenCV
- увеличением контрастности, размытием/повышением резкости, переводом в чб, пр.
Coming soon...
1
Улучшение конструкции
Ускорить мотор, чтобы телефон двигался быстрее и время на сканирование сократилось
2
Распознавание текста
Сделать распознавание отсканированного материала для большинства документов
(код).
(код).
3
Условия съемки
Подумать над затемнением помещения и решить проблему неравномерного освещения
4
Код
Доработать код, подумать об автоматизации процесса склейки полос, минимизировать несостыковки при склейке
Наша команда
- Мария Мальцева
- Дарья Полыгалова
- Анастасия Чернова
