Компьютерное зрение в Гараже
ПАНДАН,2024
Кураторы: Иван Бибилов и Екатерина Юшкевич
Этапы работы
1
Гараж
Съездить в Гараж и в Москве, и в Санкт-Петербурге. Отснять новый материал для сканирования и продолжить работу с ним.
done ✔️
done ✔️
2
Распознавание текста
Сделать распознавание отсканированного материала (код + репозиторий, где это будет храниться).
done ✔️
done ✔️
3
Интервью
Взять интервью у нескольких музеев про сканирование.
done ✔️
done ✔️
4
Камера
Продолжить работать с настройками камеры и искать наилучший результат съёмки, с которым получится качественное сканирование.
done ✔️
done ✔️
Для каждого типа коллекций используют определённые технологии:
- Для оцифровки бумажных документов, рукописей, фотографий, гравюр, картин, икон и т.д. используются различные виды сканеров (планшетный, планетарный, барабанный и др.), могут использоваться и фотоаппараты со студийным освещением. Также часто используется специальное ПО для постобработки
- Для оцифровки объемных объектов (построения 3D–моделей) используют 3D–сканеры и фотоаппараты в связке со специальным ПО
Наиболее распространенными объектами для оцифровки являются: - Фотографии и изображения: Исторические фотографии, негативы, слайды, картинки, рисунки и другие визуальные материалы.
- Документы и рукописи: Исторические документы, письма, записи, рукописи, дневники, старые книги и другие текстовые материалы.
- Картины и художественные произведения: Живопись, гравюры, литографии, постеры и другие художественные произведения
- Карты и планы: Исторические карты, географические данные, архитектурные планы, схемы и др.
- Журналы и газеты: Исторические журналы, газеты, периодические издания, брошюры и публикации.
Кажется, что сейчас рынок очень монополистичен - практически для всех музеев и библиотек оборудование предоставила компания "Элар" (на российском рынке), есть точечные партнерства с IBM И Google
1. "Элар" сканировал для Пушкинского Дома РАН, Научно-исследовательского музея при Российской Академии художеств, Библиотеки им. Н.А. Некрасова и пр.
2.Пушкинский музей в 2024 г. анонсировал оцифровку в рамках партнерства со Сбером
3.Третьяковская галерея в 2018 г. писала о создании блокчейн-проекта My Tretyakov совместно с компанией RDI.Digital, Эрмитаж также делал оцифровку в тандеме с IBM
4. В рамках проекта Google Arts & Culture Русский музей создал проект "Виртуальный русский музей"
5. Любопытные студеческие проекты - "Пушкин Цифровой" (ИТМО) - оцифровка наследия А.С. Пушкина и "Музей в кармане" (МГУ) - оцифровка экспонатов Зоологического музея МГУ
2.Пушкинский музей в 2024 г. анонсировал оцифровку в рамках партнерства со Сбером
3.Третьяковская галерея в 2018 г. писала о создании блокчейн-проекта My Tretyakov совместно с компанией RDI.Digital, Эрмитаж также делал оцифровку в тандеме с IBM
4. В рамках проекта Google Arts & Culture Русский музей создал проект "Виртуальный русский музей"
5. Любопытные студеческие проекты - "Пушкин Цифровой" (ИТМО) - оцифровка наследия А.С. Пушкина и "Музей в кармане" (МГУ) - оцифровка экспонатов Зоологического музея МГУ
Итоги полевого исследования
Сотрудник музея современного искусства "Гараж" о сканировании:
"В Архиве «Гаража» весь процесс занимает обычно около месяца, само сканирование идет 2 – 2,5 недели, остальное время – проверка материала, доработки"
"Стоимость зависит от объемов и форматов, обычно от 300 000 р. за несколько десятков тысяч листов. В стоимость включено не только услуги сканировщика, но и завоз – вывоз оборудования. Плохо проходит распознавание некоторых машинописных текстов, есть издания с плохой раскрываемостью, слишком крупные объекты (больше 2х1,5 м) тоже нельзя отсканировать."
Исследователь ряда Музеев г. Йошкар-Олы
"За два года сотрудники музея создали карточки и справочники на 2000 экспонатов из общего 200 000 количества объектов. Главной проблемой является нехватка кадров и специального оборудования. До сих пор в музее не проводится оцифровка музейных объектов при помощи специального сканера."
Проект студентов МГУ "Музей в кармане" - "...мы написали проект и получили оборудование на 10 миллионов рублей. Сначала мы думали, что это рутинная работа: сканирую-обрабатываю-раскладываю файлы по папочкам. Но внезапно процесс нас увлек."
"В Архиве «Гаража» весь процесс занимает обычно около месяца, само сканирование идет 2 – 2,5 недели, остальное время – проверка материала, доработки"
"Стоимость зависит от объемов и форматов, обычно от 300 000 р. за несколько десятков тысяч листов. В стоимость включено не только услуги сканировщика, но и завоз – вывоз оборудования. Плохо проходит распознавание некоторых машинописных текстов, есть издания с плохой раскрываемостью, слишком крупные объекты (больше 2х1,5 м) тоже нельзя отсканировать."
Исследователь ряда Музеев г. Йошкар-Олы
"За два года сотрудники музея создали карточки и справочники на 2000 экспонатов из общего 200 000 количества объектов. Главной проблемой является нехватка кадров и специального оборудования. До сих пор в музее не проводится оцифровка музейных объектов при помощи специального сканера."
Проект студентов МГУ "Музей в кармане" - "...мы написали проект и получили оборудование на 10 миллионов рублей. Сначала мы думали, что это рутинная работа: сканирую-обрабатываю-раскладываю файлы по папочкам. Но внезапно процесс нас увлек."
Дом Метенкова
Сканирование материалов происходит внутри самой институции. У «Дома Метенкова» есть сканер, на котором можно оцифровывать как фотоотпечатки, так и пленку. В случае, когда необходимо произвести оцифровку материалов большего размера, мы обращаемся в отдел фондов Музея истории Екатеринбурга, в котором имеется необходимая для этого аппаратура. Именно отдел фондов занимается выгрузкой информации о музейной коллекции на сайт Госкаталога, например.
Основная проблема связана с размерами материалов для сканирования. Некоторые снимки или печатные изображения, превышающие формат А4, не помещаются в сканер.
Можно обозначить в качестве проблемы отсутствие отдельного пространства для сканирования материалов, что иногда затрудняет условия для процесса оцифровки.
Сканирование материалов происходит внутри самой институции. У «Дома Метенкова» есть сканер, на котором можно оцифровывать как фотоотпечатки, так и пленку. В случае, когда необходимо произвести оцифровку материалов большего размера, мы обращаемся в отдел фондов Музея истории Екатеринбурга, в котором имеется необходимая для этого аппаратура. Именно отдел фондов занимается выгрузкой информации о музейной коллекции на сайт Госкаталога, например.
Основная проблема связана с размерами материалов для сканирования. Некоторые снимки или печатные изображения, превышающие формат А4, не помещаются в сканер.
Можно обозначить в качестве проблемы отсутствие отдельного пространства для сканирования материалов, что иногда затрудняет условия для процесса оцифровки.
Росфото
Мы сканируем или копируем все сами, для этого есть два специальных сотрудника - один отвечает за сканер (до А3 формата), второй за съемку предметов и плоских избражений в специально адаптированной фотостудии со столом для предметной съемки.
Стоимость сканирования определяется фиксированной зарплатой двух сотрудников. Они не только сканированием заняты, но сканирование занимает не меньше половины рабочего времени.
Сканирование не подходит в принципе для фотографий, потому что это ожог для изображеия. Слишком яркая вспышка света близко с поверхностью.
Если съемку тоже брать - то неправильная цветоопередача. У нас есть цветовая шкала и мастер специально проверяет еще вручную соответствие цвета. Но для сложных случаев, например, больших форматов это сложнее сделаать.
Мы сканируем или копируем все сами, для этого есть два специальных сотрудника - один отвечает за сканер (до А3 формата), второй за съемку предметов и плоских избражений в специально адаптированной фотостудии со столом для предметной съемки.
Стоимость сканирования определяется фиксированной зарплатой двух сотрудников. Они не только сканированием заняты, но сканирование занимает не меньше половины рабочего времени.
Сканирование не подходит в принципе для фотографий, потому что это ожог для изображеия. Слишком яркая вспышка света близко с поверхностью.
Если съемку тоже брать - то неправильная цветоопередача. У нас есть цветовая шкала и мастер специально проверяет еще вручную соответствие цвета. Но для сложных случаев, например, больших форматов это сложнее сделаать.
Ельцин-центр
Мы не делаем объемное сканирование артефактов. Более того, мы делаем хорошие фото и видео только тех предметов из музейной коллекции, которые или популярны (как ядерный чемоданчик), или нужны для рекламы, или делаем фото для нужд экспозиции (когда необходимо показать и предмет, и, например, его же с оборота).
Все, что ЕЦ сканирует, на сканере планетарном для книг, на сканере для слайдов, негативов и т.п. - это бумажные документы, фотографии и негативы, которые хранятся в нашем архиве. Самая значимая проблема - это авторское право.
Мы не делаем объемное сканирование артефактов. Более того, мы делаем хорошие фото и видео только тех предметов из музейной коллекции, которые или популярны (как ядерный чемоданчик), или нужны для рекламы, или делаем фото для нужд экспозиции (когда необходимо показать и предмет, и, например, его же с оборота).
Все, что ЕЦ сканирует, на сканере планетарном для книг, на сканере для слайдов, негативов и т.п. - это бумажные документы, фотографии и негативы, которые хранятся в нашем архиве. Самая значимая проблема - это авторское право.
Сотрудник компании, специализирующейся на сканировании
Имеется планетарный сканер формата A2 и больше (1 разворот - 3 с) и другое оборудование. В основном работы выполняются для архива, музейное сканирование не осуществляется, в крупных музеях есть свои сканеры. Рынок концентрирован - около 3 фирм занимаются крупноформатным сканированием. Стоимость самого простого сканера российского производства - от 1.5 млн, зарубежного - от 40 млн.
Имеется планетарный сканер формата A2 и больше (1 разворот - 3 с) и другое оборудование. В основном работы выполняются для архива, музейное сканирование не осуществляется, в крупных музеях есть свои сканеры. Рынок концентрирован - около 3 фирм занимаются крупноформатным сканированием. Стоимость самого простого сканера российского производства - от 1.5 млн, зарубежного - от 40 млн.
Цель:
- разработать недорогое и быстрое решение для музейной оцифровки
Планируемые результаты:
- два направления работы:
"технологическое" - разработка кода для сборки единого "полотна" изображения
сейчас написан код, позволяющий быстро собирать кадры из видео в целое изображение
Но в нем есть некоторые проблемы
следующий этап - улучшение качества кода, разметка отсканированного изображения
"физическое" - поиск наилучших настроек для качественной съемки объекта
сейчас тестирование гипотез для выявления наилучших условий для съемки
следующий этап - съемка объектов для сканирования с наилучшими параметрами
- разработать недорогое и быстрое решение для музейной оцифровки
Планируемые результаты:
- два направления работы:
"технологическое" - разработка кода для сборки единого "полотна" изображения
сейчас написан код, позволяющий быстро собирать кадры из видео в целое изображение
Но в нем есть некоторые проблемы
следующий этап - улучшение качества кода, разметка отсканированного изображения
"физическое" - поиск наилучших настроек для качественной съемки объекта
сейчас тестирование гипотез для выявления наилучших условий для съемки
следующий этап - съемка объектов для сканирования с наилучшими параметрами
Направления работы
1
Обзор существующих сканеров
Найти примеры хорошего и плохого сканирования и объяснить чем мы отличаемся в лучшую сторону
2
Сбор материалов
Снять в Гараже плакаты для пробного сканирования
3
Настройки камеры и улучшение механизма
Найти наиболее подходящие настройки и усовершенствовать конструкцию для съемки, чтобы сканирование получилось более точным
4
Код
Доработать существующий код
Чем лучше съемка, тем проще может быть код для создания сканов. Например, с использованием профессионального освещения, камеры, штативов меньше придется заниматься светокоррекцией и работать с искажениями. Но проблема в том, что профессиональная аппаратура габаритная и дорогостоящая, и не многие обычные люди обладают знаниями и навыками для профессиональной съемки.
- Съемка видео на смартфон
- Лампы и полозья для создания видео
- Механизм для равномерного прокручивания
Преимущества нашей конструкции
(как мы можем решить существующие проблемы)
- Низкая стоимость и мобильностьСканер прост в сборке (телефон+полозья) и является одним из самых низких по стоимости решений, что делает его доступным для музеев с низким бюджетом на оцифровку.
- Вариативность примененияНаш сканер позволяет сканировать не только стандартные по размеру картины, но и более крупные объекты (карты, афишы, пр.)
- Легкость освоения алгоритма оцифровкиПоскольку нами был написан код, способный быстро "склеивать" кусочки картины из видео с телефона, научить работать по этому алгоритму другого человека достаточно просто.
Мы съездили в Гараж и сделали пробную съемку трех плакатов - в прошлом году проект был сосредоточен на сканировании карт, в этом году мы решили расширить возможности сканера и продолжить выполнять запрос музея (отсканировать как можно больше существующих в Гараже экспонатов из разных материалов).
Что мы делали?
- С помощью конструкции снимали на телефон видео плакатов полосками;
- Пробовали разные настройки камеры;
- Собирали видео в полноценный плакат кодом (брали кадры из видео и склеивали в единый плакат)
- Пробовали разные настройки камеры;
- Собирали видео в полноценный плакат кодом (брали кадры из видео и склеивали в единый плакат)
Проблемы
- Однотонные цветаПри однотонном цвете алгоритм наложения изображений работает с проблемами
- Глянцевая поверхностьПри использовании света ламп глянцевая поверхность создает блики, которые искажают качество скана
- СтабилизацияИзменения положения телефона при съемке затрудняют склеивание
Съемка | тесты
Настройки
Выбор наилучших настроек и их влияние на сканирование
VS
Сравнение съемки на iPhone и Samsung
Фото VS Видео
видео - поток кадров, с помощью кода мы выбираем некоторые
VS фото - уже сфокусированные выстроенные кадры
VS фото - уже сфокусированные выстроенные кадры
Свет
Выбор наилучшего света: вспышка, общий свет, темнота, свет от ламп, кольцевая лампа
Фильтры
Есть проблемы, которые можно решить наложением фильтров
Результаты экспериментов со светом
Общий свет:
+ ровный цвет с минимальными тенями (если минимизировать движения вокруг, то поверхность освещается равномерно) -> хорошо может подойти для бликующих поверхностей
— потеряна четкость и яркость изображения из-за недостатка освещения -> не можем реалистично передать цвета, одинаковые оттенки будут незаметны (как например, с бежевым плакатом)
Два софтбокса:
+ картинка лучше передает цвета, но света все еще недостаточно. Свет достаточно ровный, но уже не настолько, как было при общем свете
— свет от софтбокса создает шумы на изображении
Софтбоксы и кольцевая лампа
+ четкая, яркая, насыщенная картинка, стали заметны все детали и неровности (которые до этого сглаживались)
— заметны тени от движения, на бликующей поверхности намного более сильный засвет
Бликующая поверхность
Более рассеянный свет дает меньше всего бликов, его можно получить с помощью общего освещения
+ ровный цвет с минимальными тенями (если минимизировать движения вокруг, то поверхность освещается равномерно) -> хорошо может подойти для бликующих поверхностей
— потеряна четкость и яркость изображения из-за недостатка освещения -> не можем реалистично передать цвета, одинаковые оттенки будут незаметны (как например, с бежевым плакатом)
Два софтбокса:
+ картинка лучше передает цвета, но света все еще недостаточно. Свет достаточно ровный, но уже не настолько, как было при общем свете
— свет от софтбокса создает шумы на изображении
Софтбоксы и кольцевая лампа
+ четкая, яркая, насыщенная картинка, стали заметны все детали и неровности (которые до этого сглаживались)
— заметны тени от движения, на бликующей поверхности намного более сильный засвет
Бликующая поверхность
Более рассеянный свет дает меньше всего бликов, его можно получить с помощью общего освещения
Светофильтры
Добавить фильтры, которые улучшат работу кода и качество финального изображения
Предобработка
Предобработка
- резкость (фильтр Лапласа)
- насыщенность
- контраст
- темные участки (highlights)
- Начали работать с разными материалами (плакаты и фотографии);
- Используем миллиметровку для более точной склейки;
- Прошлый код соединял полоски с помощью особых точек (метод kp2d) - можно менять параметры, но когда возникают ошибки и искажения их не исправить, сейчас код прост для понимания, легко понять, на каком этапе возникает ошибка;
- Добавили опцию распознавания текста для части документов
Повороты
- На искажение при склейке полос больше всего влияет не движение камеры или искажение в матрице камеры, а повороты полос и угол склейки.
- Самый идеальный постер для нас под номером 3 - с миллиметровкой, по которой легко искать искажения.
- Дальнейшая цель - высчитывать угол и поворачивать полосы для идеальной склейки + при необходимости применять этот же метод для склейки внутри полосы (каждого кадра)
Эксперименты с распознаванием текста
Работа с корректировкой самого изображения и тестирование возможностей OpenCV
- увеличением контрастности, размытием/повышением резкости, переводом в чб, пр.
- Работа с библиотекой pytesseract и ее настройками (разные режими параметра config)
Работа с корректировкой самого изображения и тестирование возможностей OpenCV
- увеличением контрастности, размытием/повышением резкости, переводом в чб, пр.
Следующие этапы работы
1
Гараж
Съездить в Гараж и в Москве, и в Санкт-Петербурге. Отснять новый материал для сканирования и продолжить работу с ним.
2
Распознавание текста
Сделать распознавание отсканированного материала для большинства документов
(код).
(код).
3
Улучшение конструкции
Продолжить работать с настройками камеры и искать наилучший результат съёмки, с которым получится качественное сканирование.
4
Код
Доработать код, разобраться с поворотами полос для более точной склейки
Наша команда
- Мария Мальцева
- Дарья Полыгалова
- Анастасия Чернова
