Годовая консолидированная отчетность российских эмитентов по МСФО доступна на сайтах пяти информационных агенств, официально аккредитованных Банком России на раскрытие информации о ценных бумагах и иных финансовых инструментах.

Среди этих агенств:

1. агентство «Интерфакс» (с 2015 года)
2. агентство «АК&М» (2001 года)
3. агентство «АЗИПИ» (с 1995 года)

4. агентство «ПРАЙМ Раскрытие» (с 2007 года)
5. агентство «СКРИН» (с 2012 года)

Кроме информационных агентств, объемную коллекцию корпоративной отчетности (1181 отчет) содержит сайт ИНИОН РАН, где она собрана в исследовательских целях.

Наконец, данные по отчетам МСФО можно найти в хранилище крупнейшего в рунете тематического портала для инвесторов и трейдеров Смартлаб.

Ни одна форма не дает полной картины.
Только вместе они позволяют оценить финансовое состояние компании.

Разработан скрипт для автоматического поиска форм отчетности

Одной из сложностей, возникших на этапе извлечения, были невыровненные сканы отчетов.
Для выравнивания был применен скрипт, позволивший существенно повысить качество извлечения, так как модели размечают структуру по горизонтали и сдвиг по Y координатам может приводить к сильному искажению результата.

Однако, остальные выделенные визуально-лингвистические модели при тестировании в Colab Free приводили к CUDA Out of Memory либо к несовместимости версии CUDA колаба с версиями CUDA, под которые были написаны библиотеки моделей.

Оптимальным выходом из ситуации стал сервис openrouter.ai, предоставляющий доступ к большому количеству моделей от различных провайдеров, включая мультимодальные модели для работы с изображениями и документами.

OpenRouter не предоставляет доступ к OCR моделям, но предлагает множество general purpose
визуально-лингвистических моделей, качества распознавания которых оказалось достаточно для нашей задачи
даже в части распознавания структуры сложных таблиц с вложенными элементами.

По совокупности затрачиваемых токенов, времени инференса, стоимости и нестрогой оценки качества выбор был сделан в пользу Ministral 3 14b 2512.

Инференсы с использованием OpenRouter API:

*

**

*Финальный промпт:
Extract the table structure from the scanned image and the text within table elements. Provide your answer in Markdown format. Ignore everything outside the table. Keep the text within table elements unchanged. Preserve the table structure completely.

**S3 хранилище (Simple Storage Service) - технология облачного хранения файлов с плоской иерархией.
В S3 каждый файл получает постоянный URL-адрес, то есть к нему можно обратиться по прямой ссылке из любой точки мира.

Почему был выбран такой способ хранения файлов:

• не требуется подключения к серверу для доступа к данным;
• не требуется администрирования БД;
• легкость репликации;
• легкость миграции;
• легкость расширения;
• оплата только за фактическое использование, не за весь сервер;
• возможность на основе S3 реализовать архитектуру

статического веб-сайта.

веб-сайт

Russian Consolidated Statements Database (https://rcsd-web.website.yandexcloud.net/) - двуязычный сайт, предоставляющий возможность полнотектстового локального поиска по компаниям;
рендеринг исходных PDF-отчетов вместе с обработанными маркдаунами;
возможность оставлять сообщения об опечатках или ошибках.

Веб-сайт не требует сервера, посколько обращается к файлам напрямую в S3 бакет.

Приведение показателей разных компаний к единой структуре и номенклатуре с целью обеспечить сопоставимость данных между отчетами.

Корреспонденция (гармонизация)

внешняя валидация на данных портала smart-lab

Проверка логической и математической согласованности показателей на основе контрольных соотношений IFRS Taxonomy с целью выявить потенциальные ошибки.

Артикуляция

Сравнение эталонных данных портала Smart-Lab с результатами извлечения несколькими отобранными моделями с целью оценить качество извлечения.
Ручной отбор документов "хорошего" и "плохого" качества и расчет ошибок (RMSE, MAPE, WER и CER).