Классические эвристические методы работы с текстом

• Регулярные выражения
• Токенизация

Большое количество разнообразных опечаток в указанных МКБ-кодах (вплоть до кириллицы в латинских шифрах) приводило к потери части данных. Учесть в регулярных выражениях все комбинации опечаток оказалось крайне затруднительным, к тому же сложные регулярные выражения приводили с ложным срабатываниям.

LLM

Ручная экспертная разметка (700 диагнозов и 50 самых часто встречающихся токенов)

Разработка нескольких версий промпта

Инференсы Qwen-3.5-35B

Оценка результатов

Пример ложного срабатывания:

Паттерн: r'[А-Я]\d{2}\.\d'
(заглавная кириллическая буква, две цифры, точка, цифра)

=> НЕДОНОШЕННОСТЬ33.34недели

• справочник МКБ10 с кодами, актуальными только для новорожденных детей
• подробное ТЗ с учетом всех нюансов
• 20 размеченных примеров
• 20 строгих правил на основе размеченных токенов, формата:

если в идентифицированном тобой фрагменте текста встречается «тпмс», то такой фрагмент всегда кодируй как «Q20.3[Дискордантное желудочково-артериальное соединение]»

Главный вызов: дать модели достаточно данных для корректного дообучения (in-context learning) в области неонатологии, но, в то же время, избежать переобучения из-за слишком строгих правил или слишком большого количества примеров.

Итог: две версии промпта (расширенный и сокращенный), два финальных инференса модели.

Выбранная метрика: accuracy

Accuracy (правильность) = (кол-во верных предсказаний/общее кол-во предсказаний)

Всего размеченных тестовых диагнозов: 603.

Расширенная версия промпта: 7 ошибок, Accuracy = 0,988.
Сокращенная версия промпта: 20 ошибок, Accuracy = 0,967.

=> Выбрана расширенная версия промпта.

Интерактивная тепловая карта показывает, как распределялись
переводы новорождённых из роддомов по месяцам, годам и типу заключения.
Аналитика помогает найти общую сезонность, пики, сравнить роддома между собой в рамках года.

Рейтинг роддомов показывает суммарное количество переводов за выбранный период и их структуру по типу заключения.
Аналитика помогает сравнить роддома между собой, увидеть лидеров по числу переводов и оценить долю реанимации в общем объёме.

Интерактивная тепловая карта в рамках выбранного роддома.
Позволяет более детально изучить конкретный роддом

Годовая динамика по роддомам показывает изменение числа переводов для каждого роддома отдельно. Аналитика помогает сравнить тренды, увидеть устойчивый рост или снижение.

Метод сравнивает каждый месяц роддома с его собственной историей

Для каждого роддома проверяется, был ли коэффициент переводов в конкретном месяце статистически выше, чем в остальные периоды этого же роддома.

Метод сравнивает роддом с похожими роддомами своей группы.

Для каждого месяца проверяется, был ли коэффициент переводов в конкретном роддоме статистически выше, чем у остальных роддомов той же категории за тот же период.

Такой подход помогает выявить отклонения от сопоставимой группы роддомов.

Выявленные отклонения переданы
заказчику для детального анализа

Задача: провести разведочный анализ зависимости понедельной динамики ОРВИ и количества детей с определенными патологиями.
Гипотеза: перенесенное в процессе беременности ОРВИ влияет на наличие определенной патологии у ребенка.

Группы диагнозов, на возникновение которых, согласно имеющимся данным, может влиять перенесенное в процессе беременности ОРВИ:

• пороки сердца
• пороки почек
• диафрагмальные грыжи
• недоношенность (< 34 недель гестационного возраста)
• ОНМТ (очень низкая масса тела, 1000-1500гр)
• ЭНМТ (экстремально низкая масса тела, < 1000гр)

Задача усложнялась необходимостью учитывать отсроченные эффекты (интересен не ОРВИ во время родов, а ОРВИ в процессе беременности), более того, для пороков развития важен гестационный срок 3-8 недель (этап органогенеза), а для недоношенности и маловесности - срок от 12 недель до родов.

Пороки сердца
Пороки почек
Диафрагмальные грыжи
Гестационный срок менее 34 недель
Вес при рождении 1000-1500гр
Вес при рождении до 1000гр

dCor

p-value

0.23 (умеренная зависимость)
0.16 (слабая зависимость)
0.20 (слабая зависимость)
0.18 (слабая зависимость)
0.14 (слабая зависимость)
0.22 (умеренная зависимость)

0.000 (<0.05)
0.006 (<0.05)
0.001 (<0.05)
0.001 (<0.05)
0.018 (<0.05)
0.000 (< 0.05)

1) Distance Correlation не показывает направление связи, соответственно, обнаруженная зависимость может быть как прямой, так и обратной.
2) Зависимость не должна быть высокой, ОРВИ - не единственный фактор, влияющий на патологии.

Мы планируем продолжить анализ:
3) у нас есть понедельные данные о заболеваемости респираторными вирусами конкретных вирусов и штаммов. Исследования говорят о том, что отдельные вирусы могут влиять на отдельные патологии.
4) необходимо определить относительные значения количества патологий, зависящих от конкретных ОРВИ-недель (возможно, в ту неделю в целом беременностей по Петербургу было больше и именно это повлияло на рост патологий)
5) другие конфаундеры также необходимо исключить: у нас есть обширные климатические данные по Санкт-Петербургу за 2014-2022 годы: от УФ-индекса до влажности воздуха . Например, зима могла повлиять на исход беременности по причине низкой инсоляции, также как могла повлиять и на рост ОРВИ из-за низкой температуры.
6) автокорреляция между неделями не учитывалась.
7) одно из пока что непроверенных возможных объяснений - ОРВИ влияет на рост прерванных беременностей, из-за чего распределение патологий меняется и зависимость "теряется". Об этом есть исследования, однако к их дизайну остаются вопросы.
8) важно изучить весь гестационный срок, мы не знаем точно, ОРВИ в какой срок влияет на патологию сильнее - соответственно, нужен временной анализ лагов.
9) конечно, нельзя исключать, что причинности "ОРВИ -> патология" нет.