Финальный "Усиленный" (prompt_d) состоит из детальных правил, определяющих:

• a) положительный класс через несколько явных условий (прямые упоминания, сленг и эвфемизмы, транслитерация, контекст действия и сигналы эмодзи) + триггеры положительного класса: сущности нежелательных тем, обфусцированные названия каналов и ботов, подозрительные сокращения и отдельные латинские символы, ссылки на криптовалюту и фразы с двойным смыслом,
• b) отрицательный класс (омонимы в бытовом употреблении, ирония, нерелевантный чат),
• c) явный приоритет решения — контекст важнее отдельных токенов.
• d) словарь в полном размере как опорный список слов.

Одновременно с разработкой промптов, мы протестировали различные LLM на задаче бинарной классификации, используя "Подробный"(prompt_b) и "Компромиссный" (prompt_c) промпты.

Для исследования использовались модели с разными принципами работы: instruct модель (сразу даёт ответ на основе инструкции) и reasoning модель ( перед финальным ответом строит цепочку рассуждений "думает вслух", что занимает больше времени и токенов, но потенциально даёт более точный результат).

Эксперименты проводились на следующих моделях LLM:

• Qwen3.5-9B (использованы instruct и reasoning конфигурации);
• Gemma-4-E4B (использованы instruct и reasoning конфигурации);
• YandexGPT-5-Lite-8B-instruct;
• Ministral-3-8B-Instruct-2512;
• Ministral-3-8B-Reasoning-2512.

Все модели были развёрнуты на локальном сервере с видеокартой Nvidia RTX 5090 c 32 ГБ видеопамяти.

Добавили гиперпараметр:

• Выборка примеров t : перебирается из массива[2, 4, 8, 16, 32])

🏆 Лучший вариант: Усиленный промпт с двумя рандомно отобранными двумя примерами prompt_d_random_with_dict_2_examples
Recall = 0.818

Однако лучшая модель не продемонстрировала существенного превосходства над ближайшими результатами. Если оценивать не только recall, а совокупность метрик, то нельзя однозначно выделить один оптимальный набор гиперпараметров. Поэтому для дальнейшего анализа выберем пять вариантов моделей:

prompt_d_random_wo_dict_2_examples, prompt_d_balanced_wo_dict_2_examples, prompt_d_balanced_wo_dict_4_examples, prompt_d_random_with_dict_2_examples, prompt_d_balanced_with_dict_2_examples

Чтобы улучшить качество классификации, мы перешли к семантическому отбору: примеры подбирались не произвольно, а на основе смысловой близости к классифицируемому сообщению.

Для реализации данного подхода использовались эмбеддинги сгенерированные с помощью модели модель Qwen3-8b. После чего из размеченного датасета отбирались примеры, наиболее близкие к нему по смыслу. Таким образом, в контекст модели передавались не случайные, а наиболее релевантные для конкретного классифицируемого случая примеры

Стратегии, подачи эмбендингов в промпт:

В рамках проведённого исследования эффективности малых языковых моделей (с объёмом параметров, не превышающим 9 млрд) в задаче детекции нежелательного контента было установлено, что наилучшие показатели демонстрирует модель YandexGPT‑5‑Lite‑8B‑instruct. Преимущество указанной модели обусловлено её лингвистической адаптацией: в процессе дообучения использовался корпус русскоязычных текстов, что обеспечило повышенную чувствительность и улучшило обобщающую способность модели на русскоязычных данных.

Для оптимизации работы модели применялся подход in‑context learning, реализованный посредством структурированного формирования промптов. Ключевыми компонентами методики являлись: балансировка примеров по классам с целью нивелирования дисбаланса распределения классов в обучающей выборке, а также диверсификация внутриклассовых образцов для повышения устойчивости модели к вариативности формулировок.

Реализация данной стратегии позволила достичь значения метрики Recall, равного 0,942. Данный результат свидетельствует о высокой полноте обнаружения релевантных экземпляров нежелательного контента, что является критически важным параметром для систем контент‑модерации, ориентированных на минимизацию доли ложноотрицательных срабатываний.

На основании полученных данных сформулированы следующие рекомендации для компании Just AI: целесообразно внедрять малые языковые модели, предобученные на русскоязычных корпусах? с применением in-context learning методов, в качестве базового решения для систем автоматической модерации. Такой подход характеризуется рациональным соотношением вычислительной стоимости и качества классификации, обеспечивая достаточный уровень полноты детекции при умеренных ресурсных затратах.

В перспективе, при наличии дополнительных вычислительных ресурсов или повышенных требований к точности идентификации (в том числе к балансу между полнотой и точностью), возможна экстраполяция отработанных методологических приёмов (стратегии промптинга, балансировки и диверсификации) на архитектуры больших языковых моделей —с целью дальнейшего повышения качества классификации.