Гайды

Как классифицировать текст с помощью ИИ — за один вечер и с честной цифрой точности

Иллюстрация: стопка записок, размеченная вручную, лежит рядом с сортировочной машиной

Разложить сто писем по папкам моделью — задача на вечер. Только большинство останавливается на середине: промпт написан, ответы «вроде правильные», а насколько правильные — неизвестно.

Здесь весь путь целиком, с той частью, которую обычно пропускают: с цифрой. В конце ты сможешь сказать не «работает нормально», а «точность 94 %, путает поддержку с жалобой».

Что понадобится: ключ к API любого провайдера и текстовый файл с примерами. Дальше по шагам.

1. Выпиши ярлыки — до всякого кода

Открой блокнот и выпиши категории. Не «примерно такие», а окончательные — их увидит и модель, и твой код.

Три правила, которые сэкономят тебе половину отладки:

  • 4–7 ярлыков плюс «другое». Меньше — теряется смысл, больше — начинают путаться соседние.
  • Ярлыки не должны пересекаться. Если «поддержка» и «жалоба» стоят рядом, ошибётся и человек. Либо склей их, либо допиши, чем они различаются.
  • «Другое» обязательно. Без него модель будет насильно втискивать непонятное в ближайший ящик, и ты об этом не узнаешь.

Пример для входящей почты: счёт, поддержка, партнёрство, спам, другое.

2. Собери 30 примеров и разметь руками

Это шаг, который хочется пропустить. Не пропускай — без него нечем мерить.

Возьми 30–50 настоящих текстов и поставь ярлык каждому сам. Обычный CSV на две колонки:

text,label
"Здравствуйте, приложил акт за июль",счёт
"не приходит код на почту, помогите",поддержка
"Заработай 300$ в день на автопилоте",спам

Пока размечаешь, ты почти наверняка захочешь поправить список из шага 1 — это нормально и как раз ради этого. Правь ярлыки сейчас, а не после запуска.

Тридцати примеров хватает, чтобы поймать грубые ошибки. Сто — чтобы доверять цифре. Больше на старте не нужно.

3. Запрети модели импровизировать

Просьба «ответь одним словом» работает в 95 случаях из 100. В остальных прилетает «Скорее всего, это счёт» — и твой код падает на сравнении строк.

Поэтому список ярлыков задаётся схемой, а не текстом промпта:

from enum import Enum
from google import genai

class Category(Enum):
    INVOICE = 'счёт'
    SUPPORT = 'поддержка'
    PARTNER = 'партнёрство'
    SPAM = 'спам'
    OTHER = 'другое'

client = genai.Client()

def classify(text: str) -> str:
    r = client.models.generate_content(
        model='gemini-2.5-flash',
        contents=text,
        config={
            'response_mime_type': 'text/x.enum',
            'response_schema': Category,
            'system_instruction': (
                'Ты классифицируешь входящие письма компании. '
                'Смотри на цель письма, а не на вежливые формулировки. '
                'Если цель не ясна — другое.'
            ),
        },
    )
    return r.text.strip()

text/x.enum — это не JSON: на выходе одно слово без кавычек и обёртки. Парсить нечего, if по строке работает сразу. Механизм подробно разобран в статье про структурированный вывод.

Сам промпт тоже стоит написать по-человечески — правила разбора, а не «классифицируй текст»:

Слабый промптОпредели категорию этого письма: счёт, поддержка, партнёрство, спам, другое
Сильный промпт

Обрати внимание: в сильной версии есть разбор спорных случаев. Именно они и дают прирост точности, а не вежливые формулировки в начале.

4. Прогони и посчитай точность

Теперь то, ради чего был шаг 2:

import csv

rows = list(csv.DictReader(open('samples.csv')))
ok, errors = 0, []

for row in rows:
    got = classify(row['text'])
    if got == row['label']:
        ok += 1
    else:
        errors.append((row['label'], got, row['text'][:60]))

print(f'точность: {ok}/{len(rows)} = {ok / len(rows):.0%}')
for want, got, text in errors:
    print(f'  ждал {want}, получил {got}: {text}')

Всё. У тебя есть число. Это и есть оценка модели в минимальном виде — дальше любую правку промпта ты проверяешь одним прогоном.

5. Читай ошибки, а не переписывай промпт

Главная ловушка: увидел 80 % и полез крутить формулировки. Сначала посмотри на сами ошибки — они почти всегда группируются.

  • Две категории путаются между собой. Виноват не ИИ, а ярлыки: они пересекаются. Правь список, а не промпт.
  • Всё сваливается в «другое». Не хватает контекста — ты подаёшь слишком короткий фрагмент.
  • Ошибки размазаны по всем ярлыкам ровно. Вот тут действительно стоит добавить в промпт 2–3 разбора спорных случаев или взять модель посильнее.

И ещё: проверь свою собственную разметку. Раза в два чаще, чем ожидаешь, «ошибка модели» оказывается твоей опечаткой в CSV.

6. Сделай дешевле

Классификация — самая дешёвая задача для модели, и на ней экономить проще всего:

  • Маленькая модель. Разложить письмо по пяти ящикам — не то же, что написать статью. Флагман здесь почти всегда лишний.
  • Короткий вход. Часто хватает темы и первых 500 символов, а не всего письма целиком.
  • Пакетный режим. Если разбор не срочный, отправляй пачкой — у большинства провайдеров это дешевле. Остальные приёмы — в разборе как сократить расходы на ИИ.

Что получится

Функция в 15 строк, которая принимает текст и возвращает ровно один из твоих ярлыков — никогда не «возможно, это счёт». Плюс скрипт, который на любую правку отвечает числом.

Дальше это вставляется куда угодно: в вебхук почты, в бота, в форму на сайте. И теперь у тебя есть то, чего у большинства ИИ-фич нет — способ узнать, стало лучше или хуже. Зачем это работает именно так, разобрано в статье что такое классификация.

Сколько это стоит на практике?

Классификация письма — это примерно 300–800 токенов входа и один токен выхода. На маленькой модели тысяча писем обходится в считаные центы. Дорого получается только если гнать полный текст через флагман.

А если ярлыков нужно много — скажем, пятьдесят?

Тогда не делай один шаг из пятидесяти вариантов. Раздели на два: сперва 5–7 крупных групп, потом внутри выбранной группы — уточнение. Точность выше, а стоит дешевле, потому что второй запрос видит короткий список.

Собрать первую такую фичу проще, когда рядом объясняют на «ты» и по шагам — этим KODiQ и занимается.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →