Как классифицировать текст с помощью ИИ — за один вечер и с честной цифрой точности

Разложить сто писем по папкам моделью — задача на вечер. Только большинство останавливается на середине: промпт написан, ответы «вроде правильные», а насколько правильные — неизвестно.
Здесь весь путь целиком, с той частью, которую обычно пропускают: с цифрой. В конце ты сможешь сказать не «работает нормально», а «точность 94 %, путает поддержку с жалобой».
Что понадобится: ключ к API любого провайдера и текстовый файл с примерами. Дальше по шагам.
1. Выпиши ярлыки — до всякого кода
Открой блокнот и выпиши категории. Не «примерно такие», а окончательные — их увидит и модель, и твой код.
Три правила, которые сэкономят тебе половину отладки:
- 4–7 ярлыков плюс «другое». Меньше — теряется смысл, больше — начинают путаться соседние.
- Ярлыки не должны пересекаться. Если «поддержка» и «жалоба» стоят рядом, ошибётся и человек. Либо склей их, либо допиши, чем они различаются.
- «Другое» обязательно. Без него модель будет насильно втискивать непонятное в ближайший ящик, и ты об этом не узнаешь.
Пример для входящей почты: счёт, поддержка, партнёрство, спам, другое.
2. Собери 30 примеров и разметь руками
Это шаг, который хочется пропустить. Не пропускай — без него нечем мерить.
Возьми 30–50 настоящих текстов и поставь ярлык каждому сам. Обычный CSV на две колонки:
text,label
"Здравствуйте, приложил акт за июль",счёт
"не приходит код на почту, помогите",поддержка
"Заработай 300$ в день на автопилоте",спам
Пока размечаешь, ты почти наверняка захочешь поправить список из шага 1 — это нормально и как раз ради этого. Правь ярлыки сейчас, а не после запуска.
Тридцати примеров хватает, чтобы поймать грубые ошибки. Сто — чтобы доверять цифре. Больше на старте не нужно.
3. Запрети модели импровизировать
Просьба «ответь одним словом» работает в 95 случаях из 100. В остальных прилетает «Скорее всего, это счёт» — и твой код падает на сравнении строк.
Поэтому список ярлыков задаётся схемой, а не текстом промпта:
from enum import Enum
from google import genai
class Category(Enum):
INVOICE = 'счёт'
SUPPORT = 'поддержка'
PARTNER = 'партнёрство'
SPAM = 'спам'
OTHER = 'другое'
client = genai.Client()
def classify(text: str) -> str:
r = client.models.generate_content(
model='gemini-2.5-flash',
contents=text,
config={
'response_mime_type': 'text/x.enum',
'response_schema': Category,
'system_instruction': (
'Ты классифицируешь входящие письма компании. '
'Смотри на цель письма, а не на вежливые формулировки. '
'Если цель не ясна — другое.'
),
},
)
return r.text.strip()
text/x.enum — это не JSON: на выходе одно слово без кавычек и обёртки. Парсить нечего, if по строке работает сразу. Механизм подробно разобран в статье про структурированный вывод.
Сам промпт тоже стоит написать по-человечески — правила разбора, а не «классифицируй текст»:
Определи категорию этого письма: счёт, поддержка, партнёрство, спам, другоеОбрати внимание: в сильной версии есть разбор спорных случаев. Именно они и дают прирост точности, а не вежливые формулировки в начале.
4. Прогони и посчитай точность
Теперь то, ради чего был шаг 2:
import csv
rows = list(csv.DictReader(open('samples.csv')))
ok, errors = 0, []
for row in rows:
got = classify(row['text'])
if got == row['label']:
ok += 1
else:
errors.append((row['label'], got, row['text'][:60]))
print(f'точность: {ok}/{len(rows)} = {ok / len(rows):.0%}')
for want, got, text in errors:
print(f' ждал {want}, получил {got}: {text}')
Всё. У тебя есть число. Это и есть оценка модели в минимальном виде — дальше любую правку промпта ты проверяешь одним прогоном.
5. Читай ошибки, а не переписывай промпт
Главная ловушка: увидел 80 % и полез крутить формулировки. Сначала посмотри на сами ошибки — они почти всегда группируются.
- Две категории путаются между собой. Виноват не ИИ, а ярлыки: они пересекаются. Правь список, а не промпт.
- Всё сваливается в «другое». Не хватает контекста — ты подаёшь слишком короткий фрагмент.
- Ошибки размазаны по всем ярлыкам ровно. Вот тут действительно стоит добавить в промпт 2–3 разбора спорных случаев или взять модель посильнее.
И ещё: проверь свою собственную разметку. Раза в два чаще, чем ожидаешь, «ошибка модели» оказывается твоей опечаткой в CSV.
6. Сделай дешевле
Классификация — самая дешёвая задача для модели, и на ней экономить проще всего:
- Маленькая модель. Разложить письмо по пяти ящикам — не то же, что написать статью. Флагман здесь почти всегда лишний.
- Короткий вход. Часто хватает темы и первых 500 символов, а не всего письма целиком.
- Пакетный режим. Если разбор не срочный, отправляй пачкой — у большинства провайдеров это дешевле. Остальные приёмы — в разборе как сократить расходы на ИИ.
Что получится
Функция в 15 строк, которая принимает текст и возвращает ровно один из твоих ярлыков — никогда не «возможно, это счёт». Плюс скрипт, который на любую правку отвечает числом.
Дальше это вставляется куда угодно: в вебхук почты, в бота, в форму на сайте. И теперь у тебя есть то, чего у большинства ИИ-фич нет — способ узнать, стало лучше или хуже. Зачем это работает именно так, разобрано в статье что такое классификация.
Сколько это стоит на практике?
Классификация письма — это примерно 300–800 токенов входа и один токен выхода. На маленькой модели тысяча писем обходится в считаные центы. Дорого получается только если гнать полный текст через флагман.
А если ярлыков нужно много — скажем, пятьдесят?
Тогда не делай один шаг из пятидесяти вариантов. Раздели на два: сперва 5–7 крупных групп, потом внутри выбранной группы — уточнение. Точность выше, а стоит дешевле, потому что второй запрос видит короткий список.
Собрать первую такую фичу проще, когда рядом объясняют на «ты» и по шагам — этим KODiQ и занимается.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





