Как запустить ИИ-модель прямо в браузере — без сервера и без ключа

Обычный путь к ИИ в приложении такой: заводишь ключ, поднимаешь бэкенд, платишь за токены, объясняешь пользователю, куда уехали его данные.
Есть второй путь, о котором знают куда меньше. Модель можно скачать во вкладку и считать на компьютере пользователя. Ни ключа, ни сервера, ни счёта — и данные никуда не отправляются, потому что отправлять физически некуда. Сейчас соберём такое: поиск по смыслу, целиком в браузере.
Что тебе понадобится
Свежий Chrome, Edge или Safari, папка с проектом и любой локальный сервер (подойдёт npx serve). Файл, открытый как file://, не годится — нужен http://localhost или HTTPS.
Шаг 1. Проверь, есть ли видеокарта
Открой консоль браузера и выполни:
console.log(!!navigator.gpu);
const adapter = navigator.gpu && (await navigator.gpu.requestAdapter());
console.log(adapter);
Две проверки, а не одна. navigator.gpu говорит, что браузер знает про WebGPU. А requestAdapter() может всё равно вернуть null — например, в Firefox на макé или на неподдержанной видеокарте. Если получил объект — считать будем на GPU. Если null — тоже нормально, просто медленнее. Что делать в этом случае — в статье почему WebGPU недоступен.
Шаг 2. Подключи библиотеку
Библиотека Transformers.js умеет то же, что питоновский transformers, только в JavaScript. Ставится через npm:
npm i @huggingface/transformers
Либо, если хочешь просто один HTML-файл без сборки, — прямо с CDN:
import { pipeline } from "https://cdn.jsdelivr.net/npm/@huggingface/transformers@4/+esm";
Шаг 3. Узнай, сколько будет качать
Вот шаг, который почти все пропускают, а зря: спроси размер до загрузки. Пользователю на мобильном интернете внезапные 400 мегабайт не понравятся.
import { ModelRegistry } from "@huggingface/transformers";
const modelId = "onnx-community/all-MiniLM-L6-v2-ONNX";
const options = { dtype: "q8" };
const files = await ModelRegistry.get_pipeline_files("feature-extraction", modelId, options);
const meta = await Promise.all(files.map((f) => ModelRegistry.get_file_metadata(modelId, f)));
const bytes = meta.reduce((sum, m) => sum + m.size, 0);
console.log(Math.round(bytes / 1e6), "МБ");
Тут же можно проверить, не скачано ли уже: await ModelRegistry.is_pipeline_cached("feature-extraction", modelId, options). Если да — второй запуск будет мгновенным.
Шаг 4. Запусти модель
Всё, ради чего мы шли. Одна функция создаёт готовый конвейер: скачать модель, подготовить вход, посчитать, разобрать выход.
import { pipeline } from "@huggingface/transformers";
const device = (await navigator.gpu?.requestAdapter()) ? "webgpu" : "wasm";
const embed = await pipeline("feature-extraction", "onnx-community/all-MiniLM-L6-v2-ONNX", {
device,
dtype: "q8",
progress_callback: (p) => {
if (p.status === "progress") console.log(Math.round(p.progress) + "%");
},
});
Два параметра тут ключевые:
device— где считать."webgpu"— на видеокарте,"wasm"— на процессоре через WebAssembly. Именно ради этого переключателя мы делали первый шаг.dtype— точность весов."q8"— квантование до 8 бит: файл в разы легче, качество почти то же. Есть и"q4", и совсем экономные"q2".
Шаг 5. Посчитай смысл
Модель превращает текст в вектор — эмбеддинг. Два текста об одном и том же дают близкие векторы, даже если слова разные.
const texts = ["как отменить подписку", "верните мне деньги", "рецепт борща"];
const out = await embed(texts, { pooling: "mean", normalize: true });
const v = out.tolist();
const cos = (a, b) => a.reduce((s, x, i) => s + x * b[i], 0);
console.log(cos(v[0], v[1])); // близко — обе фразы про деньги и отказ
console.log(cos(v[0], v[2])); // далеко — борщ ни при чём
Из этих трёх строк и получается поиск по смыслу: считаешь векторы своих заметок один раз, кладёшь рядом с текстами, а при запросе сравниваешь. Ни одного запроса в сеть.
Шаг 6. Не качай это дважды
Скачанные веса Transformers.js складывает в браузерный кэш — тот же общий склад, где живёт IndexedDB. Второй визит модель уже не скачивает.
Три вещи, чтобы это не сломалось:
- отдавай сайт по HTTPS — иначе не будет ни WebGPU, ни нормального кэша;
- показывай прогресс из
progress_callback— молчаливая полоса на 200 мегабайт выглядит как зависший сайт; - считай в веб-воркере, если модель крупная: иначе интерфейс подмерзает на время расчёта.
Что получится
HTML-страница, которая при первом открытии качает модель, а дальше работает даже без интернета. Она сравнивает тексты по смыслу за десятки миллисекунд, не знает слова «API-ключ» и ничего не отправляет наружу.
Дальше меняется одна строка — название задачи в pipeline. "automatic-speech-recognition" — распознавание речи, "image-classification" — что на фото, "translation" — перевод. Библиотека поддерживает около двухсот архитектур, и почти все работают на видеокарте.
Какую модель брать под задачу
Главный критерий в браузере не «умная», а «сколько качать». Пользователь ждёт страницу, а не установку программы, поэтому ориентир такой.
- Эмбеддинги и поиск по смыслу. Самый благодарный сценарий: модели вроде MiniLM весят десятки мегабайт и считаются мгновенно даже без видеокарты. С этого стоит начинать.
- Классификация текста — тональность, тема, спам. Тот же класс размеров, работает на любом железе.
- Распознавание речи. Модели семейства Whisper бывают разного размера: маленькая версия качается за полминуты, крупная — уже сотни мегабайт. Для голосового ввода маленькой хватает.
- Картинки — что на фото, поиск объектов, вырезание фона. Средний вес, на видеокарте бодро, на процессоре терпимо.
- Языковая модель для чата. Самый тяжёлый вариант: даже маленькая модель в 4 бита — это сотни мегабайт весов. Реально, но только с явным предупреждением о загрузке и только с WebGPU.
И общее правило: снижай dtype раньше, чем берёшь модель поменьше. Переход с "fp32" на "q8" режет файл в разы, а разницу в ответах на таких задачах ты чаще всего не заметишь.
Это правда бесплатно?
Да — считает железо пользователя, счёта за токены нет. Платишь трафиком на первую загрузку весов и тем, что на слабой машине будет медленно. Поэтому для браузера берут маленькие модели, а тяжёлые задачи оставляют серверу.
Насколько это медленнее облака?
На видеокарте маленькая модель отвечает почти мгновенно. Разрыв с облаком становится заметен на больших моделях: сравнение локального запуска и облака — отдельный разговор. Ориентир простой: эмбеддинги, классификация, распознавание речи в браузере уже уместны; полноценный чат-ассистент — с оговорками.
Чем это отличается от запуска модели через Ollama?
Локальный запуск на своём компьютере — для тебя: ты ставишь программу и качаешь веса себе. Браузерный вариант — для пользователя: он открывает ссылку, ничего не устанавливает, и всё считается у него. Разные аудитории, разная цена входа.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





