Гайды

Как запустить ИИ-модель прямо в браузере — без сервера и без ключа

Иллюстрация: мотор работает внутри вкладки, шнур в стену не воткнут

Обычный путь к ИИ в приложении такой: заводишь ключ, поднимаешь бэкенд, платишь за токены, объясняешь пользователю, куда уехали его данные.

Есть второй путь, о котором знают куда меньше. Модель можно скачать во вкладку и считать на компьютере пользователя. Ни ключа, ни сервера, ни счёта — и данные никуда не отправляются, потому что отправлять физически некуда. Сейчас соберём такое: поиск по смыслу, целиком в браузере.

Что тебе понадобится

Свежий Chrome, Edge или Safari, папка с проектом и любой локальный сервер (подойдёт npx serve). Файл, открытый как file://, не годится — нужен http://localhost или HTTPS.

Шаг 1. Проверь, есть ли видеокарта

Открой консоль браузера и выполни:

console.log(!!navigator.gpu);
const adapter = navigator.gpu && (await navigator.gpu.requestAdapter());
console.log(adapter);

Две проверки, а не одна. navigator.gpu говорит, что браузер знает про WebGPU. А requestAdapter() может всё равно вернуть null — например, в Firefox на макé или на неподдержанной видеокарте. Если получил объект — считать будем на GPU. Если null — тоже нормально, просто медленнее. Что делать в этом случае — в статье почему WebGPU недоступен.

Шаг 2. Подключи библиотеку

Библиотека Transformers.js умеет то же, что питоновский transformers, только в JavaScript. Ставится через npm:

npm i @huggingface/transformers

Либо, если хочешь просто один HTML-файл без сборки, — прямо с CDN:

import { pipeline } from "https://cdn.jsdelivr.net/npm/@huggingface/transformers@4/+esm";

Шаг 3. Узнай, сколько будет качать

Вот шаг, который почти все пропускают, а зря: спроси размер до загрузки. Пользователю на мобильном интернете внезапные 400 мегабайт не понравятся.

import { ModelRegistry } from "@huggingface/transformers";

const modelId = "onnx-community/all-MiniLM-L6-v2-ONNX";
const options = { dtype: "q8" };

const files = await ModelRegistry.get_pipeline_files("feature-extraction", modelId, options);
const meta = await Promise.all(files.map((f) => ModelRegistry.get_file_metadata(modelId, f)));
const bytes = meta.reduce((sum, m) => sum + m.size, 0);

console.log(Math.round(bytes / 1e6), "МБ");

Тут же можно проверить, не скачано ли уже: await ModelRegistry.is_pipeline_cached("feature-extraction", modelId, options). Если да — второй запуск будет мгновенным.

Шаг 4. Запусти модель

Всё, ради чего мы шли. Одна функция создаёт готовый конвейер: скачать модель, подготовить вход, посчитать, разобрать выход.

import { pipeline } from "@huggingface/transformers";

const device = (await navigator.gpu?.requestAdapter()) ? "webgpu" : "wasm";

const embed = await pipeline("feature-extraction", "onnx-community/all-MiniLM-L6-v2-ONNX", {
  device,
  dtype: "q8",
  progress_callback: (p) => {
    if (p.status === "progress") console.log(Math.round(p.progress) + "%");
  },
});

Два параметра тут ключевые:

  • device — где считать. "webgpu" — на видеокарте, "wasm" — на процессоре через WebAssembly. Именно ради этого переключателя мы делали первый шаг.
  • dtype — точность весов. "q8" — квантование до 8 бит: файл в разы легче, качество почти то же. Есть и "q4", и совсем экономные "q2".

Шаг 5. Посчитай смысл

Модель превращает текст в вектор — эмбеддинг. Два текста об одном и том же дают близкие векторы, даже если слова разные.

const texts = ["как отменить подписку", "верните мне деньги", "рецепт борща"];
const out = await embed(texts, { pooling: "mean", normalize: true });
const v = out.tolist();

const cos = (a, b) => a.reduce((s, x, i) => s + x * b[i], 0);

console.log(cos(v[0], v[1])); // близко — обе фразы про деньги и отказ
console.log(cos(v[0], v[2])); // далеко — борщ ни при чём

Из этих трёх строк и получается поиск по смыслу: считаешь векторы своих заметок один раз, кладёшь рядом с текстами, а при запросе сравниваешь. Ни одного запроса в сеть.

Шаг 6. Не качай это дважды

Скачанные веса Transformers.js складывает в браузерный кэш — тот же общий склад, где живёт IndexedDB. Второй визит модель уже не скачивает.

Три вещи, чтобы это не сломалось:

  • отдавай сайт по HTTPS — иначе не будет ни WebGPU, ни нормального кэша;
  • показывай прогресс из progress_callback — молчаливая полоса на 200 мегабайт выглядит как зависший сайт;
  • считай в веб-воркере, если модель крупная: иначе интерфейс подмерзает на время расчёта.

Что получится

HTML-страница, которая при первом открытии качает модель, а дальше работает даже без интернета. Она сравнивает тексты по смыслу за десятки миллисекунд, не знает слова «API-ключ» и ничего не отправляет наружу.

Дальше меняется одна строка — название задачи в pipeline. "automatic-speech-recognition" — распознавание речи, "image-classification" — что на фото, "translation" — перевод. Библиотека поддерживает около двухсот архитектур, и почти все работают на видеокарте.

Какую модель брать под задачу

Главный критерий в браузере не «умная», а «сколько качать». Пользователь ждёт страницу, а не установку программы, поэтому ориентир такой.

  • Эмбеддинги и поиск по смыслу. Самый благодарный сценарий: модели вроде MiniLM весят десятки мегабайт и считаются мгновенно даже без видеокарты. С этого стоит начинать.
  • Классификация текста — тональность, тема, спам. Тот же класс размеров, работает на любом железе.
  • Распознавание речи. Модели семейства Whisper бывают разного размера: маленькая версия качается за полминуты, крупная — уже сотни мегабайт. Для голосового ввода маленькой хватает.
  • Картинки — что на фото, поиск объектов, вырезание фона. Средний вес, на видеокарте бодро, на процессоре терпимо.
  • Языковая модель для чата. Самый тяжёлый вариант: даже маленькая модель в 4 бита — это сотни мегабайт весов. Реально, но только с явным предупреждением о загрузке и только с WebGPU.

И общее правило: снижай dtype раньше, чем берёшь модель поменьше. Переход с "fp32" на "q8" режет файл в разы, а разницу в ответах на таких задачах ты чаще всего не заметишь.

Это правда бесплатно?

Да — считает железо пользователя, счёта за токены нет. Платишь трафиком на первую загрузку весов и тем, что на слабой машине будет медленно. Поэтому для браузера берут маленькие модели, а тяжёлые задачи оставляют серверу.

Насколько это медленнее облака?

На видеокарте маленькая модель отвечает почти мгновенно. Разрыв с облаком становится заметен на больших моделях: сравнение локального запуска и облака — отдельный разговор. Ориентир простой: эмбеддинги, классификация, распознавание речи в браузере уже уместны; полноценный чат-ассистент — с оговорками.

Чем это отличается от запуска модели через Ollama?

Локальный запуск на своём компьютере — для тебя: ты ставишь программу и качаешь веса себе. Браузерный вариант — для пользователя: он открывает ссылку, ничего не устанавливает, и всё считается у него. Разные аудитории, разная цена входа.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →