Сначала набросок, потом чистовик

Локальная LLM, которая читает документы в 2–3,7 раза быстрее

SketchLM — сервер для языковых моделей на видеокартах NVIDIA. Договоры, регламенты, базы знаний и история диалога читаются в разы быстрее llama.cpp на той же карте. Всё работает внутри вашего контура, без интернета, с API как у OpenAI.

Попробовать 3 дня Смотреть замеры
11 090токенов в секунду на RTX 3090
0,14 сповторный вопрос по документу
+1,9%к перплексии исходной модели

Документ на 32 тысячи токенов. Кто первым начнёт отвечать?

Это примерно 60 страниц договора. Время до первого слова ответа, Qwen3-8B, замеренные скорости. Гонка идёт в 3 раза быстрее реального времени.

прошло 0,0 с реального времени
Mac Studio M3 Ultrallama.cpp, 512 ГБ памяти
0,0 с
RTX 3090llama.cpp
0,0 с
RTX 3090 + SketchLMточный режим
0,0 с
RTX 3090 + SketchLMбыстрый режим
0,0 с
vLLM на этой карте с таким документом не справился: не хватило памяти.Одна видеокарта прошлого поколения против Mac Studio за 10 000 $.

Скорость чтения на всех длинах

Токенов промпта в секунду на одной RTX 3090, модель Qwen3-8B. Выше — лучше.

2,1–3,7×быстрее llama.cpp на той же видеокарте
6 из 6фактов найдено в документе на 9,6 тысячи токенов
115 ток/сскорость написания ответа, на уровне llama.cpp

llama.cpp: llama-bench, Q4_K_M, flash attention. vLLM 0.32: Qwen3-8B-AWQ, кэш префикса выключен. SketchLM: точный режим — веса 4 бита, активации 8 бит, перплексия 9,91 против 9,72 у исходной bf16-модели; быстрый режим — 4/4 бита, для черновой обработки. Замеры октябрь 2026.

Как это работает

Большую часть времени модель не пишет ответ, а читает ваш документ. Мы ускорили именно чтение — и не тронули качество ответа.

INT4 · 568 TOPS
шаг 1

Читаем набросок

Документ читается грубо и очень быстро — на INT4-блоках видеокарты, которые обычно простаивают. Повороты Адамара и GPTQ не дают модели потерять смысл от низкой точности.

16 бит · ответ
шаг 2

Пишем чистовик

Ответ пишется с полной точностью поверх прочитанного. Поэтому ответы почти не отличаются от исходной модели, а ждать приходится в разы меньше.

из кэшановое
шаг 3

Не перечитываем

Агенты и чаты по документам каждый раз отправляют тот же контекст. Сервер дочитывает только новые слова, и повторный ответ начинается за доли секунды.

Как это выглядит в работе

У сервера есть своя страница чата. Это повтор реального прогона на RTX 3090: документ на 12,6 тысячи токенов и два вопроса.

SketchLMqwen3-8b · точный режим · RTX 3090
Спросите о документе

Прикрепили документ

Файл на 77 тысяч символов прочитан за 1,34 секунды.

Спросили ещё раз

Второй вопрос — 0,2 секунды: 12 612 токенов взяты из кэша, дочитаны только 40 новых.

Подключили своё приложение

API совместим с OpenAI: меняете адрес сервера в коде, остальное работает как было.

Проверено на данных · следующий шаг — Thunderbolt

Видеокарта читает, Мак пишет

У Мака много памяти для больших моделей, но он медленно читает длинные документы. SketchLM отдаёт чтение видеокарте NVIDIA, а Мак пишет ответ поверх готового. Мы проверили: обычный MLX на Mac Studio продолжает работу с кэша, прочитанного на RTX 3090.

7×быстрее Мак читает документ с помощью карты
+1,1%к качеству ответа против «Мак читает сам»
0,995совпадение кэша с исходной моделью
RTX 3090читает документ Mac Studioпишет ответ KV-кэш 144 МБ / 1000 ток.

Кому подходит

Интеграторам

Ставите ассистентов по документам и RAG у заказчиков? SketchLM даёт быстрые ответы на скромном железе и подключается вместо vLLM или Ollama без переделки кода.

Компаниям с закрытыми данными

Юристы, банки, промышленность, госсектор. Модель работает внутри контура, без интернета: документы не покидают ваш сервер.

GPU-хостингам и сборщикам

Готовое решение «LLM в коробке» на недорогих картах: клиенту хватает более простой конфигурации, а вы продаёте понятный результат.

Попробуйте 3 дня на своих документах

Соберём пробную версию под ваш сервер. Сравните с тем, что у вас сейчас, на своих данных. Дальше — лицензия под ваш сценарий, условия обсуждаем индивидуально.

Написать в Telegram
  • Linux и видеокарта NVIDIA RTX 30-й серии (проверено на RTX 3090)
  • Модели семейства Qwen3 (4B, 8B), квантуем сами за 10–20 минут
  • Для одного пользователя или небольшой команды: запросы идут по очереди
  • Поддержка RTX 40 и 50 — в работе

Частые вопросы

Чем это отличается от vLLM или Ollama?

vLLM и Ollama сделаны для общего случая. SketchLM заточен под одну задачу — быстро прочитать длинный документ на игровой видеокарте NVIDIA: использует INT4-блоки карты, которые обычно простаивают, и пишет ответ с полной точностью. На RTX 3090 это в 2,4 раза быстрее vLLM и в 2,1 раза быстрее llama.cpp (Ollama построена на нём). Для сотен одновременных пользователей vLLM по-прежнему лучше.

Нужен ли интернет?

Нет. После установки всё работает внутри вашей сети, данные никуда не отправляются.

Не теряется ли качество?

В точном режиме — почти нет: перплексия 9,91 против 9,72 у исходной модели, все факты из длинного документа находятся. Быстрый режим ещё быстрее, но теряет точные факты в длинных документах, поэтому по умолчанию включён точный.

Какие модели и видеокарты поддерживаются?

Сейчас — модели семейства Qwen3 (4B, 8B) и видеокарты RTX 30-й серии. Поддержка RTX 40 и 50 и более крупных моделей в работе.

Как встроить в своё приложение?

API совместим с OpenAI: любой клиент OpenAI работает, достаточно поменять адрес сервера. Есть стриминг, стоп-строки, top_p и статистика скорости в каждом ответе.

Сколько стоит?

Зависит от сценария: своя команда или установка у ваших клиентов, количество серверов. Начните с бесплатной пробной версии на 3 дня, условия обсудим по результату.

Расскажите о своей задаче

Какие документы, сколько пользователей, какое железо — подготовим пробную версию и покажем цифры на ваших данных.

Telegram @omibranch