FAQ
Вопросы и ответы.
Всё, что нужно знать о работе с приватным ИИ на устройстве с помощью Llamatik.
Что такое Llamatik?
Llamatik — это бесплатная open-source платформа для приватного ИИ на устройстве. В неё входят приложение Llamatik (Android, iOS, macOS, Windows, Linux и веб), Kotlin Multiplatform SDK, собственный сервер и Llamatik Code — ИИ-помощник для программирования в IDE от JetBrains. Платформа построена на открытых движках: llama.cpp, whisper.cpp и stable-diffusion.cpp.
Работает ли он офлайн?
Да. Когда модель загружена, чат, зрение, голос и генерация изображений работают на вашем устройстве без подключения к интернету. Онлайн нужно быть только для загрузки моделей и обновлений.
Отправляются ли мои данные куда-либо?
По умолчанию нет. Промпты, документы и голос обрабатываются на вашем устройстве, а создавать аккаунт не нужно. Данные покидают устройство, только если вы сами подключите приложение к Llamatik Server или к другому устройству через «Поделиться устройством»; сейчас такие соединения используют незашифрованный HTTP, поэтому держите их в доверенных сетях. Приложение для Android также может отправлять отчёты о сбоях и базовую статистику использования, но только если вы включите это в Настройках (по умолчанию выключено; ваши промпты, чаты и документы не передаются). Этот сайт не использует cookie и трекеры аналитики.
Какие устройства и операционные системы поддерживаются?
Android 8.0 и новее, iPhone и iPad с iOS 16.6 и новее, macOS (Apple Silicon и Intel), Windows 10 и новее, Linux на базе Debian и Ubuntu (.deb), а также современные браузеры через WebAssembly. Всё это можно скачать на странице загрузки.
Какие модели можно запускать?
Любые модели в формате GGUF, которые поддерживает llama.cpp. В приложении есть встроенный каталог (например, модели Gemma 3, SmolVLM и Whisper), либо можно открыть файл
.gguf, который уже есть на вашем устройстве. Для распознавания речи используются модели Whisper, для анализа изображений — модели зрения вроде SmolVLM, а для изображений и видео — модели stable-diffusion.cpp.Сколько памяти и места на диске нужно?
Зависит от модели. Как правило, квантованной модели нужно примерно столько свободной памяти, сколько занимает её файл, плюс запас для диалога. Модель на 1 млрд параметров с 4-битным квантованием занимает меньше 1 ГБ и запустится на многих современных телефонах; более крупным моделям нужно больше оперативной памяти. Если приложение закрывается или тормозит, попробуйте модель поменьше или с более сильным квантованием.
Умеет ли он создавать изображения и видео или распознавать речь?
Да. Нативные приложения умеют генерировать изображения и короткие видео с помощью stable-diffusion.cpp, распознавать аудио офлайн с помощью Whisper и отвечать на вопросы о картинках с помощью моделей зрения на устройстве. Набор доступных функций зависит от платформы и загруженных моделей. Веб-приложение ориентировано на чат.
Чем отличаются приложение, SDK и сервер?
Приложение — готовый к использованию продукт. SDK (
com.llamatik:core, sdk и sdk-agent на Maven Central) позволяет встроить те же возможности в ваше собственное приложение на Kotlin Multiplatform. Сервер предоставляет тот же API по HTTP, так что вы можете развернуть модели у себя на более мощной машине, а приложения на базе SDK смогут использовать его без изменений кода.Можно ли использовать с телефона более мощный компьютер?
Да. Включите «Поделиться устройством» на компьютере, телефоне или планшете, и другие ваши устройства с Llamatik в той же сети смогут найти его и использовать его загруженные модели — после того как вы одобрите каждое устройство. Также можно подключить приложение к собственному Llamatik Server.
Llamatik бесплатный? Какая у него лицензия?
Приложения бесплатны и не требуют аккаунта. Исходный код открыт по лицензии MIT; название Llamatik, логотип и визуальные материалы являются собственностью проекта и защищены отдельной лицензией. У Llamatik Code есть бесплатный тариф и платный тариф Pro с дополнительными возможностями.
Можно ли использовать Llamatik в собственном приложении?
Да. Добавьте
com.llamatik:core (инференс), com.llamatik:sdk (чат, модели, RAG, агенты) или com.llamatik:sdk-agent в проект на Kotlin Multiplatform; они поддерживают Android, iOS, десктоп и WASM. Смотрите документацию и GitHub.Как работает поле запроса на главной странице?
Когда вы нажимаете Enter, вы выбираете, где Llamatik ответит: в веб-приложении, в скачанном приложении (запрос копируется) или просто скопировать его. Для веб-приложения текст передаётся странице во фрагменте URL (часть после
#), который браузеры никогда не отправляют ни на какой сервер. При первом запуске веб-приложению всё равно нужно загрузить модель в ваш браузер.Где получить помощь или сообщить об ошибке?
Создайте issue на GitHub или свяжитесь с нами через страницу контактов.
Остались вопросы?
Спросите на GitHub или напишите нам. Мы с радостью поможем.