Представляем Llamatik: офлайн-LLM для Kotlin Multiplatform
Знакомьтесь, Llamatik — мультиплатформенная библиотека на Kotlin для локального запуска llama.cpp на Android, iOS и десктопе, со встроенным HTTP-сервером.
🦙 Представляем Llamatik: офлайн-LLM для Kotlin Multiplatform
Мы рады представить Llamatik — open-source библиотеку на Kotlin Multiplatform, которая с помощью llama.cpp приносит локальные большие языковые модели (LLM) на Android, iOS, десктоп и не только.
Llamatik позволяет просто и эффективно встроить офлайн-инференс и эмбеддинги прямо на устройстве в ваши KMP-приложения — будь то ИИ-ассистент, RAG-чатбот или инструмент для периферийного ИИ.
⸻
✨ Зачем нужен Llamatik?
Экосистема ИИ богата API, но большинство Kotlin-разработчиков по-прежнему привязаны к облачным моделям. А это задержки, риски для приватности и постоянные расходы.
Мы убеждены, что будущее ИИ — это:
• 🔐 Приватность: ваши данные остаются на устройстве.
• 📱 Мультиплатформенность: одна кодовая база для Android, iOS, macOS, Linux и Windows.
• ⚡ Производительность: рассчитано на небольшие квантизованные модели, которые быстро работают на обычном оборудовании.
Llamatik связывает C++-бэкенд llama.cpp с современными мультиплатформенными инструментами Kotlin — и даёт вам полный контроль над моделями и данными.
⸻
💡 Что можно делать с Llamatik?
С Llamatik вы можете:
• 🧠 Полностью офлайн запускать квантизованные LLM, такие как Phi-2, Mistral или TinyLlama.
• 🔍 Локально генерировать эмбеддинги с помощью моделей вроде nomic-embed-text или bge-small.
• ⚡ Запустить собственный HTTP-сервер инференса на Ktor — полностью автономный, встроенный в Llamatik и работающий на llama.cpp.
• 🌐 Подключаться к удалённым эндпоинтам llama.cpp (llama-cpp-python, llama-server или Ollama) через встроенный HTTP-клиент.
• 🔁 Использовать один и тот же API на Android, iOS и других нативных платформах — без платформенного кода.
⸻
🌐 Встроенный HTTP-сервер инференса
В Llamatik есть готовый HTTP-сервер на Ktor, который оборачивает ваши локальные модели llama.cpp. Его можно поднять одним вызовом и получить эндпоинты вроде:
POST /v1/chat/completions
POST /v1/embeddings
GET /v1/models
Это позволяет легко:
• 🔗 Подключать ваши приложения (или другие устройства) к общей локальной модели
• 🧪 Использовать с локальным сервером OpenAI-совместимые инструменты (например, LangChain, LlamaIndex)
• ⚙️ Встраивать в собственные периферийные развёртывания и эксперименты
Без Python. Без Docker. Только Kotlin + Llamatik.
⸻
📦 Что внутри?
• 🦙 Нативные биндинги к llama.cpp для таргетов Kotlin/Native (без ограничений, свойственных JNI).
• 🧠 Менеджер контекста для нескольких моделей (одновременная генерация и эмбеддинги).
• 🛰️ Опциональные HTTP-клиент и сервер.
• 🧱 Загрузка моделей, построение промптов и экономное использование памяти, рассчитанные на мобильные устройства.
• 🛠️ Простой и расширяемый API — созданный для Kotlin, а не адаптированный из Python.
⸻
📢 Присоединяйтесь
Llamatik — проект с открытым исходным кодом, который развивает сообщество. Строите ли вы ИИ-приложения или просто изучаете, что возможно офлайн, — мы будем рады услышать ваше мнение.
Попробуйте Llamatik на своём устройстве
Бесплатно, с открытым кодом и приватно. Начните в браузере или скачайте приложение.