← Все статьи
KotlinMultiplatformLLMllama.cpp

Представляем Llamatik: офлайн-LLM для Kotlin Multiplatform

Знакомьтесь, Llamatik — мультиплатформенная библиотека на Kotlin для локального запуска llama.cpp на Android, iOS и десктопе, со встроенным HTTP-сервером.

Представляем Llamatik: офлайн-LLM для Kotlin Multiplatform

🦙 Представляем Llamatik: офлайн-LLM для Kotlin Multiplatform

Мы рады представить Llamatik — open-source библиотеку на Kotlin Multiplatform, которая с помощью llama.cpp приносит локальные большие языковые модели (LLM) на Android, iOS, десктоп и не только.

Llamatik позволяет просто и эффективно встроить офлайн-инференс и эмбеддинги прямо на устройстве в ваши KMP-приложения — будь то ИИ-ассистент, RAG-чатбот или инструмент для периферийного ИИ.

⸻

✨ Зачем нужен Llamatik?

Экосистема ИИ богата API, но большинство Kotlin-разработчиков по-прежнему привязаны к облачным моделям. А это задержки, риски для приватности и постоянные расходы.

Мы убеждены, что будущее ИИ — это:

• 🔐 Приватность: ваши данные остаются на устройстве.

• 📱 Мультиплатформенность: одна кодовая база для Android, iOS, macOS, Linux и Windows.

• ⚡ Производительность: рассчитано на небольшие квантизованные модели, которые быстро работают на обычном оборудовании.

Llamatik связывает C++-бэкенд llama.cpp с современными мультиплатформенными инструментами Kotlin — и даёт вам полный контроль над моделями и данными.

⸻

💡 Что можно делать с Llamatik?

С Llamatik вы можете:

• 🧠 Полностью офлайн запускать квантизованные LLM, такие как Phi-2, Mistral или TinyLlama.

• 🔍 Локально генерировать эмбеддинги с помощью моделей вроде nomic-embed-text или bge-small.

• ⚡ Запустить собственный HTTP-сервер инференса на Ktor — полностью автономный, встроенный в Llamatik и работающий на llama.cpp.

• 🌐 Подключаться к удалённым эндпоинтам llama.cpp (llama-cpp-python, llama-server или Ollama) через встроенный HTTP-клиент.

• 🔁 Использовать один и тот же API на Android, iOS и других нативных платформах — без платформенного кода.

⸻

🌐 Встроенный HTTP-сервер инференса

В Llamatik есть готовый HTTP-сервер на Ktor, который оборачивает ваши локальные модели llama.cpp. Его можно поднять одним вызовом и получить эндпоинты вроде:

POST /v1/chat/completions

POST /v1/embeddings

GET /v1/models

Это позволяет легко:

• 🔗 Подключать ваши приложения (или другие устройства) к общей локальной модели

• 🧪 Использовать с локальным сервером OpenAI-совместимые инструменты (например, LangChain, LlamaIndex)

• ⚙️ Встраивать в собственные периферийные развёртывания и эксперименты

Без Python. Без Docker. Только Kotlin + Llamatik.

⸻

📦 Что внутри?

• 🦙 Нативные биндинги к llama.cpp для таргетов Kotlin/Native (без ограничений, свойственных JNI).

• 🧠 Менеджер контекста для нескольких моделей (одновременная генерация и эмбеддинги).

• 🛰️ Опциональные HTTP-клиент и сервер.

• 🧱 Загрузка моделей, построение промптов и экономное использование памяти, рассчитанные на мобильные устройства.

• 🛠️ Простой и расширяемый API — созданный для Kotlin, а не адаптированный из Python.

⸻

📢 Присоединяйтесь

Llamatik — проект с открытым исходным кодом, который развивает сообщество. Строите ли вы ИИ-приложения или просто изучаете, что возможно офлайн, — мы будем рады услышать ваше мнение.

🔗 GitHub Repo

Попробуйте Llamatik на своём устройстве

Бесплатно, с открытым кодом и приватно. Начните в браузере или скачайте приложение.