Apresentamos o Llamatik: LLMs offline para Kotlin Multiplatform
Conheça o Llamatik — uma biblioteca Kotlin multiplataforma para rodar o llama.cpp localmente no Android, iOS e desktop, com servidor HTTP incluso.
🦙 Apresentamos o Llamatik: LLMs offline para Kotlin Multiplatform
Estamos muito felizes em apresentar o Llamatik — uma biblioteca Kotlin Multiplatform de código aberto que leva Large Language Models (LLMs) locais para Android, iOS, desktop e além, usando o poder do llama.cpp.
O Llamatik torna simples e eficiente integrar inferência e embeddings offline, direto no dispositivo, aos seus apps KMP, esteja você construindo um assistente de IA, um chatbot com RAG ou uma ferramenta de inteligência na borda.
⸻
✨ Por que o Llamatik?
Embora o ecossistema de IA seja rico em APIs, a maioria dos desenvolvedores Kotlin ainda depende de modelos na nuvem. Isso significa latência, riscos à privacidade e custos recorrentes.
Acreditamos que o futuro da IA é:
• 🔐 Privado: seus dados ficam no dispositivo.
• 📱 Multiplataforma: uma única base de código para Android, iOS, macOS, Linux e Windows.
• ⚡ Performático: feito para modelos pequenos e quantizados que rodam rápido em hardware comum.
O Llamatik faz a ponte entre o backend em C++ do llama.cpp e as ferramentas multiplataforma modernas do Kotlin — dando a você controle total sobre seus modelos e seus dados.
⸻
💡 O que dá para fazer com ele?
Com o Llamatik, você pode:
• 🧠 Rodar LLMs quantizados como Phi-2, Mistral ou TinyLlama totalmente offline.
• 🔍 Gerar embeddings localmente com modelos como nomic-embed-text ou bge-small.
• ⚡ Subir o seu próprio servidor de inferência HTTP com Ktor — totalmente autônomo, embutido no Llamatik e movido pelo llama.cpp.
• 🌐 Conectar-se a endpoints remotos do llama.cpp (como llama-cpp-python, llama-server ou Ollama) com o cliente HTTP incluso.
• 🔁 Usar a mesma API no Android, no iOS e em outras plataformas nativas — sem código específico de plataforma.
⸻
🌐 Servidor de inferência HTTP integrado
O Llamatik inclui um servidor HTTP pronto para uso, baseado em Ktor, que encapsula os seus modelos locais do llama.cpp. Você o inicia com uma única chamada e expõe endpoints como:
POST /v1/chat/completions
POST /v1/embeddings
GET /v1/models
Isso facilita:
• 🔗 Conectar seus próprios apps (ou outros dispositivos) a um modelo local compartilhado
• 🧪 Usar ferramentas compatíveis com a OpenAI (como LangChain e LlamaIndex) com o seu servidor local
• ⚙️ Integrar a seus próprios deployments de borda ou experimentos
Sem Python. Sem Docker. Só Kotlin + Llamatik.
⸻
📦 O que vem dentro?
• 🦙 Bindings nativos para o llama.cpp em targets Kotlin/Native (sem as limitações de JNI).
• 🧠 Gerenciador de contexto multimodelo (para geração e embeddings simultâneos).
• 🛰️ Cliente e servidor HTTP opcionais.
• 🧱 Carregamento de modelos, montagem de prompts e execução eficiente em memória, pensados para dispositivos móveis.
• 🛠️ API simples e extensível — feita para Kotlin, não adaptada de Python.
⸻
📢 Participe
O Llamatik é de código aberto e movido pela comunidade. Seja você alguém construindo apps com IA em primeiro lugar ou apenas explorando o que é possível offline, adoraríamos ouvir você.
Experimente o Llamatik no seu próprio dispositivo
Gratuito, de código aberto e privado. Comece no navegador ou baixe o app.