← Todos os posts
KotlinMultiplatformLLMllama.cpp

Como rodar LLMs offline no Android usando Kotlin

Este artigo mostra como rodar LLMs offline no Android usando Kotlin, sem servidores, sem chaves de API e com total privacidade para o usuário, com o Llamatik, um wrapper do llama.cpp pensado para Kotlin.

Como rodar LLMs offline no Android usando Kotlin

Rodar Large Language Models (LLMs) normalmente significa enviar os dados do usuário para a nuvem. Mas nos dispositivos Android modernos, os LLMs podem rodar totalmente offline, de forma local, usando Kotlin. Este artigo mostra como rodar LLMs offline no Android usando Kotlin, sem servidores, sem chaves de API e com total privacidade para o usuário, com o Llamatik, um wrapper do llama.cpp pensado para Kotlin.

Por que rodar LLMs offline no Android?

Os LLMs na nuvem têm seus contrapontos:

  • ❌ Dependência de rede
  • ❌ Latência
  • ❌ Custo baseado em uso
  • ❌ Dados do usuário saindo do dispositivo

Os LLMs offline permitem:

  • 📴 Apps offline-first
  • 🔐 IA que preserva a privacidade
  • 📱 Desempenho e custo previsíveis

Os celulares Android modernos são potentes o bastante. O que faltava era um bom ferramental Kotlin.

llama.cpp: a base dos LLMs no dispositivo

O llama.cpp é um runtime C++ de alto desempenho criado para rodar LLMs de forma eficiente em CPUs.

Ele oferece suporte a:

  • Modelos GGUF quantizados
  • CPUs ARM (Android)
  • Nenhuma dependência de GPU ou nuvem

Mas integrar C++ diretamente em apps Android é trabalhoso. É aí que entra o Llamatik.

O que é o Llamatik?

O Llamatik é uma biblioteca pensada primeiro para Kotlin que permite aos desenvolvedores Android rodar o llama.cpp localmente por meio de uma API Kotlin limpa.

Principais recursos:

  • Inferência totalmente offline
  • Sem JNI no código do app
  • Suporte a Kotlin Multiplatform
  • Compatibilidade com modelos GGUF
  • Suporte a streaming e embeddings

Você escreve apenas Kotlin, e a complexidade nativa fica escondida.

Adicione o Llamatik ao seu projeto Android

O Llamatik é publicado no Maven Central.

dependencies {
 implementation("com.llamatik:library:0.12.0")
}

Sem configuração personalizada do Gradle. Sem configuração do NDK.

Adicione um modelo GGUF

Baixe um modelo GGUF quantizado (por exemplo, Q4) e coloque-o em:

androidMain/assets/
└── phi-2.Q4_0.gguf

Modelos menores carregam mais rápido e funcionam melhor em dispositivos móveis.

Carregue o modelo

val modelPath = LlamaBridge.getModelPath("phi-2.Q4_0.gguf")
LlamaBridge.initGenerateModel(modelPath)

Isso copia o modelo dos assets e o carrega na memória nativa.

Gere texto offline

val response = LlamaBridge.generate(
 "Explain Kotlin Multiplatform in one sentence."
)

Só isso. Sem internet. Sem chaves de API. Sem chamadas à nuvem.

Geração em streaming (recomendado)

Para interfaces no estilo chat:

LlamaBridge.generateStreamWithContext(
 system = "You are a concise assistant.",
 context = "",
 user = "List three benefits of offline LLMs.",
 onDelta = { token -> /* update UI */ },
 onDone = { },
 onError = { error -> }
)

Isso funciona perfeitamente com:

  • Jetpack Compose
  • StateFlow
  • ViewModels

Embeddings e RAG offline

O Llamatik também oferece suporte a embeddings, o que habilita busca offline e casos de uso de RAG.

LlamaBridge.initModel(modelPath)
val embedding = LlamaBridge.embed("On-device AI with Kotlin")

Armazene os embeddings localmente para criar recursos de IA totalmente offline.

Observações sobre desempenho

Os LLMs no dispositivo têm limites:

  • Use modelos quantizados
  • Espere respostas mais lentas do que em GPUs na nuvem
  • Gerencie a memória com cuidado

Mas para:

  • Recursos de assistência
  • Prompts curtos
  • Tarefas de domínio específico

O desempenho é mais do que suficiente.

Quando usar LLMs offline?

O Llamatik é ideal quando você precisa de:

  • Suporte offline
  • Fortes garantias de privacidade
  • Custos previsíveis
  • Integração estreita com a interface

Ele não substitui os grandes modelos na nuvem: é IA na borda feita do jeito certo.

Experimente você mesmo

Considerações finais

Rodar LLMs offline no Android usando Kotlin não é mais algo experimental. Com as ferramentas certas, desenvolvedores Kotlin podem criar IA privada, offline e no dispositivo, sem encostar em C++. Se você tem curiosidade sobre IA móvel além da nuvem, este é um ótimo ponto de partida.

Publicado originalmente no Medium e no Dev.to.

Experimente o Llamatik no seu próprio dispositivo

Gratuito, de código aberto e privado. Comece no navegador ou baixe o app.