← Alle Beiträge
KotlinMultiplatformLLMllama.cpp

LLMs offline auf Android ausführen – mit Kotlin

Dieser Artikel zeigt, wie du LLMs offline auf Android mit Kotlin ausführst – ohne Server, ohne API-Keys und mit vollem Datenschutz für deine Nutzer. Dafür nutzt du Llamatik, einen Kotlin-first-Wrapper um llama.cpp.

LLMs offline auf Android ausführen – mit Kotlin

Large Language Models (LLMs) auszuführen bedeutet meistens, Nutzerdaten in die Cloud zu schicken. Auf modernen Android-Geräten laufen LLMs aber komplett offline und lokal – mit Kotlin. Dieser Artikel zeigt, wie du LLMs offline auf Android mit Kotlin ausführst – ohne Server, ohne API-Keys und mit vollem Datenschutz für deine Nutzer. Dafür nutzt du Llamatik, einen Kotlin-first-Wrapper um llama.cpp.

Warum LLMs offline auf Android ausführen?

Cloud-basierte LLMs haben ihre Nachteile:

  • ❌ Abhängigkeit vom Netzwerk
  • ❌ Latenz
  • ❌ Nutzungsabhängige Kosten
  • ❌ Nutzerdaten verlassen das Gerät

Offline-LLMs ermöglichen:

  • 📴 Offline-first-Apps
  • 🔐 KI, die die Privatsphäre schützt
  • 📱 Planbare Performance und Kosten

Moderne Android-Handys sind leistungsstark genug – was bisher fehlte, war gutes Kotlin-Tooling.

llama.cpp: die Grundlage für LLMs auf dem Gerät

llama.cpp ist eine hochperformante C++-Runtime, die LLMs effizient auf CPUs ausführt.

Sie unterstützt:

  • Quantisierte GGUF-Modelle
  • ARM-CPUs (Android)
  • Keine Abhängigkeit von GPU oder Cloud

Aber C++ direkt in Android-Apps einzubinden ist mühsam. Genau hier kommt Llamatik ins Spiel.

Was ist Llamatik?

Llamatik ist eine Kotlin-first-Bibliothek, mit der Android-Entwickler llama.cpp über eine saubere Kotlin-API lokal ausführen können.

Die wichtigsten Features:

  • Vollständig offline Inferenz
  • Kein JNI im App-Code
  • Unterstützung für Kotlin Multiplatform
  • Kompatibilität mit GGUF-Modellen
  • Unterstützung für Streaming & Embeddings

Du schreibst nur Kotlin – die native Komplexität bleibt versteckt.

Llamatik zu deinem Android-Projekt hinzufügen

Llamatik ist auf Maven Central veröffentlicht.

dependencies {
 implementation("com.llamatik:library:0.12.0")
}

Kein eigenes Gradle-Setup. Keine NDK-Konfiguration.

Ein GGUF-Modell hinzufügen

Lade ein quantisiertes GGUF-Modell herunter (z. B. Q4) und lege es hier ab:

androidMain/assets/
└── phi-2.Q4_0.gguf

Kleinere Modelle laden schneller und laufen auf Mobilgeräten besser.

Das Modell laden

val modelPath = LlamaBridge.getModelPath("phi-2.Q4_0.gguf")
LlamaBridge.initGenerateModel(modelPath)

Dadurch wird das Modell aus den Assets kopiert und in den nativen Speicher geladen.

Text offline generieren

val response = LlamaBridge.generate(
 "Explain Kotlin Multiplatform in one sentence."
)

Das war’s schon. Kein Internet. Keine API-Keys. Keine Cloud-Aufrufe.

Streaming-Generierung (empfohlen)

Für Chat-artige UIs:

LlamaBridge.generateStreamWithContext(
 system = "You are a concise assistant.",
 context = "",
 user = "List three benefits of offline LLMs.",
 onDelta = { token -> /* update UI */ },
 onDone = { },
 onError = { error -> }
)

Das funktioniert nahtlos mit:

  • Jetpack Compose
  • StateFlow
  • ViewModels

Embeddings & Offline-RAG

Llamatik unterstützt außerdem Embeddings und ermöglicht damit Offline-Suche und RAG-Anwendungsfälle.

LlamaBridge.initModel(modelPath)
val embedding = LlamaBridge.embed("On-device AI with Kotlin")

Speichere Embeddings lokal, um komplett offline funktionierende KI-Features zu bauen.

Hinweise zur Performance

LLMs auf dem Gerät haben Grenzen:

  • Verwende quantisierte Modelle
  • Rechne mit langsameren Antworten als bei Cloud-GPUs
  • Gehe sorgfältig mit dem Speicher um

Aber für:

  • Assistenzfunktionen
  • Kurze Prompts
  • Domänenspezifische Aufgaben

ist die Performance mehr als ausreichend.

Wann solltest du Offline-LLMs einsetzen?

Llamatik ist ideal, wenn du Folgendes brauchst:

  • Offline-Unterstützung
  • Starke Datenschutzgarantien
  • Planbare Kosten
  • Enge UI-Integration

Es ist kein Ersatz für große Cloud-Modelle – es ist Edge-KI, richtig gemacht.

Probier es selbst aus

Schlussgedanken

LLMs offline auf Android mit Kotlin auszuführen ist längst nicht mehr experimentell. Mit den richtigen Tools können Kotlin-Entwickler private, offline laufende KI auf dem Gerät bauen – ohne C++ anzufassen. Wenn dich mobile KI jenseits der Cloud interessiert, ist das ein guter Einstieg.

Ursprünglich veröffentlicht auf Medium und Dev.to.

Probiere Llamatik auf deinem eigenen Gerät aus

Kostenlos, Open Source und privat. Starte im Browser oder lade die App herunter.