→ همه نوشته‌ها
KotlinMultiplatformLLMllama.cpp

چگونه با Kotlin مدل‌های زبانی را به‌صورت آفلاین روی Android اجرا کنیم

این مقاله نشان می‌دهد چگونه با Kotlin و بدون سرور و کلید API، مدل‌های زبانی را آفلاین روی Android اجرا کنید و حریم خصوصی کاربر را کاملاً حفظ کنید؛ با Llamatik، پوششی Kotlin-محور بر llama.cpp.

چگونه با Kotlin مدل‌های زبانی را به‌صورت آفلاین روی Android اجرا کنیم

اجرای مدل‌های زبانی بزرگ (LLM) معمولاً یعنی ارسال داده‌های کاربر به فضای ابری. اما روی دستگاه‌های Android امروزی، مدل‌های زبانی می‌توانند کاملاً آفلاین و محلی و با Kotlin اجرا شوند. این مقاله نشان می‌دهد چگونه با Kotlin و بدون سرور و کلید API، مدل‌های زبانی را آفلاین روی Android اجرا کنید و حریم خصوصی کاربر را کاملاً حفظ کنید؛ با Llamatik، پوششی Kotlin-محور بر llama.cpp.

چرا مدل‌های زبانی را آفلاین روی Android اجرا کنیم؟

مدل‌های زبانی ابری با بده‌بستان‌هایی همراه‌اند:

  • ❌ وابستگی به شبکه
  • ❌ تأخیر
  • ❌ هزینه‌ی مبتنی بر مصرف
  • ❌ خروج داده‌های کاربر از دستگاه

مدل‌های زبانی آفلاین این امکان‌ها را فراهم می‌کنند:

  • 📴 برنامه‌های آفلاین‌محور
  • 🔐 هوش مصنوعی حافظ حریم خصوصی
  • 📱 عملکرد و هزینه‌ی قابل پیش‌بینی

گوشی‌های Android امروزی به‌قدر کافی قدرتمندند؛ حلقه‌ی گمشده ابزارهای خوب Kotlin بوده است.

llama.cpp: پایه‌ی مدل‌های زبانی روی دستگاه

llama.cpp یک رانتایم C++ با کارایی بالاست که برای اجرای کارآمد مدل‌های زبانی روی CPU طراحی شده است.

از این موارد پشتیبانی می‌کند:

  • مدل‌های کوانتیزه‌ی GGUF
  • CPUهای ARM (Android)
  • بدون وابستگی به GPU یا فضای ابری

اما یکپارچه‌کردن مستقیم C++ در برنامه‌های Android دردسر دارد. Llamatik همین‌جا به کار می‌آید.

Llamatik چیست؟

Llamatik کتابخانه‌ای Kotlin-محور است که به توسعه‌دهندگان Android اجازه می‌دهد llama.cpp را با یک API تمیز Kotlin به‌صورت محلی اجرا کنند.

ویژگی‌های کلیدی:

  • استنتاج کاملاً آفلاین
  • بدون JNI در کد برنامه
  • پشتیبانی از Kotlin Multiplatform
  • سازگاری با مدل‌های GGUF
  • پشتیبانی از streaming و امبدینگ

شما فقط Kotlin می‌نویسید؛ پیچیدگی نیتیو پنهان می‌ماند.

Llamatik را به پروژه‌ی Android خود اضافه کنید

Llamatik روی Maven Central منتشر شده است.

dependencies {
 implementation("com.llamatik:library:0.12.0")
}

بدون تنظیمات سفارشی Gradle. بدون پیکربندی NDK.

یک مدل GGUF اضافه کنید

یک مدل کوانتیزه‌ی GGUF (مثلاً Q4) دانلود کنید و آن را در این مسیر قرار دهید:

androidMain/assets/
└── phi-2.Q4_0.gguf

مدل‌های کوچک‌تر سریع‌تر بارگذاری می‌شوند و روی دستگاه‌های موبایل بهتر کار می‌کنند.

مدل را بارگذاری کنید

val modelPath = LlamaBridge.getModelPath("phi-2.Q4_0.gguf")
LlamaBridge.initGenerateModel(modelPath)

این کار مدل را از assets کپی می‌کند و در حافظه‌ی نیتیو بارگذاری می‌کند.

تولید متن آفلاین

val response = LlamaBridge.generate(
 "Explain Kotlin Multiplatform in one sentence."
)

همین و بس. بدون اینترنت. بدون کلید API. بدون فراخوانی ابری.

تولید به‌صورت streaming (توصیه‌شده)

برای رابط‌های کاربری چت‌مانند:

LlamaBridge.generateStreamWithContext(
 system = "You are a concise assistant.",
 context = "",
 user = "List three benefits of offline LLMs.",
 onDelta = { token -> /* update UI */ },
 onDone = { },
 onError = { error -> }
)

این روش به‌خوبی با موارد زیر کار می‌کند:

  • Jetpack Compose
  • StateFlow
  • ViewModelها

امبدینگ و RAG آفلاین

Llamatik از امبدینگ هم پشتیبانی می‌کند و جست‌وجوی آفلاین و کاربردهای RAG را ممکن می‌سازد.

LlamaBridge.initModel(modelPath)
val embedding = LlamaBridge.embed("On-device AI with Kotlin")

امبدینگ‌ها را به‌صورت محلی ذخیره کنید تا قابلیت‌های هوش مصنوعی کاملاً آفلاین بسازید.

نکاتی درباره‌ی عملکرد

مدل‌های زبانی روی دستگاه محدودیت‌هایی دارند:

  • از مدل‌های کوانتیزه استفاده کنید
  • انتظار پاسخ‌های کندتر از GPUهای ابری را داشته باشید
  • حافظه را با دقت مدیریت کنید

اما برای:

  • قابلیت‌های کمکی
  • promptهای کوتاه
  • کارهای تخصصی یک حوزه

عملکرد بیش از کافی است.

چه زمانی از مدل‌های زبانی آفلاین استفاده کنیم؟

Llamatik زمانی ایده‌آل است که به این موارد نیاز دارید:

  • پشتیبانی آفلاین
  • تضمین‌های قوی حریم خصوصی
  • هزینه‌های قابل پیش‌بینی
  • یکپارچگی نزدیک با رابط کاربری

جایگزین مدل‌های بزرگ ابری نیست؛ هوش مصنوعی لبه است، درست و اصولی.

خودتان امتحان کنید

سخن پایانی

اجرای آفلاین مدل‌های زبانی روی Android با Kotlin دیگر آزمایشی نیست. با ابزارهای درست، توسعه‌دهندگان Kotlin می‌توانند هوش مصنوعی خصوصی، آفلاین و روی دستگاه بسازند، بی‌آنکه به C++ دست بزنند. اگر درباره‌ی هوش مصنوعی موبایل فراتر از فضای ابری کنجکاوید، این نقطه‌ی شروع خوبی است.

نخستین‌بار در Medium و Dev.to منتشر شده است.

Llamatik را روی دستگاه خودتان امتحان کنید

رایگان، متن‌باز و خصوصی. از مرورگر شروع کنید یا برنامه را دانلود کنید.