→ همه نوشته‌ها
KotlinMultiplatformLLMllama.cpp

معرفی Llamatik: مدل‌های زبانی آفلاین برای Kotlin Multiplatform

با Llamatik آشنا شوید؛ کتابخانه‌ای چندپلتفرمی در Kotlin برای اجرای محلی llama.cpp روی Android، iOS و دسکتاپ، همراه با یک سرور HTTP.

معرفی Llamatik: مدل‌های زبانی آفلاین برای Kotlin Multiplatform

🦙 معرفی Llamatik: مدل‌های زبانی آفلاین برای Kotlin Multiplatform

با خوشحالی Llamatik را معرفی می‌کنیم؛ کتابخانه‌ای متن‌باز در Kotlin Multiplatform که با اتکا به قدرت llama.cpp، مدل‌های زبانی بزرگ (LLM) محلی را به Android، iOS، دسکتاپ و فراتر از آن می‌آورد.

Llamatik یکپارچه‌سازی استنتاج و امبدینگ آفلاین و روی دستگاه را در برنامه‌های KMP ساده و کارآمد می‌کند، چه یک دستیار هوش مصنوعی بسازید، چه یک چت‌بات RAG یا ابزاری برای هوش لبه‌ای.

⸻

✨ چرا Llamatik؟

با اینکه اکوسیستم هوش مصنوعی پر از API است، بیشتر توسعه‌دهندگان Kotlin هنوز به مدل‌های ابری وابسته‌اند. یعنی تأخیر، خطرهای حریم خصوصی و هزینه‌های مداوم.

ما باور داریم آینده‌ی هوش مصنوعی این‌گونه است:

• 🔐 خصوصی: داده‌های شما روی دستگاه می‌ماند.

• 📱 چندپلتفرمی: یک کدبیس برای Android، iOS، macOS، Linux و Windows.

• ⚡ کارآمد: ساخته‌شده برای مدل‌های کوچک و کوانتیزه که روی سخت‌افزار مصرفی سریع اجرا می‌شوند.

Llamatik شکاف میان بک‌اند C++ در llama.cpp و ابزارهای چندپلتفرمی مدرن Kotlin را پر می‌کند و کنترل کامل مدل‌ها و داده‌هایتان را در اختیار شما می‌گذارد.

⸻

💡 با آن چه کارهایی می‌توان کرد؟

با Llamatik می‌توانید:

• 🧠 مدل‌های زبانی کوانتیزه‌ای مانند Phi-2، Mistral یا TinyLlama را کاملاً آفلاین اجرا کنید.

• 🔍 با مدل‌هایی مانند nomic-embed-text یا bge-small به‌صورت محلی امبدینگ تولید کنید.

• ⚡ سرور استنتاج HTTP خودتان را با Ktor راه بیندازید؛ کاملاً مستقل، داخل Llamatik و مبتنی بر llama.cpp.

• 🌐 با کلاینت HTTP همراه کتابخانه، به endpointهای راه‌دور llama.cpp (مانند llama-cpp-python، llama-server یا Ollama) متصل شوید.

• 🔁 در Android، iOS و دیگر پلتفرم‌های نیتیو از همان API استفاده کنید؛ بدون هیچ کد مخصوص پلتفرم.

⸻

🌐 سرور استنتاج HTTP داخلی

Llamatik یک سرور HTTP آماده‌ی مبتنی بر Ktor دارد که مدل‌های محلی llama.cpp شما را در بر می‌گیرد. با یک فراخوانی ساده آن را بالا می‌آورید و endpointهایی مانند این در دسترس قرار می‌گیرند:

POST /v1/chat/completions

POST /v1/embeddings

GET /v1/models

این کار این امکانات را فراهم می‌کند:

• 🔗 برنامه‌های خودتان (یا دستگاه‌های دیگر) را به یک مدل محلی مشترک وصل کنید

• 🧪 ابزارهای سازگار با OpenAI (مثلاً LangChain و LlamaIndex) را با سرور محلی‌تان به کار ببرید

• ⚙️ آن را در استقرارها یا آزمایش‌های لبه‌ای خودتان ادغام کنید

بدون Python. بدون Docker. فقط Kotlin و Llamatik.

⸻

📦 در بسته چه چیزی هست؟

• 🦙 بایندینگ‌های نیتیو به llama.cpp برای هدف‌های Kotlin/Native (بدون محدودیت‌های JNI).

• 🧠 مدیر زمینه‌ی چندمدلی (برای تولید متن و امبدینگ هم‌زمان).

• 🛰️ کلاینت و سرور HTTP اختیاری.

• 🧱 بارگذاری مدل، ساخت prompt و اجرای بهینه از نظر حافظه، متناسب با موبایل.

• 🛠️ API ساده و توسعه‌پذیر؛ ساخته‌شده برای Kotlin، نه اقتباس‌شده از Python.

⸻

📢 مشارکت کنید

Llamatik متن‌باز و جامعه‌محور است. چه اپلیکیشن‌های هوش مصنوعی‌محور بسازید و چه فقط در حال کشف امکانات حالت آفلاین باشید، خوشحال می‌شویم نظرتان را بشنویم.

🔗 مخزن GitHub

Llamatik را روی دستگاه خودتان امتحان کنید

رایگان، متن‌باز و خصوصی. از مرورگر شروع کنید یا برنامه را دانلود کنید.