FAQ

你的疑问,这里有答案。

关于使用 Llamatik 运行私密端侧 AI,你需要了解的一切。

Llamatik 是什么?
Llamatik 是一个免费、开源的私密端侧 AI 平台,包含 Llamatik 应用(Android、iOS、macOS、Windows、Linux 和网页版)、Kotlin Multiplatform SDK、可自托管的服务器,以及面向 JetBrains IDE 的 AI 编程助手 Llamatik Code。它构建在开源引擎之上:llama.cpp、whisper.cpp 和 stable-diffusion.cpp。
可以离线使用吗?
可以。模型下载完成后,对话、视觉、语音和图像生成都在你的设备上运行,无需联网。只有下载模型和更新时才需要联网。
我的数据会被发送到别处吗?
默认不会。提示词、文档和语音都在你的设备上处理,也无需创建账号。只有当你选择把应用连接到 Llamatik Server,或通过共享此设备连接到另一台设备时,数据才会离开你的设备;这些连接目前使用未加密的 HTTP,请只在可信网络中使用。Android 应用还可以发送崩溃报告和基础使用统计,但只有在你于“设置”中开启后才会发送(默认关闭,且不包含你的提示词、聊天或文档)。本网站不使用 Cookie 和分析追踪器。
支持哪些设备和操作系统?
Android 8.0 或更高版本、iOS 16.6 或更高版本的 iPhone 和 iPad、macOS(Apple Silicon 和 Intel)、Windows 10 或更高版本、基于 Debian 和 Ubuntu 的 Linux(.deb),以及通过 WebAssembly 支持的现代浏览器。你可以在下载页面获取全部版本。
可以运行哪些模型?
llama.cpp 支持的任何 GGUF 格式模型。应用内置模型目录(例如 Gemma 3、SmolVLM 和 Whisper 模型),你也可以加载设备上已有的 .gguf 文件。语音转文字使用 Whisper 模型,图像分析使用 SmolVLM 等视觉模型,图像和视频则使用 stable-diffusion.cpp 模型。
需要多少内存和存储空间?
这取决于模型。一般来说,量化模型所需的可用内存与其文件大小相当,另外还要为对话留出一些空间。4 位量化的 1B 参数模型不到 1 GB,可以在许多较新的手机上运行;更大的模型需要更多 RAM。如果应用闪退或运行缓慢,请尝试更小或量化程度更高的模型。
可以生成图像和视频,或转写语音吗?
可以。原生应用可以用 stable-diffusion.cpp 生成图像和短视频,用 Whisper 离线转写音频,并借助端侧视觉模型回答关于图片的问题。具体可用的功能取决于平台和你下载的模型。网页版专注于对话。
应用、SDK 和服务器有什么区别?
应用是开箱即用的产品。SDK(Maven Central 上的 com.llamatik:core、sdk 和 sdk-agent)可让你把同样的能力集成到自己的 Kotlin Multiplatform 应用中。服务器通过 HTTP 提供相同的 API,让你在性能更强的机器上自托管模型,基于 SDK 构建的应用无需修改代码即可使用它。
可以在手机上使用性能更强的电脑吗?
可以。在电脑、手机或平板上开启共享此设备后,同一网络中你的其他 Llamatik 设备就能发现它并使用其已加载的模型,每台设备都需要你先批准。你也可以将应用连接到自托管的 Llamatik 服务器。
Llamatik 免费吗?许可证是什么?
应用免费,且无需账号。源代码在 MIT 许可证下开源;Llamatik 的名称、标志和视觉素材为专有内容,受另一份许可证约束。Llamatik Code 提供免费版,以及包含更多功能的付费 Pro 版。
可以在我自己的应用中使用 Llamatik 吗?
可以。将 com.llamatik:core(推理)、com.llamatik:sdk(对话、模型、RAG、智能体)或 com.llamatik:sdk-agent 添加到 Kotlin Multiplatform 项目即可;它们支持 Android、iOS、桌面端和 WASM。请参阅文档和 GitHub。
首页的提示词输入框是如何工作的?
按下 Enter 后,你可以选择由谁来回答:网页版、已下载的应用(会复制你的提示词),或者仅复制。对于网页版,文本通过 URL 片段(# 之后的部分)传递给页面,浏览器绝不会将其发送到任何服务器。首次使用时,网页版仍需将模型下载到你的浏览器中。
在哪里可以获得帮助或报告错误?
请在 GitHub 上提交 issue,或通过联系页面与我们联系。

还有其他问题?

欢迎在 GitHub 上提问或给我们留言,我们乐意帮忙。