Swift 原生进程内引擎
模型加载、生成、缓存与服务均通过 Apple MLX 在同一个 Swift 进程中完成,无需安装、守护或同步 Python 服务。
01为什么选择 macMLX
真正的差异在底层:推理引擎本身由 Swift 实现,运行在应用进程内,并为所有入口提供能力。
模型加载、生成、缓存与服务均通过 Apple MLX 在同一个 Swift 进程中完成,无需安装、守护或同步 Python 服务。
可使用 SwiftUI 应用、通过 macmlx 编写脚本,或接入现有的 OpenAI、Anthropic、Ollama 与 MCP 工作流;它们共享相同的模型与引擎行为。
macMLX 已提供提示缓存、模型池、LoRA、VLM 支持,以及纯 Swift 的 DeepSeek V3.2 移植。Track G 将实测结果与理论估算明确区分,让引擎进展可供检验。
02当前已交付
以下能力均已在 v0.6.2 中提供,不是概念展示,也不是未来承诺。
在专注的 macOS 界面中提供流式 Markdown、推理折叠、图片附件、对话历史、回退与逐模型参数。
兼容的 OpenAI、Anthropic、Ollama、MCP、嵌入与重排入口,为受支持的工作流提供智能体与 API 工具循环以及结构化输出控制。
连续批处理、最长公共前缀复用、投机解码,以及热 RAM / 冷 SSD 缓存分层,让重复与并发工作保持实用。
直接在应用中浏览、下载、续传、更新并加载 MLX 模型;内置镜像支持与基于提交记录的更新检测。
可在脚本或 SSH 中下载、运行、服务、查看与停止,无需切换到另一套运行时。
在本地测量吞吐与首字延迟,并检查 XTC 与 KV 缓存量化行为。Track G 将实测数据与理论估算分开,还可在日志中检查引擎事件。
03走进引擎内部
沿着一次推理旅程,看 Apple 芯片、稀疏专家、可共享记忆、自适应准入与可控生成如何协同。
统一内存让模型权重、激活值与缓存同时靠近 CPU 编排和集成 GPU 计算;MLX 无需再围绕它搭建第二套运行时。

路由器为每个词元选择少量专家,与共享专家协同后合并加权结果。macMLX 已提供经过数值对齐验证的纯 Swift DeepSeek V3.2 MoE 路径,但并不宣称支持所有 MoE 家族。

最长公共前缀(LCP)复用现已支持热 RAM 与内容寻址的 SSD 冷层。分页分配、块共享与写时复制仍在规划中,目标是在更多并发工作间共享前缀。

固定 prefill 准入已经发布,可避免一波长提示同时占满批处理槽位。内存探针、模型池上限与淘汰机制已经参与调节;统一的自适应守卫仍属未来工作。

temperature、top-p、XTC 与 KV 缓存量化均已提供。top-k、min-p、presence、frequency 与 repetition 惩罚项,以及逐请求 seed 仍在规划中,将归入未来的控制面。

04开发进展
网站将已发布能力与正在进行的工程工作明确分开,让路线图呈现真实进展,而不是空泛承诺。