v0.6.2现已发布

你的 Mac。
你的模型。
一个原生
引擎。

通过原生 SwiftUI 应用、完整 CLI 或兼容 API 运行语言与视觉模型;三者共用同一个 Swift 进程内 MLX 引擎。

macOS 14+ · Apple 芯片 · Apache 2.0

MacMLXCore Swift 原生
进程内运行
应用
›_CLI
{ }API
推理始终留在这台 Mac
~50 MB单一应用包
Default无需 Python 运行时
3三种入口,一个核心
100%默认完全本地

原生,不只是
套一层窗口。

真正的差异在底层:推理引擎本身由 Swift 实现,运行在应用进程内,并为所有入口提供能力。

A

Swift 原生进程内引擎

模型加载、生成、缓存与服务均通过 Apple MLX 在同一个 Swift 进程中完成,无需安装、守护或同步 Python 服务。

Swift 6
B

一个核心,三种一等入口

可使用 SwiftUI 应用、通过 macmlx 编写脚本,或接入现有的 OpenAI、Anthropic、Ollama 与 MCP 工作流;它们共享相同的模型与引擎行为。

GUI · CLI · API
C

看得见的引擎能力

macMLX 已提供提示缓存、模型池、LoRA、VLM 支持,以及纯 Swift 的 DeepSeek V3.2 移植。Track G 将实测结果与理论估算明确区分,让引擎进展可供检验。

Apache 2.0

小巧的应用,
扎实的后端。

以下能力均已在 v0.6.2 中提供,不是概念展示,也不是未来承诺。

01本地

从文本到视觉的原生聊天

在专注的 macOS 界面中提供流式 Markdown、推理折叠、图片附件、对话历史、回退与逐模型参数。

02API

融入现有工作流

兼容的 OpenAI、Anthropic、Ollama、MCP、嵌入与重排入口,为受支持的工作流提供智能体与 API 工具循环以及结构化输出控制。

03引擎

为重复工作而优化

连续批处理、最长公共前缀复用、投机解码,以及热 RAM / 冷 SSD 缓存分层,让重复与并发工作保持实用。

04HUGGING FACE

无需在终端里考古找模型

直接在应用中浏览、下载、续传、更新并加载 MLX 模型;内置镜像支持与基于提交记录的更新检测。

05CLI

共享核心的 CLI

可在脚本或 SSH 中下载、运行、服务、查看与停止,无需切换到另一套运行时。

06观测

测量你手里的机器

在本地测量吞吐与首字延迟,并检查 XTC 与 KV 缓存量化行为。Track G 将实测数据与理论估算分开,还可在日志中检查引擎事件。

一台 Mac,
五层精密控制。

沿着一次推理旅程,看 Apple 芯片、稀疏专家、可共享记忆、自适应准入与可控生成如何协同。

  1. 01平台优势

    内存,本身就是架构。

    统一内存让模型权重、激活值与缓存同时靠近 CPU 编排和集成 GPU 计算;MLX 无需再围绕它搭建第二套运行时。

    Unified MemoryCPU + GPUMLXIn-process
  2. 02已支持

    激活专家,而不是激活全部参数。

    路由器为每个词元选择少量专家,与共享专家协同后合并加权结果。macMLX 已提供经过数值对齐验证的纯 Swift DeepSeek V3.2 MoE 路径,但并不宣称支持所有 MoE 家族。

    RouterActive ExpertsShared ExpertTop-k Routing
  3. 03已发布 + 规划中

    复用提示,只在必要时分支。

    最长公共前缀(LCP)复用现已支持热 RAM 与内容寻址的 SSD 冷层。分页分配、块共享与写时复制仍在规划中,目标是在更多并发工作间共享前缀。

    Paged KVBlock SharingCoWSSD Cold Tier
  4. 04已发布 + 持续演进

    按照内存承受的速度接纳工作。

    固定 prefill 准入已经发布,可避免一波长提示同时占满批处理槽位。内存探针、模型池上限与淘汰机制已经参与调节;统一的自适应守卫仍属未来工作。

    Prefill ThrottleMemory ProbeAdmissionEviction
  5. 05已发布 + 规划中

    塑造概率,也保留可复现性。

    temperature、top-p、XTC 与 KV 缓存量化均已提供。top-k、min-p、presence、frequency 与 repetition 惩罚项,以及逐请求 seed 仍在规划中,将归入未来的控制面。

    top-kmin-pPenaltiesSeedKV Quant

先稳定交付,
再继续提速。

网站将已发布能力与正在进行的工程工作明确分开,让路线图呈现真实进展,而不是空泛承诺。

已发布v0.6.2

完整的本地推理栈

  • 语言模型 + 检测到的 14 个 VLM 家族
  • 提示缓存、模型池与 LoRA 适配器
  • 兼容 OpenAI、Anthropic、Ollama、MCP、嵌入与重排
  • 纯 Swift 的 DeepSeek V3.2 架构
查看更新日志 ↗
当前版本v0.6.2 · 2026年7月11日

v0.6 引擎已正式交付

  • 智能体与 API 工具循环以及结构化输出、XTC 与 KV 缓存量化控制
  • 连续批处理、LCP 复用与投机解码运行时
  • Track G 区分四个实测模型与理论支持的 InternLM3
  • v0.6.1 加固与 v0.6.2 逐模型聊天模板覆盖
查看 v0.6.2 版本 ↗

下载模型,
开始对话。

安装应用即可获得完整 macOS 体验;如果终端就是你的主场,也可以直接使用 CLI。

终端 · 已安装 CLI
$ macmlx pull mlx-community/Qwen3-8B-4bit
$ macmlx run Qwen3-8B-4bit "Hello, Mac."
$ macmlx serve
http://localhost:8000/v1就绪