# macMLX v0.6.2

当前版本：工具循环、批处理、最长前缀复用、结构化输出、推测解码、API 控制项与 Track G 模型工作。

## 直接回答

v0.6.2 是当前审计基线。它完成 v0.6 智能体后端并新增 Track G 模型与模板覆盖，同时保留明确的资格、Schema、检查点、分词器与路线图边界。标签版发布记录、更新日志与模型支持指南是工具循环、批处理、LCP、结构化输出、推测解码、API 控制项与模型等级的权威依据。

- 规范网址：https://macmlx.app/zh/releases/v0-6-2/
- 最后核验：2026-07-15

## 页面事实

- **Apple 芯片 macOS 安装** — 已发布; 始于 0.1.0; 最后核验 2026-07-15. macMLX 支持运行 macOS 14 或更高版本的 Apple 芯片 Mac。 请使用项目当前安装与 Gatekeeper 指南；不要仅为打开应用而关闭系统级安全保护。
- **Swift 进程内推理** — 已发布; 始于 0.1.0; 最后核验 2026-07-15. 默认引擎在 Swift 进程内加载并运行 MLX 模型。 模型加载、生成、缓存与服务通过 MacMLXCore 使用 Apple MLX；默认推理路径不需要 Python 运行时。
- **Apple 芯片统一内存** — 已发布; 始于 0.1.0; 最后核验 2026-07-15. MLX 数组使用 Mac 的 CPU/GPU 共享内存系统。 统一内存减少 CPU 编排与集成 GPU 计算之间的显式传输，但模型权重、激活值和 KV 缓存仍会占用有限的物理内存。
- **共享代码，进程内各自运行** — 已发布; 始于 0.1.0; 最后核验 2026-07-15. 应用与 CLI 都导入 MacMLXCore，推理和服务由核心负责。 两个产品共享实现与行为；当应用和 CLI 分别运行在不同进程时，它们不会共享同一个内存中引擎实例。
- **默认路径无需 Python** — 已发布; 始于 0.1.0; 最后核验 2026-07-15. 已发布的默认引擎为 Swift 原生，不需要 Python 运行时。 可选兼容引擎可能使用子进程与其他运行时，因此这并不表示项目任何地方都没有 Python。
- **OpenAI 端点兼容** — 已发布; 始于 0.5.3; 最后核验 2026-07-15. 聊天、传统补全、模型列表与嵌入使用兼容的请求和响应结构。 兼容范围按端点界定。/x/models 下的模型加载与卸载是 macMLX 扩展，不属于 OpenAI 兼容的模型管理。
- **Anthropic Messages 兼容** — 已发布; 始于 0.5.3; 最后核验 2026-07-15. v0.5.3 提供 POST /v1/messages，并支持流式响应。 这里只兼容 Messages API，不代表兼容完整 Anthropic API。
- **部分 Ollama 端点** — 已发布; 始于 0.3.7; 最后核验 2026-07-15. macMLX 支持 /api/version、/api/tags、/api/show、/api/chat 与 /api/generate。 该兼容层自 v0.3.7 起提供；它只覆盖选定端点，不是完整 Ollama API 的无差别替代。
- **MCP 服务端** — 已发布; 始于 0.5.0; 最后核验 2026-07-15. CLI 可向 MCP 客户端提供本地推理能力。 MCP 服务端在 v0.5.0 发布，与聊天侧调用外部工具的路由功能不同。
- **MCP 客户端池** — 已发布; 始于 0.5.3; 最后核验 2026-07-15. v0.5.3 包含受管理的 MCP 客户端连接。 客户端池负责管理外部 MCP 进程与连接；聊天侧集成工具路由是另一个在 v0.6.0 发布的能力。
- **聊天集成工具路由** — 已发布; 始于 0.6.0; 最后核验 2026-07-15. v0.6.0 为 OpenAI、Anthropic 与 GUI MCP 循环交付多轮工具路由。 各协议的验证明确约束工具调用历史；该路由与 MCP 服务端及客户端池基础设施不同。
- **本地嵌入** — 已发布; 始于 0.5.3; 最后核验 2026-07-15. POST /v1/embeddings 已在 v0.5.3 发布。 系统可以检测编码器模型家族，但若使用不合适的聊天模型，仍可能生成缺乏语义保证的向量。
- **双编码器重排 MVP** — 已发布; 始于 0.5.3; 最后核验 2026-07-15. POST /v1/rerank 对独立嵌入的文本计算余弦相似度。 这一已发布 MVP 不是交叉编码器重排器。
- **精确前缀 RAM 与 SSD 缓存** — 已发布; 始于 0.5.0; 最后核验 2026-07-15. 内存热层与内容寻址 SSD 冷层支持提升和降级。 v0.5.0 发布的缓存复用完整精确前缀，不包含已发布的块共享或分页 KV 分配。
- **Trie 最长前缀复用** — 已发布; 始于 0.6.0; 最后核验 2026-07-15. v0.6.0 可复用最长兼容缓存词元前缀。 多轮提示可裁剪到最长公共前缀，只增量预填充新增后缀，同时用量统计仍按完整提示计算。
- **有界模型池** — 已发布; 始于 0.5.0; 最后核验 2026-07-15. 预算、LRU 淘汰、固定、冷切换、空闲 TTL 与探针共同约束多模型使用。 模型池在 v0.5.0 发布并于 v0.5.3 加固；它不是统一自适应控制器。
- **受支持的 LoRA 适配器** — 已发布; 始于 0.5.0; 最后核验 2026-07-15. 原生引擎可应用受支持的 LoRA 适配器。 适配器兼容性取决于基础架构与权重，不宣称通用 LoRA 兼容。
- **检测 14 个 VLM 家族** — 已发布; 始于 0.5.3; 最后核验 2026-07-15. 模型库可检测 14 个视觉语言 model_type 家族。 这是有证据支持的家族数量，不保证每个检查点或处理器变体都能加载。
- **DeepSeek V3.2 Swift 覆盖层** — 已发布; 始于 0.5.3; 最后核验 2026-07-15. v0.5.3 包含 DeepSeek V3.2 架构的纯 Swift 组件对齐实现。 真实检查点冒烟测试仍待完成，且缺少 FP8 反量化，因此不构成端到端或通用 MoE 声明。
- **资格门控的连续批处理** — 已发布; 始于 0.6.0; 最后核验 2026-07-15. v0.6.0 仅在真实并发下批处理符合条件的稠密文本请求，并自动回退到串行路径。 标签版 4 客户端基准测得 2.5–3.2× 聚合吞吐量；VLM、推测解码、Ollama、Anthropic 与嵌入仍保持串行。
- **固定预填充准入节流** — 已发布; 始于 0.6.0; 最后核验 2026-07-15. 固定 prefillBatchSize 限制每个调度步骤接纳的行数。 已发布的节流采用固定配置，并非规划中的自适应内存控制器。
- **结构化输出** — 已发布; 始于 0.6.0; 最后核验 2026-07-15. v0.6.0 支持 response_format 的 json_object 与明确界定的 JSON Schema 子集。 不支持的 Schema 关键字返回 400；VLM 与结构化输出、工具与结构化输出都是不支持的组合，会被明确拒绝而非静默降级。
- **推测解码** — 已发布; 始于 0.6.0; 最后核验 2026-07-15. v0.6.0 通过 API 与 GUI 交付经典草稿模型路径。 接受率遥测用于呈现草稿效率；若目标使用不可裁剪的混合或线性注意力缓存，系统会检测并回退到标准解码。
- **API 兼容功能包** — 已发布; 始于 0.6.0; 最后核验 2026-07-15. v0.6.0 新增 logit_bias、logprobs 与 top_logprobs、XTC、逐请求 LoRA 适配器和 tools。 明确的兼容矩阵约束参数组合，不支持的配对返回 400，而不会静默降级。
- **KV 缓存量化** — 已发布; 始于 0.6.0; 最后核验 2026-07-15. v0.6.0 为兼容请求开放 kv_bits、kv_group_size 与 quantized_kv_start。 这些参数改变 KV 缓存精度，而非模型权重精度；非正数 kv_bits 会禁用该功能，兼容矩阵会拒绝不支持的模型或请求组合。
- **Hugging Face 缓存发现** — 已发布; 始于 0.6.0; 最后核验 2026-07-15. v0.6.0 可发现配置的 Hugging Face 缓存根目录中的模型，无需重复下载权重。 发现仅确认本地候选项，并不保证通用加载；架构、分词器、处理器与检查点兼容性仍然适用。
- **逐模型聊天模板覆盖** — 已发布; 始于 0.6.2; 最后核验 2026-07-15. v0.6.2 按用户文件、内置 model_type、检查点模板的顺序解析模板。 内置覆盖具备标准路径等价性证据，但模板支持并非通用；检查点特定分支与 swift-jinja 不支持的语法仍可能构成边界。
- **Track G 已测试模型** — 已发布; 始于 0.6.2; 最后核验 2026-07-15. v0.6.2 新增四个通过检查点实测的原生模型家族。 真实检查点生成实测：Seed-OSS-36B 4-bit 为 18.2 tok/s；Hunyuan V1 Dense 1.8B 4-bit 为 80.3 tok/s；Cohere Command R7B 7B 4-bit 为 21.7 tok/s；MiniCPM3-4B 4-bit 为 18.7 tok/s。结果仅适用于对应检查点，不构成整个家族的性能保证。
- **InternLM3 理论支持** — 理论支持; 始于 0.6.2; 最后核验 2026-07-15. v0.6.2 交付通过等价性验证的 InternLM3 代码，支持等级为理论级。 真实生成尚未得到演示。公开检查点提供 tokenizer.model，但没有 tokenizer.json，而 Swift 分词器栈需要 tokenizer.json；在该加载路径边界改变前，支持仍为理论级。
- **temperature 与 top-p** — 已发布; 始于 0.1.0; 最后核验 2026-07-15. temperature 与核采样 top-p 是已发布参数。 它们是当前已开放的核心采样控制。
- **分页 KV、块共享与 CoW** — 规划中; 始于 future; 最后核验 2026-07-15. 分页分配、共享块与写时复制分支处于规划阶段。 这些缓存虚拟化能力均未在 v0.6.2 发布。
- **统一自适应内存守卫** — 规划中; 始于 future; 最后核验 2026-07-15. 跨缓存、模型池与并发的反馈控制器处于规划阶段。 已发布的内存探针和模型池上限是独立机制，不能称为该守卫。
- **扩展采样控制** — 规划中; 始于 future; 最后核验 2026-07-15. top-k、min-p、presence、frequency 与 repetition 惩罚项，以及逐请求 seed 处于规划阶段。 DeepSeek 专家路由 top-k 是架构内部操作，与用户采样 top-k 无关。

## 来源

- https://github.com/magicnight/mac-mlx/releases/tag/v0.6.2
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/README.md
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Engine/MLXSwiftEngine.swift
- https://ml-explore.github.io/mlx/build/html/usage/unified_memory.html
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Server/HummingbirdServer.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/CHANGELOG.md
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/MCP/MCPClientPool.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/MCP/ToolCallingSession.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Engine/EmbeddingEngine.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Engine/RerankScoring.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/PromptCache/PromptCacheStore.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/PromptCache/PromptTrie.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/ModelPool/ModelPool.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Managers/ModelLibraryManager.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Models/DeepseekV32.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Batching/BatchScheduler.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Engine/MLXSwiftEngine+BatchGenerationServing.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Constraint/ResponseFormatDecoder.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Engine/SpeculativeDecodingUsage.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Engine/GenerateRequest.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Engine/ChatTemplateOverride.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/docs/model-support.md
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Models/InternLM3.swift
- https://github.com/magicnight/mac-mlx/blob/v0.6.2/MacMLXCore/Sources/MacMLXCore/Managers/ModelParametersStore.swift
- https://github.com/magicnight/mac-mlx/blob/main/docs/superpowers/specs/2026-07-10-engine-scroll-story-design.md
- https://github.com/magicnight/mac-mlx/blob/main/MacMLXCore/Sources/MacMLXCore/Managers/ModelParametersStore.swift

## 相关页面

- [不混淆路线图的版本状态](https://macmlx.app/zh/releases/)
- [逐端点说明本地 API 兼容性](https://macmlx.app/zh/api-compatibility/)
- [按任务与内存选择模型](https://macmlx.app/zh/models/)