从受支持 MLX 检查点经过预处理、生成、缓存到本地接口的推理管线示意图
兼容性取决于检查点架构、处理器、任务与服务路径。

模型能力边界

已发布0.1.0

Apple 芯片统一内存

MLX 数组使用 Mac 的 CPU/GPU 共享内存系统。

统一内存减少 CPU 编排与集成 GPU 计算之间的显式传输,但模型权重、激活值和 KV 缓存仍会占用有限的物理内存。

核验

已发布0.5.0

有界模型池

预算、LRU 淘汰、固定、冷切换、空闲 TTL 与探针共同约束多模型使用。

模型池在 v0.5.0 发布并于 v0.5.3 加固;它不是统一自适应控制器。

核验

已发布0.5.0

受支持的 LoRA 适配器

原生引擎可应用受支持的 LoRA 适配器。

适配器兼容性取决于基础架构与权重,不宣称通用 LoRA 兼容。

核验

已发布0.5.3

检测 14 个 VLM 家族

模型库可检测 14 个视觉语言 model_type 家族。

这是有证据支持的家族数量,不保证每个检查点或处理器变体都能加载。

核验

已发布0.5.3

DeepSeek V3.2 Swift 覆盖层

v0.5.3 包含 DeepSeek V3.2 架构的纯 Swift 组件对齐实现。

真实检查点冒烟测试仍待完成,且缺少 FP8 反量化,因此不构成端到端或通用 MoE 声明。

核验

已发布0.6.0

推测解码

v0.6.0 通过 API 与 GUI 交付经典草稿模型路径。

接受率遥测用于呈现草稿效率;若目标使用不可裁剪的混合或线性注意力缓存,系统会检测并回退到标准解码。

核验

已发布0.6.0

Hugging Face 缓存发现

v0.6.0 可发现配置的 Hugging Face 缓存根目录中的模型,无需重复下载权重。

发现仅确认本地候选项,并不保证通用加载;架构、分词器、处理器与检查点兼容性仍然适用。

核验

已发布0.6.2

逐模型聊天模板覆盖

v0.6.2 按用户文件、内置 model_type、检查点模板的顺序解析模板。

内置覆盖具备标准路径等价性证据,但模板支持并非通用;检查点特定分支与 swift-jinja 不支持的语法仍可能构成边界。

核验

已发布0.6.2

Track G 已测试模型

v0.6.2 新增四个通过检查点实测的原生模型家族。

真实检查点生成实测:Seed-OSS-36B 4-bit 为 18.2 tok/s;Hunyuan V1 Dense 1.8B 4-bit 为 80.3 tok/s;Cohere Command R7B 7B 4-bit 为 21.7 tok/s;MiniCPM3-4B 4-bit 为 18.7 tok/s。结果仅适用于对应检查点,不构成整个家族的性能保证。

核验

理论支持0.6.2

InternLM3 理论支持

v0.6.2 交付通过等价性验证的 InternLM3 代码,支持等级为理论级。

真实生成尚未得到演示。公开检查点提供 tokenizer.model,但没有 tokenizer.json,而 Swift 分词器栈需要 tokenizer.json;在该加载路径边界改变前,支持仍为理论级。

核验

已发布0.1.0

temperature 与 top-p

temperature 与核采样 top-p 是已发布参数。

它们是当前已开放的核心采样控制。

核验

规划中future

扩展采样控制

top-k、min-p、presence、frequency 与 repetition 惩罚项,以及逐请求 seed 处于规划阶段。

DeepSeek 专家路由 top-k 是架构内部操作,与用户采样 top-k 无关。

核验

官方来源

  1. Apple 芯片统一内存
  2. 推测解码
  3. temperature 与 top-p
  4. InternLM3 理论支持
  5. 有界模型池
  6. Track G 已测试模型
  7. DeepSeek V3.2 Swift 覆盖层
  8. 推测解码
  9. 逐模型聊天模板覆盖
  10. InternLM3 理论支持
  11. InternLM3 理论支持
  12. temperature 与 top-p
  13. 扩展采样控制
  14. 扩展采样控制