引擎与服务快照

带日期的事实对比
维度macMLXoMLX
平台Apple 芯片 macOS 14 或更高版本Apple 芯片 macOS
核心运行时通过 Apple MLX 运行 Swift 进程内推理;默认路径不需要 Python 运行时Python/FastAPI 推理核心与原生 SwiftUI 外壳
模型工作流受支持的 MLX 语言、视觉、嵌入、LoRA 与按检查点证据治理的原生模型工作流多模型 MLX 服务
接口SwiftUI 应用、macmlx CLI、支持结构化输出的兼容 HTTP API 与集成工具路由接口菜单栏应用、服务工具、OpenAI 与 Anthropic 兼容接口
事实重点 / 受众Swift 原生服务,具备资格门控的连续批处理、LCP 提示复用、结构化输出与推测解码连续批处理与支持前缀共享、CoW 的分页内存/SSD 缓存

已记录限制

oMLX

  • 稳定版 v0.4.4 快照仅面向 Apple 芯片,并使用 Python 服务核心而非 Swift 进程内推理。

快照

官方来源

  1. 资格门控的连续批处理
  2. Apple 芯片 macOS 安装
  3. 推测解码
  4. Track G 已测试模型
  5. 资格门控的连续批处理
  6. 本地嵌入
  7. InternLM3 理论支持
  8. InternLM3 理论支持
  9. OpenAI 端点兼容
  10. 结构化输出
  11. 聊天集成工具路由
  12. 资格门控的连续批处理
  13. 资格门控的连续批处理
  14. Trie 最长前缀复用
  15. 推测解码
  16. 分页 KV、块共享与 CoW
  17. oMLX · github.com
  18. oMLX · github.com