八个常见问题

macMLX 支持哪些硬件,Gatekeeper 阻止时怎么办?

macMLX 支持运行 macOS 14 或更高版本的 Apple 芯片 Mac。未签名应用请遵循项目当前安装与 Gatekeeper 指南;不要仅为打开 macMLX 而关闭系统级安全保护。

macMLX 需要 Python 吗?

已发布的默认引擎、应用与 CLI 推理路径不需要 Python。可选兼容引擎可能使用其他运行时,因此 macMLX 不宣称任何地方都没有 Python。

应该选择哪种模型格式与规模?

请选择确切架构受支持的 MLX 检查点。容量规划时,先从物理统一内存中扣除 macOS 与应用余量,再估算权重、KV 缓存、激活值和并发模型;若总量接近剩余容量,应选择更小或量化程度更高的检查点。

兼容哪些 API?

v0.6.2 支持范围明确的 OpenAI 端点家族、Anthropic Messages 与五个选定 Ollama 端点,并不宣称提供方级别的无差别兼容。已发布控制项包括多轮工具循环、结构化输出、logprobs、XTC、逐请求适配器与 KV 缓存量化;不支持的 Schema 和参数组合会返回明确错误。

推理会留在本地吗?

默认推理引擎与 HTTP 服务在 Mac 本地运行。下载模型、查询远程仓库或配置外部工具时仍会使用网络。

macMLX 可以运行视觉语言模型吗?

可以。v0.6.2 模型库检测到恰好 14 个 VLM model_type 家族。该数量是家族级发现信号,不代表通用检查点支持;依赖生成前仍需核对确切检查点、图像处理器、权重变体、量化、内存预算与服务路径。

超大 MoE 模型怎么办?

DeepSeek V3.2 仍缺少真实检查点冒烟测试与 FP8 反量化,因此 Swift 组件对齐不构成端到端推理声明。Track G 新增了经检查点测试的家族,但这些实测结果只适用于特定检查点,不能推导出其他大型 MoE 家族具有通用推理支持。

已发布功能与路线图如何区分?

v0.6.2 已发布资格门控批处理、最长前缀复用、XTC 与 KV 缓存量化。分页 KV、块共享、写时复制分支与自适应内存守卫仍在规划中;面向用户的 top-k、min-p、存在、频率和重复惩罚以及逐请求 seed 也仍属规划。

官方来源

  1. Trie 最长前缀复用
  2. Apple 芯片 macOS 安装
  3. Trie 最长前缀复用
  4. Apple 芯片统一内存
  5. Trie 最长前缀复用
  6. 有界模型池
  7. Track G 已测试模型
  8. 部分 Ollama 端点
  9. 聊天集成工具路由
  10. 结构化输出
  11. KV 缓存量化
  12. DeepSeek V3.2 Swift 覆盖层
  13. Track G 已测试模型
  14. 资格门控的连续批处理
  15. 资格门控的连续批处理
  16. Trie 最长前缀复用
  17. 扩展采样控制
  18. 扩展采样控制