视觉事实

已发布0.5.3

检测 14 个 VLM 家族

模型库可检测 14 个视觉语言 model_type 家族。

这是有证据支持的家族数量，不保证每个检查点或处理器变体都能加载。

核验

已发布0.1.0

Apple 芯片统一内存

MLX 数组使用 Mac 的 CPU/GPU 共享内存系统。

统一内存减少 CPU 编排与集成 GPU 计算之间的显式传输，但模型权重、激活值和 KV 缓存仍会占用有限的物理内存。

核验

已发布0.6.0

资格门控的连续批处理

v0.6.0 仅在真实并发下批处理符合条件的稠密文本请求，并自动回退到串行路径。

标签版 4 客户端基准测得 2.5–3.2× 聚合吞吐量；VLM、推测解码、Ollama、Anthropic 与嵌入仍保持串行。

核验

视觉检查点核对表

模型库检测 14 个 VLM model_type 家族；每个检查点仍需完成以下核对
类别问题边界
架构确切 model_type 是否在检测家族中？仅标注 MLX 并不足够
处理器检查点是否包含兼容图像预处理？同一家族内处理器变体也可能不同
量化该量化检查点是否受其架构支持？权重兼容并非通用
内存权重、图像词元、激活值与缓存是否可容纳？视觉负载超出纯文本权重
服务路径所选 API 路径是否接受视觉输入？批处理仅限稠密文本；VLM 请求保持串行

官方来源

  1. 资格门控的连续批处理
  2. 检测 14 个 VLM 家族
  3. Apple 芯片统一内存
  4. Apple 芯片统一内存
  5. 资格门控的连续批处理
  6. 资格门控的连续批处理
  7. 资格门控的连续批处理