规模选择事实
Apple 芯片统一内存
MLX 数组使用 Mac 的 CPU/GPU 共享内存系统。
统一内存减少 CPU 编排与集成 GPU 计算之间的显式传输，但模型权重、激活值和 KV 缓存仍会占用有限的物理内存。
核验
有界模型池
预算、LRU 淘汰、固定、冷切换、空闲 TTL 与探针共同约束多模型使用。
模型池在 v0.5.0 发布并于 v0.5.3 加固；它不是统一自适应控制器。
核验
精确前缀 RAM 与 SSD 缓存
内存热层与内容寻址 SSD 冷层支持提升和降级。
v0.5.0 发布的缓存复用完整精确前缀，不包含已发布的块共享或分页 KV 分配。
核验
KV 缓存量化
v0.6.0 为兼容请求开放 kv_bits、kv_group_size 与 quantized_kv_start。
这些参数改变 KV 缓存精度，而非模型权重精度；非正数 kv_bits 会禁用该功能，兼容矩阵会拒绝不支持的模型或请求组合。
核验
Hugging Face 缓存发现
v0.6.0 可发现配置的 Hugging Face 缓存根目录中的模型，无需重复下载权重。
发现仅确认本地候选项，并不保证通用加载；架构、分词器、处理器与检查点兼容性仍然适用。
核验
temperature 与 top-p
temperature 与核采样 top-p 是已发布参数。
它们是当前已开放的核心采样控制。
核验
扩展采样控制
top-k、min-p、presence、frequency 与 repetition 惩罚项，以及逐请求 seed 处于规划阶段。
DeepSeek 专家路由 top-k 是架构内部操作，与用户采样 top-k 无关。
核验
实用规模选择顺序
| 因素 | 起步建议 | 重要原因 |
|---|---|---|
| 任务 | 文本、代码、嵌入或视觉 | 任务决定所需架构家族 |
| 参数量 | 满足任务的最小模型 | 权重决定基础内存占用 |
| 量化 | 受支持的 4-bit 或 8-bit 检查点 | 较低精度通常减少权重内存 |
| 上下文 | 满足需求的最短上下文 | 更长上下文会增加 KV 缓存压力 |
| 并发 | 先从一个已加载模型开始 | 模型池与同时工作会增加内存压力 |
| 余量 | 为 macOS 与工作负载留出空间 | 接近容量上限时韧性更差 |