本地 LLM 的规模化挑战：模型增长推动分布式需求
deep_candidateTatiana（MLX 团队研究科学家）开场：模型持续变大、能力持续增强。单机已无法满足大模型推理和训练需求，分布式成为必需。
MLXmodelAppleagenticsearch
确认分布式 MLX 的必要性。 · source segments: 0–71▦
WWDC26 · 233Explore distributed inference and training with MLX
当前 0:07 7s官方 ↗
Session 233·Explore distributed inference and training with MLX·深度内容已验证 · 5 sections · 5 cards
正在接入 Apple HLS 视频源…
搭建集群：4 台 M3 Ultra 的组合与配置
deep_candidate以 4 台 M3 Ultra 搭建集群为例——了解完整堆栈后将其组合为协同工作的机器组。hostfile 配置包含节点地址和 Thunderbolt 连接信息。
MLXRDMACLIsearchThunderbolt
确认 MLX 集群的基础配置。 · source segments: 72–143Thunderbolt RDMA 通信：JACCL 负责节点间协调
deep_candidateJACCL（MLX 分布式通信库）负责节点间初始协调。RDMA 设备名列表对应每个 Thunderbolt peer 连接。mlx.distributed_config 脚本自动生成配置。
MLXmodelMetalThunderboltAI & Machine Learning
确认 JACCL 在分布式 MLX 中的角色。 · source segments: 144–215分布式推理：加速比取决于模型大小——且有些模型单机装不下
deep_candidate加速比取决于模型大小和架构。分布式不止是提速，有时模型太大单机无法加载（如 1 万亿参数的 Kimi 2.6，即使 8-bit 量化也需要多台机器）。
modelMLXAI & Machine Learninglocal_ai_mlx_core_aiMac
确认分布式推理的两种驱动因素（性能/容量）。 · source segments: 216–287分布式训练：batch-size 按设备数伸缩——Qwen 3.5 微调示例
deep_candidate分布式训练时 batch-size 按设备数缩放，每台机器处理相同样本数。以 Qwen 3.5（9B 参数）为例，对比单机和集群的微调性能。
MLXmodelJACCLagenticC++
确认分布式训练的参数伸缩策略。 · source segments: 288–359下左 · 时间锚点
Anchor Skeleton
下右 · 深度内容已验证
Workbench Status
结论 1：MLX 分布式扩展将多台 Mac 组成私有 AI 集群——Thunderbolt RDMA 是关键
通过 Thunderbolt RDMA 连接多台 Mac 共享模型权重。JACCL 库处理节点间通信协调。4 台 M3 Ultra 可运行单机装不下的大模型。
结论 2：分布式推理解决容量问题——1T 参数模型需要多机
Kimi 2.6（1 万亿参数）即使 8-bit 量化也需要多台 Mac 才能加载。分布式推理的驱动力不仅是速度提升，更是模型能否加载到可用内存中——容量问题先于性能问题。
结论 3：分布式训练按设备数线性扩展 batch size——Qwen 3.5 实践
训练时 batch-size 按设备数线性缩放，每台处理相同样本数。以 9B 参数的 Qwen 3.5 微调为例，对比单机和集群的性能差异，展示分布式训练的实际收益。
总判断：233 是 MLX 分布式能力入口——与 328（数值计算）和 232（本地 agent）构成 MLX 从单机到集群的全景
328 提供单机计算基础，232 提供 agentic 集成，233 提供分布式扩展。三层覆盖 MLX 的完整能力范围——从数组运算到多机集群。
MLX 分布式支持 Thunderbolt 和 Ethernet 两种连接方式。Thunderbolt RDMA 提供低延迟高带宽通信，4 节点加速比达 3 倍。适合私有 AI 集群场景。