【摘要】Modal 公开了他们的 Coding Agent 推理服务优化实践,以 Kimi K2.6、SGLang 和 B200 为基础,将单用户 Decode 性能提升约 2.8 倍,Replica(单个模型服务实例)的吞吐提升约 5.6 倍。 这次推理性能优化主要集中在三部分:Decode 性能、长 S 阅读全文