KServe 工作流程:从 InferenceService 到 vLLM 服务 - 探索云原生

Wait 5 sec.

【摘要】上一篇完成了 KServe 的安装,并通过 InferenceService 跑通了一个 Qwen 模型服务。 当时提交的 InferenceService 只包含模型格式、存储地址、GPU 资源和启动参数,KServe 却创建出了 Deployment、Service 和 HTTPRoute。这份 阅读全文