部署

本章介绍推理服务的创建与扩缩容、模型管理与存储、模型即服务(Model as a Service, MaaS)、推理网关中的配额和计量,以及模型压缩。

本章所依赖的组件列在下方的 Components 中。

模型管理

推理服务

推理网关

LLM 压缩器

Model as a Service

组件