介绍
Model as a Service (MaaS) 为 Alauda AI 提供了一个托管的模型服务网关。它为管理员提供一个集中位置,用于发布模型、管理访问、配置令牌配额并监控使用情况;同时,应用开发者可以通过 API 密钥调用已订阅的模型。
MaaS 基于 Alauda Build of Envoy Gateway 和 Alauda Build of Envoy AI Gateway。Envoy Gateway 提供 Kubernetes Gateway API 数据平面的基础,而 Envoy AI Gateway 则增加了模型感知路由和与 OpenAI 兼容的推理流量处理能力。MaaS 使用 Authorino 进行身份验证。
模型来源
MaaS 可以发布使用 llm-d 创建的推理服务。LLMInferenceService 可以作为托管模型添加到 MaaS 中,然后通过订阅进行引用。
管理员也可以连接外部模型服务。这些外部服务在 MaaS 中作为模型来源进行管理,并且可以像平台托管模型一样通过订阅进行引用。
管理员体验
在 管理员 视图中,MaaS 提供了一个专用的管理入口。管理员可以创建订阅,并控制允许哪些用户使用这些订阅。
每个订阅可以绑定多个模型。对于订阅中的每个模型,管理员可以配置多个具有不同时间范围的令牌限制,从而支持诸如短期突发限制和长期月度限制之类的配额策略。
MaaS 管理视图还为订阅提供流量仪表板。管理员可以查看请求数、令牌用量和响应延迟等指标。
MaaS 提供使用报告。管理员可以按天或按月查看每个用户的消耗量。
用户体验
用户通过 我的订阅 访问 MaaS。在分配给他们的每个订阅中,用户都可以创建、吊销和删除 API 密钥。
用户还可以查看自己的使用情况,包括请求和令牌消耗,这样他们就可以跟踪自己的应用如何消耗已订阅的模型服务。