配置推理服务外部访问
简介
本文档提供了配置推理服务外部访问的分步指南,包括检查外部访问地址、创建域名、设置负载均衡器以及验证配置。
步骤
1. 查看推理服务的外部访问地址
你可以:
- 导航到服务详情页,并从 访问方式 卡片中复制地址,或者
- 在 YAML 卡片中查看
status.url下的地址。
2. 创建域名
在管理员控制台中,进入 网络 > 域名,然后单击 创建域名。
- 在 域名 字段中,输入你的推理服务域名,不包括协议(例如,qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com)。
- 对于 分配给(集群),请选择你的服务所在的集群。
- 对于 分配项目,请选择你的推理服务所在的项目。
3. 创建负载均衡器
(一个负载均衡器可以被多个项目共享;仅在必要时创建新的负载均衡器。)
在管理员控制台中,进入 网络 > 负载均衡器,然后单击 创建负载均衡器。有关详细帮助文档,请参阅 配置负载均衡器。
4. 配置负载均衡器
在 Alauda Container Platform 控制台中,导航到 网络 > 负载均衡器,然后单击你刚刚创建的负载均衡器名称,进入其配置页面。
4.1 端口配置
为你的服务添加监听端口。你可以根据需要添加更多端口。
步骤 1:添加端口
- 在 端口管理 区域中,单击 添加端口 按钮。
- 在配置页面中,选择一种协议(HTTP 或 HTTPS)。
- 输入对应的端口号。对于 HTTP,标准端口是
80。对于 HTTPS,标准端口是443。
步骤 2:配置 HTTPS(如适用) 如果你选择 HTTPS 协议,则必须选择一个默认证书。
- 确保你已切换到
istio-system命名空间。这对于下一步至关重要。 - 将
knative-serving-cert选择为 默认证书。
4.2 规则配置
为上一步中添加的端口配置转发规则。
步骤 1:添加规则
- 在 规则 区域中,单击 添加规则 按钮。
- 在配置页面中,单击 添加规则标识 按钮,添加第一条规则。
- 对于 类型,选择 域名。
- 从下拉菜单中,选择你为推理服务创建的域名,例如:
qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com。
步骤 2:配置服务组
- 找到 服务组 配置区域。
- 确保 命名空间 设置为
istio-system。如果不是,请先将项目的命名空间切换为istio-system。 - 在 服务 下,从下拉列表中选择
knative-ingressgateway。 - 选择端口 80。
注意: 配置 HTTPS 协议(端口 443)规则的过程与上述相同。
如需更详细的参数配置,你可以参考 配置负载均衡器。
5. 通过外部地址验证对推理服务的访问
要验证你的推理服务是否可通过外部访问,请使用下面的 curl 命令。请记得将占位符替换为你的实际负载均衡器 IP 地址、端口和推理服务地址。
下面说明命令中每个部分的含义,以及你需要替换的内容:
your-inference-service-domain.com:应为你为推理服务创建的域名(例如,qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com)。your-port:这是负载均衡器用于监听 HTTP 流量的端口(通常为80)。your-load-balancer-ip:这是负载均衡器的实际 IP 地址(例如,192.168.137.21)。
如果请求成功返回模型列表,则说明你的配置已完成!如果失败,请再次检查负载均衡器设置,或查看推理服务日志以定位问题。