Alauda AI
  • 简体中文

    • Configure External Access for Inference Services

    目录

    介绍

    本文档提供了配置推理服务外部访问的分步指南，包括查看外部访问地址、创建域名、设置负载均衡器以及验证配置。

    步骤

    1. 查看推理服务的外部访问地址

    您可以：

    1. 进入服务详情页面，从 访问方式 卡片中复制地址，或者
    2. 在 YAML 卡片的 status.url 字段中查看地址。

    2. 创建域名

    在管理员控制台，进入 网络 > 域名，然后点击 创建域名。

    • 在 域名 字段中，输入推理服务的外部访问地址。
    • 在 分配到（集群） 中，选择您的服务所在的集群。
    • 在 分配项目 中，选择推理服务所在的项目。

    3. 创建负载均衡器

    （一个负载均衡器可以被多个项目共享；仅在必要时创建新的负载均衡器。）

    在管理员控制台，进入 网络 > 负载均衡器，然后点击 创建负载均衡器。详细帮助文档请参考 。

    4. 配置负载均衡器

    在 Alauda Container Platform 控制台，进入 网络 > 负载均衡器，点击刚创建的负载均衡器名称进入其配置页面。

    4.1 添加监听前端资源

    添加监听端口：HTTP 协议的端口 80，以及 HTTPS 协议的端口 443。您也可以根据需要添加更多端口。

    4.2 添加转发规则资源

    • 域名：选择上一步创建的域名。
    • 服务组（Kubernetes Service）：选择 istio-system 命名空间下的 knative-ingressgateway，并选择端口 80。

    更多详细参数配置，请参考 。

    5. 验证通过外部地址访问推理服务

    使用以下 curl 命令验证推理服务是否可以通过外部访问。请务必将命令中的占位符替换为您实际的负载均衡器 IP 地址、端口和推理服务地址。

    # HTTP 访问
curl -v --resolve "your-inference-service-domain.com:your-port:your-load-balancer-ip" \
    http://your-inference-service-domain.com/v1/models

# HTTPS 访问（如果有有效证书，可去掉 `-k` 参数）
curl -vk --resolve "your-inference-service-domain.com:443:your-load-balancer-ip" \
    https://your-inference-service-domain.com/v1/models

    命令中各部分含义及需替换内容说明：

    • your-inference-service-domain.com：您为推理服务创建的域名（例如 qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com）。
    • your-port：负载均衡器监听 HTTP 流量的端口（通常为 80）。
    • your-load-balancer-ip：负载均衡器的实际 IP 地址（例如 192.168.137.21）。

    如果请求成功返回模型列表，则说明配置完成！如果失败，请检查负载均衡器设置或查看推理服务日志以定位问题。