常见问题

转发到使用非默认端口的外部模型服务时,请求可能失败

症状

以下情况可能导致此问题:

  • 通过 Alauda AI Platform Gateway 或 MaaS 访问外部模型服务。
  • 上游模型服务监听非默认端口。
  • 上游将主机名和端口结合用于路由或身份验证。
  • 通过网关转发的请求失败。根据上游的行为,响应可能为 401、403、404 或其他状态码。

根本原因

Envoy Gateway 自动重写后端主机名时,可能会以不包含上游非默认端口的 Host/:authority 值转发请求。因此,基于完整主机名和端口进行路由或身份验证的上游会将该请求视为无效。

这是 Envoy Gateway 的主机名重写限制。

解决方案

如何在 ACP 上使用 Envoy Gateway 在上游 Host 标头中保留非默认后端端口中介绍了一种使用底层 Envoy 配置的变通方法。