介绍
推理服务是 Alauda AI Platform 的核心功能,专用于将 LLM 模型高效部署为在线推理服务,并支持 HTTP API 和 gRPC 等多种调用方式。通过推理服务,用户可以快速构建 LLM 应用,并对外提供稳定、高性能的 LLM 能力。
WARNING
在容器中运行内置运行时需要 root 权限。请确保在受信任的环境中使用,并遵循您的安全策略。
推理服务是 Alauda AI Platform 的核心功能,专用于将 LLM 模型高效部署为在线推理服务,并支持 HTTP API 和 gRPC 等多种调用方式。通过推理服务,用户可以快速构建 LLM 应用,并对外提供稳定、高性能的 LLM 能力。
在容器中运行内置运行时需要 root 权限。请确保在受信任的环境中使用,并遵循您的安全策略。