#监控与运维

本章涵盖推理服务的日志记录和链路追踪、资源监控和仪表板，以及模型偏差和漂移监控。它们共同为推理服务的整个生命周期提供可观测性：实时从节点日志，以及面向基础设施、GPU 资源、令牌吞吐量和 API 流量的多维仪表板。日志记录和资源监控面向推理服务用户，而配置监控仪表板则需要管理员视图。

偏差和漂移监控由 TrustyAI 提供，相关内容位于 Evaluate & Safety 章节；它所需的 TrustyAIService 部署在该章节中介绍，详见 Deploy TrustyAI Service。