使用编码智能体与本地部署 LLM 开展 MLOps
目录
简介设置智能体的工作环境管理 InferenceServices 和 LLMInferenceServices管理网关:身份验证和速率限制调整服务性能以适配硬件规划微调并生成报告选择适合任务的工具可复用的微调计划模板可复用的微调报告模板每日 MLOps 循环最佳实践和防护措施参考资料简介
将编码智能体连接到 Alauda AI Platform 上的自托管模型后(请参阅使用编码智能体与本地部署推理服务),同一个智能体即可在平台上执行日常 MLOps。由于模型和操作目标位于同一个集群中,提示词、清单、训练数据引用和基准测试结果都不会离开您的环境 — 这正是自托管智能体适用于受监管工作的重要原因。
本文介绍编码智能体最有用的四类工作流:
- 编写和管理
InferenceService与LLMInferenceService资源。 - 配置推理流量网关 — 通过 Alauda AI Platform Gateway 设置身份验证和速率限制。
- 迭代调整推理服务的性能,以适配特定硬件。
- 规划微调运行,并根据运行结果生成结构化报告。
本文假设您已经在运行该智能体,并且它能够访问启用了工具调用的本地部署 OpenAI 兼容端点。如果还未完成,请先参阅上面的先决条件文档。
能够针对真实集群运行 kubectl 的编码智能体也可以删除资源。请将其 kubeconfig 限制在单个命名空间内,在探索期间执行任何应用操作时优先使用 --dry-run=server,并要求人工审核每项更改后再将其应用到生产环境。请将智能体视为拥有集群访问权限的初级工程师,而不是自主 operator。
设置智能体的工作环境
在委派 MLOps 工作之前,请为智能体提供一个小型且可靠的运行上下文。每个项目通常都值得一次性完成以下三项设置:
- 限制集群访问范围。 创建一个专用命名空间(例如平台示例中使用的
mlops-demo-ai-test),以及一个权限仅限于智能体应操作资源的ServiceAccount/ kubeconfig — 通常包括InferenceService、LLMInferenceService、TrainJob、TrainingRuntime、AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy、SecurityPolicy、BackendTrafficPolicy,以及这些资源引用的 secrets/configmaps。避免授予集群范围的写入权限。 - 固定默认硬件配置。 平台 Hardware Profiles 会记录您硬件集群中的 GPU 类型、污点、容忍度和节点选择器。请预先选择正确的配置文件,并告知智能体使用该配置 — 这样可以避免智能体自行编写 affinity 块。请参阅Hardware Profiles。
- 提交智能体上下文文件。 大多数编码智能体会读取项目级指令文件(例如
AGENTS.md、CLAUDE.md或opencode.md)。使用该文件记录集群名称、目标命名空间、本地部署模型端点、命名约定、“始终先运行kubectl apply --dry-run=server”,以及智能体应遵循的任何内部链接。该文件创建后,后续每次提示都会更简短、更准确。
管理 InferenceServices 和 LLMInferenceServices
平台支持两种用于提供模型服务的相关资源:
InferenceService(serving.kserve.io/v1beta1)— 使用 CLI 创建 Inference Service 中使用的标准 KServe predictor。适用于单容器模型服务器(vLLM、Triton、自定义运行时)。LLMInferenceService— KServe 面向多组件 LLM 服务的更高层级 LLM 资源(用于编排 predictors、可选的 prefill/decode 分离,以及与 gateway/inference-extension 集成)。Hardware Profiles 等平台功能可以识别该资源,并将其与InferenceService一同列出(请参阅 Hardware Profiles)。当单容器InferenceService已无法满足需求时,请使用它。
对于任一资源,良好的智能体工作循环都相同:
可以从以下提示开始:
- “为模型
Qwen3.6-35B-A3B生成一个InferenceService,使用aml-vllm运行时、Hardware Profilesingle-a30-24g和命名空间mlops-demo-ai-test。启用 prefix caching 和 tool calling,并使用与 Qwen3.6 匹配的 parser。运行kubectl apply --dry-run=server,并在应用前向我展示与任何现有对象的差异。” - “将此
InferenceService转换为支持 prefill/decode 分离的LLMInferenceService;保留相同的模型、Hardware Profile 和 served-model 名称。向我展示进行了哪些更改以及原因。” - “列出
mlops-demo-ai-test中的所有InferenceService和LLMInferenceService对象、它们的READY状态,以及每个对象提供服务的模型。标记任何已处于NotReady状态超过 10 分钟的对象,并汇总最近的 predictor pod 事件。”
对于智能体需要复现的 YAML 字段以及平台特定的 labels/annotations,请将其指向使用 CLI 创建 Inference Service,将其作为规范示例。要将新服务暴露到外部,请将其指向配置 Inference Services 的外部访问。
管理网关:身份验证和速率限制
Alauda AI Platform Gateway 是 Alauda AI Platform Inference Management 的必需依赖项,通过兼容 OpenAI 的 API 接口、AI 感知路由和按模型策略处理推理流量(请参阅 Alauda AI Platform Gateway introduction)。Alauda AI Platform Gateway 由 Alauda AI Platform 通过 envoyAIGateway default 中的 AmlCluster 组件进行管理;请参阅安装 Alauda AI Platform。智能体非常适合编写其 CRD,因为这些 CRD 通常较为冗长:
一个实用的智能体工作流程:
- 用业务术语告诉智能体你的意图。 例如:“通过位于
https://ai.example.internal的单个兼容 OpenAI 的端点暴露qwen-2和deepseek-v4。要求使用来自名为ai-gateway-keys的 KubernetesSecret的Authorization: BearerAPI key。将每个 key 限制为每分钟 60 个请求、每小时 200k 个令牌。将qwen-2流量发送到mlops-demo-ai-test中的qwen-2InferenceService,并将deepseek-v4发送到同名的LLMInferenceService。” - 让智能体起草 CRD。 在 infra repo 下的目录中起草,每个资源使用一个文件,并添加注释说明每项策略决策。
- 在应用前进行验证。 要求智能体运行
kubectl apply --dry-run=server -f ./gateway/,并总结将发生哪些更改。仅在审查后应用。 - 对新策略执行冒烟测试。 让智能体发送有效请求、未进行身份验证的请求以及超出速率限制的请求,并确认预期的 200 / 401 / 429 响应。将测试作为一个小型脚本与清单放在一起,以便未来重新验证更改。
有关每个 CRD 的确切字段结构,请参阅下面链接的上游文档——版本会发生变化,智能体应读取实时规范,而不是自行臆造字段。
调整服务性能以适配硬件
本节重点介绍如何让智能体驱动调优,而不是由你手动完成。服务器端参数因运行时而异——对于 vLLM,请参阅最佳实践:调整推理服务性能;对于 llama.cpp(GGUF),相关标志包括 --cache-type-k/--cache-type-v(KV cache 量化)、--ctx-size(上下文窗口)、--parallel(并发)以及 --reasoning/--reasoning-budget(推理控制)。
一个高效的循环如下:
1. 定义服务级别目标
在调优前确定指标。告诉智能体什么样的表现算“足够好”:
- 预期并发量下的最大首 token 延迟(TTFT)。
- 对于具有代表性的提示词,最大的 P95 token 间延迟或总响应时间。
- 最低可持续吞吐量(请求数/分钟或 token 数/秒)。
- 智能体流量将发送的最大上下文长度。
- GPU 内存余量目标(为 KV cache 增长留出至少 10% 的空闲空间)。
2. 生成可复现的基准测试
要求智能体编写一个能够反映真实流量的基准测试脚本——包括典型提示词大小、系统提示词和并发量。可参考的起点包括 vllm bench serve、genai-perf,或直接驱动 /v1/chat/completions 的 k6/Python 脚本。
对于流式和非流式请求,智能体都应记录 TTFT(首 token 时间)、ITL(token 间延迟,单位为毫秒/token)和 TPS(每秒 token 数)。如果模型启用了推理,智能体还必须测量推理开销比:reasoning_tokens / content_tokens,因为它可能在不增加用户可见输出的情况下提高总延迟并使 TPS 膨胀。
确保服务器暴露指标。对于 vLLM,请抓取兼容 OpenAI 的服务器内置 /metrics 端点。对于 llama.cpp,在抓取 /metrics 之前,通过 --metrics 启用指标端点。如果指标端点不可用,则通过 API 回退到逐请求延迟测量。
3. 让智能体一次提出一项更改
将基准测试输出和当前 YAML 提供给智能体。要求它提出一项具有预期效果的更改,例如:
- “添加
--enable-prefix-caching并重新运行;预期效果:降低重复系统提示词前缀的 TTFT(vLLM)。” - “将 KV cache 切换为
--cache-type-k q8_0 --cache-type-v q8_0并重新运行;预期效果:在有限的 GPU 内存中容纳更大的上下文(llama.cpp / GGUF)。” - “设置
--reasoning-budget 2048,而不是-1;预期效果:限制推理开销,为内容输出提供更多可用 token(llama.cpp)。” - “增加
--max-num-seqs;预期效果:以更高的 P95 延迟为代价提高吞吐量(vLLM)。”
每次迭代只进行一项更改,以便明确归因于因果关系。
4. 应用、测量并记录
智能体更新 InferenceService YAML,应用该配置,等待 READY,然后重新运行基准测试。它还应检查 GPU 级别的指标:利用率(持续推理时预计为 70–90%)、内存使用量(超过 95% 时发出警告)和功耗。每次运行都在 Markdown 表格中追加一行,记录配置差异、首 token 延迟、ITL、TPS 和 GPU 指标。
5. 在达到 SLO 或硬件上限时停止
当 SLO 达成,或下一个合理的调节项是“更换硬件”或“更换模型”时,循环结束——此时智能体应明确说明原因,而不是继续反复调节。常见上限包括:目标上下文长度下 KV cache 已饱和、tensor parallel 扩展不再呈线性增长、单请求延迟受解码限制,或 GPU 内存余量低于 5%。
关于模型大小与 GPU 内存的选择,请参阅前一篇文档中的选择适配硬件的模型部分。关于自动扩缩容和冷启动之间的权衡,请参阅为 Inference Services 配置扩缩容。关于交互式延迟优化,请参阅vLLM Inference Services 的推测解码。
规划微调并生成报告
微调有两种失败模式特别适合由编码智能体来防止:跳过规划步骤(“直接运行 SFT”)和跳过报告步骤(“损失看起来没问题”)。智能体的职责是将这两者都明确化。
选择适合任务的工具
可复用的微调计划模板
要求智能体在提交任何作业之前填写此模板,并将结果与训练代码一同提交。这样可以区分“我们的计划”和“实际运行的内容”,而这正是报告稍后需要进行的比较。
有用的提示词:“阅读 plan.md。起草一个 Kubeflow Trainer v2 TrainingRuntime 和 TrainJob(或一个 Training Hub notebook),在命名空间 mlops-demo-ai-test 中严格实现此计划。突出显示计划中含义不明确的任何字段,并在猜测之前询问我。”
可复用的微调报告模板
作业完成后,要求智能体读取训练日志、评估输出和资源指标,并填写此报告。将其与计划放在一起提交。
有用的提示词:“为 mlops-demo-ai-test 中的 TrainJob qwen-coder-sft-2026-05-29 生成 report.md。从 MLflow 运行 <id> 中提取指标,从 Pod 中提取训练日志,并从 s3://aml-evals/<run-id>/ 中提取评估结果。与之前的运行 qwen-coder-sft-2026-05-15 进行比较。如果某个部分无法根据可用数据填写,请将其标记为 TODO,而不是编造数字。”
对于实验跟踪和运行元数据,Kubeflow 上的 MLflow是平台原生选项;告诉智能体在训练代码内部将日志记录到其中,以便报告拥有真实的数据源。
每日 MLOps 循环
在完成上述设置后,智能体可以驱动一套有用的端到端流程:
- 分类处理。“列出我命名空间中的推理服务,找出任何处于
NotReady状态或意外缩容为零的服务,并总结近期网关 4xx/5xx 速率。” - 调优。“
qwen-2上的 P95 超出预算。提出一项更改,应用该更改,重新进行基准测试并报告结果。” - 更新。“
qwen-coder-sft-2026-05-29有一个新的模型制品。起草 YAML,将其替换到qwen-2InferenceService中,先将发布限制为一个从节点,并编写冒烟测试。” - 规划。“起草一份微调计划,以修复我们在上周评估中发现的工具调用回归问题。说明方法选择的理由。”
- 报告。“昨晚的作业已完成。生成报告,并告诉我是否应予以晋级。”
每一步都是一个独立的提示词,并有各自的差异供审查。智能体是打字员;你仍然是负责工程师。
最佳实践和防护措施
- 先只读,后写入。 每次开始新任务时,先要求智能体读取状态(
get、describe、日志、指标),并在进行更改前描述它将执行的操作。 - 始终使用
--dry-run=server。 将其作为智能体上下文文件中的常驻规则;在涉及kubectl apply的每个提示词中都提及它。 - 每次迭代只进行一项更改。 尤其是在性能调优期间,同时进行两项更改会掩盖究竟是哪一项带来了帮助。
- 绝不允许智能体伪造指标。 要求它注明每个数字的来源文件、日志或运行 ID;如果数据缺失,则标记为
TODO。 - 考虑推理开销。 对启用推理的模型进行基准测试时,同时报告令牌总数以及推理与内容的细分情况。一个模型在生成 50 个内容令牌之前先生成 8,000 个推理令牌,其开销为 160:1
,这会主导延迟和 TPS。对于 llama.cpp,使用服务器端
--reasoning-budget对其进行限制;对于其他运行时,仅使用已部署服务接受的、文档化的请求时控制项。 - 让循环保持在本地部署环境中。 确认任何智能体配置中的回退模型都没有指向托管服务提供商(参阅连接你的 coding agent,了解需要检查的每个智能体设置)。
- 提交所有内容。 计划、报告、生成的 YAML 和基准测试脚本都应提交到 Git,以便下一个人或下一个智能体可以从你停下的地方继续工作。
参考资料
- 在本地部署的推理服务中使用 Coding Agents
- 使用 CLI 创建推理服务
- 配置推理服务的外部访问
- 配置推理服务的扩缩容
- vLLM 推理服务的推测解码
- 扩展推理运行时
- Alauda AI Platform Gateway — 简介
- 硬件配置文件
- 使用 Kubeflow Trainer v2 进行微调
- 使用 Training Hub 微调 LLM
- 使用 Notebooks 进行微调
- Alauda AI Platform 中的 LLM Compressor
- Kubeflow 上的 MLflow
- Agent Router 上游文档
- Envoy Gateway 上游文档
- KServe LLMInferenceService
- vLLM 基准测试