使用编码智能体与本地部署 LLM 开展 MLOps

简介

将编码智能体连接到 Alauda AI Platform 上的自托管模型后(请参阅使用编码智能体与本地部署推理服务),同一个智能体即可在平台上执行日常 MLOps。由于模型和操作目标位于同一个集群中,提示词、清单、训练数据引用和基准测试结果都不会离开您的环境 — 这正是自托管智能体适用于受监管工作的重要原因。

本文介绍编码智能体最有用的四类工作流:

  • 编写和管理 InferenceService 与 LLMInferenceService 资源。
  • 配置推理流量网关 — 通过 Alauda AI Platform Gateway 设置身份验证和速率限制。
  • 迭代调整推理服务的性能,以适配特定硬件。
  • 规划微调运行,并根据运行结果生成结构化报告。

本文假设您已经在运行该智能体,并且它能够访问启用了工具调用的本地部署 OpenAI 兼容端点。如果还未完成,请先参阅上面的先决条件文档。

WARNING

能够针对真实集群运行 kubectl 的编码智能体也可以删除资源。请将其 kubeconfig 限制在单个命名空间内,在探索期间执行任何应用操作时优先使用 --dry-run=server,并要求人工审核每项更改后再将其应用到生产环境。请将智能体视为拥有集群访问权限的初级工程师,而不是自主 operator。

设置智能体的工作环境

在委派 MLOps 工作之前,请为智能体提供一个小型且可靠的运行上下文。每个项目通常都值得一次性完成以下三项设置:

  1. 限制集群访问范围。 创建一个专用命名空间(例如平台示例中使用的 mlops-demo-ai-test),以及一个权限仅限于智能体应操作资源的 ServiceAccount / kubeconfig — 通常包括 InferenceService、LLMInferenceService、TrainJob、TrainingRuntime、AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy、SecurityPolicy、BackendTrafficPolicy,以及这些资源引用的 secrets/configmaps。避免授予集群范围的写入权限。
  2. 固定默认硬件配置。 平台 Hardware Profiles 会记录您硬件集群中的 GPU 类型、污点、容忍度和节点选择器。请预先选择正确的配置文件,并告知智能体使用该配置 — 这样可以避免智能体自行编写 affinity 块。请参阅Hardware Profiles。
  3. 提交智能体上下文文件。 大多数编码智能体会读取项目级指令文件(例如 AGENTS.md、CLAUDE.md 或 opencode.md)。使用该文件记录集群名称、目标命名空间、本地部署模型端点、命名约定、“始终先运行 kubectl apply --dry-run=server”,以及智能体应遵循的任何内部链接。该文件创建后,后续每次提示都会更简短、更准确。

管理 InferenceServices 和 LLMInferenceServices

平台支持两种用于提供模型服务的相关资源:

  • InferenceService(serving.kserve.io/v1beta1)— 使用 CLI 创建 Inference Service 中使用的标准 KServe predictor。适用于单容器模型服务器(vLLM、Triton、自定义运行时)。
  • LLMInferenceService — KServe 面向多组件 LLM 服务的更高层级 LLM 资源(用于编排 predictors、可选的 prefill/decode 分离,以及与 gateway/inference-extension 集成)。Hardware Profiles 等平台功能可以识别该资源,并将其与 InferenceService 一同列出(请参阅 Hardware Profiles)。当单容器 InferenceService 已无法满足需求时,请使用它。

对于任一资源,良好的智能体工作循环都相同:

draft YAML  →  kubectl apply --dry-run=server  →  apply  →  poll status  →  smoke test  →  iterate

可以从以下提示开始:

  • “为模型 Qwen3.6-35B-A3B 生成一个 InferenceService,使用 aml-vllm 运行时、Hardware Profile single-a30-24g 和命名空间 mlops-demo-ai-test。启用 prefix caching 和 tool calling,并使用与 Qwen3.6 匹配的 parser。运行 kubectl apply --dry-run=server,并在应用前向我展示与任何现有对象的差异。”
  • “将此 InferenceService 转换为支持 prefill/decode 分离的 LLMInferenceService;保留相同的模型、Hardware Profile 和 served-model 名称。向我展示进行了哪些更改以及原因。”
  • “列出 mlops-demo-ai-test 中的所有 InferenceService 和 LLMInferenceService 对象、它们的 READY 状态,以及每个对象提供服务的模型。标记任何已处于 NotReady 状态超过 10 分钟的对象,并汇总最近的 predictor pod 事件。”

对于智能体需要复现的 YAML 字段以及平台特定的 labels/annotations,请将其指向使用 CLI 创建 Inference Service,将其作为规范示例。要将新服务暴露到外部,请将其指向配置 Inference Services 的外部访问。

管理网关:身份验证和速率限制

Alauda AI Platform Gateway 是 Alauda AI Platform Inference Management 的必需依赖项,通过兼容 OpenAI 的 API 接口、AI 感知路由和按模型策略处理推理流量(请参阅 Alauda AI Platform Gateway introduction)。Alauda AI Platform Gateway 由 Alauda AI Platform 通过 envoyAIGateway default 中的 AmlCluster 组件进行管理;请参阅安装 Alauda AI Platform。智能体非常适合编写其 CRD,因为这些 CRD 通常较为冗长:

关注点CRD / 资源来源
将请求路由到一个或多个模型后端AIGatewayRoute、AIServiceBackendAgent Router
对客户端(下游)进行身份验证:API key、JWT、OIDCSecurityPolicyEnvoy Gateway
对上游模型进行身份验证(连接到托管 provider 时)BackendSecurityPolicyAgent Router
按路由或按模型进行速率限制和令牌预算强制执行BackendTrafficPolicy(全局速率限制)或 AIGatewayRoute token-rate-limit 设置Envoy Gateway / Agent Router
TLS 终止、可观测性标准 Gateway / HTTPRoute 和 Envoy Gateway 功能Envoy Gateway

一个实用的智能体工作流程:

  1. 用业务术语告诉智能体你的意图。 例如:“通过位于 https://ai.example.internal 的单个兼容 OpenAI 的端点暴露 qwen-2 和 deepseek-v4。要求使用来自名为 ai-gateway-keys 的 Kubernetes Secret 的 Authorization: Bearer API key。将每个 key 限制为每分钟 60 个请求、每小时 200k 个令牌。将 qwen-2 流量发送到 mlops-demo-ai-test 中的 qwen-2 InferenceService,并将 deepseek-v4 发送到同名的 LLMInferenceService。”
  2. 让智能体起草 CRD。 在 infra repo 下的目录中起草,每个资源使用一个文件,并添加注释说明每项策略决策。
  3. 在应用前进行验证。 要求智能体运行 kubectl apply --dry-run=server -f ./gateway/,并总结将发生哪些更改。仅在审查后应用。
  4. 对新策略执行冒烟测试。 让智能体发送有效请求、未进行身份验证的请求以及超出速率限制的请求,并确认预期的 200 / 401 / 429 响应。将测试作为一个小型脚本与清单放在一起,以便未来重新验证更改。

有关每个 CRD 的确切字段结构,请参阅下面链接的上游文档——版本会发生变化,智能体应读取实时规范,而不是自行臆造字段。

调整服务性能以适配硬件

本节重点介绍如何让智能体驱动调优,而不是由你手动完成。服务器端参数因运行时而异——对于 vLLM,请参阅最佳实践:调整推理服务性能;对于 llama.cpp(GGUF),相关标志包括 --cache-type-k/--cache-type-v(KV cache 量化)、--ctx-size(上下文窗口)、--parallel(并发)以及 --reasoning/--reasoning-budget(推理控制)。

一个高效的循环如下:

1. 定义服务级别目标

在调优前确定指标。告诉智能体什么样的表现算“足够好”:

  • 预期并发量下的最大首 token 延迟(TTFT)。
  • 对于具有代表性的提示词,最大的 P95 token 间延迟或总响应时间。
  • 最低可持续吞吐量(请求数/分钟或 token 数/秒)。
  • 智能体流量将发送的最大上下文长度。
  • GPU 内存余量目标(为 KV cache 增长留出至少 10% 的空闲空间)。

2. 生成可复现的基准测试

要求智能体编写一个能够反映真实流量的基准测试脚本——包括典型提示词大小、系统提示词和并发量。可参考的起点包括 vllm bench serve、genai-perf,或直接驱动 /v1/chat/completions 的 k6/Python 脚本。

对于流式和非流式请求,智能体都应记录 TTFT(首 token 时间)、ITL(token 间延迟,单位为毫秒/token)和 TPS(每秒 token 数)。如果模型启用了推理,智能体还必须测量推理开销比:reasoning_tokens / content_tokens,因为它可能在不增加用户可见输出的情况下提高总延迟并使 TPS 膨胀。

确保服务器暴露指标。对于 vLLM,请抓取兼容 OpenAI 的服务器内置 /metrics 端点。对于 llama.cpp,在抓取 /metrics 之前,通过 --metrics 启用指标端点。如果指标端点不可用,则通过 API 回退到逐请求延迟测量。

3. 让智能体一次提出一项更改

将基准测试输出和当前 YAML 提供给智能体。要求它提出一项具有预期效果的更改,例如:

  • “添加 --enable-prefix-caching 并重新运行;预期效果:降低重复系统提示词前缀的 TTFT(vLLM)。”
  • “将 KV cache 切换为 --cache-type-k q8_0 --cache-type-v q8_0 并重新运行;预期效果:在有限的 GPU 内存中容纳更大的上下文(llama.cpp / GGUF)。”
  • “设置 --reasoning-budget 2048,而不是 -1;预期效果:限制推理开销,为内容输出提供更多可用 token(llama.cpp)。”
  • “增加 --max-num-seqs;预期效果:以更高的 P95 延迟为代价提高吞吐量(vLLM)。”

每次迭代只进行一项更改,以便明确归因于因果关系。

4. 应用、测量并记录

智能体更新 InferenceService YAML,应用该配置,等待 READY,然后重新运行基准测试。它还应检查 GPU 级别的指标:利用率(持续推理时预计为 70–90%)、内存使用量(超过 95% 时发出警告)和功耗。每次运行都在 Markdown 表格中追加一行,记录配置差异、首 token 延迟、ITL、TPS 和 GPU 指标。

5. 在达到 SLO 或硬件上限时停止

当 SLO 达成,或下一个合理的调节项是“更换硬件”或“更换模型”时,循环结束——此时智能体应明确说明原因,而不是继续反复调节。常见上限包括:目标上下文长度下 KV cache 已饱和、tensor parallel 扩展不再呈线性增长、单请求延迟受解码限制,或 GPU 内存余量低于 5%。

关于模型大小与 GPU 内存的选择,请参阅前一篇文档中的选择适配硬件的模型部分。关于自动扩缩容和冷启动之间的权衡,请参阅为 Inference Services 配置扩缩容。关于交互式延迟优化,请参阅vLLM Inference Services 的推测解码。

规划微调并生成报告

微调有两种失败模式特别适合由编码智能体来防止:跳过规划步骤(“直接运行 SFT”)和跳过报告步骤(“损失看起来没问题”)。智能体的职责是将这两者都明确化。

选择适合任务的工具

情况推荐工具参考
交互式探索、小型数据集、一到两张 GPUWorkbench Notebook使用 Notebook 进行微调
面向生产的 SFT / OSFT,具备自动内存管理Training Hub使用 Training Hub 微调 LLM
可复用模板、多次运行、在 Kueue 上进行计划任务/批处理Kubeflow Trainer v2 + LlamaFactory使用 Kubeflow Trainer v2 进行微调
已完成调优的模型在提供服务前需要适配更小的 GPULLM Compressor在 Alauda AI Platform 中使用 LLM Compressor

可复用的微调计划模板

要求智能体在提交任何作业之前填写此模板,并将结果与训练代码一同提交。这样可以区分“我们的计划”和“实际运行的内容”,而这正是报告稍后需要进行的比较。

# Fine-tuning plan: <run-id>

## Objective

- Business goal:
- Success metric (what improves; how it's measured):
- Acceptance threshold (minimum acceptable score on the metric):

## Base model

- Model and revision:
- Why this base (capability, license, context window, tool-calling support):

## Dataset

- Source(s) and license:
- Size (examples / tokens):
- Format (e.g., JSONL chat messages):
- Splits (train / eval / held-out):
- Known biases or contamination risks:

## Method

- Approach (SFT / LoRA / QLoRA / OSFT / continued pre-train):
- Justification vs. the alternatives:
- Tool (Training Hub / Kubeflow Trainer v2 / Notebook / LlamaFactory):

## Compute budget

- Hardware (GPU type, count, hours):
- Hardware Profile to use:
- Estimated cost / wall-clock:

## Hyperparameters

- Effective batch size, max_tokens_per_gpu, lr, epochs, scheduler, seed:
- Checkpoint cadence and retention:

## Evaluation plan

- Benchmarks (public + internal):
- Eval harness and seed:
- Comparison baselines (the base model, prior runs):

## Risks and rollback

- What could go wrong (catastrophic forgetting, tool-calling regression, license conflict):
- How we'll detect it:
- Rollback (which model artifact to revert to):

有用的提示词:“阅读 plan.md。起草一个 Kubeflow Trainer v2 TrainingRuntime 和 TrainJob(或一个 Training Hub notebook),在命名空间 mlops-demo-ai-test 中严格实现此计划。突出显示计划中含义不明确的任何字段,并在猜测之前询问我。”

可复用的微调报告模板

作业完成后,要求智能体读取训练日志、评估输出和资源指标,并填写此报告。将其与计划放在一起提交。

# Fine-tuning report: <run-id>

## Provenance

- Plan: link to plan.md and its commit SHA
- TrainJob / Notebook: name, namespace, start/end time
- Hardware actually used (vs. planned):
- Model artifact location (S3 URI / PVC URI / OCI image URI):

## Training summary

- Steps / epochs completed:
- Final training loss; loss trend (link to TensorBoard / MLflow run):
- Throughput (tokens/sec, samples/sec):
- Wall-clock and GPU-hours:
- Anomalies (loss spikes, restarts, OOMs):

## Evaluation results

- Headline metric vs. baseline and acceptance threshold:
- Per-benchmark scores table (this run, base model, prior best):
- Tool-calling sanity check (pass/fail with example):
- Qualitative samples (3–5 prompts; this run vs. base, side by side):

## Cost

- GPU-hours, $ (if applicable), $/percentage-point of improvement:

## Decision

- Promote / re-run / abandon:
- If promote: which `InferenceService` to update and how (image, storageUri, runtime flags):
- If re-run: what to change in the next plan.md:

## Next actions

- Owner / date:

有用的提示词:“为 mlops-demo-ai-test 中的 TrainJob qwen-coder-sft-2026-05-29 生成 report.md。从 MLflow 运行 <id> 中提取指标,从 Pod 中提取训练日志,并从 s3://aml-evals/<run-id>/ 中提取评估结果。与之前的运行 qwen-coder-sft-2026-05-15 进行比较。如果某个部分无法根据可用数据填写,请将其标记为 TODO,而不是编造数字。”

对于实验跟踪和运行元数据,Kubeflow 上的 MLflow是平台原生选项;告诉智能体在训练代码内部将日志记录到其中,以便报告拥有真实的数据源。

每日 MLOps 循环

在完成上述设置后,智能体可以驱动一套有用的端到端流程:

  1. 分类处理。“列出我命名空间中的推理服务,找出任何处于 NotReady 状态或意外缩容为零的服务,并总结近期网关 4xx/5xx 速率。”
  2. 调优。“qwen-2 上的 P95 超出预算。提出一项更改,应用该更改,重新进行基准测试并报告结果。”
  3. 更新。“qwen-coder-sft-2026-05-29 有一个新的模型制品。起草 YAML,将其替换到 qwen-2 InferenceService 中,先将发布限制为一个从节点,并编写冒烟测试。”
  4. 规划。“起草一份微调计划,以修复我们在上周评估中发现的工具调用回归问题。说明方法选择的理由。”
  5. 报告。“昨晚的作业已完成。生成报告,并告诉我是否应予以晋级。”

每一步都是一个独立的提示词,并有各自的差异供审查。智能体是打字员;你仍然是负责工程师。

最佳实践和防护措施

  • 先只读,后写入。 每次开始新任务时,先要求智能体读取状态(get、describe、日志、指标),并在进行更改前描述它将执行的操作。
  • 始终使用 --dry-run=server。 将其作为智能体上下文文件中的常驻规则;在涉及 kubectl apply 的每个提示词中都提及它。
  • 每次迭代只进行一项更改。 尤其是在性能调优期间,同时进行两项更改会掩盖究竟是哪一项带来了帮助。
  • 绝不允许智能体伪造指标。 要求它注明每个数字的来源文件、日志或运行 ID;如果数据缺失,则标记为 TODO。
  • 考虑推理开销。 对启用推理的模型进行基准测试时,同时报告令牌总数以及推理与内容的细分情况。一个模型在生成 50 个内容令牌之前先生成 8,000 个推理令牌,其开销为 160:1 ,这会主导延迟和 TPS。对于 llama.cpp,使用服务器端 --reasoning-budget 对其进行限制;对于其他运行时,仅使用已部署服务接受的、文档化的请求时控制项。
  • 让循环保持在本地部署环境中。 确认任何智能体配置中的回退模型都没有指向托管服务提供商(参阅连接你的 coding agent,了解需要检查的每个智能体设置)。
  • 提交所有内容。 计划、报告、生成的 YAML 和基准测试脚本都应提交到 Git,以便下一个人或下一个智能体可以从你停下的地方继续工作。

参考资料