使用编码智能体与本地部署 LLM 开展 MLOps

简介

一旦将编码智能体接入 Alauda AI 上的自托管模型(参见 Use Coding Agents with On-Premise Inference Services),同一个智能体就可以在平台上驱动日常 MLOps。由于模型和运维目标都位于同一个集群中,提示词、manifest、训练数据引用和 benchmark 结果都不会离开你的环境——这正是自托管智能体对受监管场景具有吸引力的原因。

本文档介绍了编码智能体最适用的四类工作流:

  • 编写和管理 InferenceService 和 LLMInferenceService 资源。
  • 配置推理流量网关——通过 Alauda Build of Envoy AI Gateway 进行身份验证和速率限制。
  • 迭代调优推理服务性能,使其适配特定硬件。
  • 规划 fine-tuning 运行,并根据结果生成结构化报告。

本文假设你已经在运行该智能体,并且它可以访问一个开启了tool calling 的本地部署 OpenAI 兼容端点。如果不是,请先阅读上面的前置条件文档。

WARNING

能够运行 kubectl 并操作真实集群的编码智能体,同样也可能删除资源。请将其 kubeconfig 的作用域限制在单个 namespace,任何探索阶段的 apply 操作都优先使用 --dry-run=server,并要求在每次变更真正进入生产环境之前经过人工审查。把智能体当作一个拥有集群访问权限的初级工程师,而不是一个自主运维程序。

设置智能体的工作环境

在将 MLOps 工作交给智能体之前,请先为其提供一个小而可靠的上下文环境。对于每个项目,以下三项几乎都值得只做一次:

  1. 限定集群访问范围。 创建一个专用 namespace(例如平台示例中使用的 mlops-demo-ai-test)以及一个权限仅限于智能体应接触资源的 ServiceAccount / kubeconfig——通常包括 InferenceService、LLMInferenceService、TrainJob、TrainingRuntime、AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy、SecurityPolicy、BackendTrafficPolicy 以及它们引用的 secrets/configmaps。避免使用集群级写权限。
  2. 固定默认硬件配置文件。 Platform Hardware Profiles 会为你的集群定义 GPU 类型、taints、tolerations 和 node selectors。提前选定正确的 profile,并明确告知智能体使用它——这可以防止智能体自行发明 affinity block。参见 Hardware Profiles。
  3. 提交智能体上下文文件。 大多数编码智能体都会读取项目级说明文件(例如 AGENTS.md、CLAUDE.md 或 opencode.md)。利用它记录集群名称、目标 namespace、本地部署模型端点、命名约定、“始终先运行 kubectl apply --dry-run=server”、以及智能体应遵循的内部链接。该文件一旦存在,后续每个提示词都会更短且更准确。

管理 InferenceServices 和 LLMInferenceServices

该平台支持两类相关资源用于模型服务:

  • InferenceService(serving.kserve.io/v1beta1)——标准的 KServe predictor,用于 Create Inference Service using CLI 中的场景。最适合单容器模型服务(vLLM、Triton、自定义 runtime)。
  • LLMInferenceService——KServe 更高层级的 LLM 资源,用于多组件 LLM 服务(编排 predictor、可选的 prefill/decode disaggregation,以及 gateway/inference-extension 集成)。平台功能(例如 Hardware Profiles)也会识别它,并将其与 InferenceService 一起提及(参见 Hardware Profiles)。当单容器的 InferenceService 已经不够用时,就使用它。

对于这两类资源,一个好的智能体循环是相同的:

draft YAML  →  kubectl apply --dry-run=server  →  apply  →  poll status  →  smoke test  →  iterate

可直接用于起步的提示词:

  • “使用 aml-vllm runtime、hardware profile single-a30-24g、namespace mlops-demo-ai-test,为模型 Qwen3.6-35B-A3B 生成一个 InferenceService。启用 prefix caching 和与 Qwen3.6 匹配的 parser 的 tool calling。请运行 kubectl apply --dry-run=server,并在应用前向我展示与任何现有对象的 diff。”
  • “将这个 InferenceService 转换为一个用于 prefill/decode disaggregation 的 LLMInferenceService;保留相同的模型、hardware profile 和 served-model 名称。把变更内容和原因告诉我。”
  • “列出 mlops-demo-ai-test 中所有 InferenceService 和 LLMInferenceService 对象、它们的 READY 状态以及每个对象所服务的模型。标记所有已 NotReady 超过 10 分钟的对象,并汇总最近的 predictor pod events。”

关于智能体需要复现的 YAML 字段以及平台特定的 labels/annotations,请将 Create Inference Service using CLI 作为权威示例。若要对外暴露新服务,请参考 Configure External Access for Inference Services。

管理网关:身份验证和速率限制

Alauda Build of Envoy AI Gateway 是 Alauda Build of KServe 的必需依赖,它通过兼容 OpenAI 的 API 表面、AI 感知路由以及按模型策略来承载推理流量(参见 Envoy AI Gateway introduction 和 installation)。智能体非常适合编写其 CRD,因为这些内容通常较为冗长:

关注点CRD / Resource来源
将请求路由到一个或多个模型后端AIGatewayRoute、AIServiceBackendEnvoy AI Gateway
对客户端(下游)进行身份验证:API key、JWT、OIDCSecurityPolicyEnvoy Gateway
对上游模型进行身份验证(在链式调用托管提供商时)BackendSecurityPolicyEnvoy AI Gateway
按路由或按模型进行速率限制和 token 预算控制BackendTrafficPolicy(全局速率限制)或 AIGatewayRoute 的 token-rate-limit 设置Envoy Gateway / Envoy AI Gateway
TLS 终止、可观测性标准 Gateway / HTTPRoute 以及 Envoy Gateway 特性Envoy Gateway

一个实用的智能体工作流如下:

  1. 用业务语言告诉智能体你的意图。 例如:“在 https://ai.example.internal 后面暴露 qwen-2 和 deepseek-v4,作为一个 OpenAI 兼容端点。要求使用名为 ai-gateway-keys 的 Kubernetes Secret 中的 Authorization: Bearer API key。将每个 key 限制为 60 requests/minute 和 200k tokens/hour。将 qwen-2 流量发送到 mlops-demo-ai-test 中的 qwen-2 InferenceService,将 deepseek-v4 发送到同名的 LLMInferenceService。”
  2. 让智能体起草 CRD。 将这些 CRD 放在你的 infra repo 下的一个目录中,每个资源一个文件,并通过注释说明每项策略决策。
  3. 在应用前进行验证。 要求智能体运行 kubectl apply --dry-run=server -f ./gateway/,并总结将会发生哪些变更。只有在你审查后再应用。
  4. 对新策略做 smoke-test。 让智能体发送一个有效请求、一个未认证请求,以及一个超出速率限制的请求,并确认预期的 200 / 401 / 429 响应。将测试结果作为一个小脚本与 manifests 一起保存,以便未来的变更可以重新验证。

关于每个 CRD 的精确字段结构,请参考下方链接中的上游文档——版本会变化,智能体应读取实时 spec,而不是自行编造字段。

调优服务性能以适配你的硬件

本节重点介绍智能体如何驱动调优,而不是由你手工操作。服务器端参数会因 runtime 而异——对于 vLLM,参见 Best practices: tune inference service performance;对于 llama.cpp(GGUF),相关参数包括 --cache-type-k/--cache-type-v(KV cache 量化)、--ctx-size(上下文窗口)、--parallel(并发数)以及 --reasoning/--reasoning-budget(reasoning 控制)。

一个高效的循环如下:

1. 定义服务级目标

在调优之前先固定数值。告诉智能体“足够好”具体意味着什么:

  • 在预期并发下,首 token 延迟(TTFT)的最大值。
  • 代表性提示词的 P95 token 间延迟或总响应时间的最大值。
  • 最低可持续吞吐量(requests/min 或 tokens/sec)。
  • 智能体流量将发送的最大上下文长度。
  • GPU 内存余量目标(保留 ≥10% 空闲,用于 KV cache 增长)。

2. 生成可复现的 benchmark

要求智能体编写一个与真实流量一致的 benchmark 脚本——包括典型的 prompt 大小、system prompt 和并发数。可作为起点的工具包括 vllm bench serve、genai-perf,或者直接驱动 /v1/chat/completions 的 k6/Python 脚本。

智能体应记录 streaming 和 non-streaming 请求的 TTFT(time to first token)、ITL(inter-token latency,单位 ms/token)和 TPS(tokens per second)。如果模型开启了 reasoning 服务,智能体还必须测量 reasoning 开销比率:reasoning_tokens / content_tokens,因为它可能在不增加用户可见输出的情况下放大总延迟并降低 TPS。

确保服务器暴露 metrics。对于 vLLM,请抓取 OpenAI 兼容服务器内置的 /metrics 端点。对于 llama.cpp,请在抓取 /metrics 之前使用 --metrics 启用 metrics 端点。如果 metrics 端点不可用,则退回到通过 API 进行逐请求延迟测量。

3. 让智能体一次只提出一个变更

将 benchmark 输出和当前 YAML 提供给智能体。要求其只提出一个变更,并说明预期效果,例如:

  • “添加 --enable-prefix-caching 并重新运行;预期:在重复的 system prompt 前缀场景下 TTFT 降低(vLLM)。”
  • “将 KV cache 切换为 --cache-type-k q8_0 --cache-type-v q8_0 并重新运行;预期:在有限 GPU 内存中容纳更多上下文(llama.cpp / GGUF)。”
  • “将 --reasoning-budget 2048 替代 -1;预期:受限的 reasoning 开销,为内容输出保留更多 token(llama.cpp)。”
  • “提高 --max-num-seqs;预期:吞吐量更高,但 P95 延迟也会更高(vLLM)。”

每次迭代只做一个变更,有助于明确因果关系。

4. 应用、测量并记录

智能体更新 InferenceService YAML,应用变更,等待 READY,然后重新运行 benchmark。它还应该检查 GPU 级指标:利用率(持续推理时预期为 70–90%)、显存使用情况(如果 >95% 则标记)、以及功耗。每次运行都向一个 markdown 表格追加一行,包含配置差异、首 token 延迟、ITL、TPS 和 GPU 指标。

5. 在达到 SLO 或硬件上限时停止

当满足 SLO,或者下一个合理的调节方向变成“不同的硬件”或“不同的模型”时,循环就结束——此时智能体应该明确说明,而不是继续反复试验。常见上限包括:在目标上下文长度下 KV cache 饱和、tensor-parallel 扩展不再线性、单请求延迟受 decode 限制,或 GPU 内存余量低于 5%。

关于模型大小与 GPU 内存的选择,请参阅上一份文档中的 Choose a model that fits your hardware 章节。关于 autoscaling 和 cold-start 的权衡,请参阅 Configure Scaling for Inference Services。关于交互式延迟优化,请参阅 Speculative Decoding for vLLM Inference Services。

规划 fine-tuning 并生成报告

fine-tuning 有两种失败模式,而编码智能体尤其擅长避免:跳过规划步骤(“直接跑 SFT”)以及跳过报告步骤(“loss 看起来没问题”)。智能体的任务是将这两点都显式化。

选择合适的工具

场景推荐工具参考
交互式探索、小数据集、一到两块 GPUWorkbench NotebookFine-tuning with Notebooks
具备自动内存管理的生产级 SFT / OSFTTraining HubFine-tuning LLMs with Training Hub
可复用模板、多次运行、在 Kueue 上定时 / 批量执行Kubeflow Trainer v2 + LlamaFactoryFine-Tuning with Kubeflow Trainer v2
已调优模型在服务前需要适配更小的 GPULLM CompressorLLM Compressor with Alauda AI

可复用的 fine-tuning 计划模板

在提交任何 job 之前,让智能体填充以下模板,并将结果与训练代码一同提交。这样可以将“我们打算做什么”与“我们实际跑了什么”分离开来,而这正是报告后续所需进行比较的内容。

# Fine-tuning plan: <run-id>

## Objective
- Business goal:
- Success metric (what improves; how it's measured):
- Acceptance threshold (minimum acceptable score on the metric):

## Base model
- Model and revision:
- Why this base (capability, license, context window, tool-calling support):

## Dataset
- Source(s) and license:
- Size (examples / tokens):
- Format (e.g., JSONL chat messages):
- Splits (train / eval / held-out):
- Known biases or contamination risks:

## Method
- Approach (SFT / LoRA / QLoRA / OSFT / continued pre-train):
- Justification vs. the alternatives:
- Tool (Training Hub / Kubeflow Trainer v2 / Notebook / LlamaFactory):

## Compute budget
- Hardware (GPU type, count, hours):
- Hardware Profile to use:
- Estimated cost / wall-clock:

## Hyperparameters
- Effective batch size, max_tokens_per_gpu, lr, epochs, scheduler, seed:
- Checkpoint cadence and retention:

## Evaluation plan
- Benchmarks (public + internal):
- Eval harness and seed:
- Comparison baselines (the base model, prior runs):

## Risks and rollback
- What could go wrong (catastrophic forgetting, tool-calling regression, license conflict):
- How we'll detect it:
- Rollback (which model artifact to revert to):

可用提示词:“读取 plan.md。在 namespace mlops-demo-ai-test 中起草一个 Kubeflow Trainer v2 的 TrainingRuntime 和 TrainJob(或一个 Training Hub notebook),要求严格按照此计划实现。高亮任何计划中存在歧义的字段,并在猜测之前先询问我。”

可复用的 fine-tuning 报告模板

作业完成后,让智能体摄取训练日志、eval 输出和资源指标,并填写此报告。将其与计划文件一起提交。

# Fine-tuning report: <run-id>

## Provenance
- Plan: link to plan.md and its commit SHA
- TrainJob / Notebook: name, namespace, start/end time
- Hardware actually used (vs. planned):
- Model artifact location (PVC / model repo path / OCI image):

## Training summary
- Steps / epochs completed:
- Final training loss; loss trend (link to TensorBoard / MLflow run):
- Throughput (tokens/sec, samples/sec):
- Wall-clock and GPU-hours:
- Anomalies (loss spikes, restarts, OOMs):

## Evaluation results
- Headline metric vs. baseline and acceptance threshold:
- Per-benchmark scores table (this run, base model, prior best):
- Tool-calling sanity check (pass/fail with example):
- Qualitative samples (3–5 prompts; this run vs. base, side by side):

## Cost
- GPU-hours, $ (if applicable), $/percentage-point of improvement:

## Decision
- Promote / re-run / abandon:
- If promote: which `InferenceService` to update and how (image, storageUri, runtime flags):
- If re-run: what to change in the next plan.md:

## Next actions
- Owner / date:

可用提示词:“为 mlops-demo-ai-test 中的 TrainJob qwen-coder-sft-2026-05-29 生成 report.md。从 MLflow run <id> 中提取指标,从 pod 中提取训练日志,从 s3://aml-evals/<run-id>/ 中提取 eval 结果。与上一次运行 qwen-coder-sft-2026-05-15 进行比较。如果某个部分无法从现有数据中填充,请标记为 TODO,而不要编造数字。”

对于实验跟踪和运行元数据,MLflow on Kubeflow 是平台原生选项;请让智能体在训练代码内部将这些信息记录到那里,这样报告就会有真实的事实来源。

每日 MLOps 循环

在完成上述设置后,智能体可以驱动如下一个实用的端到端流程:

  1. 分诊。 “列出我 namespace 中的 inference services,找出任何 NotReady 或意外缩容到 0 的对象,汇总最近的网关 4xx/5xx 比例。”
  2. 调优。 “qwen-2 的 P95 已超出预算。提出一个变更,应用它,重新 benchmark,并给出报告。”
  3. 更新。 “有一个新的模型制品 qwen-coder-sft-2026-05-29。起草 YAML,将它替换进 qwen-2 的 InferenceService 中,先将 rollout 限制为一个 replica,并编写 smoke test。”
  4. 规划。 “起草一个 fine-tuning 计划,以修复我们在上周 eval 中看到的 tool-calling 回归。说明方法选择的理由。”
  5. 报告。 “昨晚的 job 已完成。生成报告并告诉我是否应该推进发布。”

每一步都是一个独立的提示词,并且都有自己的 diff 需要审查。智能体只是打字员;你仍然是最终负责的工程师。

最佳实践和防护措施

  • 先只读,后写入。 对每个新任务,先要求智能体读取状态(get、describe、日志、metrics),并在进行任何修改前描述它将要做什么。
  • 始终使用 --dry-run=server。 将其写入智能体上下文文件中的固定规则;在每个涉及 kubectl apply 的提示词中都提及它。
  • 每次迭代只做一个变更。 尤其在性能调优时,混合两个变更会掩盖究竟是哪一个起了作用。
  • 绝不让智能体编造 metrics。 要求它引用每个数值的来源文件、日志或 run ID,并在缺少数据时标记为 TODO。
  • 考虑 reasoning 开销。 在 benchmark 启用 reasoning 的模型时,同时报告总 token 数以及 reasoning 与 content 的拆分。一个模型在输出 50 个 content token 之前先生成 8,000 个 reasoning token,就意味着 160:1 的开销——这会主导延迟和 TPS。对于 llama.cpp,请使用服务端 --reasoning-budget 将其限制住;对于其他 runtime,只使用你部署的服务所接受的、已有文档说明的请求时控制参数。
  • 让循环保持在本地。 确认任何智能体配置中的 fallback model 都没有指向托管提供商(有关需要检查的每个智能体设置,参见 Connect your coding agent)。
  • 全部提交到 Git。 计划、报告、生成的 YAML 和 benchmark 脚本都应进入 Git,这样下一个人——或者下一个智能体——就可以接着你离开的地方继续。

参考资料