使用编码智能体与本地部署 LLM 开展 MLOps

简介

一旦编码智能体连接到 Alauda AI 上的自托管模型(参见 使用编码智能体与本地部署推理服务),同一个智能体就可以在平台上驱动日常 MLOps。由于模型和操作都针对同一个集群,提示词、清单、训练数据引用以及基准测试结果都不会离开你的环境——这正是自托管智能体在受监管工作中具有吸引力的原因。

本文档介绍了编码智能体最有用的四类工作流:

  • 编写和管理 InferenceService 与 LLMInferenceService 资源。
  • 配置推理流量网关——通过 Alauda Build of Envoy AI Gateway 实现身份验证和速率限制。
  • 迭代调优推理服务的性能,使其适配特定硬件。
  • 规划微调任务,并根据结果生成结构化报告。

本文假设你已经在运行该智能体,并且它可以访问一个启用了 工具调用 的本地部署 OpenAI-compatible 端点。如果没有,请先阅读上面的先决条件文档。

WARNING

能够通过 kubectl 操作真实集群的编码智能体,同样也能删除对象。请将其 kubeconfig 作用域限制在单个命名空间,对任何探索阶段的 apply 都优先使用 --dry-run=server,并要求人在每次变更落地到生产前进行审核。把智能体当作拥有集群访问权限的初级工程师,而不是自主 operator。

配置智能体的工作环境

在把 MLOps 工作交给智能体之前,先为它提供一个小而可靠的上下文,使其能够稳定运行。每个项目通常只需要做以下三件事:

  1. 限定集群访问范围。 创建一个专用命名空间(例如平台样例中使用的 mlops-demo-ai-test)以及一个权限仅限于智能体应当接触的资源的 ServiceAccount / kubeconfig——通常包括 InferenceService、LLMInferenceService、TrainJob、TrainingRuntime、AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy、SecurityPolicy、BackendTrafficPolicy,以及它们引用的 secrets/configmaps。避免集群级写权限。
  2. 固定默认硬件配置。 Platform Hardware Profiles 会编码 GPU 类型、taints、tolerations 以及适用于你算力集群的 node selectors。先选好正确的 profile,并告诉智能体使用它——这样可以避免智能体自行发明 affinity blocks。参见 Hardware Profiles。
  3. 提交一个智能体上下文文件。 大多数编码智能体都会读取项目级说明文件(例如 AGENTS.md、CLAUDE.md 或 opencode.md)。用它记录集群名称、目标命名空间、本地模型端点、命名约定、“始终先运行 kubectl apply --dry-run=server”、以及智能体应遵循的任何内部链接。一旦这个文件存在,后续每一次提示都会更短也更准确。

管理 InferenceServices 和 LLMInferenceServices

平台支持两种相关资源来提供模型服务:

  • InferenceService(serving.kserve.io/v1beta1)——标准的 KServe predictor,用于 使用 CLI 创建 Inference Service。最适合单容器模型服务器(vLLM、Triton、自定义 runtime)。
  • LLMInferenceService——KServe 面向 LLM 的更高层资源,用于多组件 LLM 服务(协调 predictor、可选的 prefill/decode 解耦,以及 gateway/inference-extension 集成)。Platform 功能(例如 Hardware Profiles)也会识别它,并在说明中将其与 InferenceService 并列提及(参见 Hardware Profiles)。当单容器 InferenceService 已经不够用时,请使用它。

针对这两种资源,一个好的智能体循环是相同的:

draft YAML  →  kubectl apply --dry-run=server  →  apply  →  poll status  →  smoke test  →  iterate

可作为起点的提示词:

  • “为模型 Qwen2.5-Coder-7B-Instruct 生成一个 InferenceService,使用 aml-vllm runtime,硬件 profile 设为 single-a30-24g,命名空间为 mlops-demo-ai-test。启用 prefix caching 和带有 hermes parser 的工具调用。先运行 kubectl apply --dry-run=server,并在实际应用前展示与任何现有对象的 diff。”
  • “将这个 InferenceService 转换为用于 prefill/decode 解耦的 LLMInferenceService;保持相同的模型、硬件 profile 和 served-model 名称。告诉我有哪些变更,以及为什么。”
  • “列出 mlops-demo-ai-test 中所有 InferenceService 和 LLMInferenceService 对象、它们的 READY 状态,以及每个对象提供的模型。标记任何已经 NotReady 超过 10 分钟的对象,并汇总最近的 predictor pod events。”

对于智能体需要复现的 YAML 字段以及平台特有的 labels/annotations,请让它以 使用 CLI 创建 Inference Service 作为权威示例。若要向外部暴露新服务,请让它参考 为 Inference Services 配置外部访问。

管理网关:身份验证和速率限制

Alauda Build of Envoy AI Gateway 是 Alauda Build of KServe 的必需依赖,它通过 OpenAI-compatible API 接口、面向 AI 的路由以及按模型策略来承载推理流量(参见 Envoy AI Gateway 介绍 和 安装)。智能体非常适合编写它的 CRD,因为这些 CRD 往往比较冗长:

关注点CRD / 资源来源
将请求路由到一个或多个模型后端AIGatewayRoute、AIServiceBackendEnvoy AI Gateway
对 客户端(下游)进行身份验证:API key、JWT、OIDCSecurityPolicyEnvoy Gateway
对 上游 模型进行身份验证(当链路指向托管提供商时)BackendSecurityPolicyEnvoy AI Gateway
按路由或按模型进行速率限制与 token 预算强制BackendTrafficPolicy(全局速率限制)或 AIGatewayRoute 的 token-rate-limit 设置Envoy Gateway / Envoy AI Gateway
TLS 终止、可观测性标准 Gateway / HTTPRoute 以及 Envoy Gateway 功能Envoy Gateway

一个实用的智能体工作流:

  1. 先用业务语言告诉智能体你的目标。 例如:“在 https://ai.example.internal 后面暴露 qwen-2 和 llama-3-70b,并提供一个 OpenAI-compatible 端点。要求来自 Kubernetes Secret ai-gateway-keys 的 Authorization: Bearer API key。限制每个 key 为 60 次请求/分钟和 200k tokens/小时。将 qwen-2 流量发送到 mlops-demo-ai-test 中 qwen-2 的 InferenceService,将 llama-3-70b 发送到同名的 LLMInferenceService。”
  2. 让智能体起草 CRD。 将其放在你的 infra repo 下的一个目录中,每个资源一个文件,并用注释说明每一个策略决策。
  3. 应用前先验证。 要求智能体运行 kubectl apply --dry-run=server -f ./gateway/ 并汇总将要发生的变更。只有在你审查通过后再真正应用。
  4. 对新策略做冒烟测试。 让智能体分别发送一个合法请求、一个未认证请求,以及一个超出速率限制的请求,并确认预期的 200 / 401 / 429 响应。将测试以一个小脚本的形式与清单文件放在一起,这样未来的变更可以再次验证。

关于每个 CRD 的精确字段结构,请以下面链接的上游文档为准——版本会变化,智能体应当读取实时 spec,而不是自行臆造字段。

调优服务性能以适配你的硬件

本节重点介绍智能体如何 驱动 调优,而不是由你手工操作。不同 runtime 的服务端参数各不相同——对于 vLLM,请参见 最佳实践:调优推理服务性能;对于 llama.cpp(GGUF),相关标志包括 --cache-type-k/--cache-type-v(KV cache 量化)、--ctx-size(上下文窗口)、--parallel(并发)以及 --reasoning/--reasoning-budget(推理控制)。

一个高效的循环:

1. 定义服务级目标

在调优之前先把数字定下来。告诉智能体“足够好”具体是什么样:

  • 在预期并发下,允许的最大首 token 延迟(TTFT)。
  • 一个代表性 prompt 的最大 P95 token 间延迟或总响应时间。
  • 最低可持续吞吐量(requests/min 或 tokens/sec)。
  • 智能体流量将发送的最大上下文长度。
  • GPU 显存余量目标(至少保留 10% 空闲,以便 KV cache 增长)。

2. 生成可复现的基准测试

让智能体编写一个能模拟真实流量的 benchmark 脚本——典型 prompt 大小、system prompt、并发数都要一致。可作为起点的工具包括 vllm bench serve、genai-perf,或者直接驱动 /v1/chat/completions 的 k6/Python 脚本。

智能体应记录 TTFT(time to first token)、ITL(inter-token latency,单位 ms/token)以及 TPS(tokens per second),并分别统计流式与非流式请求。如果模型启用了 reasoning,智能体还必须测量 reasoning 开销比:reasoning_tokens / content_tokens,因为它会在不增加用户可见输出的情况下放大总延迟并降低 TPS。

确保服务端暴露 metrics。对于 vLLM,请抓取 OpenAI-compatible server 内置的 /metrics 端点。对于 llama.cpp,请先通过 --metrics 启用 metrics 端点,再抓取 /metrics。如果 metrics 端点不可用,则回退为通过 API 进行逐请求延迟测量。

3. 让智能体一次只提出一个变更

将基准测试输出和当前 YAML 提供给智能体。要求它只提出 一个 变更,并说明预期效果,例如:

  • “添加 --enable-prefix-caching 并重新运行;预期:在重复的 system prompt 前缀场景下更低的 TTFT(vLLM)。”
  • “将 KV cache 切换为 --cache-type-k q8_0 --cache-type-v q8_0 并重新运行;预期:在有限 GPU 显存中容纳更多上下文(llama.cpp / GGUF)。”
  • “将 --reasoning-budget 2048 设为固定值而不是 -1;预期:推理开销有上限,可用于内容输出的 token 更多(llama.cpp)。”
  • “增大 --max-num-seqs;预期:吞吐量更高,但 P95 延迟也会更高(vLLM)。”

每次迭代只变更一项,才能准确归因因果关系。

4. 应用、测量并记录

智能体更新 InferenceService YAML,应用它,等待 READY,然后重新运行基准测试。它还应该检查 GPU 级指标:利用率(持续推理时预期为 70–90%)、显存使用率(如果超过 95% 则需要标记)以及功耗。每次运行都向一个 markdown 表格追加一行,记录配置差异、首 token 延迟、ITL、TPS 和 GPU 指标。

5. 当达到 SLO 或硬件上限时停止

当 SLO 达标,或者下一步最合理的调整已经变成“更换硬件”或“更换模型”时,这个循环就结束了——在这种情况下,智能体应当明确指出,而不是继续反复调参。常见上限包括:KV cache 在目标上下文长度下已饱和、tensor-parallel 扩展不再线性、在单请求延迟下受 decode 限制,或者 GPU 显存余量低于 5%。

关于模型大小与 GPU 显存的选择,请参见前一篇文档中的 选择适合你硬件的模型 章节。关于自动扩缩容与冷启动的取舍,请参见 为 Inference Services 配置扩缩容。关于交互式低延迟优化,请参见 vLLM Inference Services 的 Speculative Decoding。

规划微调并生成报告

微调有两种失败模式,而编码智能体特别擅长防止它们:跳过规划步骤(“直接跑 SFT”)和跳过报告步骤(“loss 看起来不错”)。智能体的职责是把这两步都显式化。

选择适合任务的工具

场景推荐工具参考
交互式探索、小数据集、一两张 GPUWorkbench Notebook使用 Notebooks 进行微调
具备自动内存管理的生产级 SFT / OSFTTraining Hub使用 Training Hub 微调 LLM
可复用模板、多次运行、在 Kueue 上定时 / 批量执行Kubeflow Trainer v2 + LlamaFactory使用 Kubeflow Trainer v2 进行微调
已微调模型在提供服务前需要适配更小的 GPULLM CompressorAlauda AI 的 LLM Compressor

可复用的微调计划模板

在任何 job 提交之前,让智能体先填好这个模板,并将结果与训练代码一起提交到 Git。这样可以将“我们的预期”与“实际运行了什么”分开,而报告之后正好需要对比这两者。

# Fine-tuning plan: <run-id>

## Objective
- Business goal:
- Success metric (what improves; how it's measured):
- Acceptance threshold (minimum acceptable score on the metric):

## Base model
- Model and revision:
- Why this base (capability, license, context window, tool-calling support):

## Dataset
- Source(s) and license:
- Size (examples / tokens):
- Format (e.g., JSONL chat messages):
- Splits (train / eval / held-out):
- Known biases or contamination risks:

## Method
- Approach (SFT / LoRA / QLoRA / OSFT / continued pre-train):
- Justification vs. the alternatives:
- Tool (Training Hub / Kubeflow Trainer v2 / Notebook / LlamaFactory):

## Compute budget
- Hardware (GPU type, count, hours):
- Hardware Profile to use:
- Estimated cost / wall-clock:

## Hyperparameters
- Effective batch size, max_tokens_per_gpu, lr, epochs, scheduler, seed:
- Checkpoint cadence and retention:

## Evaluation plan
- Benchmarks (public + internal):
- Eval harness and seed:
- Comparison baselines (the base model, prior runs):

## Risks and rollback
- What could go wrong (catastrophic forgetting, tool-calling regression, license conflict):
- How we'll detect it:
- Rollback (which model artifact to revert to):

可用提示词:“阅读 plan.md。在命名空间 mlops-demo-ai-test 中,起草一个严格实现该计划的 Kubeflow Trainer v2 TrainingRuntime 和 TrainJob(或一个 Training Hub notebook)。对计划中任何含糊的字段进行高亮,并在猜测之前先问我。”

可复用的微调报告模板

作业结束后,让智能体读取训练日志、评估输出以及资源指标,并填充这份报告。将它与 plan 一起提交。

# Fine-tuning report: <run-id>

## Provenance
- Plan: link to plan.md and its commit SHA
- TrainJob / Notebook: name, namespace, start/end time
- Hardware actually used (vs. planned):
- Model artifact location (PVC / model repo path / OCI image):

## Training summary
- Steps / epochs completed:
- Final training loss; loss trend (link to TensorBoard / MLflow run):
- Throughput (tokens/sec, samples/sec):
- Wall-clock and GPU-hours:
- Anomalies (loss spikes, restarts, OOMs):

## Evaluation results
- Headline metric vs. baseline and acceptance threshold:
- Per-benchmark scores table (this run, base model, prior best):
- Tool-calling sanity check (pass/fail with example):
- Qualitative samples (3–5 prompts; this run vs. base, side by side):

## Cost
- GPU-hours, $ (if applicable), $/percentage-point of improvement:

## Decision
- Promote / re-run / abandon:
- If promote: which `InferenceService` to update and how (image, storageUri, runtime flags):
- If re-run: what to change in the next plan.md:

## Next actions
- Owner / date:

可用提示词:“为 mlops-demo-ai-test 中的 TrainJob qwen-coder-sft-2026-05-29 生成 report.md。从 MLflow run <id> 获取指标,从 pod 中获取训练日志,从 s3://aml-evals/<run-id>/ 获取评估结果。与上一次运行 qwen-coder-sft-2026-05-15 进行比较。如果某个章节无法根据现有数据填写,请标记为 TODO,不要编造数字。”

关于实验跟踪和运行元数据,Kubeflow 上的 MLflow 是平台原生选项;让智能体在训练代码内部将这些信息记录到那里,这样报告就有了真实的单一事实来源。

每日 MLOps 循环

在完成上述设置后,智能体可以驱动的一个有用的端到端流程如下:

  1. 分诊。 “列出我命名空间中的 inference services,找出任何 NotReady 或意外缩容到零的对象,总结最近网关 4xx/5xx 的比率。”
  2. 调优。 “qwen-2 的 P95 超出了预算。请提出一个变更,应用它,重新做基准测试,并汇报结果。”
  3. 更新。 “有一个新的模型制品 qwen-coder-sft-2026-05-29。起草 YAML,将它切换进 qwen-2 的 InferenceService,先把 rollout 限制为一个 replica,并编写冒烟测试。”
  4. 规划。 “起草一个微调计划,用来修复我们在上周评估中看到的 tool-calling 回归。说明你为什么选择这种方法。”
  5. 报告。 “昨晚的 job 已完成。生成报告,并告诉我是否应该推广。”

每一步都是一个独立的提示词,附带各自需要审查的 diff。智能体负责打字;你仍然是最终负责的工程师。

最佳实践与护栏

  • 先只读,后写入。 每个新任务都应先让智能体读取状态(get、describe、日志、metrics),并在做任何变更之前先 描述它将要做什么。
  • 始终使用 --dry-run=server。 把它写进智能体上下文文件作为固定规则;每次涉及 kubectl apply 的提示词都要提到它。
  • 每次迭代只变更一项。 尤其是性能调优时,混合两个变更会掩盖到底是谁起了作用。
  • 绝不允许智能体伪造指标。 要求它为每个数字引用其来源文件、日志或 run ID,并在数据缺失时标记 TODO。
  • 考虑 reasoning 开销。 在对启用 reasoning 的模型做基准测试时,既要报告总 token 数,也要报告 reasoning 与 content 的拆分。一个模型在输出 50 个 content token 之前先生成 8,000 个 reasoning token,其开销比就是 160:1 ——这会主导延迟和 TPS。对于 llama.cpp,请使用服务端 --reasoning-budget 对其加以限制;对于其他 runtime,仅使用部署服务明确支持的、文档化的请求时控制项。
  • 让循环保持在本地环境内。 确认任何智能体配置中的 fallback model 都没有指向托管提供商(有关需要检查的每个智能体设置,请参见 连接你的编码智能体)。
  • 全部提交。 计划、报告、生成的 YAML 和 benchmark 脚本都要放入 Git,这样下一个人——或者下一个智能体——就能从你离开的地方继续。

参考资料