使用编码智能体与本地部署 LLM 开展 MLOps
目录
简介设置智能体的工作环境管理 InferenceServices 和 LLMInferenceServices管理网关:身份验证和速率限制调优服务性能以适配你的硬件规划 fine-tuning 并生成报告选择合适的工具可复用的 fine-tuning 计划模板可复用的 fine-tuning 报告模板每日 MLOps 循环最佳实践和防护措施参考资料简介
一旦将编码智能体接入 Alauda AI 上的自托管模型(参见 Use Coding Agents with On-Premise Inference Services),同一个智能体就可以在平台上驱动日常 MLOps。由于模型和运维目标都位于同一个集群中,提示词、manifest、训练数据引用和 benchmark 结果都不会离开你的环境——这正是自托管智能体对受监管场景具有吸引力的原因。
本文档介绍了编码智能体最适用的四类工作流:
- 编写和管理
InferenceService和LLMInferenceService资源。 - 配置推理流量网关——通过 Alauda Build of Envoy AI Gateway 进行身份验证和速率限制。
- 迭代调优推理服务性能,使其适配特定硬件。
- 规划 fine-tuning 运行,并根据结果生成结构化报告。
本文假设你已经在运行该智能体,并且它可以访问一个开启了tool calling 的本地部署 OpenAI 兼容端点。如果不是,请先阅读上面的前置条件文档。
能够运行 kubectl 并操作真实集群的编码智能体,同样也可能删除资源。请将其 kubeconfig 的作用域限制在单个 namespace,任何探索阶段的 apply 操作都优先使用 --dry-run=server,并要求在每次变更真正进入生产环境之前经过人工审查。把智能体当作一个拥有集群访问权限的初级工程师,而不是一个自主运维程序。
设置智能体的工作环境
在将 MLOps 工作交给智能体之前,请先为其提供一个小而可靠的上下文环境。对于每个项目,以下三项几乎都值得只做一次:
- 限定集群访问范围。 创建一个专用 namespace(例如平台示例中使用的
mlops-demo-ai-test)以及一个权限仅限于智能体应接触资源的ServiceAccount/ kubeconfig——通常包括InferenceService、LLMInferenceService、TrainJob、TrainingRuntime、AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy、SecurityPolicy、BackendTrafficPolicy以及它们引用的 secrets/configmaps。避免使用集群级写权限。 - 固定默认硬件配置文件。 Platform Hardware Profiles 会为你的集群定义 GPU 类型、taints、tolerations 和 node selectors。提前选定正确的 profile,并明确告知智能体使用它——这可以防止智能体自行发明 affinity block。参见 Hardware Profiles。
- 提交智能体上下文文件。 大多数编码智能体都会读取项目级说明文件(例如
AGENTS.md、CLAUDE.md或opencode.md)。利用它记录集群名称、目标 namespace、本地部署模型端点、命名约定、“始终先运行kubectl apply --dry-run=server”、以及智能体应遵循的内部链接。该文件一旦存在,后续每个提示词都会更短且更准确。
管理 InferenceServices 和 LLMInferenceServices
该平台支持两类相关资源用于模型服务:
InferenceService(serving.kserve.io/v1beta1)——标准的 KServe predictor,用于 Create Inference Service using CLI 中的场景。最适合单容器模型服务(vLLM、Triton、自定义 runtime)。LLMInferenceService——KServe 更高层级的 LLM 资源,用于多组件 LLM 服务(编排 predictor、可选的 prefill/decode disaggregation,以及 gateway/inference-extension 集成)。平台功能(例如 Hardware Profiles)也会识别它,并将其与InferenceService一起提及(参见 Hardware Profiles)。当单容器的InferenceService已经不够用时,就使用它。
对于这两类资源,一个好的智能体循环是相同的:
可直接用于起步的提示词:
- “使用
aml-vllmruntime、hardware profilesingle-a30-24g、namespacemlops-demo-ai-test,为模型Qwen3.6-35B-A3B生成一个InferenceService。启用 prefix caching 和与 Qwen3.6 匹配的 parser 的 tool calling。请运行kubectl apply --dry-run=server,并在应用前向我展示与任何现有对象的 diff。” - “将这个
InferenceService转换为一个用于 prefill/decode disaggregation 的LLMInferenceService;保留相同的模型、hardware profile 和 served-model 名称。把变更内容和原因告诉我。” - “列出
mlops-demo-ai-test中所有InferenceService和LLMInferenceService对象、它们的READY状态以及每个对象所服务的模型。标记所有已NotReady超过 10 分钟的对象,并汇总最近的 predictor pod events。”
关于智能体需要复现的 YAML 字段以及平台特定的 labels/annotations,请将 Create Inference Service using CLI 作为权威示例。若要对外暴露新服务,请参考 Configure External Access for Inference Services。
管理网关:身份验证和速率限制
Alauda Build of Envoy AI Gateway 是 Alauda Build of KServe 的必需依赖,它通过兼容 OpenAI 的 API 表面、AI 感知路由以及按模型策略来承载推理流量(参见 Envoy AI Gateway introduction 和 installation)。智能体非常适合编写其 CRD,因为这些内容通常较为冗长:
一个实用的智能体工作流如下:
- 用业务语言告诉智能体你的意图。 例如:“在
https://ai.example.internal后面暴露qwen-2和deepseek-v4,作为一个 OpenAI 兼容端点。要求使用名为ai-gateway-keys的 KubernetesSecret中的Authorization: BearerAPI key。将每个 key 限制为 60 requests/minute 和 200k tokens/hour。将qwen-2流量发送到mlops-demo-ai-test中的qwen-2InferenceService,将deepseek-v4发送到同名的LLMInferenceService。” - 让智能体起草 CRD。 将这些 CRD 放在你的 infra repo 下的一个目录中,每个资源一个文件,并通过注释说明每项策略决策。
- 在应用前进行验证。 要求智能体运行
kubectl apply --dry-run=server -f ./gateway/,并总结将会发生哪些变更。只有在你审查后再应用。 - 对新策略做 smoke-test。 让智能体发送一个有效请求、一个未认证请求,以及一个超出速率限制的请求,并确认预期的 200 / 401 / 429 响应。将测试结果作为一个小脚本与 manifests 一起保存,以便未来的变更可以重新验证。
关于每个 CRD 的精确字段结构,请参考下方链接中的上游文档——版本会变化,智能体应读取实时 spec,而不是自行编造字段。
调优服务性能以适配你的硬件
本节重点介绍智能体如何驱动调优,而不是由你手工操作。服务器端参数会因 runtime 而异——对于 vLLM,参见 Best practices: tune inference service performance;对于 llama.cpp(GGUF),相关参数包括 --cache-type-k/--cache-type-v(KV cache 量化)、--ctx-size(上下文窗口)、--parallel(并发数)以及 --reasoning/--reasoning-budget(reasoning 控制)。
一个高效的循环如下:
1. 定义服务级目标
在调优之前先固定数值。告诉智能体“足够好”具体意味着什么:
- 在预期并发下,首 token 延迟(TTFT)的最大值。
- 代表性提示词的 P95 token 间延迟或总响应时间的最大值。
- 最低可持续吞吐量(requests/min 或 tokens/sec)。
- 智能体流量将发送的最大上下文长度。
- GPU 内存余量目标(保留 ≥10% 空闲,用于 KV cache 增长)。
2. 生成可复现的 benchmark
要求智能体编写一个与真实流量一致的 benchmark 脚本——包括典型的 prompt 大小、system prompt 和并发数。可作为起点的工具包括 vllm bench serve、genai-perf,或者直接驱动 /v1/chat/completions 的 k6/Python 脚本。
智能体应记录 streaming 和 non-streaming 请求的 TTFT(time to first token)、ITL(inter-token latency,单位 ms/token)和 TPS(tokens per second)。如果模型开启了 reasoning 服务,智能体还必须测量 reasoning 开销比率:reasoning_tokens / content_tokens,因为它可能在不增加用户可见输出的情况下放大总延迟并降低 TPS。
确保服务器暴露 metrics。对于 vLLM,请抓取 OpenAI 兼容服务器内置的 /metrics 端点。对于 llama.cpp,请在抓取 /metrics 之前使用 --metrics 启用 metrics 端点。如果 metrics 端点不可用,则退回到通过 API 进行逐请求延迟测量。
3. 让智能体一次只提出一个变更
将 benchmark 输出和当前 YAML 提供给智能体。要求其只提出一个变更,并说明预期效果,例如:
- “添加
--enable-prefix-caching并重新运行;预期:在重复的 system prompt 前缀场景下 TTFT 降低(vLLM)。” - “将 KV cache 切换为
--cache-type-k q8_0 --cache-type-v q8_0并重新运行;预期:在有限 GPU 内存中容纳更多上下文(llama.cpp / GGUF)。” - “将
--reasoning-budget 2048替代-1;预期:受限的 reasoning 开销,为内容输出保留更多 token(llama.cpp)。” - “提高
--max-num-seqs;预期:吞吐量更高,但 P95 延迟也会更高(vLLM)。”
每次迭代只做一个变更,有助于明确因果关系。
4. 应用、测量并记录
智能体更新 InferenceService YAML,应用变更,等待 READY,然后重新运行 benchmark。它还应该检查 GPU 级指标:利用率(持续推理时预期为 70–90%)、显存使用情况(如果 >95% 则标记)、以及功耗。每次运行都向一个 markdown 表格追加一行,包含配置差异、首 token 延迟、ITL、TPS 和 GPU 指标。
5. 在达到 SLO 或硬件上限时停止
当满足 SLO,或者下一个合理的调节方向变成“不同的硬件”或“不同的模型”时,循环就结束——此时智能体应该明确说明,而不是继续反复试验。常见上限包括:在目标上下文长度下 KV cache 饱和、tensor-parallel 扩展不再线性、单请求延迟受 decode 限制,或 GPU 内存余量低于 5%。
关于模型大小与 GPU 内存的选择,请参阅上一份文档中的 Choose a model that fits your hardware 章节。关于 autoscaling 和 cold-start 的权衡,请参阅 Configure Scaling for Inference Services。关于交互式延迟优化,请参阅 Speculative Decoding for vLLM Inference Services。
规划 fine-tuning 并生成报告
fine-tuning 有两种失败模式,而编码智能体尤其擅长避免:跳过规划步骤(“直接跑 SFT”)以及跳过报告步骤(“loss 看起来没问题”)。智能体的任务是将这两点都显式化。
选择合适的工具
可复用的 fine-tuning 计划模板
在提交任何 job 之前,让智能体填充以下模板,并将结果与训练代码一同提交。这样可以将“我们打算做什么”与“我们实际跑了什么”分离开来,而这正是报告后续所需进行比较的内容。
可用提示词:“读取 plan.md。在 namespace mlops-demo-ai-test 中起草一个 Kubeflow Trainer v2 的 TrainingRuntime 和 TrainJob(或一个 Training Hub notebook),要求严格按照此计划实现。高亮任何计划中存在歧义的字段,并在猜测之前先询问我。”
可复用的 fine-tuning 报告模板
作业完成后,让智能体摄取训练日志、eval 输出和资源指标,并填写此报告。将其与计划文件一起提交。
可用提示词:“为 mlops-demo-ai-test 中的 TrainJob qwen-coder-sft-2026-05-29 生成 report.md。从 MLflow run <id> 中提取指标,从 pod 中提取训练日志,从 s3://aml-evals/<run-id>/ 中提取 eval 结果。与上一次运行 qwen-coder-sft-2026-05-15 进行比较。如果某个部分无法从现有数据中填充,请标记为 TODO,而不要编造数字。”
对于实验跟踪和运行元数据,MLflow on Kubeflow 是平台原生选项;请让智能体在训练代码内部将这些信息记录到那里,这样报告就会有真实的事实来源。
每日 MLOps 循环
在完成上述设置后,智能体可以驱动如下一个实用的端到端流程:
- 分诊。 “列出我 namespace 中的 inference services,找出任何
NotReady或意外缩容到 0 的对象,汇总最近的网关 4xx/5xx 比例。” - 调优。 “
qwen-2的 P95 已超出预算。提出一个变更,应用它,重新 benchmark,并给出报告。” - 更新。 “有一个新的模型制品
qwen-coder-sft-2026-05-29。起草 YAML,将它替换进qwen-2的InferenceService中,先将 rollout 限制为一个 replica,并编写 smoke test。” - 规划。 “起草一个 fine-tuning 计划,以修复我们在上周 eval 中看到的 tool-calling 回归。说明方法选择的理由。”
- 报告。 “昨晚的 job 已完成。生成报告并告诉我是否应该推进发布。”
每一步都是一个独立的提示词,并且都有自己的 diff 需要审查。智能体只是打字员;你仍然是最终负责的工程师。
最佳实践和防护措施
- 先只读,后写入。 对每个新任务,先要求智能体读取状态(
get、describe、日志、metrics),并在进行任何修改前描述它将要做什么。 - 始终使用
--dry-run=server。 将其写入智能体上下文文件中的固定规则;在每个涉及kubectl apply的提示词中都提及它。 - 每次迭代只做一个变更。 尤其在性能调优时,混合两个变更会掩盖究竟是哪一个起了作用。
- 绝不让智能体编造 metrics。 要求它引用每个数值的来源文件、日志或 run ID,并在缺少数据时标记为
TODO。 - 考虑 reasoning 开销。 在 benchmark 启用 reasoning 的模型时,同时报告总 token 数以及 reasoning 与 content 的拆分。一个模型在输出 50 个 content token 之前先生成 8,000 个 reasoning token,就意味着 160:1
的开销——这会主导延迟和 TPS。对于 llama.cpp,请使用服务端
--reasoning-budget将其限制住;对于其他 runtime,只使用你部署的服务所接受的、已有文档说明的请求时控制参数。 - 让循环保持在本地。 确认任何智能体配置中的 fallback model 都没有指向托管提供商(有关需要检查的每个智能体设置,参见 Connect your coding agent)。
- 全部提交到 Git。 计划、报告、生成的 YAML 和 benchmark 脚本都应进入 Git,这样下一个人——或者下一个智能体——就可以接着你离开的地方继续。
参考资料
- Use Coding Agents with On-Premise Inference Services
- Create Inference Service using CLI
- Configure External Access for Inference Services
- Configure Scaling for Inference Services
- Speculative Decoding for vLLM Inference Services
- Extend Inference Runtimes
- Envoy AI Gateway — introduction
- Install Envoy AI Gateway
- Hardware Profiles
- Fine-Tuning with Kubeflow Trainer v2
- Fine-tuning LLMs with Training Hub
- Fine-tuning with Notebooks
- LLM Compressor with Alauda AI
- MLflow on Kubeflow
- Envoy AI Gateway upstream documentation
- Envoy Gateway upstream documentation
- KServe LLMInferenceService
- vLLM benchmarking