使用编码智能体与本地部署 LLM 开展 MLOps
目录
简介配置智能体的工作环境管理 InferenceServices 和 LLMInferenceServices管理网关:身份验证和速率限制调优服务性能以适配你的硬件规划微调并生成报告选择适合任务的工具可复用的微调计划模板可复用的微调报告模板每日 MLOps 循环最佳实践与护栏参考资料简介
一旦编码智能体连接到 Alauda AI 上的自托管模型(参见 使用编码智能体与本地部署推理服务),同一个智能体就可以在平台上驱动日常 MLOps。由于模型和操作都针对同一个集群,提示词、清单、训练数据引用以及基准测试结果都不会离开你的环境——这正是自托管智能体在受监管工作中具有吸引力的原因。
本文档介绍了编码智能体最有用的四类工作流:
- 编写和管理
InferenceService与LLMInferenceService资源。 - 配置推理流量网关——通过 Alauda Build of Envoy AI Gateway 实现身份验证和速率限制。
- 迭代调优推理服务的性能,使其适配特定硬件。
- 规划微调任务,并根据结果生成结构化报告。
本文假设你已经在运行该智能体,并且它可以访问一个启用了 工具调用 的本地部署 OpenAI-compatible 端点。如果没有,请先阅读上面的先决条件文档。
能够通过 kubectl 操作真实集群的编码智能体,同样也能删除对象。请将其 kubeconfig 作用域限制在单个命名空间,对任何探索阶段的 apply 都优先使用 --dry-run=server,并要求人在每次变更落地到生产前进行审核。把智能体当作拥有集群访问权限的初级工程师,而不是自主 operator。
配置智能体的工作环境
在把 MLOps 工作交给智能体之前,先为它提供一个小而可靠的上下文,使其能够稳定运行。每个项目通常只需要做以下三件事:
- 限定集群访问范围。 创建一个专用命名空间(例如平台样例中使用的
mlops-demo-ai-test)以及一个权限仅限于智能体应当接触的资源的ServiceAccount/ kubeconfig——通常包括InferenceService、LLMInferenceService、TrainJob、TrainingRuntime、AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy、SecurityPolicy、BackendTrafficPolicy,以及它们引用的 secrets/configmaps。避免集群级写权限。 - 固定默认硬件配置。 Platform Hardware Profiles 会编码 GPU 类型、taints、tolerations 以及适用于你算力集群的 node selectors。先选好正确的 profile,并告诉智能体使用它——这样可以避免智能体自行发明 affinity blocks。参见 Hardware Profiles。
- 提交一个智能体上下文文件。 大多数编码智能体都会读取项目级说明文件(例如
AGENTS.md、CLAUDE.md或opencode.md)。用它记录集群名称、目标命名空间、本地模型端点、命名约定、“始终先运行kubectl apply --dry-run=server”、以及智能体应遵循的任何内部链接。一旦这个文件存在,后续每一次提示都会更短也更准确。
管理 InferenceServices 和 LLMInferenceServices
平台支持两种相关资源来提供模型服务:
InferenceService(serving.kserve.io/v1beta1)——标准的 KServe predictor,用于 使用 CLI 创建 Inference Service。最适合单容器模型服务器(vLLM、Triton、自定义 runtime)。LLMInferenceService——KServe 面向 LLM 的更高层资源,用于多组件 LLM 服务(协调 predictor、可选的 prefill/decode 解耦,以及 gateway/inference-extension 集成)。Platform 功能(例如 Hardware Profiles)也会识别它,并在说明中将其与InferenceService并列提及(参见 Hardware Profiles)。当单容器InferenceService已经不够用时,请使用它。
针对这两种资源,一个好的智能体循环是相同的:
可作为起点的提示词:
- “为模型
Qwen2.5-Coder-7B-Instruct生成一个InferenceService,使用aml-vllmruntime,硬件 profile 设为single-a30-24g,命名空间为mlops-demo-ai-test。启用 prefix caching 和带有hermesparser 的工具调用。先运行kubectl apply --dry-run=server,并在实际应用前展示与任何现有对象的 diff。” - “将这个
InferenceService转换为用于 prefill/decode 解耦的LLMInferenceService;保持相同的模型、硬件 profile 和 served-model 名称。告诉我有哪些变更,以及为什么。” - “列出
mlops-demo-ai-test中所有InferenceService和LLMInferenceService对象、它们的READY状态,以及每个对象提供的模型。标记任何已经NotReady超过 10 分钟的对象,并汇总最近的 predictor pod events。”
对于智能体需要复现的 YAML 字段以及平台特有的 labels/annotations,请让它以 使用 CLI 创建 Inference Service 作为权威示例。若要向外部暴露新服务,请让它参考 为 Inference Services 配置外部访问。
管理网关:身份验证和速率限制
Alauda Build of Envoy AI Gateway 是 Alauda Build of KServe 的必需依赖,它通过 OpenAI-compatible API 接口、面向 AI 的路由以及按模型策略来承载推理流量(参见 Envoy AI Gateway 介绍 和 安装)。智能体非常适合编写它的 CRD,因为这些 CRD 往往比较冗长:
一个实用的智能体工作流:
- 先用业务语言告诉智能体你的目标。 例如:“在
https://ai.example.internal后面暴露qwen-2和llama-3-70b,并提供一个 OpenAI-compatible 端点。要求来自 KubernetesSecretai-gateway-keys的Authorization: BearerAPI key。限制每个 key 为 60 次请求/分钟和 200k tokens/小时。将qwen-2流量发送到mlops-demo-ai-test中qwen-2的InferenceService,将llama-3-70b发送到同名的LLMInferenceService。” - 让智能体起草 CRD。 将其放在你的 infra repo 下的一个目录中,每个资源一个文件,并用注释说明每一个策略决策。
- 应用前先验证。 要求智能体运行
kubectl apply --dry-run=server -f ./gateway/并汇总将要发生的变更。只有在你审查通过后再真正应用。 - 对新策略做冒烟测试。 让智能体分别发送一个合法请求、一个未认证请求,以及一个超出速率限制的请求,并确认预期的 200 / 401 / 429 响应。将测试以一个小脚本的形式与清单文件放在一起,这样未来的变更可以再次验证。
关于每个 CRD 的精确字段结构,请以下面链接的上游文档为准——版本会变化,智能体应当读取实时 spec,而不是自行臆造字段。
调优服务性能以适配你的硬件
本节重点介绍智能体如何 驱动 调优,而不是由你手工操作。不同 runtime 的服务端参数各不相同——对于 vLLM,请参见 最佳实践:调优推理服务性能;对于 llama.cpp(GGUF),相关标志包括 --cache-type-k/--cache-type-v(KV cache 量化)、--ctx-size(上下文窗口)、--parallel(并发)以及 --reasoning/--reasoning-budget(推理控制)。
一个高效的循环:
1. 定义服务级目标
在调优之前先把数字定下来。告诉智能体“足够好”具体是什么样:
- 在预期并发下,允许的最大首 token 延迟(TTFT)。
- 一个代表性 prompt 的最大 P95 token 间延迟或总响应时间。
- 最低可持续吞吐量(requests/min 或 tokens/sec)。
- 智能体流量将发送的最大上下文长度。
- GPU 显存余量目标(至少保留 10% 空闲,以便 KV cache 增长)。
2. 生成可复现的基准测试
让智能体编写一个能模拟真实流量的 benchmark 脚本——典型 prompt 大小、system prompt、并发数都要一致。可作为起点的工具包括 vllm bench serve、genai-perf,或者直接驱动 /v1/chat/completions 的 k6/Python 脚本。
智能体应记录 TTFT(time to first token)、ITL(inter-token latency,单位 ms/token)以及 TPS(tokens per second),并分别统计流式与非流式请求。如果模型启用了 reasoning,智能体还必须测量 reasoning 开销比:reasoning_tokens / content_tokens,因为它会在不增加用户可见输出的情况下放大总延迟并降低 TPS。
确保服务端暴露 metrics。对于 vLLM,请抓取 OpenAI-compatible server 内置的 /metrics 端点。对于 llama.cpp,请先通过 --metrics 启用 metrics 端点,再抓取 /metrics。如果 metrics 端点不可用,则回退为通过 API 进行逐请求延迟测量。
3. 让智能体一次只提出一个变更
将基准测试输出和当前 YAML 提供给智能体。要求它只提出 一个 变更,并说明预期效果,例如:
- “添加
--enable-prefix-caching并重新运行;预期:在重复的 system prompt 前缀场景下更低的 TTFT(vLLM)。” - “将 KV cache 切换为
--cache-type-k q8_0 --cache-type-v q8_0并重新运行;预期:在有限 GPU 显存中容纳更多上下文(llama.cpp / GGUF)。” - “将
--reasoning-budget 2048设为固定值而不是-1;预期:推理开销有上限,可用于内容输出的 token 更多(llama.cpp)。” - “增大
--max-num-seqs;预期:吞吐量更高,但 P95 延迟也会更高(vLLM)。”
每次迭代只变更一项,才能准确归因因果关系。
4. 应用、测量并记录
智能体更新 InferenceService YAML,应用它,等待 READY,然后重新运行基准测试。它还应该检查 GPU 级指标:利用率(持续推理时预期为 70–90%)、显存使用率(如果超过 95% 则需要标记)以及功耗。每次运行都向一个 markdown 表格追加一行,记录配置差异、首 token 延迟、ITL、TPS 和 GPU 指标。
5. 当达到 SLO 或硬件上限时停止
当 SLO 达标,或者下一步最合理的调整已经变成“更换硬件”或“更换模型”时,这个循环就结束了——在这种情况下,智能体应当明确指出,而不是继续反复调参。常见上限包括:KV cache 在目标上下文长度下已饱和、tensor-parallel 扩展不再线性、在单请求延迟下受 decode 限制,或者 GPU 显存余量低于 5%。
关于模型大小与 GPU 显存的选择,请参见前一篇文档中的 选择适合你硬件的模型 章节。关于自动扩缩容与冷启动的取舍,请参见 为 Inference Services 配置扩缩容。关于交互式低延迟优化,请参见 vLLM Inference Services 的 Speculative Decoding。
规划微调并生成报告
微调有两种失败模式,而编码智能体特别擅长防止它们:跳过规划步骤(“直接跑 SFT”)和跳过报告步骤(“loss 看起来不错”)。智能体的职责是把这两步都显式化。
选择适合任务的工具
可复用的微调计划模板
在任何 job 提交之前,让智能体先填好这个模板,并将结果与训练代码一起提交到 Git。这样可以将“我们的预期”与“实际运行了什么”分开,而报告之后正好需要对比这两者。
可用提示词:“阅读 plan.md。在命名空间 mlops-demo-ai-test 中,起草一个严格实现该计划的 Kubeflow Trainer v2 TrainingRuntime 和 TrainJob(或一个 Training Hub notebook)。对计划中任何含糊的字段进行高亮,并在猜测之前先问我。”
可复用的微调报告模板
作业结束后,让智能体读取训练日志、评估输出以及资源指标,并填充这份报告。将它与 plan 一起提交。
可用提示词:“为 mlops-demo-ai-test 中的 TrainJob qwen-coder-sft-2026-05-29 生成 report.md。从 MLflow run <id> 获取指标,从 pod 中获取训练日志,从 s3://aml-evals/<run-id>/ 获取评估结果。与上一次运行 qwen-coder-sft-2026-05-15 进行比较。如果某个章节无法根据现有数据填写,请标记为 TODO,不要编造数字。”
关于实验跟踪和运行元数据,Kubeflow 上的 MLflow 是平台原生选项;让智能体在训练代码内部将这些信息记录到那里,这样报告就有了真实的单一事实来源。
每日 MLOps 循环
在完成上述设置后,智能体可以驱动的一个有用的端到端流程如下:
- 分诊。 “列出我命名空间中的 inference services,找出任何
NotReady或意外缩容到零的对象,总结最近网关 4xx/5xx 的比率。” - 调优。 “
qwen-2的 P95 超出了预算。请提出一个变更,应用它,重新做基准测试,并汇报结果。” - 更新。 “有一个新的模型制品
qwen-coder-sft-2026-05-29。起草 YAML,将它切换进qwen-2的InferenceService,先把 rollout 限制为一个 replica,并编写冒烟测试。” - 规划。 “起草一个微调计划,用来修复我们在上周评估中看到的 tool-calling 回归。说明你为什么选择这种方法。”
- 报告。 “昨晚的 job 已完成。生成报告,并告诉我是否应该推广。”
每一步都是一个独立的提示词,附带各自需要审查的 diff。智能体负责打字;你仍然是最终负责的工程师。
最佳实践与护栏
- 先只读,后写入。 每个新任务都应先让智能体读取状态(
get、describe、日志、metrics),并在做任何变更之前先 描述它将要做什么。 - 始终使用
--dry-run=server。 把它写进智能体上下文文件作为固定规则;每次涉及kubectl apply的提示词都要提到它。 - 每次迭代只变更一项。 尤其是性能调优时,混合两个变更会掩盖到底是谁起了作用。
- 绝不允许智能体伪造指标。 要求它为每个数字引用其来源文件、日志或 run ID,并在数据缺失时标记
TODO。 - 考虑 reasoning 开销。 在对启用 reasoning 的模型做基准测试时,既要报告总 token 数,也要报告 reasoning 与 content 的拆分。一个模型在输出 50 个 content token 之前先生成 8,000 个 reasoning token,其开销比就是 160:1
——这会主导延迟和 TPS。对于 llama.cpp,请使用服务端
--reasoning-budget对其加以限制;对于其他 runtime,仅使用部署服务明确支持的、文档化的请求时控制项。 - 让循环保持在本地环境内。 确认任何智能体配置中的 fallback model 都没有指向托管提供商(有关需要检查的每个智能体设置,请参见 连接你的编码智能体)。
- 全部提交。 计划、报告、生成的 YAML 和 benchmark 脚本都要放入 Git,这样下一个人——或者下一个智能体——就能从你离开的地方继续。
参考资料
- 使用编码智能体与本地部署 Inference Services
- 使用 CLI 创建 Inference Service
- 为 Inference Services 配置外部访问
- 为 Inference Services 配置扩缩容
- vLLM Inference Services 的 Speculative Decoding
- 扩展推理 runtimes
- Envoy AI Gateway — 介绍
- 安装 Envoy AI Gateway
- Hardware Profiles
- 使用 Kubeflow Trainer v2 进行微调
- 使用 Training Hub 微调 LLM
- 使用 Notebooks 进行微调
- Alauda AI 的 LLM Compressor
- Kubeflow 上的 MLflow
- Envoy AI Gateway 上游文档
- Envoy Gateway 上游文档
- KServe LLMInferenceService
- vLLM 基准测试