快速开始
本节提供了使用 Llama Stack 创建 AI Agent 的快速入门示例。
前提条件
- Python 3.12 或更高版本(如果不满足,请参见 FAQ: 如何在 Notebook 中准备 Python 3.12)
- 通过 Operator 安装并运行的 Llama Stack Server(参见 安装 Llama Stack),并且
VLLM_URL指向由 vLLM 提供服务的模型端点(详见安装说明) - 可访问的 Notebook 环境(例如 Jupyter Notebook、JupyterLab)
- 安装了
llama-stack-client、fastmcp(用于 MCP 部分)及其他 Notebook 依赖的 Python 环境
快速开始示例
以下资源中提供了一个使用 Llama Stack 创建 AI Agent 的简单示例:
- Notebook:Llama Stack 快速开始演示
下载该 Notebook 并上传至 Notebook 环境中运行。
该 Notebook 演示了:
- 两种工具选项:客户端工具(
@client_tool)和 MCP 工具(FastMCP +toolgroups.register) - 共享的智能体流程:连接到 Llama Stack Server,选择模型,使用
tools=AGENT_TOOLS创建Agent,然后运行会话和流式交互 - 流式响应和事件日志记录
- 可选的基于 FastAPI 的
agent部署
FAQ
如何在 Notebook 中准备 Python 3.12
-
下载预编译的 Python 安装包:
-
解压:
-
安装并注册内核:
-
在 Notebook 页面切换内核:
- 在浏览器中打开你的 Notebook 环境(例如 Jupyter Notebook 或 JupyterLab),然后打开已有 Notebook 或新建一个。
- 在 Notebook 界面中找到当前内核名称(通常显示在页面的右上角,例如 "Python 3" 或 "python3")。
- 点击该内核名称,或通过菜单选择 Kernel → Change Kernel。
- 在内核列表中选择 "Python 3.12"(即步骤 3 中注册的显示名称)。
- 切换后,新单元格将使用 Python 3.12 运行。
注意:在 Notebook 页面直接执行 python 和 pip 命令时,仍会使用默认的 python。需要指定完整路径才能使用 python312 版本的命令。
其他资源
有关使用 Llama Stack 开发 AI Agent 的更多资源,请参见:
- Llama Stack Documentation - 官方 Llama Stack 文档,涵盖所有使用相关主题、API 提供者和核心概念。
- Llama Stack Core Concepts - 深入了解 Llama Stack 架构、API 稳定性和资源管理。
- Llama Stack GitHub Repository - 源代码、示例应用、发行配置及如何添加新的 API 提供者。
- Llama Stack Example Apps - 官方示例,展示如何在各种场景中使用 Llama Stack。