快速开始

本节提供了使用 Llama Stack 创建 AI Agent 的快速入门示例。

前提条件

  • Python 3.12 或更高版本(如果不满足,请参见 FAQ: 如何在 Notebook 中准备 Python 3.12
  • 通过 Operator 安装并运行的 Llama Stack Server(参见 安装 Llama Stack),并且 VLLM_URL 指向由 vLLM 提供服务的模型端点(详见安装说明)
  • 可访问的 Notebook 环境(例如 Jupyter Notebook、JupyterLab)
  • 安装了 llama-stack-clientfastmcp(用于 MCP 部分)及其他 Notebook 依赖的 Python 环境

快速开始示例

以下资源中提供了一个使用 Llama Stack 创建 AI Agent 的简单示例:

下载该 Notebook 并上传至 Notebook 环境中运行。

该 Notebook 演示了:

  • 两种工具选项:客户端工具(@client_tool)和 MCP 工具(FastMCP + toolgroups.register
  • 共享的智能体流程:连接到 Llama Stack Server,选择模型,使用 tools=AGENT_TOOLS 创建 Agent,然后运行会话和流式交互
  • 流式响应和事件日志记录
  • 可选的基于 FastAPI 的 agent 部署

FAQ

如何在 Notebook 中准备 Python 3.12

  1. 下载预编译的 Python 安装包:

    wget -O /tmp/python312.tar.gz https://github.com/astral-sh/python-build-standalone/releases/download/20260114/cpython-3.12.12+20260114-x86_64-unknown-linux-gnu-install_only.tar.gz
  2. 解压:

    mkdir -p ~/python312
    tar -xzf /tmp/python312.tar.gz -C ~/python312 --strip-components=1
  3. 安装并注册内核:

    export PATH="${HOME}/python312/bin:${PATH}"
    
    python3 -m pip install ipykernel
    python3 -m ipykernel install --user --name python312 --display-name "Python 3.12"
  4. 在 Notebook 页面切换内核:

    • 在浏览器中打开你的 Notebook 环境(例如 Jupyter Notebook 或 JupyterLab),然后打开已有 Notebook 或新建一个。
    • 在 Notebook 界面中找到当前内核名称(通常显示在页面的右上角,例如 "Python 3" 或 "python3")。
    • 点击该内核名称,或通过菜单选择 Kernel → Change Kernel
    • 在内核列表中选择 "Python 3.12"(即步骤 3 中注册的显示名称)。
    • 切换后,新单元格将使用 Python 3.12 运行。

注意:在 Notebook 页面直接执行 python 和 pip 命令时,仍会使用默认的 python。需要指定完整路径才能使用 python312 版本的命令。

其他资源

有关使用 Llama Stack 开发 AI Agent 的更多资源,请参见: