Alauda AI
  • 简体中文

    • Alauda 的 Llama Stack 构建

    目录

    Llama Stack文档官方文档

    Llama Stack

    Llama Stack 是一个用于构建和运行带工具的 AI agent 的框架。它提供了一种基于 server 的架构，使开发者能够创建可与用户交互、访问外部工具并执行复杂推理任务的 agent。

    主要组件和概念包括：

    • Llama Stack Server：承载模型、agent 和工具运行时的中心服务。它可以通过 Llama Stack Operator 部署到 Kubernetes 上（参见 Install Llama Stack）。
    • Client SDK（llama-stack-client）：用于连接 server、创建 agent、使用 @client_tool 装饰器定义工具以及管理 session 的 Python client。
    • Agents：可配置的 AI agent，使用 LLM 模型并可调用工具（例如天气 API、自定义 API）来回答用户查询。
    • Tools：向 agent 暴露的函数（例如天气查询）。通过 @client_tool 定义，并在创建时传递给 agent。
    • Configuration：YAML stack configuration 定义 providers（inference、agents、safety、vector_io、files）、持久化后端以及模型注册（例如通过 OpenAI-compatible API 使用 DeepSeek）。

    Llama Stack 支持多种 API provider、存储和持久化后端以及分发选项（例如 starter、postgres-demo、meta-reference-gpu），因此既适合快速实验，也适合生产部署。

    文档

    Llama Stack 提供官方文档和资源，便于深入了解其用法：

    官方文档