主要特性

基于 Server 的架构

  • 集中式服务器:Llama Stack Server 托管推理、智能体、安全、工具运行时、vector I/O 和文件
  • 远程或内联 Provider:支持远程 APIs(例如,与 OpenAI 兼容的 API)和内联 provider(例如,meta-reference、sqlite-vec、localfs)
  • Kubernetes 部署:通过 Llama Stack Operator 使用 LlamaStackDistribution 自定义资源进行部署

带有工具的 AI 智能体

  • 智能体创建:使用模型、指令和工具列表创建智能体
  • 客户端工具:使用 @client_tool 装饰器定义工具;客户端执行工具调用并将结果返回给服务器
  • 会话管理:创建会话并通过流式响应运行多轮对话
  • 流式传输:支持智能体响应的流式传输,以便实时显示

配置与可扩展性

  • Stack 配置:基于 YAML 的 API、provider、持久化(例如,kv_default、sql_default)和模型配置
  • 环境回退:在配置中使用 ${env.VAR:~default} 以实现灵活部署
  • 多种分发:Starter、postgres-demo、meta-reference-gpu 以及其他分发选项

集成

  • Python Client:适用于 Python 3.12+ 的 llama-stack-client,提供完整的智能体和模型 APIs
  • 向量存储 APIs:从客户端创建和查询向量存储,包括在服务器配置 ENABLE_PGVECTOR=true 时使用 PGVector 支持的存储
  • 面向 REST:服务器为推理、智能体和工具运行时暴露 APIs;可在生产环境中封装到 FastAPI 或其他 Web 框架中