主要特性
基于 Server 的架构
- 集中式服务器:Llama Stack Server 托管推理、智能体、安全、工具运行时、vector I/O 和文件
- 远程或内联 Provider:支持远程 APIs(例如,与 OpenAI 兼容的 API)和内联 provider(例如,meta-reference、sqlite-vec、localfs)
- Kubernetes 部署:通过 Llama Stack Operator 使用
LlamaStackDistribution 自定义资源进行部署
带有工具的 AI 智能体
- 智能体创建:使用模型、指令和工具列表创建智能体
- 客户端工具:使用
@client_tool 装饰器定义工具;客户端执行工具调用并将结果返回给服务器
- 会话管理:创建会话并通过流式响应运行多轮对话
- 流式传输:支持智能体响应的流式传输,以便实时显示
配置与可扩展性
- Stack 配置:基于 YAML 的 API、provider、持久化(例如,kv_default、sql_default)和模型配置
- 环境回退:在配置中使用
${env.VAR:~default} 以实现灵活部署
- 多种分发:Starter、postgres-demo、meta-reference-gpu 以及其他分发选项
集成
- Python Client:适用于 Python 3.12+ 的
llama-stack-client,提供完整的智能体和模型 APIs
- 向量存储 APIs:从客户端创建和查询向量存储,包括在服务器配置
ENABLE_PGVECTOR=true 时使用 PGVector 支持的存储
- 面向 REST:服务器为推理、智能体和工具运行时暴露 APIs;可在生产环境中封装到 FastAPI 或其他 Web 框架中