Alauda AI
  • 简体中文

    • 安装 Llama Stack

    本文档介绍如何使用 Llama Stack Operator 在 Kubernetes 上安装和部署 Llama Stack Server。

    目录

    上传 Operator安装 Operator部署 Llama Stack Server

    上传 Operator

    下载 Llama Stack Operator 安装包（例如 llama-stack-operator.alpha.ALL.xxxx.tgz）。

    使用 violet 命令发布到平台仓库：

    violet push --platform-address=platform-access-address --platform-username=platform-admin --platform-password=platform-admin-password llama-stack-operator.alpha.ALL.xxxx.tgz

    安装 Operator

    1. 进入 Alauda Container Platform 的 Administrator 视图。

    2. 在左侧导航栏选择 Marketplace / Operator Hub。

    3. 在右侧面板找到 Alauda build of Llama Stack，点击 Install。

    4. 保持所有参数默认，完成安装。

    部署 Llama Stack Server

    Operator 安装完成后，通过创建 LlamaStackDistribution 自定义资源来部署 Llama Stack Server：

    注意： 请提前准备以下内容，否则分发可能无法变为 Ready 状态：

    • Secret：在与 LLM API 令牌相同的命名空间中创建 Secret（例如 deepseek-api）。示例：kubectl create secret generic deepseek-api -n default --from-literal=token=<LLM_API_KEY>。
    • Storage Class：确保集群中存在 default Storage Class，否则 PVC 无法绑定，资源无法变为 Ready。
    apiVersion: llamastack.io/v1alpha1
kind: LlamaStackDistribution
metadata:
  annotations:
    cpaas.io/display-name: ""
  name: demo
  namespace: default
spec:
  network:
    exposeRoute: false                             # 是否对外暴露路由
  replicas: 1                                      # 服务器副本数
  server:
    containerSpec:
      env:
        - name: VLLM_URL
          value: "https://api.deepseek.com/v1"     # LLM API 提供商的 URL
        - name: VLLM_MAX_TOKENS
          value: "8192"                            # 最大输出令牌数
        - name: VLLM_API_TOKEN                     # 从 Secret 中加载 LLM API 令牌
          valueFrom:
            secretKeyRef:                          # 请提前在相同命名空间创建此 Secret，例如 kubectl create secret generic deepseek-api -n default --from-literal=token=<LLM_API_KEY>
              key: token
              name: deepseek-api
      name: llama-stack
      port: 8321
    distribution:
      name: starter                                # 分发名称（可选：starter, postgres-demo, meta-reference-gpu）
    storage:
      mountPath: /home/lls/.lls
      size: 20Gi                                   # 需提前配置 "default" Storage Class

    部署完成后，Llama Stack Server 将在集群内可用。访问 URL 显示在 status.serviceURL 中，例如：

    status:
  phase: Ready
  serviceURL: http://demo-service.default.svc.cluster.local:8321