#在多集群网格中安装 Kiali

在网格中的一个集群上部署 Kiali 服务端，授予其对其他每个集群的读取权限，并创建用于在这些集群上进行身份验证的资源。

#前提条件

• 您有一个跨越 East 和 West 集群的多集群网格，控制平面拓扑可以是多主模式或主节点-远程模式。例如，您可以按照安装多主多网络网格或安装主节点-远程多网络网格中的说明进行安装。

• 您已在网格中的每个集群上安装 Alauda Service Mesh Console（之前称为 Alauda Build of Kiali）operator，包括未部署 Kiali 服务端的集群。请参阅安装 Alauda Build of Kiali。

• 网格中的每个集群都使用 ACP Advanced Monitoring（之前称为 ACP Monitoring for VictoriaMetrics）收集指标，并且所有集群都向同一个 VictoriaMetrics Center 报告。请参阅 ACP Monitoring with VictoriaMetrics。

  Kiali 从单个端点读取整个网格的指标。运行以下命令读取共享端点的地址：

  kubectl get feature monitoring -o jsonpath='{.spec.accessInfo.database.address}'

  向同一个 VictoriaMetrics Center 报告的每个集群都会返回此地址。此地址是您在 Kiali 资源的 spec.external_services.prometheus.url 中设置的值。

• 您已按照配置 Service Mesh 监控中的说明配置指标收集。Kiali 通过 Istio 添加到这些指标中的 source_cluster 和 destination_cluster 标签区分集群，并通过 mesh_id 标签筛选指标，因此每个资源的部署位置都很重要：

  • 在网格中的每个集群上创建 ServiceMonitor 和 PodMonitor 对象，因为监控会分别抓取每个集群。
  • 在运行控制平面的每个集群上创建 Telemetry 资源，包括其 mesh_id 标签覆盖。在主节点-远程网格中，主节点控制平面还会配置远程集群的 sidecar；由于远程集群上的 istiod 服务没有端点，在远程集群上应用此资源会被 validation.istio.io webhook 拒绝。

• 所有集群上的 Kiali 部署命名空间和实例名称都相同。如果更改任一默认值，请在每个集群的 Kiali 资源中，将相同的值应用于 spec.deployment.namespace 和 spec.deployment.instance_name。此操作步骤使用默认值 istio-system 和 kiali。

• 您知道网格的 meshID 以及 Istio 为每个集群使用的名称。后续步骤会将集群名称传递给 --remote-cluster-name 选项，并将其用作远程集群密钥的键，因此该名称必须完全匹配。根据拓扑不同，读取位置也不同：

  • 在多主模式网格中，每个集群都有自己的 Istio 资源，其中包含 spec.values.global.meshID 和 spec.values.global.multiCluster.clusterName。
  • 在主节点-远程网格中，只有主集群的 Istio 资源包含这些字段。远程集群的名称会显示在该集群自己的 Istio 资源中，作为 spec.values.istiodRemote.injectionPath 的一部分，其格式为 /inject/cluster/<cluster-name>/net/<network>。

  此操作步骤使用 mesh1、cluster1 和 cluster2。

• 您已为 kubectl 配置每个集群的上下文。以下环境变量会在整个操作步骤中使用：

  export CTX_CLUSTER1=<your cluster1 context>
  export CTX_CLUSTER2=<your cluster2 context>

#操作步骤

spec:
  external_services:
    prometheus:
      query_scope:
        mesh_id: mesh1

kubectl --context "${CTX_CLUSTER1}" -n istio-system patch kiali kiali \
  --type merge -p "$(cat kiali-query-scope.yaml)"

apiVersion: kiali.io/v1alpha1
kind: Kiali
metadata:
  name: kiali
  namespace: istio-system
spec:
  deployment:
    instance_name: kiali
    remote_cluster_resources_only: true

kubectl --context "${CTX_CLUSTER2}" apply -f kiali-remote.yaml

kubectl --context "${CTX_CLUSTER2}" wait --for=condition=Successful \
  kialis/kiali -n istio-system --timeout=3m

apiVersion: v1
kind: Secret
metadata:
  name: kiali-service-account
  namespace: istio-system
  annotations:
    kubernetes.io/service-account.name: kiali-service-account
type: kubernetes.io/service-account-token

kubectl --context "${CTX_CLUSTER2}" apply -f kiali-svc-account-token.yaml

curl -sS -k -H "Authorization: Bearer <your-platform-api-token>" \
  "<platform-url>/auth/v1/clusters/<west-cluster-name>/kubeconfig" \
  -o west-kubeconfig.json

jq '.clusters[].cluster."certificate-authority-data" |=
  (if startswith("-----BEGIN") then @base64 else . end)' \
  west-kubeconfig.json > west-kubeconfig-fixed.json

KUBECONFIG=west-kubeconfig-fixed.json \
  kubectl config view --flatten --raw > west-kubeconfig.yaml

<platform-url>/kubernetes/<west-cluster-name>

export CTX_CLUSTER2_PROXY=<your cluster2 proxy-connect context>

curl -L -o kiali-prepare-remote-cluster.sh \
  https://raw.githubusercontent.com/kiali/kiali/master/hack/istio/multicluster/kiali-prepare-remote-cluster.sh
chmod +x kiali-prepare-remote-cluster.sh

# <remote-cluster-name> example: cluster2
./kiali-prepare-remote-cluster.sh \
  --kiali-cluster-context "${CTX_CLUSTER1}" \
  --remote-cluster-context "${CTX_CLUSTER2_PROXY}" \
  --remote-cluster-name <remote-cluster-name> \
  --remote-cluster-namespace istio-system \
  --kiali-resource-name kiali-service-account \
  --process-remote-resources false \
  --process-kiali-secret true \
  --view-only false

INFO: remote_cluster_server_url=<platform-url>/kubernetes/<west-cluster-name>

kubectl --context "${CTX_CLUSTER1}" annotate kiali kiali -n istio-system \
  --overwrite kiali.io/reconcile="$(date)"

kubectl --context "${CTX_CLUSTER1}" wait --for=condition=Successful \
  kialis/kiali -n istio-system --timeout=3m
kubectl --context "${CTX_CLUSTER1}" rollout status deployment/kiali -n istio-system

#验证

1. 运行以下命令，确认 Kiali server 已发现每个集群：

   kubectl --context "${CTX_CLUSTER1}" logs -n istio-system deployment/kiali | grep "Discovered cluster"

   网格中的每个集群都会显示 Accessible=true，其中恰好有一个集群显示 IsKialiHome=true：

   INF Discovered cluster: Name=[cluster1], Accessible=true, IsKialiHome=true, ApiEndpoint=[https://100.4.0.1:443], SecretName=[]
   INF Discovered cluster: Name=[cluster2], Accessible=true, IsKialiHome=false, ApiEndpoint=[<platform-url>/kubernetes/<west-cluster-name>], SecretName=[kiali-remote-cluster-secret-cluster2]

2. 在 Kiali 控制台中，导航到 Namespaces，确认其中列出了每个集群中的命名空间。每个命名空间卡片上都会显示集群名称。

3. 导航到 Mesh，确认网格中的每个集群都已显示。控制平面的绘制方式取决于拓扑：

   • 在多主模式网格中，每个集群都会在其数据平面节点旁显示自己的控制平面节点。
   • 在主节点-远程网格中，只有主集群会显示控制平面节点。每个远程集群都会显示一个数据平面节点，主集群的控制平面会连接到该节点。

4. 导航到 Traffic Graph，选择一个存在于多个集群中的命名空间，确认图中分别绘制了这些集群，并在它们之间显示边。启用 Display > Cluster Boxes，按集群对节点进行分组。

#从 Kiali 中移除集群

操作步骤

1. 从承载 Kiali server 的集群上的 Kiali deployment 命名空间中删除远程集群 secret：

   kubectl --context "${CTX_CLUSTER1}" -n istio-system \
     delete secret kiali-remote-cluster-secret-cluster2
   NOTE

   如果使用 kiali-prepare-remote-cluster.sh 创建了 secret，请使用相同的选项并添加 --delete true 再次运行该脚本。

2. 删除远程集群的 Kiali 资源，以移除其中的 service account 和角色：

   kubectl --context "${CTX_CLUSTER2}" -n istio-system delete kiali kiali
   NOTE

   长期令牌 secret 会随其所属的 service account 一起消失，因此无需执行其他删除操作。

3. 使 Kiali server 停止查找已删除的 secret：

   • 对于基于标签的自动检测，触发协调：

     kubectl --context "${CTX_CLUSTER1}" annotate kiali kiali -n istio-system \
       --overwrite kiali.io/reconcile="$(date)"

   • 对于显式声明，从 spec.clustering.clusters 中移除相应条目。

   • 对于一个组合 secret，无需执行任何操作。Operator 会注意到更改并重新部署 Kiali server。

4. 如果已移除的集群拥有自己的远程集群 secret，请重新创建 Kiali server deployment，使其停止挂载已删除的 secret：

   kubectl --context "${CTX_CLUSTER1}" -n istio-system delete deployment kiali
   kubectl --context "${CTX_CLUSTER1}" annotate kiali kiali -n istio-system \
     --overwrite kiali.io/reconcile="$(date)"
   kubectl --context "${CTX_CLUSTER1}" wait --for=condition=Successful \
     kialis/kiali -n istio-system --timeout=3m
   kubectl --context "${CTX_CLUSTER1}" rollout status deployment/kiali -n istio-system

   确认已移除的集群不再具有 volume：

   kubectl --context "${CTX_CLUSTER1}" get deployment kiali -n istio-system \
     -o jsonpath='{range .spec.template.spec.volumes[*]}{.name}{"\n"}{end}'
   WARNING

   不要跳过此步骤。仅进行协调不会从 Kiali server deployment 中移除已删除远程集群 secret 对应的 volume。正在运行的 pod 会继续提供服务，但下一次重启后会停留在 ContainerCreating。仅当所有远程集群共享一个组合 secret 时，无需执行此步骤，因为此时 volume 引用的 secret 仍然存在。

#清理 Kiali

首先注销远程集群，最后删除 Kiali server，以从整个网格中移除 Kiali。如果顺序相反，Kiali server 会先于远程集群完成清理而被删除，从而遗留未使用的 service account 和角色。

操作步骤

1. 按照从 Kiali 中移除集群中的说明，逐一从 Kiali 中移除所有远程集群。

   NOTE

   下一步将删除 Kiali server，因此可以跳过会重新创建其 deployment 的步骤 4。

2. 在 East 集群上删除 Kiali 资源：

   kubectl --context "${CTX_CLUSTER1}" -n istio-system delete kiali kiali

   确认 Operator 已移除 server：

   kubectl --context "${CTX_CLUSTER1}" -n istio-system get deployment kiali

   示例输出

   Error from server (NotFound): deployments.apps "kiali" not found

#其他资源

• Alauda Build of Kiali
• 多集群配置概述
• 使用 Service Mesh 配置 Monitoring