管理用户

每个连接到 Alauda Data Services Analytical Database E1 的应用都需要一个账户:用户名、密码,以及该账户可以执行的操作列表。本页面介绍如何创建此类账户、修改其密码、为其授予权限,以及再次删除它们,而无需重启数据库。

完成后,账户将存储在实例 manifest 中,因此会与实例一起进行版本控制、随实例重新创建,并出现在该实例未来拥有的每个从节点上。

步骤概览

  1. 确定账户的存储位置:实例 manifest 中,还是数据库内部。
  2. 将密码转换为哈希值,或将其存储在 Secret 中。
  3. 在 manifest 中声明账户并应用 manifest。
  4. 检查账户是否可以登录。

整个过程预计需要约十分钟。修改密码、添加权限和删除账户分别只需对同一个 manifest 进行一行编辑,这些操作将在步骤 4 之后介绍。

开始之前:账户如何进入数据库

  • manifest 是信息源。账户、配置和配额写入 spec.configuration 的 ClickHouseInstallation 中。operator 会将该区块转换为配置文件 users.d/chop-generated-users.xml,将其放入名为 chi-<instance>-common-usersd 的 ConfigMap 中,并将该 ConfigMap 挂载到实例的每个 pod 中。
  • 无需重启。数据库服务器会监视其 users.d 目录,并在文件发生更改时重新加载。修改账户时不会重启 pod;StatefulSet 不会发生变化,因此 operator 不会对其进行处理。预计新内容将在约一分钟内生效,这正是 Kubernetes 刷新已挂载 ConfigMap 所需的时间。
  • 关键语法是路径。例如,app/networks/ip 表示:账户 app 中的元素 networks,以及该元素中的元素 ip。第一个 / 之前的所有内容都用于命名账户、配置或配额。列表值会为每个项目生成一个元素。
  • 系统中已存在两个账户。default 已存在,但出于设计目的,只能从其自身的 pod 内连接。clickhouse_operator 是 operator 自己使用的账户;它会读取指标,并将架构复制到新的从节点。请不要修改这两个账户。访问实例可了解相关说明。

先决条件

需要详情
正在运行的实例kubectl -n <namespace> get chi <instance> 显示 Completed。
对其命名空间的 kubectl 访问权限你将编辑该实例并读取其 pod。
sha256sum任何 Linux shell 中都有它。它会将密码转换为哈希值,以便写入 manifest。

步骤 1:选择账户的存储位置

在 manifest 中声明使用 SQL 创建
方式spec.configuration.users 下的键使用具有 access_management 的账户执行 CREATE USER ... ON CLUSTER
存储位置在实例 manifest 中,并渲染到每个 pod在每个从节点的数据卷上,位于 /var/lib/clickhouse/access
是否会出现在之后添加的从节点上是,自动出现不会。operator 会将表复制到新的从节点,而不会复制账户;你需要再次运行该语句
谁可以修改有权编辑实例的人持有 access_management 账户的人
最适合服务账户、日志平台以及任何脚本化场景短期或交互式账户、角色和行策略

本页面采用 manifest 方式。SQL 方式将在末尾介绍,适用于更适合使用 SQL 的情况。

步骤 2:准备密码

manifest 中不会保存密码本身,而是保存其 SHA-256 哈希值,即一个 64 个字符的十六进制字符串。数据库会将客户端发送的密码的哈希值与之比较。使用以下命令生成哈希值:

printf '%s' '<password>' | sha256sum | cut -d' ' -f1

预期会得到一行由 64 个十六进制字符组成的内容。请保留明文密码,供应用程序和步骤 4 使用;哈希值则写入 manifest。

如果你不希望 manifest 中包含哈希值,可以将其存入实例命名空间中的 Secret,并在 manifest 中引用它:

kubectl -n <namespace> create secret generic <instance>-users \
  --from-literal=app-sha256=<app-sha256-hex>

此时,manifest 使用 app/k8s_secret_password_sha256_hex: <namespace>/<instance>-users/app-sha256,而不是 app/password_sha256_hex。该值为 <namespace>/<secret-name>/<key>。operator 处理实例时会读取 Secret,并将哈希值写入 ConfigMap,效果与哈希值直接写在 manifest 中完全相同。轮换密码时会发生什么,请参阅下文的“更改密码”。

步骤 3:声明账户

编辑实例,并在 spec.configuration.users 下添加账户。此示例添加一个账户 app,它可以从集群中的任意 pod 连接,只能使用数据库 analytics,并且可以在其中执行 ON CLUSTER 语句。请替换以下占位符:

占位符替换为必需
<app-sha256-hex>步骤 2 中生成的哈希值。是
analytics账户使用的数据库。请先创建数据库,或者删除 grants/query 行,并在数据库创建后再添加。否
spec:
  configuration:
    users:
      app/password_sha256_hex: <app-sha256-hex>
      app/networks/ip:
        - "::/0"
      app/profile: default
      app/grants/query:
        - "GRANT ALL ON analytics.*"
        - "GRANT CLUSTER ON *.*"

各行的作用如下:

  • password_sha256_hex 用于设置密码。请务必设置密码。没有密码键的账户接受空密码。
  • networks/ip: "::/0" 允许账户从任意地址连接。如果没有此项,operator 只会添加 ::1 和 127.0.0.1,也就是 pod 自身;来自其他 pod 的连接会被拒绝。可以的话,请将其限制为应用程序的地址范围;列表中可以有多个条目。
  • profile: default 用于关联内置设置配置文件。你可以在 spec.configuration.profiles 下声明自己的配置文件,以限制内存用量或将账户设为只读;访问实例介绍了语法。
  • grants/query 列出每次加载此文件时为该账户执行的 GRANT 语句。这些语句与你作为 SQL 输入的语句相同,只是不包含 TO <user> 部分。
  • GRANT CLUSTER ON *.* 允许账户在语句中添加 ON CLUSTER,以便一次性在每个从节点上创建复制表。如果没有此项,即使不带 ON CLUSTER 的同一语句可以正常运行,此类语句也会因 Code: 497 ... it's necessary to have the grant CLUSTER ON *.* 而失败。它不会扩大账户可操作的对象范围:ON CLUSTER 语句仍然要求账户对所指定的对象拥有相应权限,因此 app 仍仅限于 analytics。如果账户从不运行 ON CLUSTER 语句,请省略此行。

应用 manifest 并等待 operator 处理:

kubectl -n <namespace> apply -f <instance>.yaml
kubectl -n <namespace> get chi <instance> -w

STATUS 列会经过 InProgress,然后恢复为 Completed;此时按 Ctrl-C。确认没有任何内容重启,并且文件已同步到 pod:

kubectl -n <namespace> get pods -l clickhouse.altinity.com/chi=<instance>
kubectl -n <namespace> exec chi-<instance>-<cluster>-0-0-0 -c clickhouse -- \
  grep -c '<app>' /etc/clickhouse-server/users.d/chop-generated-users.xml

各 pod 显示的 AGE 与之前相同,第二条命令会输出 1。如果输出 0,请等待一分钟后重试;ConfigMap 尚未在 pod 中刷新。

步骤 4:检查登录

使用明文密码,从实例的某个 pod 内部执行:

kubectl -n <namespace> exec chi-<instance>-<cluster>-0-0-0 -c clickhouse -- \
  clickhouse-client -u app --password '<app-password>' -q "SELECT currentUser()"

预期输出为 app。然后通过实例的 Service 登录,这是应用程序将使用的方式。从另一个 Replica 的 pod 执行:

kubectl -n <namespace> exec chi-<instance>-<cluster>-0-1-0 -c clickhouse -- \
  clickhouse-client -h clickhouse-<instance>.<namespace>.svc \
  -u app --password '<app-password>' -q "SELECT currentUser()"

对于单 Replica 实例,再次使用 0-0-0;连接仍然会通过 Service。服务器镜像没有 curl。你也可以从应用程序的 pod 检查 HTTP 端口:

curl -s "http://clickhouse-<instance>.<namespace>.svc:8123/" \
  -u "app:<app-password>" --data-binary "SELECT currentUser()"

预期再次输出 app。如果第一个命令成功,但这里出现 Authentication failed,则表示该地址不被允许:请检查 networks/ip。

密码的保存位置

对于使用哈希声明的账户,密码不会保存在集群中的任何位置。manifest、ConfigMap 以及 pod 中的文件都只保存 SHA-256 哈希,无法将其还原为密码。请将明文密码保存在应用程序保存密码的位置。如果密码丢失,请按照下一节中的说明设置新密码。

例外情况如下:明文 password: 键会继续以可读形式保存在实例 manifest 中;Secret-backed 账户的引用由 kubectl -n <namespace> get chi <instance> -o jsonpath='{.spec.configuration.users}' 显示,它指向 Secret,而 Secret 中保存着你存储的内容;operator 自身的账户则会在 operators 命名空间中的 Secret clickhouse-operator 内保存明文密码。

更改密码

将 manifest 中的哈希替换为新密码的哈希,然后应用 manifest。在一到两分钟内,旧密码会停止工作,新密码会在每个 Replica 上生效(测试中,三个 Replica 中最慢的一个约需 75 秒);期间不会重启任何内容。已经打开的连接会保持打开状态,直到客户端将其关闭。

各 Replica 不会在同一时刻切换。每个 pod 都会自行重新加载文件,因此在大约 30 秒内,某个 Replica 可能只接受旧密码,而另一个 Replica 只接受新密码;通过 Service 的登录会根据请求落到哪个 Replica 上而成功或失败。只有在每个 Replica 都拒绝旧密码后,才应将应用程序切换到新密码;或者同时提供两个密码并让应用程序重试。

如果哈希保存在 Secret 中,请更新 Secret,然后让 operator 再次处理实例。operator 不会监视 Secret,因此单独更改 Secret 不会对 pod 产生任何影响。将 spec.taskID 设置为任意新值,以触发 operator:

kubectl -n <namespace> create secret generic <instance>-users \
  --from-literal=app-sha256=<new-app-sha256-hex> --dry-run=client -o yaml | kubectl apply -f -
kubectl -n <namespace> patch chi <instance> --type merge \
  -p "{\"spec\":{\"taskID\":\"rotate-$(date +%s)\"}}"

然后按照步骤 3 中的方式观察实例恢复为 Completed,并按照步骤 4 检查登录。

为账户授予更多权限

向其 grants/query 列表添加一行,然后应用 manifest:

      app/grants/query:
        - "GRANT ALL ON analytics.*"
        - "GRANT SELECT ON reporting.*"

数据库理解的任何 GRANT 都会被接受,包括用于 ON CLUSTER 语句的 GRANT CLUSTER ON *.*,以及用于通过 SQL 创建的角色的 GRANT <role>。重新加载时发生的错误会出现在服务器日志中,而不是应用时出现,因此更改后,请以该账户身份运行一个需要新权限的查询。

删除账户

删除以该账户名称开头的所有键,然后应用 manifest。从下一次重新加载开始,该账户将不再存在,使用该账户建立的新连接会被拒绝。

使用 SQL 创建的账户

授予一个 manifest 账户管理其他账户的权限:

      admin/password_sha256_hex: <admin-sha256-hex>
      admin/networks/ip:
        - "::/0"
      admin/access_management: "1"

然后,该账户可以使用 SQL 创建用户、角色、行策略和配额:

CREATE USER analyst ON CLUSTER '{cluster}' IDENTIFIED WITH sha256_hash BY '<analyst-sha256-hex>';
GRANT ON CLUSTER '{cluster}' SELECT ON analytics.* TO analyst;

在依赖此功能之前,需要了解以下三点:

  • ON CLUSTER 需要协调仲裁。 没有协调仲裁时,该语句会失败并显示 NO_ELEMENTS_IN_CONFIG;请参阅配置复制集群。没有 ON CLUSTER 时,该账户只存在于一个 Replica 上。
  • 之后添加的 Replica 启动时不会包含这些账户。 当提升 replicasCount 或 shardsCount 时,operator 会将表复制到新主机,而不会复制账户。请再次运行这些语句,或者改为在 manifest 中声明该账户。
  • 不要创建名称与 manifest 中声明的账户相同的 SQL 账户。 manifest 版本从文件加载,无法使用 SQL 修改或删除;该语句会失败。

注意事项

  • 接受普通的 password: 键,operator 会在写入 ConfigMap 前对其进行哈希处理,但任何能够读取实例的人都可以读取 manifest 本身。请使用 password_sha256_hex 或 Secret。
  • 除地址列表外,operator 还会为每个账户添加一个匹配实例自身 pod 的主机名模式。它只会添加访问权限。ClickHouse 会接受与 networks 下任一条目匹配的连接,因此该模式不会阻止 networks/ip 所允许的连接;声明 ::/0 后,是否存在该模式也没有区别。若要将账户限制为你的应用程序使用,请将 networks/ip 缩小到应用程序的地址范围;访问实例中介绍了更多默认设置。
  • Profile 和配额在 spec.configuration.profiles 和 spec.configuration.quotas 下使用相同的键语法,并以相同方式重新加载。

ClickHouse 是 ClickHouse, Inc. 的注册商标。https://clickhouse.com

Alauda 是独立供应商。本产品与 ClickHouse, Inc. 没有任何关联,也未得到其认可或赞助。所有商标均为其各自所有者的财产,此处仅用于标识目的。