跳到主要内容
跳到主要内容

将 Confluent Cloud 与 ClickHouse 集成

前提条件​

我们假设您已经熟悉以下内容：

ClickHouse 与 Confluent Cloud 的官方 Kafka 连接器​

创建 Topic​

在 Confluent Cloud 上创建 topic 相当简单，详细步骤请参见此文档。

重要说明​

  • Kafka topic 名称必须与 ClickHouse 表名相同。可以通过使用 transformer（例如 ExtractTopic）来调整这一行为。
  • 分区数量更多并不总是意味着性能更好——更多细节和性能调优建议请参阅我们即将发布的指南。

收集连接信息​

要通过 HTTP(S) 连接到 ClickHouse，您需要以下信息：

参数说明
HOST 和 PORT通常，在使用 TLS 时端口为 8443，不使用 TLS 时端口为 8123。
DATABASE NAME默认提供一个名为 default 的数据库，请填写您要连接的目标数据库名称。
USERNAME 和 PASSWORD默认用户名为 default。请使用适合您使用场景的用户名。

您的 ClickHouse Cloud 服务的详细信息可以在 ClickHouse Cloud 控制台中查看。 选择某个服务并点击 Connect：

ClickHouse Cloud 服务 Connect 按钮

选择 HTTPS。连接信息会显示在示例 curl 命令中。

ClickHouse Cloud HTTPS 连接信息

如果您使用的是自托管 ClickHouse，则连接信息由您的 ClickHouse 管理员进行设置。

安装 Connector​

按照官方文档在 Confluent Cloud 上安装完全托管的 ClickHouse Sink Connector。

配置 Connector​

在配置 ClickHouse Sink Connector 时，需要提供以下信息：

  • ClickHouse 服务器的 hostname
  • ClickHouse 服务器的端口（默认是 8443）
  • ClickHouse 服务器的用户名和密码
  • 用于写入数据的 ClickHouse 数据库名称
  • 在 Kafka 中用于向 ClickHouse 写入数据的 topic 名称

Confluent Cloud 的 UI 支持高级配置选项，可调整轮询间隔、批大小和其他参数以优化性能。

已知限制​