Confluent Cloud と ClickHouse との連携
前提条件
以下の内容について理解していることを前提とします:
- ClickHouse Connector Sink
- Confluent Cloud
Confluent Cloud 向け ClickHouse 公式 Kafka コネクタ
トピックを作成する
Confluent Cloud 上でトピックを作成するのは比較的簡単で、詳細な手順はこちらに記載されています。
重要な注意事項
- Kafka のトピック名は ClickHouse のテーブル名と同一である必要があります。これを調整するには、トランスフォーマー（たとえば
ExtractTopic）を使用します。 - パーティション数が多ければ常にパフォーマンスが向上するとは限りません。詳細およびパフォーマンス向上のためのヒントについては、今後公開予定のガイドを参照してください。
接続情報を収集する
HTTP(S) で ClickHouse に接続するには、次の情報が必要です。
| Parameter(s) | Description |
|---|---|
HOST and PORT | 通常、TLS を使用する場合のポートは 8443、TLS を使用しない場合のポートは 8123 です。 |
DATABASE NAME | 既定で default という名前のデータベースが用意されています。接続したいデータベースの名前を使用してください。 |
USERNAME and PASSWORD | 既定のユーザー名は default です。用途に応じて適切なユーザー名を使用してください。 |
ClickHouse Cloud サービスに関する詳細情報は、ClickHouse Cloud コンソールで確認できます。 サービスを選択し、Connect をクリックします。
HTTPS を選択します。接続情報は、サンプルの curl コマンド内に表示されます。
自己管理型の ClickHouse を使用している場合、接続情報は ClickHouse 管理者によって設定されます。
コネクタをインストールする
公式ドキュメントに従って、Confluent Cloud 上に完全マネージド型の ClickHouse Sink Connector をインストールします。
コネクタを設定する
ClickHouse Sink Connector を設定する際に、次の情報を指定する必要があります:
- ClickHouse サーバーのホスト名
- ClickHouse サーバーのポート（デフォルトは 8443）
- ClickHouse サーバーのユーザー名とパスワード
- データを書き込む ClickHouse 上のデータベース名
- ClickHouse へのデータ書き込みに使用する Kafka のトピック名
Confluent Cloud の UI では、ポーリング間隔、バッチサイズ、そのほかのパラメータを調整してパフォーマンスを最適化するための高度な設定オプションを利用できます。
既知の制限事項
- 公式ドキュメントに記載されている Connectors の制限事項一覧を参照してください。
