Creating your first Kafka ClickPipe

このガイドでは、最初の Kafka ClickPipe を作成する手順を順を追って説明します。

データソースに移動する

左側メニューの Data Sources ボタンを選択し、「Set up a ClickPipe」をクリックします。

リストから Kafka のデータソースを選択します。

ClickPipe の名前、説明（任意）、認証情報、およびその他の接続情報を入力してフォームに必要事項を入力します。

Avro ストリームには有効なスキーマが必要です。スキーマレジストリの設定方法の詳細については、Schema registries を参照してください。

ClickPipes が AWS PrivateLink を使用して Kafka クラスターに接続できるようにするには、Reverse Private Endpoint を構成します。詳細については AWS PrivateLink のドキュメントを参照してください。

トピックを選択すると、UI にそのトピックからのサンプルドキュメントが表示されます。

次のステップでは、新しい ClickHouse テーブルにデータを取り込むか、既存のテーブルを再利用するかを選択できます。画面の指示に従って、テーブル名、スキーマ、および設定を変更してください。画面上部のサンプルテーブルで、変更内容をリアルタイムに確認できます。

また、用意されているコントロールを使って高度な設定をカスタマイズすることもできます。

ClickPipes は、宛先テーブルにデータを書き込むための専用ユーザーを作成します。カスタムロール、またはあらかじめ定義されたロールのいずれかを使って、この内部ユーザーのロールを選択できます。

Full access: クラスターへのフルアクセス権を持ちます。宛先テーブルと組み合わせて materialized view や Dictionary を使用する場合に便利です。
Only destination table: 宛先テーブルに対する INSERT 権限のみを持ちます。

「Create ClickPipe」をクリックすると、ClickPipe が作成され実行されます。作成された ClickPipe は Data Sources セクションに一覧表示されます。