クラウドオブジェクトストレージから ClickHouse Cloud へのデータ移行

Cloud Object Storage をデータレイクとして利用していて、そのデータを ClickHouse Cloud にインポートしたい場合や、現在利用しているデータベースシステムがデータを直接 Cloud Object Storage にオフロードできる場合には、 Cloud Object Storage に保存されたデータを ClickHouse Cloud のテーブルへ移行するために、以下のいずれかのテーブル関数を使用できます。

現在利用しているデータベースシステムがデータを直接 Cloud Object Storage にオフロードできない場合は、サードパーティ製 ETL/ELT ツールや clickhouse-local を使って、まず現在のデータベースシステムから Cloud Object Storage へデータを転送し、その後第 2 段階として ClickHouse Cloud のテーブルへそのデータを移行することができます。

これは 2 段階のプロセス（データを Cloud Object Storage にオフロードし、その後 ClickHouse に読み込む）ではありますが、 ClickHouse Cloud による Cloud Object Storage からの高並列読み取りに対する強力なサポートのおかげで、ペタバイト規模までスケールできるという利点があります。また、Parquet のような、高度な圧縮フォーマットを活用することもできます。

S3 を利用して ClickHouse Cloud にデータを取り込む具体的なコード例を紹介しているブログ記事もあります。