在本节中,我们将概览 ClickHouse 对数据湖的支持。 ClickHouse 支持多种主流的表格式和数据目录,包括 Iceberg、Delta Lake、Hudi、AWS Glue、REST Catalog、Unity Catalog 和 Microsoft OneLake。
开放表格式
Iceberg
请参阅 iceberg,它支持从 Amazon S3 和 S3 兼容服务、HDFS、Azure 以及本地文件系统读取数据。icebergCluster 是 iceberg 函数的分布式版本。
Delta Lake
请参阅 deltaLake,该函数支持从 Amazon S3、兼容 S3 的服务、Azure 以及本地文件系统读取数据。deltaLakeCluster 是 deltaLake 函数的分布式变体。
Hudi
请参阅 hudi,它支持从 Amazon S3 和 S3 兼容服务中读取数据。hudiCluster 是 hudi 函数的分布式版本。
数据目录
AWS Glue
可以将 AWS Glue Data Catalog 与 Iceberg 表配合使用。你可以将其与 iceberg 表引擎,或与 DataLakeCatalog 数据库引擎一起使用。
Iceberg REST Catalog
Iceberg REST Catalog 可与 Iceberg 表配合使用。可以将其与 iceberg 表引擎或 DataLakeCatalog 数据库引擎搭配使用。
Unity Catalog
Unity Catalog 可用于 Delta Lake 和 Iceberg 表。可以将其与 iceberg 或 deltaLake 表引擎配合使用,或与 DataLakeCatalog 数据库引擎配合使用。
Microsoft OneLake
Microsoft OneLake 可同时与 Delta Lake 和 Iceberg 表配合使用。可以将其与 DataLakeCatalog 数据库引擎搭配使用。