Перейти к основному содержимому
Перейти к основному содержимому

Каталог среды выполнения Lakehouse (BigLake Metastore)

Beta feature. Learn more.

ClickHouse поддерживает интеграцию с несколькими каталогами (Unity, Glue, Polaris и т. д.). В этом руководстве мы пошагово разберем, как выполнять запросы к вашим таблицам Iceberg в каталоге среды выполнения Lakehouse, также известном как BigLake Metastore через ClickHouse.

Примечание

Поскольку эта функция находится на стадии бета-тестирования, вам потребуется включить ее с помощью: SET allow_database_iceberg = 1;

Предварительные требования​

Перед созданием подключения из ClickHouse к каталогу среды выполнения Lakehouse (BigLake Metastore) убедитесь, что у вас есть:

  • Проект Google Cloud с включённым каталогом среды выполнения Lakehouse
  • Учётные данные Application Default Credentials (ID клиента OAuth и секрет клиента) для приложения, созданные через Google Cloud Console
  • Токен обновления, полученный после завершения OAuth-потока с соответствующими областями доступа (например, https://www.googleapis.com/auth/bigquery и областью доступа к хранилищу для GCS)
  • Путь к warehouse: бакет GCS (и необязательный префикс), где хранятся ваши таблицы, например gs://your-bucket или gs://your-bucket/prefix

Создание подключения между каталогом среды выполнения Lakehouse и ClickHouse​

После настройки учетных данных OAuth создайте в ClickHouse базу данных с использованием движка базы данных DataLakeCatalog:

SET allow_database_iceberg = 1;

CREATE DATABASE lakehouse_runtime_catalog
ENGINE = DataLakeCatalog('https://biglake.googleapis.com/iceberg/v1/restcatalog')
SETTINGS
    catalog_type = 'biglake',
    google_adc_client_id = '<client-id>',
    google_adc_client_secret = '<client-secret>',
    google_adc_refresh_token = '<refresh-token>',
    google_adc_quota_project_id = '<gcp-project-id>',
    warehouse = 'gs://<bucket_name>/<optional-prefix>';

Запросы к таблицам каталога среды выполнения Lakehouse с помощью ClickHouse​

После создания подключения вы можете выполнять запросы к таблицам, зарегистрированным в каталоге среды выполнения Lakehouse.

USE LAKEHOUSE_RUNTIME_CATALOG;

SHOW TABLES;

Пример вывода:

┌─name──────────────────────────────────────┐
│lakehouse_runtime_catalog.my_iceberg_table │   
└───────────────────────────────────────────┘

SELECT count(*) FROM `lakehouse_runtime_catalog.my_iceberg_table`;
Требуются обратные кавычки

Обратные кавычки обязательны, потому что ClickHouse не поддерживает несколько пространств имен.

Чтобы просмотреть определение таблицы:

SHOW CREATE TABLE `lakehouse_runtime_catalog.my_iceberg_table`;

Загрузка данных из Lakehouse в ClickHouse​

Чтобы загрузить данные из таблицы каталога среды выполнения Lakehouse в локальную таблицу ClickHouse для ускорения повторных запросов, создайте таблицу MergeTree и вставьте данные из каталога:

CREATE TABLE clickhouse_table
(
    `id` Int64,
    `event_time` DateTime64(3),
    `user_id` String,
    `payload` String
)
ENGINE = MergeTree
ORDER BY (event_time, id);

INSERT INTO local_events
SELECT * FROM lakehouse_runtime_catalog.`icebench.my_iceberg_table`;

После первоначальной загрузки выполняйте запросы к clickhouse_table с меньшей задержкой. При необходимости повторно выполните INSERT INTO ... SELECT, чтобы обновить данные из BigLake.