メインコンテンツへスキップ
メインコンテンツへスキップ

ClickPipes の監視

コンソールでの監視に加えて、ClickPipes はスクレイピング用に Prometheus 互換エンドポイント でメトリクスを公開しています。これらのメトリクスは、他の ClickHouse Cloud サービスのメトリクスとあわせて公開されるため、既存のオブザーバビリティスタック (例: Grafana、Datadog) に ClickPipes の監視を統合できます。

メトリクスラベル​

ClickPipes のメトリクスでは、標準のサービスレベル ラベル (clickhouse_org、clickhouse_service、clickhouse_service_name) に加え、以下の ClickPipes 固有のラベルを使用します。

LabelDescription
clickpipe_idClickPipe の一意の識別子
clickpipe_nameClickPipe の名前
clickpipe_sourceソースタイプ (例: kafka、postgres、s3)
clickpipe_stateClickPipe の状態 (例: Stopped、Provisioning、Running)

応答例​

以下は、Prometheus のスクレイプ応答で ClickPipes のメトリクスがどのように表示されるかを示したものです。

# HELP ClickPipes_Info Always equal to 1. Label "clickpipe_state" contains the current state of the pipe: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Total number of records fetched from the source.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Total number of records sent to ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Total uncompressed bytes fetched from the source.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Total uncompressed bytes sent to ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Total errors ingesting data.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Time in milliseconds between when the record was produced to when it was written to ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

利用できるメトリクス​

データ転送​

指標型説明
ClickPipes_FetchedBytes_Totalカウンターソースから取得した非圧縮バイトの総数。
ClickPipes_FetchedBytesCompressed_Totalカウンターソースから取得した圧縮バイトの総数。ソースデータが非圧縮の場合、ClickPipes_FetchedBytes_Total と同じです。
ClickPipes_FetchedBytesInitialLoad_TotalカウンターCDC ClickPipes 初期ロードフェーズ中に取得した非圧縮バイトの総数。
ClickPipes_FetchedBytesResync_TotalカウンターCDC ClickPipes 再同期処理中に取得した非圧縮バイトの総数。
ClickPipes_SentBytes_TotalカウンターClickHouse に送信した非圧縮バイトの総数。
ClickPipes_SentBytesCompressed_TotalカウンターClickHouse に送信した圧縮バイトの総数。

イベントとレコード​

Metric型説明
ClickPipes_FetchedEvents_Totalカウンターソースから取得したレコードの総数。
ClickPipes_SentEvents_TotalカウンターClickHouse に送信したレコードの総数。
ClickPipes_FetchedEvents_PerTableGaugeCDC ClickPipes 宛先テーブルおよびイベントタイプごとに取得されたレコード数。追加の destination_table ラベルと event_type ラベルを使用します。

エラー​

メトリクス型説明
ClickPipes_Errors_Totalカウンターインジェスト中に発生したエラーの総数。

レイテンシ​

MetricTypeDescription
ClickPipes_LatencyGauge (avg)ソースでレコードが生成されてから、ClickHouse に書き込まれるまでの時間 (ミリ秒) 。
ClickPipes_SourceReplicationLatency_MiBGauge (avg)CDC ClickPipes のソース側のレプリケーション遅延 (MiB) 。Postgres ClickPipes では、これはレプリケーションスロットの遅延を表します。

リソース使用量​

メトリクス型説明
ClickPipes_Replica_CPUUsageGauge (avg)インジェスト レプリカの平均 CPU 使用量 (ミリコア) 。
ClickPipes_Replica_CPULimitGauge (last)インジェスト レプリカに設定された CPU 上限 (ミリコア) 。
ClickPipes_Replica_MemoryUsageGauge (avg)インジェスト レプリカの平均メモリ使用量 (バイト) 。
ClickPipes_Replica_MemoryLimitGauge (last)インジェスト レプリカに設定されたメモリ上限 (バイト) 。

状態と進捗​

メトリクス型説明
ClickPipes_InfoGauge常に 1 です。clickpipe_state ラベルを使用して、パイプラインの状態でフィルタリングしたり、アラートを設定したりできます。
ClickPipes_LastFetchedBatchIdGaugeソースから取得した最後のバッチの ID。
ClickPipes_LastSentBatchIdGaugeClickHouse に送信した最後のバッチの ID。