メインコンテンツへスキップ
メインコンテンツへスキップ

Cloud の変更履歴 - 2024

2024年12月20日​

マーケットプレイスサブスクリプションの組織への紐付け​

既存の ClickHouse Cloud 組織に、新しいマーケットプレイスサブスクリプションを紐付けられるようになりました。マーケットプレイスでのサブスクリプション登録を完了し、ClickHouse Cloud にリダイレクトされたら、以前に作成した既存の組織を新しいマーケットプレイスサブスクリプションに紐付けることができます。以降、その組織内のリソースはマーケットプレイス経由で課金されます。

既存の組織にマーケットプレイスサブスクリプションを追加する方法を示す ClickHouse Cloud インターフェイス

OpenAPI キーの有効期限を必須にする​

API キーの有効期限の選択肢を制限し、有効期限のない OpenAPI キーを作成できないようにできるようになりました。組織でこの制限を有効にするには、ClickHouse Cloud Support チームにお問い合わせください。

通知用のカスタムメールアドレス​

組織管理者は、特定の通知に対して追加の受信者としてメールアドレスを追加できるようになりました。これは、通知をエイリアス宛てに送信したい場合や、ClickHouse Cloudのユーザーではない組織内のほかのユーザーにも送信したい場合に便利です。設定するには、Cloud Consoleの通知設定に移動し、メール通知の送信先にしたいメールアドレスを編集します。

2024年12月6日​

BYOC (ベータ)​

AWS 向けの Bring Your Own Cloud は現在ベータ提供中です。このデプロイモデルでは、お客様ご自身の AWS アカウントで ClickHouse Cloud をデプロイして実行できます。現在、11 以上の AWS リージョンでのデプロイをサポートしており、対応リージョンは今後さらに追加される予定です。利用をご希望の場合は、サポートにお問い合わせください。なお、このデプロイは大規模な導入向けに限定されています。

ClickPipes の Postgres CDC (変更データキャプチャ) コネクタ​

このすぐに利用できる統合機能により、数回クリックするだけで Postgres データベースを ClickHouse Cloud にレプリケートし、ClickHouse を活用した高速分析を実現できます。このコネクタは、Postgres からの継続的なレプリケーションにも、一度限りの移行にも使用できます。

ダッシュボード (ベータ)​

今週、ClickHouse Cloud でダッシュボードのベータ版をリリースしたことをお知らせします。ダッシュボードを使用すると、保存済みクエリから可視化を作成し、それらをダッシュボードに整理して配置し、クエリパラメータを使用してダッシュボードを操作できます。利用を開始するには、ダッシュボードのドキュメントを参照してください。

新しいダッシュボードのベータ機能と可視化を表示する ClickHouse Cloud インターフェイス

クエリ API エンドポイント (GA)​

ClickHouse Cloud でクエリ API エンドポイントが GA リリースされたことをお知らせします。クエリ API エンドポイントを使用すると、保存済みクエリ用の RESTful API エンドポイントを数クリックで立ち上げられ、言語クライアントの扱いや認証の複雑さに煩わされることなく、アプリケーションでデータの利用を開始できます。初回リリース以降、次のような改善を行ってきました。

  • API エンドポイントのレイテンシを低減 (特にコールドスタート時)
  • API エンドポイントの RBAC 制御を強化
  • CORS で許可するドメインを設定可能
  • 結果のストリーミング
  • ClickHouse 互換のすべての出力フォーマットをサポート

これらの改善に加え、既存のフレームワークを活用して、ClickHouse Cloud のサービスに対して任意の SQL クエリを実行できる汎用クエリ API エンドポイントも発表します。汎用 API エンドポイントは、サービスの設定ページから有効化および設定できます。

使い始めるには、クエリ API エンドポイントのドキュメントを参照してください。

さまざまな設定が表示された API エンドポイント設定画面を示す ClickHouse Cloud インターフェイス

ネイティブJSONサポート (ベータ)​

ClickHouse Cloud でネイティブJSONサポートのベータ提供を開始します。利用を開始するには、supportクラウドサービスで有効にするにはまでお問い合わせください。

ベクトル類似度索引を使用したベクトル検索 (早期アクセス)​

近似ベクトル検索向けのベクトル類似度索引を、早期アクセスとして提供開始します。

ClickHouse はすでに、幅広い[距離関数]https://clickhouse.com/blog/reinvent-2024-product-announcements#vector-search-using-vector-similarity-indexes-early-access)と線形スキャンを実行する機能により、ベクトルベースのユースケースを強力にサポートしています。さらに最近では、[usearch](https://github.com/unum-cloud/usearch) ライブラリと Hierarchical Navigable Small Worlds (HNSW) 近似最近傍探索アルゴリズムを利用した、実験的な近似ベクトル検索手法を追加しました。

使い始めるには、早期アクセスのウェイトリストにご登録ください。

ClickHouse-connect (Python) および ClickHouse Kafka Connect をご利用の方​

クライアントで MEMORY_LIMIT_EXCEEDED 例外が発生する問題の影響を受けたお客様には、通知メールを送信しました。

以下にアップグレードしてください。

  • Kafka-Connect: > 1.2.5
  • ClickHouse-Connect (Java): > 0.8.6

ClickPipes が AWS でクロス VPC リソースアクセスをサポートするようになりました​

これにより、AWS MSK などの特定のデータソースに対して一方向アクセスを許可できるようになりました。AWS PrivateLink と VPC Lattice によるクロス VPC リソースアクセスを使用すると、パブリックネットワークを経由する場合でも、プライバシーとセキュリティを損なうことなく、VPC やアカウントの境界をまたいで個々のリソースを共有したり、オンプレミスネットワークから共有したりできます。まずはリソース共有をセットアップするには、発表ブログをご覧ください。

ClickPipes が AWS MSK に接続するためのクロス VPC リソースアクセスのアーキテクチャを示す図

ClickPipes が AWS MSK の IAM をサポートしました​

AWS MSK ClickPipes で、IAM 認証を使用して MSK ブローカーに接続できるようになりました。まずは、ドキュメントを参照してください。

AWS の新規サービスにおける最大レプリカサイズ​

今後、AWS で作成されるすべての新規サービスでは、選択可能なレプリカの最大サイズは 236 GiB になります。

2024年11月22日​

ClickHouse Cloud用組み込み高度オブザーバビリティ ダッシュボード​

これまで、ClickHouse サーバーのメトリクスとハードウェア リソースの使用率を監視できる高度オブザーバビリティ ダッシュボードは、オープンソース版の ClickHouse でのみ利用可能でした。この機能が ClickHouse Cloud コンソールでも利用できるようになったことをお知らせします。

このダッシュボードでは、system.dashboards テーブルに基づくクエリを、オールインワンの UI で確認できます。高度オブザーバビリティ ダッシュボードの利用を開始するには、Monitoring > Service Health ページにアクセスしてください。

サーバー メトリクスとリソース使用率を表示する ClickHouse Cloud の高度オブザーバビリティ ダッシュボード

AI 搭載の SQL オートコンプリート​

新しい AI Copilot により、オートコンプリートが大幅に強化され、クエリの作成中にインラインで SQL 補完を利用できるようになりました。この機能は、任意の ClickHouse Cloud サービスで "インライン コード補完を有効にする" 設定を切り替えることで有効にできます。

ユーザーの入力に応じて AI Copilot が SQL オートコンプリート候補を提示するアニメーション

新しい「billing」ロール​

これで、組織内のユーザーに新しいBillingロールを割り当てられるようになりました。このロールでは、サービスの設定や管理の権限を付与せずに、請求情報の閲覧と管理を行えます。Billingロールを割り当てるには、新しいユーザーを招待するか、既存ユーザーのロールを編集してください。

2024年11月8日​

ClickHouse Cloud の顧客向け通知​

ClickHouse Cloud では、課金やスケーリングに関する複数のイベントについて、コンソール内通知とメール通知を提供するようになりました。これらの通知は、Cloud Console の通知センターから、UI のみに表示するか、メールで受け取るか、またはその両方にするかを設定できます。受信する通知のカテゴリと重大度は、サービス レベルで設定できます。

今後は、ほかのイベントに関する通知や、通知の受信方法の追加にも対応する予定です。

サービスの通知を有効にする方法の詳細は、ClickHouse docs を参照してください。

さまざまな通知タイプの設定オプションを示す ClickHouse Cloud 通知センターのインターフェイス

2024年10月4日​

ClickHouse Cloud が GCP 向けに HIPAA 対応サービスのベータ提供を開始​

保護対象保健情報 (PHI) に対してより高いセキュリティを求めるお客様は、Google Cloud Platform (GCP) 上の ClickHouse Cloud を利用開始できるようになりました。ClickHouse は、HIPAA Security Rule で定められている管理上、物理上、および技術上の保護措置を講じており、現在では、お客様固有のユースケースやワークロードに応じて適用できる、構成可能なセキュリティ設定も提供しています。利用可能なセキュリティ設定の詳細については、Security features page をご確認ください。

本サービスは、GCP us-central-1 の Dedicated サービスタイプをご利用のお客様を対象に提供されており、Business Associate Agreement (BAA) が必要です。この機能へのアクセスをリクエストする場合、または今後追加される GCP、AWS、Azure の各リージョン向けウェイトリストへの参加を希望する場合は、sales または support までお問い合わせください。

Compute-compute separation が GCP と Azure でもプライベートプレビューで利用可能になりました​

先日、AWS 向けの Compute-Compute Separation のプライベートプレビューを発表しましたが、このたび GCP と Azure でも利用可能になりました。

Compute-compute separation を使用すると、特定のサービスを読み書き用または読み取り専用のサービスとして指定できるため、コストとパフォーマンスを最適化するアプリケーション向けに、最適なコンピュート設定を設計できます。詳細については、ドキュメントを参照してください。

セルフサービスによるMFAリカバリーコード​

多要素認証を使用しているお客様は、スマートフォンを紛失した場合やトークンを誤って削除した場合に備えて使用できるリカバリーコードを取得できるようになりました。初めてMFAを登録するお客様には、セットアップ時にこのコードが提供されます。すでにMFAを使用しているお客様は、現在のMFAトークンを削除して新しいトークンを追加することで、リカバリーコードを取得できます。

ClickPipes のアップデート: カスタム証明書、レイテンシの可視化、その他​

ClickPipes は、ClickHouse サービスにデータをインジェストする最も簡単な方法です。今回は、その ClickPipes の最新アップデートをご紹介します。これらの新機能は、データインジェストの制御性を高めるとともに、パフォーマンスメトリクスの可視性を向上させるよう設計されています。

Kafka 向けカスタム認証証明書

Kafka 向け ClickPipes で、SASL とパブリック SSL/TLS を使用する Kafka ブローカー向けのカスタム認証証明書がサポートされるようになりました。ClickPipe の設定時に SSL Certificate セクションから独自の証明書を簡単にアップロードでき、Kafka への接続をより安全に確立できます。

Kafka と Kinesis のレイテンシメトリクスを導入

パフォーマンスの可視性は重要です。ClickPipes にレイテンシグラフが追加され、メッセージが生成されてから (Kafka Topic または Kinesis Stream) 、ClickHouse Cloud にインジェストされるまでの時間を把握できるようになりました。この新しいメトリクスにより、データパイプラインのパフォーマンスをより詳細に監視し、それに応じて最適化できます。

データインジェストのパフォーマンスに関するレイテンシメトリクスのグラフを表示する ClickPipes インターフェイス

Kafka と Kinesis のスケーリング制御 (プライベートベータ)

高い処理量に対応するには、データ量やレイテンシ要件を満たすために追加のリソースが必要になる場合があります。ClickPipes では、クラウドコンソールから直接利用できる水平スケーリングを導入します。この機能は現在プライベートベータとして提供されており、要件に応じてより効果的にリソースをスケールできます。ベータへの参加をご希望の場合は、サポート にお問い合わせください。

Kafka と Kinesis の生メッセージインジェスト

Kafka または Kinesis のメッセージ全体を、解析せずに取り込めるようになりました。ClickPipes では、_raw_message 仮想カラム がサポートされ、メッセージ全体を 1 つの String カラムにマッピングできます。これにより、必要に応じて生データを柔軟に扱えます。

2024年8月29日​

新しい Terraform プロバイダーのバージョン - v1.0.0​

Terraform を使用すると、ClickHouse Cloud サービスをプログラムから制御し、その設定をコードとして管理できます。当社の Terraform プロバイダーは約 20 万回ダウンロードされており、このたび正式に v1.0.0 になりました。この新しいバージョンには、再試行ロジックの改善や、ClickHouse Cloud サービスに私有端点をアタッチするための新しいリソースの追加などが含まれています。Terraform プロバイダーはこちらからダウンロードでき、完全な変更履歴はこちらで確認できます。

2024 SOC 2 Type IIレポートおよび更新版ISO 27001認証​

このたび、2024 SOC 2 Type IIレポートと更新版ISO 27001認証をご利用いただけるようになりました。これらには、最近提供を開始した Azure 上のサービスに加え、AWS および GCP 上のサービスに対する継続的な適用範囲も含まれています。

当社の SOC 2 Type II は、ClickHouse ユーザーに提供するサービスにおいて、セキュリティ、可用性、処理の完全性、機密性の確保に継続的に取り組んでいることを示すものです。詳細については、American Institute of Certified Public Accountants (AICPA) が公開している SOC 2 - SOC for Service Organizations: Trust Services Criteria および International Standards Organization (ISO) による What is ISO/IEC 27001 をご確認ください。

セキュリティおよびコンプライアンス関連の文書やレポートについては、当社の Trust Center もご覧ください。

2024年8月15日​

Compute-compute separation が AWS でプライベートプレビューになりました​

既存の ClickHouse Cloud サービスでは、レプリカが読み取りと書き込みの両方を処理しており、特定のレプリカを一方の操作のみ処理するように設定することはできません。近日提供予定の新機能 Compute-compute separation では、特定のサービスを読み書き可能または読み取り専用のサービスとして指定できるため、コストとパフォーマンスを最適化するアプリケーション向けの最適なコンピュート構成を設計できます。

この新しい Compute-compute separation 機能では、それぞれが独自のエンドポイントを持つ複数のコンピュートノードグループを作成でき、同じオブジェクトストレージフォルダーを使用することで、同じテーブルやビューなどを共有できます。詳しくは、Compute-compute separation についてはこちら を参照してください。この機能のプライベートプレビューへのアクセスを希望する場合は、サポートにお問い合わせください。

読み書き可能および読み取り専用のサービスグループを備えた Compute-compute separation のアーキテクチャ例を示す図

S3 および GCS 向け ClickPipes が GA となり、Continuous mode をサポート​

ClickPipes は、ClickHouse Cloud にデータを取り込む最も簡単な方法です。S3 および GCS 向け ClickPipes が 一般提供 になったことをお知らせします。ClickPipes は、1 回限りのバッチ取り込みと「continuous mode」の両方をサポートしています。取り込みタスクでは、特定のリモートバケット内でパターンに一致するすべてのファイルを、ClickHouse の宛先テーブルに読み込みます。「continuous mode」では、ClickPipes ジョブが継続的に実行され、リモートのオブジェクトストレージバケットに追加された一致ファイルを、到着に合わせて取り込みます。これにより、任意のオブジェクトストレージバケットを、ClickHouse Cloud にデータを取り込むための本格的なステージング領域として利用できます。ClickPipes の詳細については、ドキュメントを参照してください。

2024年7月18日​

メトリクス向け Prometheus エンドポイントが一般提供になりました​

前回の Cloud 変更履歴では、ClickHouse Cloud から Prometheus メトリクスをエクスポートする機能のプライベートプレビューを発表しました。この機能を使用すると、ClickHouse Cloud API を通じてメトリクスを取得し、Grafana や Datadog などのツールで可視化できます。この機能が 一般提供 になったことをお知らせします。詳細については、ドキュメント を参照してください。

Cloud console の Table Inspector​

ClickHouse には、schema を確認するためにテーブルの内部情報を調べられる DESCRIBE のようなコマンドがあります。これらのコマンドはコンソールに出力されますが、テーブルやカラムに関する必要な情報をすべて取得するには複数のクエリを組み合わせる必要があるため、使い勝手がよいとは限りません。

このたび、Cloud console に Table Inspector を追加しました。これにより、SQL を記述しなくても、UI 上で重要なテーブル情報やカラム情報を確認できます。Cloud console でご利用中のサービスで、ぜひ Table Inspector をお試しください。schema、ストレージ、圧縮などの情報を、1 つの統合されたインターフェイスで確認できます。

schema とストレージの詳細情報を表示する ClickHouse Cloud Table Inspector インターフェイス

新しい Java Client API​

当社の Java Client は、ClickHouse への接続に使われるクライアントの中でも特に人気の高いものの 1 つです。そこで、API の再設計や各種パフォーマンス最適化を行い、さらに使いやすく直感的に利用できるようにしました。これらの改善により、Java アプリケーションから ClickHouse へより簡単に接続できるようになります。更新された Java Client の使い方の詳細については、このブログ記事をご覧ください。

新しいアナライザーはデフォルトで有効になっています​

ここ数年、クエリの解析と最適化のための新しいアナライザーの開発に取り組んできました。このアナライザーによりクエリのパフォーマンスが向上し、より高速で効率的な JOIN を含む、さらなる最適化が可能になります。これまでは、新規ユーザーがこの機能を有効にするには、設定 allow_experimental_analyzer を有効にする必要がありました。現在、この改良されたアナライザーは、新しい ClickHouse Cloudサービスでデフォルトで利用できます。

アナライザーについては、今後さらに多くの最適化を予定しており、引き続き改善を進めていきます。

2024年6月28日​

Microsoft Azure向けClickHouse Cloudが一般提供になりました​

Microsoft Azureのサポートは、今年5月にこちらのブログ記事でベータとして初めて発表しました。今回の最新のクラウドリリースにより、Azureサポートはベータから一般提供へ移行しました。これで、ClickHouse CloudはAWS、Google Cloud Platform、Microsoft Azureという3大クラウドプラットフォームすべてで利用できるようになりました。

このリリースには、Microsoft Azure Marketplace経由のサブスクリプションへの対応も含まれています。サービスはまず、次の区域でサポートされます。

  • 米国: West US 3 (Arizona)
  • 米国: East US 2 (Virginia)
  • 欧州: Germany West Central (Frankfurt)

特定の区域でのサポートをご希望の場合は、お問い合わせください。

クエリログのインサイト​

Cloudコンソールの新しい Query Insights UI により、ClickHouse に組み込まれているクエリログをはるかに簡単に活用できるようになりました。ClickHouse の system.query_log テーブルは、クエリ最適化、調試、クラスター全体の健全性とパフォーマンスの監視において重要な情報源です。ただし、1 つ注意点があります。70 を超えるフィールドがあり、さらに 1 つのクエリにつき複数のレコードが存在するため、クエリログを読み解くにはかなりの学習コストがかかります。今回の Query Insights の初期バージョンは、今後クエリの調試や最適化パターンをよりシンプルにしていくための土台となるものです。この機能を継続的に改善していくにあたり、ぜひフィードバックをお寄せください。皆様からのご意見をお待ちしています。

クエリのパフォーマンス指標と分析を表示する ClickHouse Cloud Query Insights UI

メトリクス向け Prometheus エンドポイント (プライベートプレビュー)​

多くのお客様からご要望をいただいていた機能の 1 つとして、ClickHouse Cloud から Prometheus メトリクスを Grafana および Datadog にエクスポートして可視化できるようになりました。Prometheus は、ClickHouse の監視やカスタムアラートのセットアップに利用できるオープンソースのソリューションです。お使いの ClickHouse Cloud サービスの Prometheus メトリクスには、ClickHouse Cloud API 経由でアクセスできます。この機能は現在プライベートプレビューです。組織でこの機能を有効にするには、サポートチームまでお問い合わせください。

ClickHouse CloudのPrometheusメトリクスを表示するGrafanaダッシュボード

その他の機能​

  • 頻度、保持期間、スケジュールなどのカスタムバックアップポリシーを設定できる設定可能なバックアップが、一般提供となりました。

2024年6月13日​

Kafka ClickPipes Connector の設定可能なオフセット (ベータ)​

最近まで、新しい ClickPipes 向け Kafka Connector をセットアップすると、常に Kafka トピックの先頭からデータを消費していました。そのため、履歴データを再処理したい場合や、新しく到着するデータのみを監視したい場合、あるいは特定の位置から再開したい場合などには、十分な柔軟性がないことがありました。

Kafka 向け ClickPipes に、Kafka トピックからのデータ消費の柔軟性と制御性を高める新機能が追加されました。これにより、データの消費を開始するオフセットを設定できるようになりました。

使用できるオプションは次のとおりです。

  • 先頭から: Kafka トピックの先頭からデータの消費を開始します。すべての履歴データを再処理する必要がある場合に適しています。
  • 最新から: 最新のオフセットからデータの消費を開始します。新しいメッセージのみに関心がある場合に便利です。
  • タイムスタンプから: 特定のタイムスタンプ時点以降に生成されたメッセージからデータの消費を開始します。この機能により、よりきめ細かく制御でき、正確な時点から処理を再開できます。
オフセット選択オプションを表示した ClickPipes Kafka Connector の設定インターフェイス

Fast リリースチャネルにサービスを登録する​

Fast リリースチャネルを利用すると、サービスはリリーススケジュールより早く更新を受け取れます。以前は、この機能を有効にするにはサポートチームの支援が必要でした。現在は、ClickHouse Cloud コンソールから各サービスでこの機能を直接有効にできます。設定 に移動し、高速リリースに登録 をクリックするだけです。これで、利用可能になった更新がサービスにすぐ適用されます。

高速リリースに登録するオプションが表示された ClickHouse Cloud の設定ページ

水平スケーリングの Terraform サポート​

ClickHouse Cloud は、水平スケーリング、つまりサービスに同じサイズのレプリカを追加できる機能をサポートしています。水平スケーリングにより、同時実行されるクエリに対応するためのパフォーマンスと並列処理能力が向上します。これまで、レプリカの追加には ClickHouse Cloud コンソールまたは API を使用する必要がありました。Terraform を使用してサービスのレプリカを追加または削除できるようになったため、必要に応じて ClickHouse サービスをプログラムでスケーリングできます。

詳細については、ClickHouse Terraform プロバイダー を参照してください。

2024年5月30日​

チームメンバーとクエリを共有する​

SQLクエリを作成すると、そのクエリはチーム内のほかのメンバーにとっても役立つことがよくあります。これまでは、Slack やメールでクエリを送る必要があり、後でそのクエリを編集しても、チームメンバーが更新を自動的に受け取る方法はありませんでした。

このたび、ClickHouse Cloudコンソールからクエリを簡単に共有できるようになりました。クエリエディタから、チーム全体または特定のチームメンバーにクエリを直接共有できます。また、閲覧のみを許可するか、編集も許可するかを指定することもできます。新しい共有クエリ機能を試すには、クエリエディタの Share ボタンをクリックしてください。

共有機能と権限オプションが表示された ClickHouse Cloud クエリエディタ

Microsoft Azure 向け ClickHouse Cloud がベータになりました​

ついに、Microsoft Azure 上で ClickHouse Cloud のサービスを作成できるようになりました。すでに多くのお客様が、プライベートプレビュー プログラムの一環として Azure 上の ClickHouse Cloud を本番環境で利用しています。今回からは、どなたでも Azure 上に独自のサービスを作成できます。AWS と GCP でサポートされている ClickHouse のおなじみの機能は、Azure でも同様に利用できます。

今後数週間のうちに、Azure 向け ClickHouse Cloud は一般提供となる見込みです。詳しくはこちらのブログ記事をご覧いただくか、ClickHouse Cloud コンソールから Azure を使用して新しいサービスを作成してください。

注意: 現時点では、Azure の Development サービスはサポートされていません。

プライベートリンク 機能を使用すると、トラフィックをパブリックインターネット経由にすることなく、ClickHouse Cloud のサービスをクラウドプロバイダーのアカウント内にある内部サービスへ接続できるため、コストを削減し、セキュリティを強化できます。以前は、この設定のセットアップが難しく、ClickHouse Cloud API を使用する必要がありました。

現在は、ClickHouse Cloud コンソールから直接、数回クリックするだけで私有端点を設定できます。サービスの Settings に移動し、Security セクションを開いて、Set up private endpoint をクリックするだけです。

セキュリティ設定で私有端点のセットアップ用インターフェイスを表示している ClickHouse Cloud コンソール

2024年5月17日​

ClickPipes を使用した Amazon Kinesis からのデータ取り込み (ベータ)​

ClickPipes は、コードを書かずにデータを取り込める ClickHouse Cloud 専用のサービスです。Amazon Kinesis は、処理のためのデータストリームを取り込み、保存できる AWS のフルマネージド型ストリーミングサービスです。特にご要望の多かったインテグレーションの 1 つである Amazon Kinesis 向け ClickPipes ベータを提供開始できることを、大変うれしく思います。今後も ClickPipes にさらに多くのインテグレーションを追加していく予定ですので、対応をご希望のデータソースがあればぜひお知らせください。この機能の詳細はこちらをご覧ください。

ClickPipes の新しい Amazon Kinesis インテグレーションは、Cloud Console でお試しいただけます。

Amazon Kinesis インテグレーションの設定オプションを表示する ClickPipes インターフェイス

設定可能なバックアップ (プライベートプレビュー)​

バックアップは、どれほど信頼性の高いデータベースであっても、あらゆるデータベースにとって重要です。ClickHouse Cloud では、サービス開始当初からバックアップを非常に重視してきました。今週、設定可能なバックアップをリリースしました。これにより、サービスのバックアップをこれまで以上に柔軟に設定できるようになります。開始時刻、保持期間、頻度を制御できるようになりました。この機能はProductionおよびDedicatedサービスで利用でき、Developmentサービスでは利用できません。現在この機能はプライベートプレビューのため、ご利用のサービスで有効にするには support@clickhouse.com までご連絡ください。設定可能なバックアップの詳細はこちらをご覧ください。

SQLクエリからAPIを作成する (ベータ)​

ClickHouse用のSQLクエリを作成しても、そのクエリをアプリケーションに公開するには、引き続きドライバー経由でClickHouseに接続する必要があります。新機能 Query Endpoints を使うと、設定なしでAPIから直接SQLクエリを実行できます。クエリ endpoint では、JSON、CSV、またはTSVを返すよう指定できます。お使いのクエリでこの新機能を試すには、Cloud Console の「Share」ボタンをクリックしてください。Query Endpoints の詳細はこちらをご覧ください。

出力フォーマットのオプションを含む Query Endpoints の設定を表示する ClickHouse Cloud インターフェイス

公式ClickHouse認定資格の提供を開始しました​

ClickHouse Developトレーニングコースには、12の無料トレーニングモジュールがあります。これまでは、ClickHouseに関する習熟を公式に証明する方法はありませんでした。このたび、ClickHouse Certified Developerになるための公式試験を開始しました。この試験を修了すると、データインジェスト、モデリング、分析、パフォーマンス最適化などの分野におけるClickHouseの習熟度を、現在および将来の雇用主に示すことができます。試験はこちらから受験でき、ClickHouse認定資格の詳細はこのブログ記事で確認できます。

2024年4月25日​

ClickPipes を使用した S3 と GCS からのデータ読み込み​

最近リリースされた Cloud Console で、「Data sources」という新しいセクションが追加されていることに気づかれたかもしれません。「Data sources」ページは ClickPipes を基盤としており、さまざまなソースから ClickHouse Cloud へ簡単にデータを取り込める、ClickHouse Cloud のネイティブ機能です。

今回の ClickPipes のアップデートでは、Amazon S3 と Google Cloud Storage からデータを直接アップロードできるようになりました。組み込みのテーブル関数も引き続き使用できますが、ClickPipes は UI から利用できるフルマネージドサービスで、数回クリックするだけで S3 や GCS からデータを取り込めます。この機能は現在もプライベートプレビュー段階ですが、今すぐ Cloud Console からお試しいただけます。

S3 および GCS バケットからデータを読み込むための設定オプションを表示する ClickPipes インターフェイス

Fivetran を使用して 500 以上のソースから ClickHouse Cloud にデータを読み込む​

ClickHouse はあらゆる大型データセットに対して高速にクエリを実行できますが、その前にまずデータを ClickHouse に挿入する必要があります。Fivetran の豊富なコネクタにより、500 を超えるソースからデータをすばやく読み込めるようになりました。Zendesk や Slack をはじめ、お使いのさまざまなアプリケーションからデータを読み込む場合でも、Fivetran 向けの新しい ClickHouse 宛先を使えば、アプリケーションデータのターゲットデータベースとして ClickHouse を利用できます。

これは、当社の Integrations チームが何か月にもわたって開発を進めてきたオープンソースの連携機能です。詳しくは、こちらのリリースブログ記事と GitHub 保存所をご覧ください。

その他の変更​

コンソールの変更点

  • SQL Console で出力フォーマットをサポート

インテグレーションの変更点

  • ClickPipes Kafka Connector がマルチブローカー構成をサポート
  • PowerBI Connector で ODBC ドライバーの設定オプション指定をサポート

2024年4月18日​

ClickHouse CloudでAWS東京リージョンが利用可能になりました​

今回のリリースでは、ClickHouse Cloudで新たにAWS東京リージョン (ap-northeast-1) が利用可能になりました。ClickHouseを最速のデータベースにするため、レイテンシーを可能な限り低減できるよう、すべてのクラウドで対応リージョンを継続的に拡大しています。更新されたCloud Consoleから、東京リージョンに新しいserviceを作成できます。

東京リージョンの選択を示すClickHouse Cloud service作成インターフェイス

その他の変更:

コンソールの変更点​

  • ClickPipes for Kafka で Avro フォーマットのサポートが一般提供になりました
  • Terraform プロバイダーで、リソース (サービスおよび私有端点) のインポートを完全にサポート

インテグレーションの変更点​

  • NodeJS client の安定版メジャーリリース: クエリ + ResultSet 向けの高度な TypeScript サポート、URL 設定
  • Kafka Connector: DLQ への書き込み時に例外を無視してしまう不具合を修正し、Avro Enum 型のサポートを追加、MSK および Confluent Cloud でコネクタを使用するためのガイドを公開
  • Grafana: UI での Nullable 型サポートの不具合を修正し、動的な OTel トレーシングテーブル名のサポートを修正
  • DBT: カスタム materialization のモデル設定を修正。
  • Java クライアント: エラーコードの解析が正しく行われない不具合を修正
  • Python クライアント: 数値型のパラメータバインディングを修正し、クエリバインディングにおける数値リストの不具合を修正、SQLAlchemy Point サポートを追加。

2024年4月4日​

新しい ClickHouse Cloud コンソールの紹介​

このリリースでは、新しい Cloud Console のプライベートプレビューを提供します。

ClickHouse では、開発者体験をどう向上させるかを常に追求しています。最速のリアルタイムデータウェアハウスを提供するだけでは不十分であり、使いやすく管理しやすいことも重要だと考えています。

毎月、何千もの ClickHouse Cloud ユーザーが SQLコンソール で数十億件ものクエリを実行しています。そのため、ClickHouse Cloud サービスをこれまで以上に簡単に操作できるよう、優れたコンソール体験への投資をさらに進めることにしました。新しい Cloud Console では、独立した SQL エディタと管理コンソールを、直感的な単一の UI に統合しています。

一部のお客様には、新しい Cloud Console のプレビューをご利用いただけます。これは、ClickHouse でデータを探索し管理するための、統合された使いやすい体験です。優先アクセスをご希望の場合は、support@clickhouse.com までご連絡ください。

統合された SQL エディタと管理機能を備えた新しい ClickHouse Cloud コンソールのインターフェイスを示すアニメーション

2024年3月28日​

このリリースでは、Microsoft Azure のサポート、API による水平スケーリング、プライベートプレビューとしてのリリースチャネルが追加されました。

全般的な更新​

  • Microsoft Azure のサポートをプライベートプレビューとして提供開始しました。利用を希望する場合は、アカウント管理担当またはサポートまでお問い合わせいただくか、ウェイトリストにご登録ください。
  • リリースチャネル を導入しました。これは、環境の種類に応じてアップグレードのタイミングを指定できる機能です。今回のリリースでは "fast" リリースチャネルを追加し、非本番環境を本番環境に先行してアップグレードできるようになりました (有効にするにはサポートにお問い合わせください) 。

管理機能の変更​

  • API 経由で水平スケーリング設定を行えるようになりました (プライベートプレビュー。利用を有効にするには、サポートにお問い合わせください)
  • 起動時にメモリ不足エラーが発生したサービスをスケールアップできるよう、オートスケーリングを改善
  • Terraform プロバイダー経由で AWS 向け CMEK をサポート

コンソールの変更点​

  • Microsoft ソーシャルログインに対応
  • SQLコンソール でパラメータ化クエリを共有できる機能を追加
  • クエリエディタのパフォーマンスを大幅に改善 (一部の EU 地域ではレイテンシを 5 秒から 1.5 秒に短縮)

インテグレーションの変更点​

セキュリティ更新​

2024年3月14日​

このリリースでは、新しい Cloud Console エクスペリエンス、S3 と GCS からの一括ロード向け ClickPipes、および Kafka 向け ClickPipes での Avro フォーマット対応を早期アクセス版として提供開始しました。また、ClickHouse データベースをバージョン 24.1 にアップグレードし、新しい関数のサポートに加え、パフォーマンスとリソース使用量の最適化も導入しています。

コンソールの変更点​

  • 新しい Cloud Console が早期アクセスとして利用可能になりました (参加をご希望の場合は、サポートまでお問い合わせください) 。
  • S3 および GCS からの一括ロード向け ClickPipes が早期アクセスとして利用可能になりました (参加をご希望の場合は、サポートまでお問い合わせください) 。
  • Kafka 向け ClickPipes での Avro フォーマットのサポートが早期アクセスとして利用可能になりました (参加をご希望の場合は、サポートまでお問い合わせください) 。

ClickHouse バージョンのアップグレード​

  • FINAL の最適化、ベクトル化の改善、集計の高速化については、詳細を 23.12 リリースブログ で確認してください。
  • Punycode 処理、文字列類似度、外れ値検出のための新しい関数に加え、マージおよび Keeper のメモリ最適化については、詳細を 24.1 リリースブログ と プレゼンテーション で確認してください。
  • この ClickHouse Cloud のバージョンは 24.1 ベースで、多数の新機能、パフォーマンス改善、バグ修正が含まれています。詳細はコアデータベースの 変更履歴 を参照してください。

インテグレーションの変更点​

  • Grafana: v4 向けのダッシュボード移行とアドホックフィルタリングのロジックを修正
  • Tableau Connector: DATENAME 関数と "real" 引数の丸め処理を修正
  • Kafka Connector: 接続初期化時の NPE を修正し、JDBCドライバーのオプションを指定できるようにした
  • Golang クライアント: レスポンス処理時のメモリ使用量を削減し、Date32 の極端な値に関する問題を修正し、圧縮有効時のエラー報告を修正
  • Python クライアント: datetime パラメータでのタイムゾーン対応を改善し、Pandas DataFrame のパフォーマンスを改善

2024年2月29日​

このリリースでは、SQLコンソールアプリケーションのロード時間を改善し、ClickPipes で SCRAM-SHA-256 認証のサポートを追加するとともに、Kafka Connect でネスト構造をサポートするようになりました。

コンソールの変更点​

  • SQLコンソールアプリケーションの初期ロード時間を最適化
  • SQLコンソールで、レースコンディションにより 'authentication failed' エラーが発生する問題を修正
  • 監視ページで、最新のメモリ割り当て値が誤って表示されることがある問題を修正
  • SQLコンソールで、重複した KILL QUERY コマンドが発行されることがある問題を修正
  • ClickPipes で、Kafka ベースのデータソースに対する SCRAM-SHA-256 認証方式をサポート

インテグレーションの変更点​

  • Kafka Connector: 複雑なネスト構造 (Array、Map) のサポートを拡張し、FixedString 型のサポートを追加し、複数のデータベースへのインジェストに対応しました
  • Metabase: バージョン 23.8 未満の ClickHouse との非互換性を修正しました
  • DBT: モデル作成時に設定を渡せるようになりました
  • Node.js client: 長時間実行されるクエリ (>1hr) のサポートを追加し、空の値も適切に処理できるようにしました

2024年2月15日​

このリリースでは、コアデータベースのバージョンをアップグレードし、Terraform によるプライベートリンクのセットアップ機能を追加するとともに、Kafka Connect 経由の非同期 INSERT における exactly-once セマンティクスのサポートを追加しています。

ClickHouse バージョンアップグレード​

  • S3 から継続的かつ定期的にデータを読み込むための S3Queue テーブルエンジンが本番環境で利用可能になりました。詳細は 23.11 リリースブログ を参照してください。
  • FINAL の大幅なパフォーマンス向上と、SIMD 命令のベクトル化の改善により、クエリが高速化されました。詳細は 23.12 リリースブログ を参照してください。
  • この ClickHouse Cloud のバージョンは 23.12 をベースとしており、数十件の新機能、パフォーマンス向上、バグ修正が含まれています。詳細は コアデータベースの変更履歴 を参照してください。

コンソールの変更点​

  • Terraform プロバイダーを通じて AWS Private Link と GCP Private Service Connect をセットアップできるようになりました
  • リモートファイルからのデータインポートの耐障害性を向上
  • すべてのデータインポートに、インポートステータスの詳細を表示するフライアウトを追加
  • S3 データインポートでアクセスキー/シークレットキー認証情報をサポート

インテグレーションの変更点​

  • Kafka Connect
    • exactly once をサポートする async_insert を追加 (デフォルトでは無効)
  • Golang クライアント
    • DateTime のバインディングを修正
    • バッチ挿入のパフォーマンスを向上
  • Java クライアント
    • リクエスト圧縮の問題を修正

設定の変更​

  • use_mysql_types_in_show_columns は不要になりました。MySQL インターフェイス経由で接続した場合、自動的に有効になります。
  • async_insert_max_data_size のデフォルト値が 10 MiB になりました

2024年2月2日​

このリリースでは、Azure Event Hub向けのClickPipesが利用可能になり、v4 ClickHouse Grafanaコネクタを使用したログおよびトレースのナビゲーション ワークフローが大幅に改善され、FlywayおよびAtlasのデータベース schema 管理ツールのサポートが新たに追加されました。

コンソールの変更点​

  • ClickPipes で Azure Event Hub のサポートを追加
  • 新しいサービスは、デフォルトのアイドル時間を 15 分に設定して起動されます

インテグレーションの変更点​

  • Grafana 用 ClickHouse データソース v4 リリース
    • Table、Logs、Time Series、Traces 向けの専用エディタを備えるよう、クエリビルダーを全面的に再構築
    • より複雑で動的なクエリをサポートできるよう、SQL ジェネレーターを全面的に再構築
    • Log ビューと Trace ビューで OpenTelemetry のネイティブサポートを追加
    • Logs と Traces のデフォルトのテーブルおよびカラムを指定できるように設定を拡張
    • カスタム HTTP ヘッダーを指定する機能を追加
    • そのほかにも多数の改善を実施 - 詳細は完全な changelog を参照してください
  • データベース schema 管理ツール
  • Kafka Connector Sink
    • デフォルト値を持つテーブルへのインジェストを最適化
    • DateTime64 で文字列ベースの日付をサポート
  • Metabase
    • 複数のデータベースへの接続のサポートを追加

2024年1月18日​

このリリースでは、AWS の新しいリージョン (ロンドン / eu-west-2) が追加され、Redpanda、Upstash、Warpstream 向けの ClickPipes サポートが追加されたほか、is_deleted の基盤となるデータベース機能の信頼性も向上しました。

全般的な変更​

  • 新しい AWS リージョン: ロンドン (eu-west-2)

コンソールの変更点​

  • Redpanda、Upstash、Warpstream 向けの ClickPipes サポートを追加
  • UI で ClickPipes の認証メカニズムを設定可能にした

インテグレーションの変更点​

  • Java クライアント:
    • 破壊的変更: 呼び出し時にランダムな URL ハンドルを指定する機能を削除しました。この機能は ClickHouse から削除されています
    • 非推奨: Java CLI クライアントおよび GRPC パッケージ
    • RowBinaryWithDefaults フォーマットのサポートを追加し、バッチサイズと ClickHouse インスタンスの負荷を低減しました (Exabeam からの要望)
    • Date32 および DateTime64 の範囲境界を ClickHouse と互換性のあるものにし、Spark の Array string 型との互換性とノード選択メカニズムを改善しました
  • Kafka Connector: Grafana 用の JMX 監視ダッシュボードを追加しました
  • PowerBI: UI で ODBC ドライバーの設定を変更できるようにしました
  • JavaScript クライアント: クエリのサマリー情報を利用できるようにし、挿入時に特定のカラムの一部を指定できるようにし、Web クライアントで keep_alive を設定可能にしました
  • Python クライアント: SQLAlchemy の Nothing 型のサポートを追加しました

信頼性に関する変更​

  • ユーザーに影響する後方互換性のない変更: 以前は、特定の条件下で 2 つの機能 (is_deleted と OPTIMIZE CLEANUP) により、ClickHouse 内のデータが破損する可能性がありました。機能の中核は維持しつつ、ユーザーデータの完全性を保護するため、この機能の動作を調整しました。具体的には、MergeTree の設定 clean_deleted_rows は現在非推奨であり、もはや効果はありません。CLEANUP キーワードはデフォルトでは使用できません (使用するには allow_experimental_replacing_merge_with_cleanup を有効にする必要があります) 。CLEANUP を使用する場合は、必ず FINAL と組み合わせて使用してください。また、OPTIMIZE FINAL CLEANUP を実行した後に、古いバージョンの行が挿入されないことを保証する必要があります。