跳转到主内容
跳转到主内容

Cloud 变更日志 - 2023

2023 年 12 月 18 日

此次发布新增了 GCP 区域 (us-east1) ,支持通过自助方式保障端点连接的安全,增加了对更多集成的支持 (包括 DBT 1.7) ,并修复了大量缺陷、增强了安全性。

常规变更

  • ClickHouse Cloud 现已在 GCP us-east1 (南卡罗来纳) 区域上线
  • 现已支持通过 OpenAPI 搭建 AWS Private Link 和 GCP Private Service Connect

控制台变更

  • 如果您具有 Developer 角色,即可无缝登录 SQL 控制台
  • 简化了在初始引导期间设置空闲控制的流程

集成变更

  • DBT 连接器:新增对最高至 v1.7 版本 DBT 的支持
  • Metabase:新增对 Metabase v0.48 的支持
  • PowerBI Connector:新增可在 PowerBI Cloud 上运行的支持
  • ClickPipes 内部用户的权限现已可配置
  • Kafka Connect
    • 改进了去重逻辑以及对 Nullable 类型的摄取支持。
    • 新增对文本型格式 (CSV、TSV) 的支持
  • Apache Beam:新增对 Boolean 和 LowCardinality 类型的支持
  • Node.js 客户端:新增对 Parquet 格式的支持

安全公告

  • 已修复 3 个安全漏洞——详见安全更新日志
    • CVE 2023-47118 (CVSS 7.0) - 影响默认运行在 9000/tcp 端口上的原生接口的堆缓冲区溢出漏洞
    • CVE-2023-48704 (CVSS 7.0) - 影响默认运行在 9000/tcp 端口上的原生接口的堆缓冲区溢出漏洞
    • CVE 2023-48298 (CVSS 5.9) - FPC 压缩编解码器中的整数下溢漏洞

2023 年 11 月 22 日

此版本升级了核心数据库,并改进了登录和身份验证流程,同时为 Kafka Connect Sink 添加了代理支持。

ClickHouse 版本升级

  • 大幅提升了读取 Parquet 文件的性能。详情请参见 23.8 发布博客
  • 新增了对 JSON 的类型推断支持。详情请参见 23.9 发布博客
  • 引入了面向分析人员的强大函数,例如 ArrayFold。详情请参见 23.10 发布博客
  • 面向用户的向后不兼容变更:默认禁用设置 input_format_json_try_infer_numbers_from_strings,以避免在 JSON 格式中将字符串推断为数字。否则,当示例数据包含看起来像数字的字符串时,可能会导致解析错误。
  • 包含数十项新功能、性能改进和缺陷修复。详情请参见 核心数据库更新日志

控制台变更

  • 改进了登录和身份验证流程。
  • 改进了 AI 查询建议,以更好地支持大型 schema。

集成变更

  • Kafka Connect Sink:新增代理支持、topic-tablename 映射,以及 Keeper exactly-once 传递属性配置功能。
  • Node.js 客户端:新增对 Parquet 格式的支持。
  • Metabase:新增对 datetimeDiff 函数的支持。
  • Python 客户端:新增对列名中特殊字符的支持,并修复了 timezone 参数绑定问题。

2023 年 11 月 2 日

此版本为亚洲的开发服务新增了更多区域支持,为客户管理的加密密钥引入了密钥轮换功能,细化了计费控制台中的税务设置,并修复了各受支持语言客户端中的一系列问题。

常规更新

  • AWS 现已在 ap-south-1 (孟买) 和 ap-southeast-1 (新加坡) 区域提供开发服务
  • 新增支持对客户管理的加密密钥 (CMEK) 进行密钥轮换

控制台变更

  • 新增了在添加信用卡时配置更细化税务设置的功能

集成变更

  • MySQL
    • 通过 MySQL 增强了对 Tableau Online 和 QuickSight 的支持
  • Kafka Connector
    • 引入了新的 StringConverter,以支持文本格式 (CSV、TSV)
    • 新增了对 Bytes 和 Decimal 数据类型的支持
    • 调整了可重试异常的处理逻辑,现始终会重试 (即使 errors.tolerance=all 也是如此)
  • Node.js 客户端
    • 修复了流式处理大型数据集时结果损坏的问题
  • Python 客户端
    • 修复了大批量插入时的超时问题
    • 修复了 NumPy/Pandas Date32 问题 ​​- Golang 客户端
    • 修复了向 JSON 列插入空 map、压缩缓冲区清理、查询转义,以及 IPv4 和 IPv6 在 zero/nil 值时触发 panic 的问题
    • 为已取消的插入操作添加了 watchdog
  • DBT
    • 改进了分布式表支持,并补充了相关测试

2023 年 10 月 19 日

此版本改进了 SQL 控制台的易用性和性能,优化了 Metabase 连接器中的 IP 数据类型处理,并为 Java 和 Node.js 客户端新增了功能。

控制台变更

  • 提升了 SQL 控制台的易用性 (例如,在多次执行查询时保留列宽)
  • 提升了 SQL 控制台的性能

集成变更

  • Java 客户端:
    • 切换了默认网络库,以提升性能并复用已建立的连接
    • 添加了代理支持
    • 新增了使用 Trust Store 建立安全连接的支持
  • Node.js 客户端:修复了 insert 查询的 keep-alive 行为
  • Metabase:修复了 IPv4/IPv6 列序列化问题

2023 年 9 月 28 日

此版本正式推出了适用于 Kafka、Confluent Cloud、Amazon MSK 以及 Kafka Connect ClickHouse Sink 的 ClickPipes,并提供了通过 IAM 角色保护 Amazon S3 访问的自助式工作流,以及 AI 辅助查询建议 (私有预览) 。

控制台变更

集成变更

  • 宣布 ClickPipes 正式发布——这是一项面向 Kafka、Confluent Cloud 和 Amazon MSK 的开箱即用数据摄取服务 (参见发布博客)
  • Kafka Connect ClickHouse Sink 已正式发布
    • 扩展了对通过 clickhouse.settings 属性自定义 ClickHouse 设置的支持
    • 改进了去重行为,以适应动态字段
    • 新增了对 tableRefreshInterval 的支持,用于从 ClickHouse 重新获取表变更
  • 修复了 PowerBI 与 ClickHouse 数据类型之间的 SSL 连接问题以及类型映射问题

2023 年 9 月 7 日

此版本推出了 PowerBI Desktop 官方连接器的 Beta 版,改进了面向印度的信用卡支付处理,并对各受支持语言的客户端进行了多项改进。

控制台变更

  • 新增剩余额度和支付重试功能,以支持来自印度的扣费

集成变更

  • Kafka Connector:支持配置 ClickHouse 设置,新增 error.tolerance 配置项
  • PowerBI Desktop:发布官方连接器的 Beta 版本
  • Grafana:新增对 Point 地理类型的支持,修复 Data Analyst 仪表板中的面板,修复 timeInterval
  • Python 客户端:兼容 Pandas 2.1.0,停止支持 Python 3.7,新增对 Nullable JSON 类型的支持
  • Node.js 客户端:新增对 default_format 设置的支持
  • Golang 客户端:修复 bool 类型处理,移除字符串限制

2023 年 8 月 24 日

此版本新增了对 ClickHouse 数据库 MySQL 接口的支持,推出了新的官方 Power BI 连接器,在Cloud 控制台中新增了“运行中的查询”视图,并将 ClickHouse 版本更新至 23.7。

常规更新

  • 新增了对 MySQL wire 协议 的支持;除其他用途外,这也使其能够兼容许多现有的 BI 工具。请联系支持团队,为您的组织启用此功能。
  • 推出了新的官方 PowerBI 连接器

控制台变更

  • SQL 控制台新增了对“运行中的查询”视图的支持

ClickHouse 23.7 版本升级

  • 新增了对 Azure 表函数的支持,将地理数据类型提升为生产就绪,并改进了连接性能——详情请参阅 23.5 版本发布博客
  • 将 MongoDB 集成支持扩展至 6.0 版本——详情请参阅 23.6 版本发布博客
  • 将写入 Parquet 格式的性能提升了 6 倍,新增了对 PRQL 查询语言的支持,并改进了 SQL 兼容性——详情请参阅 23.7 版本发布演示文稿
  • 新增了数十项功能、性能改进和缺陷修复——有关 23.5、23.6、23.7 的详细信息,请参阅变更日志

集成变更

  • Kafka Connector:新增对 Avro 日期和时间类型的支持
  • JavaScript 客户端:发布了适用于 Web 环境的稳定版本
  • Grafana:改进了过滤逻辑和数据库名称处理,并新增对亚秒级精度 TimeInteval 的支持
  • Golang 客户端:修复了多个与批次和异步数据加载相关的问题
  • Metabase:支持 v0.47,新增连接模拟身份功能,并修复了数据类型映射问题

2023年7月27日

此次发布带来了适用于 Kafka 的 ClickPipes 私有预览、全新的数据加载体验,以及通过 Cloud 控制台 从 URL 加载文件的功能。

集成变更

  • 推出了面向 Kafka 的 ClickPipes 私有预览。这是一款云原生集成引擎,可将从 Kafka 和 Confluent Cloud 摄取海量数据简化为只需点击几个按钮。请在此处加入候补名单。
  • JavaScript 客户端:发布了对 Web 环境 (浏览器、Cloudflare Workers) 的支持。代码已重构,便于社区为自定义环境创建连接器。
  • Kafka Connector:新增了对内联 schema 以及 Kafka 的 Timestamp 和 Time 类型的支持
  • Python 客户端:修复了插入压缩和 LowCardinality 读取问题

控制台变更

  • 新增了数据加载体验,提供更多表创建配置选项
  • 新增了通过 Cloud 控制台从 URL 加载文件的功能
  • 优化了邀请流程,新增了加入其他组织以及查看所有待处理邀请的选项

2023 年 7 月 14 日

此版本支持创建 Dedicated Services,新增位于澳大利亚的 AWS 区域,并支持使用您自己的密钥对磁盘上的数据进行加密。

常规更新

  • 新增 AWS 澳大利亚区域:悉尼 (ap-southeast-2)
  • 为高要求、对延迟敏感的工作负载提供专用 tier 服务 (如需启用,请联系支持)
  • 支持自带密钥 (BYOK) 对磁盘上的数据进行加密 (如需启用,请联系支持)

控制台变更

  • 改进了面向非同期 INSERT 的可观测性指标仪表板
  • 改进了聊天机器人与支持系统集成时的行为

集成变更

  • NodeJS 客户端:修复了因套接字超时而导致连接失败的问题
  • Python 客户端:为插入查询添加了 QuerySummary,并支持数据库名称中的特殊字符
  • Metabase:更新了 JDBC 驱动版本,新增对 DateTime64 的支持,并进行了性能优化。

核心数据库变更

  • 查询缓存 可以在 ClickHouse Cloud 中启用。启用后,默认会将成功的查询结果缓存 1 分钟,后续查询将使用缓存结果。

2023 年 6 月 20 日

此次发布宣布 GCP 上的 ClickHouse Cloud 正式可用,新增了用于 Cloud API 的 Terraform provider,并将 ClickHouse 版本更新到 23.4。

常规更新

  • GCP 上的 ClickHouse Cloud 现已正式 GA,并带来 GCP Marketplace 集成、支持 Private Service Connect 以及自动备份 (详见博客新闻稿)
  • 适用于 Cloud API 的 Terraform provider 现已可用

控制台变更

  • 新增了统一的服务设置页面
  • 调整了存储和计算的计量精度

集成变更

  • Python 客户端:提升了插入性能,并重构了内部依赖以支持多进程
  • Kafka Connector:现可上传并安装到 Confluent Cloud,新增了针对临时连接问题的再試行机制,并可自动重置不正确的连接器状态

ClickHouse 23.4 版本升级

  • 新增了对并行副本的 JOIN 支持 (如需启用,请联系支持团队)
  • 提升了轻量级删除的性能
  • 改进了大批量插入时的缓存机制

管理相关变更

  • 扩展了对非“default”用户创建本地字典的支持

2023年5月30日

此版本正式公开发布了用于 Control Plane 操作的 ClickHouse Cloud 程序化 API (详见博客) ,并新增了基于 IAM 角色的 S3 访问支持以及更多扩缩容选项。

常规变更

  • 支持 ClickHouse Cloud API。借助新的 Cloud API,您可以将服务管理无缝集成到现有的 CI/CD 流程中,并以编程方式管理服务
  • 使用 IAM 角色访问 S3。您现在可以借助 IAM 角色安全地访问私有 Amazon Simple Storage Service (S3) 存储桶 (如需设置,请联系支持团队)

扩缩容变更

  • 水平扩缩容。现在,需要更高并行度的工作负载最多可配置 10 个副本 (如需设置,请联系支持团队)
  • 基于 CPU 的自动扩缩容。CPU 密集型工作负载现在可利用自动扩缩容策略中的额外触发条件

控制台变更

  • 将 Dev 服务迁移到 Production 服务 (如需启用,请联系支持)
  • 在实例创建流程中新增扩缩容配置选项
  • 修复内存中不存在默认密码时的连接字符串问题

集成变更

  • Golang 客户端:修复了原生协议中导致连接不平衡的问题,并新增了对自定义设置的支持
  • Nodejs 客户端:不再支持 nodejs v14,新增了对 v20 的支持
  • Kafka Connector:新增了对 LowCardinality 类型的支持
  • Metabase:修复了按时间范围进行分组的问题,并修复了内置 Metabase 查询对整数的支持问题

性能与可靠性

  • 提升了写入密集型工作负载的效率和性能
  • 部署了增量备份策略,进一步提升备份速度和效率

2023 年 5 月 11 日

此次发布带来了 GCP 上 ClickHouse Cloud 的 Public Beta (详情请参阅博客) , 扩展了管理员授予终止查询权限的能力, 并增强了 Cloud 控制台中 MFA 用户状态的可见性。

更新

ClickHouse Cloud on GCP 现已 GA,请参阅上方 6 月 20 日的条目。

ClickHouse Cloud on GCP 现已推出 Public Beta

注意

ClickHouse Cloud on GCP 现已 GA,请参阅上方的 6 月 20 日条目。

  • 推出完全托管的存储与计算分离式 ClickHouse 产品,运行在 Google Compute 和 Google Cloud Storage 之上
  • 现已在爱荷华 (us-central1) 、荷兰 (europe-west4) 和新加坡 (asia-southeast1) 区域提供
  • 在这三个初始区域中,均支持 Development 和 Production 服务
  • 默认提供强大的安全性:传输中的端到端加密、静态数据加密、IP allow list

集成变更

  • Golang 客户端:新增支持代理环境变量
  • Grafana:新增可在 Grafana 数据源设置中指定 ClickHouse 自定义设置和代理环境变量的功能
  • Kafka Connector:改进了空记录的处理

控制台变更

  • 在用户列表中新增了用于显示是否启用多因素身份验证 (MFA) 的标识

性能与可靠性

  • 新增了管理员对终止查询权限的更细粒度控制

2023 年 5 月 4 日

此版本新增了热力图图表类型,改进了账单使用情况页面,并优化了服务启动时间。

控制台变更

  • 在 SQL 控制台中新增热力图图表类型
  • 改进计费用量页面,显示各计费维度内已消耗的额度

集成变更

  • Kafka 连接器:新增了针对临时性连接错误的再試行机制
  • Python 客户端:新增了 max_connection_age 设置,确保 HTTP 连接不会被永久复用。这有助于缓解某些负载均衡问题
  • Node.js 客户端:新增了对 Node.js v20 的支持
  • Java 客户端:改进了客户端证书身份验证支持,并新增了对嵌套 Tuple/Map/Nested 类型的支持

性能与可靠性

  • 在存在大量 parts 时,提升了服务启动速度
  • 优化了 SQL 控制台中取消长时间运行查询的逻辑

问题修复

  • 修复了导致“Cell Towers”示例数据集导入失败的问题

2023 年 4 月 20 日

此版本将 ClickHouse 升级至 23.3,显著提升了冷读速度,并新增了与支持团队实时聊天的功能。

控制台变更

  • 新增了与支持团队进行实时聊天的功能

集成变更

  • Kafka 连接器:新增对 Nullable 类型的支持
  • Golang 客户端:新增对外部表的支持,并支持布尔值和指针类型的参数绑定

配置变更

  • 通过覆盖 max_table_size_to_dropmax_partition_size_to_drop 设置,可以删除大型表

性能与可靠性

  • 通过 allow_prefetched_read_pool_for_remote_filesystem 设置启用 S3 预读,提升冷读速度

ClickHouse 23.3 版本升级

  • 轻量级删除已可用于生产环境——详情请参阅 23.3 版本发布博客
  • 新增对多阶段 PREWHERE 的支持——详情请参阅 23.2 版本发布博客
  • 数十项新功能、性能改进和错误修复——详见 23.3 和 23.2 的详细更新日志

2023 年 4 月 6 日

此版本新增了用于获取云端 端点 的 API、可对最小空闲超时进行进阶控制的扩缩容功能,以及 Python 客户端查询方法对外部数据的支持。

API 变更

控制台变更

  • 在进阶扩缩容设置中新增了“最小空闲超时”设置
  • 在数据加载模态框中,为 schema inference 新增了尽可能识别日期时间的功能

集成变更

  • Metabase:新增对多个 schema 的支持
  • Go 客户端:修复了 TLS 空闲连接的存活检查
  • Python 客户端
    • 为查询方法新增了对外部数据的支持
    • 为查询结果新增时区支持
    • 新增对 no_proxy/NO_PROXY 环境变量的支持
    • 修复了 Nullable 类型的 NULL 值在服务器端的参数绑定问题

缺陷修复

  • 修复了在 SQL 控制台运行 INSERT INTO ... SELECT ... 时误用与 SELECT 查询相同行数限制的问题

2023年3月23日

此次发布新增了数据库密码复杂度规则,大幅提升了大型备份的恢复速度,并支持在 Grafana Trace View 中显示链路追踪数据。

安全性与可靠性

  • 核心数据库端点现已实施密码复杂度要求
  • 缩短了恢复大型备份所需的时间

控制台变更

  • 简化了引导流程,引入了新的基本值和更紧凑的界面
  • 降低了注册和登录延迟

集成变更

  • Grafana:
    • 新增支持在 Trace View 中显示存储于 ClickHouse 的链路追踪数据
    • 改进了时间范围筛选器,并新增支持表名中的特殊字符
  • Superset: 新增对 ClickHouse 的原生支持
  • Kafka Connect Sink: 新增自动日期转换和 Null 列处理
  • Metabase: 实现了与 v0.46 的兼容性
  • Python 客户端: 修复了临时表中的插入操作,并新增对 Pandas Null 的支持
  • Golang 客户端: 规范了带时区的 Date 类型
  • Java 客户端
    • 在 SQL 解析器中新增对 compression、infile 和 outfile 关键字的支持
    • 新增了接受凭据参数的重载
    • 修复了 ON CLUSTER 的批次支持问题
  • Node.js 客户端
    • 新增支持 JSONStrings、JSONCompact、JSONCompactStrings、JSONColumnsWithMetadata 格式
    • 现在可为所有主要客户端方法提供 query_id

问题修复

  • 修复了一个导致新服务初始预配和启动耗时过长的问题
  • 修复了一个因缓存配置错误导致查询性能下降的问题

2023年3月9日

此版本改进了可观测性仪表板,缩短了创建大型备份所需的时间,并添加了删除大型表和分区所需的配置。

控制台变更

  • 新增进阶可观测性仪表板 (预览)
  • 在可观测性仪表板中新增内存分配图表
  • 改进了 SQL 控制台电子表格视图中的间距和换行处理

可靠性与性能

  • 优化备份计划,仅在数据发生变更时执行备份
  • 缩短大型备份的完成时间

配置变更

  • 新增支持在查询或连接级别覆盖设置 max_table_size_to_dropmax_partition_size_to_drop,以提高删除表和分区的大小限制
  • 在查询日志中新增了源 IP,以便根据源 IP 强制实施配额和访问控制

集成

  • Python 客户端: 改进了对 Pandas 的支持,并修复了时区相关问题
  • Metabase: 兼容 Metabase 0.46.x,并支持 SimpleAggregateFunction
  • Kafka-Connect: 隐式日期转换,以及对空值列的更好处理
  • Java 客户端: 支持将嵌套类型转换为 Java Map

2023年2月23日

此版本启用了 ClickHouse 23.1 核心版本中的部分功能,带来了与 Amazon Managed Streaming for Apache Kafka (MSK) 的互操作性,并在活动日志中提供了进阶扩缩容和空闲调整选项。

ClickHouse 23.1 版本升级

新增了对 ClickHouse 23.1 中部分功能的支持,例如:

  • 支持对 Map 类型执行 ARRAY JOIN
  • SQL 标准的十六进制和二进制字面量
  • 新增函数,包括 age()quantileInterpolatedWeighted()quantilesInterpolatedWeighted()
  • generateRandom 在不带参数时可使用插入表的结构
  • 改进了数据库创建和重命名逻辑,允许重新使用之前的名称
  • 更多详情请参阅 23.1 发布的网络研讨会幻灯片23.1 发布变更日志

集成变更

  • Kafka-Connect:新增对 Amazon MSK 的支持
  • Metabase:发布首个稳定版 1.0.0
    • 该连接器现已可在 Metabase Cloud 上使用
    • 新增了浏览所有可用数据库的功能
    • 修复了 AggregationFunction 类型数据库的同步问题
  • DBT-clickhouse:新增对最新 DBT 版本 v1.4.1 的支持
  • Python 客户端:改进了代理和 ssh 隧道支持;并针对 Pandas DataFrames 进行了多项修复和性能优化
  • Nodejs 客户端:现已支持在查询结果中附带 query_id,可用于从 system.query_log 中检索查询指标
  • Golang 客户端:优化了与 ClickHouse Cloud 的网络连接

控制台变更

  • 在活动日志中新增了对进阶扩缩容和空闲设置调整的记录
  • 在重置密码邮件中新增了用户代理和 IP 信息
  • 优化了 Google OAuth 的注册流程

可靠性与性能

  • 加快大型服务从空闲状态恢复的速度
  • 降低表和分区数量较多的服务的读取延迟

缺陷修复

  • 修复了重置 service 密码时未遵循密码策略的问题
  • 组织邀请电子邮件验证改为不区分大小写

2023 年 2 月 2 日

此次发布带来了官方支持的 Metabase 集成、一次重要的 Java 客户端 / JDBC 驱动程序更新,以及 SQL 控制台对视图和 materialized views 的支持。

集成变更

  • Metabase 插件:现已成为由 ClickHouse 维护的官方解决方案
  • dbt 插件:新增对多线程的支持
  • Grafana 插件:改进了对连接错误的处理
  • Python 客户端:为插入操作新增了流式支持
  • Go 客户端:Bug 修复:关闭已取消的连接,改进了对连接错误的处理
  • JS 客户端:exec/insert 的不兼容变更;在返回类型中公开了 query_id
  • Java 客户端 / JDBC driver 重大版本发布
    • 不兼容变更:已弃用的方法、类和包已被移除
    • 新增 R2DBC driver 和文件插入支持

控制台变更

  • SQL 控制台现已支持视图和 materialized views

性能与可靠性

  • 提升了已停止或空闲实例的密码重置速度
  • 通过更准确的活动跟踪,改进了缩容行为
  • 修复了 SQL 控制台中 CSV 导出被截断的问题
  • 修复了导致样本数据上传间歇性失败的问题

2023 年 1 月 12 日

此版本将 ClickHouse 更新至 22.12,支持更多新的数据源字典,并提升了查询性能。

常规变更

  • 为更多数据源启用了字典支持,包括外部 ClickHouse、Cassandra、MongoDB、MySQL、PostgreSQL 和 Redis

ClickHouse 22.12 版本升级

  • JOIN 支持已扩展,现包含 Grace Hash Join
  • 新增对读取 Binary JSON (BSON) 文件的支持
  • 新增对 GROUP BY ALL 标准 SQL 语法的支持
  • 新增用于固定精度十进制操作的数学函数
  • 完整变更列表请参阅 22.12 发布博客详细的 22.12 更新日志

控制台变更

  • 改进了 SQL 控制台中的自动补全功能
  • 默认区域现在会将所在大洲纳入考量
  • 改进了 Billing Usage 页面,可同时显示计费单位和网站单位

集成变更

  • DBT 发布 v1.3.2
    • 新增对 delete+insert 增量策略的 Experimental 支持
    • 新增 s3source 宏
  • Python 客户端 v0.4.8
  • Go 客户端 v2.5.0
    • 减少压缩时的内存占用
    • 服务器端查询 参数绑定

可靠性和性能

  • 提升了在对象存储上读取大量小文件时的查询性能
  • 对于新启动的服务,将 compatibility 设置为该服务首次启动时使用的版本

问题修复

现在,使用“进阶扩缩容”滑块预留资源后会立即生效。