Cloud 变更日志 - 2023
2023 年 12 月 18 日
此次发布新增了 GCP 区域 (us-east1) ,支持通过自助方式保障端点连接的安全,增加了对更多集成的支持 (包括 DBT 1.7) ,并修复了大量缺陷、增强了安全性。
常规变更
- ClickHouse Cloud 现已在 GCP us-east1 (南卡罗来纳) 区域上线
- 现已支持通过 OpenAPI 搭建 AWS Private Link 和 GCP Private Service Connect
控制台变更
- 如果您具有 Developer 角色,即可无缝登录 SQL 控制台
- 简化了在初始引导期间设置空闲控制的流程
集成变更
- DBT 连接器:新增对最高至 v1.7 版本 DBT 的支持
- Metabase:新增对 Metabase v0.48 的支持
- PowerBI Connector:新增可在 PowerBI Cloud 上运行的支持
- ClickPipes 内部用户的权限现已可配置
- Kafka Connect
- 改进了去重逻辑以及对 Nullable 类型的摄取支持。
- 新增对文本型格式 (CSV、TSV) 的支持
- Apache Beam:新增对 Boolean 和 LowCardinality 类型的支持
- Node.js 客户端:新增对 Parquet 格式的支持
安全公告
- 已修复 3 个安全漏洞——详见安全更新日志:
- CVE 2023-47118 (CVSS 7.0) - 影响默认运行在 9000/tcp 端口上的原生接口的堆缓冲区溢出漏洞
- CVE-2023-48704 (CVSS 7.0) - 影响默认运行在 9000/tcp 端口上的原生接口的堆缓冲区溢出漏洞
- CVE 2023-48298 (CVSS 5.9) - FPC 压缩编解码器中的整数下溢漏洞
2023 年 11 月 22 日
此版本升级了核心数据库,并改进了登录和身份验证流程,同时为 Kafka Connect Sink 添加了代理支持。
ClickHouse 版本升级
- 大幅提升了读取 Parquet 文件的性能。详情请参见 23.8 发布博客。
- 新增了对 JSON 的类型推断支持。详情请参见 23.9 发布博客。
- 引入了面向分析人员的强大函数,例如
ArrayFold。详情请参见 23.10 发布博客。 - 面向用户的向后不兼容变更:默认禁用设置
input_format_json_try_infer_numbers_from_strings,以避免在 JSON 格式中将字符串推断为数字。否则,当示例数据包含看起来像数字的字符串时,可能会导致解析错误。 - 包含数十项新功能、性能改进和缺陷修复。详情请参见 核心数据库更新日志。
控制台变更
- 改进了登录和身份验证流程。
- 改进了 AI 查询建议,以更好地支持大型 schema。
集成变更
- Kafka Connect Sink:新增代理支持、
topic-tablename映射,以及 Keeper exactly-once 传递属性配置功能。 - Node.js 客户端:新增对 Parquet 格式的支持。
- Metabase:新增对
datetimeDiff函数的支持。 - Python 客户端:新增对列名中特殊字符的支持,并修复了 timezone 参数绑定问题。
2023 年 11 月 2 日
此版本为亚洲的开发服务新增了更多区域支持,为客户管理的加密密钥引入了密钥轮换功能,细化了计费控制台中的税务设置,并修复了各受支持语言客户端中的一系列问题。
常规更新
- AWS 现已在
ap-south-1(孟买) 和ap-southeast-1(新加坡) 区域提供开发服务 - 新增支持对客户管理的加密密钥 (CMEK) 进行密钥轮换
控制台变更
- 新增了在添加信用卡时配置更细化税务设置的功能
集成变更
- MySQL
- 通过 MySQL 增强了对 Tableau Online 和 QuickSight 的支持
- Kafka Connector
- 引入了新的 StringConverter,以支持文本格式 (CSV、TSV)
- 新增了对 Bytes 和 Decimal 数据类型的支持
- 调整了可重试异常的处理逻辑,现始终会重试 (即使
errors.tolerance=all也是如此)
- Node.js 客户端
- 修复了流式处理大型数据集时结果损坏的问题
- Python 客户端
- 修复了大批量插入时的超时问题
- 修复了 NumPy/Pandas Date32 问题 - Golang 客户端
- 修复了向 JSON 列插入空 map、压缩缓冲区清理、查询转义,以及 IPv4 和 IPv6 在 zero/nil 值时触发 panic 的问题
- 为已取消的插入操作添加了 watchdog
- DBT
- 改进了分布式表支持,并补充了相关测试
2023 年 10 月 19 日
此版本改进了 SQL 控制台的易用性和性能,优化了 Metabase 连接器中的 IP 数据类型处理,并为 Java 和 Node.js 客户端新增了功能。
控制台变更
- 提升了 SQL 控制台的易用性 (例如,在多次执行查询时保留列宽)
- 提升了 SQL 控制台的性能
集成变更
- Java 客户端:
- 切换了默认网络库,以提升性能并复用已建立的连接
- 添加了代理支持
- 新增了使用 Trust Store 建立安全连接的支持
- Node.js 客户端:修复了 insert 查询的 keep-alive 行为
- Metabase:修复了 IPv4/IPv6 列序列化问题
2023 年 9 月 28 日
此版本正式推出了适用于 Kafka、Confluent Cloud、Amazon MSK 以及 Kafka Connect ClickHouse Sink 的 ClickPipes,并提供了通过 IAM 角色保护 Amazon S3 访问的自助式工作流,以及 AI 辅助查询建议 (私有预览) 。
控制台变更
- 新增了一个自助式流程,用于保护通过 IAM 角色访问 Amazon S3 的安全
- 在私有预览中推出了 AI 辅助查询建议 (如需试用,请联系 ClickHouse Cloud 支持。)
集成变更
- 宣布 ClickPipes 正式发布——这是一项面向 Kafka、Confluent Cloud 和 Amazon MSK 的开箱即用数据摄取服务 (参见发布博客)
- Kafka Connect ClickHouse Sink 已正式发布
- 扩展了对通过
clickhouse.settings属性自定义 ClickHouse 设置的支持 - 改进了去重行为,以适应动态字段
- 新增了对
tableRefreshInterval的支持,用于从 ClickHouse 重新获取表变更
- 扩展了对通过
- 修复了 PowerBI 与 ClickHouse 数据类型之间的 SSL 连接问题以及类型映射问题
2023 年 9 月 7 日
此版本推出了 PowerBI Desktop 官方连接器的 Beta 版,改进了面向印度的信用卡支付处理,并对各受支持语言的客户端进行了多项改进。
控制台变更
- 新增剩余额度和支付重试功能,以支持来自印度的扣费
集成变更
- Kafka Connector:支持配置 ClickHouse 设置,新增
error.tolerance配置项 - PowerBI Desktop:发布官方连接器的 Beta 版本
- Grafana:新增对 Point 地理类型的支持,修复 Data Analyst 仪表板中的面板,修复
timeInterval宏 - Python 客户端:兼容 Pandas 2.1.0,停止支持 Python 3.7,新增对 Nullable JSON 类型的支持
- Node.js 客户端:新增对
default_format设置的支持 - Golang 客户端:修复 bool 类型处理,移除字符串限制
2023 年 8 月 24 日
此版本新增了对 ClickHouse 数据库 MySQL 接口的支持,推出了新的官方 Power BI 连接器,在Cloud 控制台中新增了“运行中的查询”视图,并将 ClickHouse 版本更新至 23.7。
常规更新
- 新增了对 MySQL wire 协议 的支持;除其他用途外,这也使其能够兼容许多现有的 BI 工具。请联系支持团队,为您的组织启用此功能。
- 推出了新的官方 PowerBI 连接器
控制台变更
- SQL 控制台新增了对“运行中的查询”视图的支持
ClickHouse 23.7 版本升级
- 新增了对 Azure 表函数的支持,将地理数据类型提升为生产就绪,并改进了连接性能——详情请参阅 23.5 版本发布博客
- 将 MongoDB 集成支持扩展至 6.0 版本——详情请参阅 23.6 版本发布博客
- 将写入 Parquet 格式的性能提升了 6 倍,新增了对 PRQL 查询语言的支持,并改进了 SQL 兼容性——详情请参阅 23.7 版本发布演示文稿
- 新增了数十项功能、性能改进和缺陷修复——有关 23.5、23.6、23.7 的详细信息,请参阅变更日志
集成变更
- Kafka Connector:新增对 Avro 日期和时间类型的支持
- JavaScript 客户端:发布了适用于 Web 环境的稳定版本
- Grafana:改进了过滤逻辑和数据库名称处理,并新增对亚秒级精度 TimeInteval 的支持
- Golang 客户端:修复了多个与批次和异步数据加载相关的问题
- Metabase:支持 v0.47,新增连接模拟身份功能,并修复了数据类型映射问题
2023年7月27日
此次发布带来了适用于 Kafka 的 ClickPipes 私有预览、全新的数据加载体验,以及通过 Cloud 控制台 从 URL 加载文件的功能。
集成变更
- 推出了面向 Kafka 的 ClickPipes 私有预览。这是一款云原生集成引擎,可将从 Kafka 和 Confluent Cloud 摄取海量数据简化为只需点击几个按钮。请在此处加入候补名单。
- JavaScript 客户端:发布了对 Web 环境 (浏览器、Cloudflare Workers) 的支持。代码已重构,便于社区为自定义环境创建连接器。
- Kafka Connector:新增了对内联 schema 以及 Kafka 的 Timestamp 和 Time 类型的支持
- Python 客户端:修复了插入压缩和 LowCardinality 读取问题
控制台变更
- 新增了数据加载体验,提供更多表创建配置选项
- 新增了通过 Cloud 控制台从 URL 加载文件的功能
- 优化了邀请流程,新增了加入其他组织以及查看所有待处理邀请的选项
2023 年 7 月 14 日
此版本支持创建 Dedicated Services,新增位于澳大利亚的 AWS 区域,并支持使用您自己的密钥对磁盘上的数据进行加密。
常规更新
- 新增 AWS 澳大利亚区域:悉尼 (ap-southeast-2)
- 为高要求、对延迟敏感的工作负载提供专用 tier 服务 (如需启用,请联系支持)
- 支持自带密钥 (BYOK) 对磁盘上的数据进行加密 (如需启用,请联系支持)
控制台变更
- 改进了面向非同期 INSERT 的可观测性指标仪表板
- 改进了聊天机器人与支持系统集成时的行为
集成变更
- NodeJS 客户端:修复了因套接字超时而导致连接失败的问题
- Python 客户端:为插入查询添加了 QuerySummary,并支持数据库名称中的特殊字符
- Metabase:更新了 JDBC 驱动版本,新增对 DateTime64 的支持,并进行了性能优化。
核心数据库变更
- 查询缓存 可以在 ClickHouse Cloud 中启用。启用后,默认会将成功的查询结果缓存 1 分钟,后续查询将使用缓存结果。
2023 年 6 月 20 日
此次发布宣布 GCP 上的 ClickHouse Cloud 正式可用,新增了用于 Cloud API 的 Terraform provider,并将 ClickHouse 版本更新到 23.4。
常规更新
- GCP 上的 ClickHouse Cloud 现已正式 GA,并带来 GCP Marketplace 集成、支持 Private Service Connect 以及自动备份 (详见博客和新闻稿)
- 适用于 Cloud API 的 Terraform provider 现已可用
控制台变更
- 新增了统一的服务设置页面
- 调整了存储和计算的计量精度
集成变更
- Python 客户端:提升了插入性能,并重构了内部依赖以支持多进程
- Kafka Connector:现可上传并安装到 Confluent Cloud,新增了针对临时连接问题的再試行机制,并可自动重置不正确的连接器状态
ClickHouse 23.4 版本升级
- 新增了对并行副本的 JOIN 支持 (如需启用,请联系支持团队)
- 提升了轻量级删除的性能
- 改进了大批量插入时的缓存机制
管理相关变更
- 扩展了对非“default”用户创建本地字典的支持
2023年5月30日
此版本正式公开发布了用于 Control Plane 操作的 ClickHouse Cloud 程序化 API (详见博客) ,并新增了基于 IAM 角色的 S3 访问支持以及更多扩缩容选项。
常规变更
- 支持 ClickHouse Cloud API。借助新的 Cloud API,您可以将服务管理无缝集成到现有的 CI/CD 流程中,并以编程方式管理服务
- 使用 IAM 角色访问 S3。您现在可以借助 IAM 角色安全地访问私有 Amazon Simple Storage Service (S3) 存储桶 (如需设置,请联系支持团队)
扩缩容变更
- 水平扩缩容。现在,需要更高并行度的工作负载最多可配置 10 个副本 (如需设置,请联系支持团队)
- 基于 CPU 的自动扩缩容。CPU 密集型工作负载现在可利用自动扩缩容策略中的额外触发条件
控制台变更
- 将 Dev 服务迁移到 Production 服务 (如需启用,请联系支持)
- 在实例创建流程中新增扩缩容配置选项
- 修复内存中不存在默认密码时的连接字符串问题
集成变更
- Golang 客户端:修复了原生协议中导致连接不平衡的问题,并新增了对自定义设置的支持
- Nodejs 客户端:不再支持 nodejs v14,新增了对 v20 的支持
- Kafka Connector:新增了对 LowCardinality 类型的支持
- Metabase:修复了按时间范围进行分组的问题,并修复了内置 Metabase 查询对整数的支持问题
性能与可靠性
- 提升了写入密集型工作负载的效率和性能
- 部署了增量备份策略,进一步提升备份速度和效率
2023 年 5 月 11 日
此次发布带来了 GCP 上 ClickHouse Cloud 的 Public Beta (详情请参阅博客) , 扩展了管理员授予终止查询权限的能力, 并增强了 Cloud 控制台中 MFA 用户状态的可见性。
ClickHouse Cloud on GCP 现已 GA,请参阅上方 6 月 20 日的条目。
ClickHouse Cloud on GCP 现已推出 Public Beta
ClickHouse Cloud on GCP 现已 GA,请参阅上方的 6 月 20 日条目。
- 推出完全托管的存储与计算分离式 ClickHouse 产品,运行在 Google Compute 和 Google Cloud Storage 之上
- 现已在爱荷华 (us-central1) 、荷兰 (europe-west4) 和新加坡 (asia-southeast1) 区域提供
- 在这三个初始区域中,均支持 Development 和 Production 服务
- 默认提供强大的安全性:传输中的端到端加密、静态数据加密、IP allow list
集成变更
- Golang 客户端:新增支持代理环境变量
- Grafana:新增可在 Grafana 数据源设置中指定 ClickHouse 自定义设置和代理环境变量的功能
- Kafka Connector:改进了空记录的处理
控制台变更
- 在用户列表中新增了用于显示是否启用多因素身份验证 (MFA) 的标识
性能与可靠性
- 新增了管理员对终止查询权限的更细粒度控制
2023 年 5 月 4 日
此版本新增了热力图图表类型,改进了账单使用情况页面,并优化了服务启动时间。
控制台变更
- 在 SQL 控制台中新增热力图图表类型
- 改进计费用量页面,显示各计费维度内已消耗的额度
集成变更
- Kafka 连接器:新增了针对临时性连接错误的再試行机制
- Python 客户端:新增了
max_connection_age设置,确保 HTTP 连接不会被永久复用。这有助于缓解某些负载均衡问题 - Node.js 客户端:新增了对 Node.js v20 的支持
- Java 客户端:改进了客户端证书身份验证支持,并新增了对嵌套 Tuple/Map/Nested 类型的支持
性能与可靠性
- 在存在大量 parts 时,提升了服务启动速度
- 优化了 SQL 控制台中取消长时间运行查询的逻辑
问题修复
- 修复了导致“Cell Towers”示例数据集导入失败的问题
2023 年 4 月 20 日
此版本将 ClickHouse 升级至 23.3,显著提升了冷读速度,并新增了与支持团队实时聊天的功能。
控制台变更
- 新增了与支持团队进行实时聊天的功能
集成变更
- Kafka 连接器:新增对 Nullable 类型的支持
- Golang 客户端:新增对外部表的支持,并支持布尔值和指针类型的参数绑定
配置变更
- 通过覆盖
max_table_size_to_drop和max_partition_size_to_drop设置,可以删除大型表
性能与可靠性
- 通过
allow_prefetched_read_pool_for_remote_filesystem设置启用 S3 预读,提升冷读速度
ClickHouse 23.3 版本升级
- 轻量级删除已可用于生产环境——详情请参阅 23.3 版本发布博客
- 新增对多阶段 PREWHERE 的支持——详情请参阅 23.2 版本发布博客
- 数十项新功能、性能改进和错误修复——详见 23.3 和 23.2 的详细更新日志
2023 年 4 月 6 日
此版本新增了用于获取云端 端点 的 API、可对最小空闲超时进行进阶控制的扩缩容功能,以及 Python 客户端查询方法对外部数据的支持。
API 变更
- 新增了通过 Cloud Endpoints API 以编程方式查询 ClickHouse Cloud 端点的功能
控制台变更
- 在进阶扩缩容设置中新增了“最小空闲超时”设置
- 在数据加载模态框中,为 schema inference 新增了尽可能识别日期时间的功能
集成变更
- Metabase:新增对多个 schema 的支持
- Go 客户端:修复了 TLS 空闲连接的存活检查
- Python 客户端
- 为查询方法新增了对外部数据的支持
- 为查询结果新增时区支持
- 新增对
no_proxy/NO_PROXY环境变量的支持 - 修复了 Nullable 类型的 NULL 值在服务器端的参数绑定问题
缺陷修复
- 修复了在 SQL 控制台运行
INSERT INTO ... SELECT ...时误用与 SELECT 查询相同行数限制的问题
2023年3月23日
此次发布新增了数据库密码复杂度规则,大幅提升了大型备份的恢复速度,并支持在 Grafana Trace View 中显示链路追踪数据。
安全性与可靠性
- 核心数据库端点现已实施密码复杂度要求
- 缩短了恢复大型备份所需的时间
控制台变更
- 简化了引导流程,引入了新的基本值和更紧凑的界面
- 降低了注册和登录延迟
集成变更
- Grafana:
- 新增支持在 Trace View 中显示存储于 ClickHouse 的链路追踪数据
- 改进了时间范围筛选器,并新增支持表名中的特殊字符
- Superset: 新增对 ClickHouse 的原生支持
- Kafka Connect Sink: 新增自动日期转换和 Null 列处理
- Metabase: 实现了与 v0.46 的兼容性
- Python 客户端: 修复了临时表中的插入操作,并新增对 Pandas Null 的支持
- Golang 客户端: 规范了带时区的 Date 类型
- Java 客户端
- 在 SQL 解析器中新增对 compression、infile 和 outfile 关键字的支持
- 新增了接受凭据参数的重载
- 修复了
ON CLUSTER的批次支持问题
- Node.js 客户端
- 新增支持 JSONStrings、JSONCompact、JSONCompactStrings、JSONColumnsWithMetadata 格式
- 现在可为所有主要客户端方法提供
query_id
问题修复
- 修复了一个导致新服务初始预配和启动耗时过长的问题
- 修复了一个因缓存配置错误导致查询性能下降的问题
2023年3月9日
此版本改进了可观测性仪表板,缩短了创建大型备份所需的时间,并添加了删除大型表和分区所需的配置。
控制台变更
- 新增进阶可观测性仪表板 (预览)
- 在可观测性仪表板中新增内存分配图表
- 改进了 SQL 控制台电子表格视图中的间距和换行处理
可靠性与性能
- 优化备份计划,仅在数据发生变更时执行备份
- 缩短大型备份的完成时间
配置变更
- 新增支持在查询或连接级别覆盖设置
max_table_size_to_drop和max_partition_size_to_drop,以提高删除表和分区的大小限制 - 在查询日志中新增了源 IP,以便根据源 IP 强制实施配额和访问控制
集成
- Python 客户端: 改进了对 Pandas 的支持,并修复了时区相关问题
- Metabase: 兼容 Metabase 0.46.x,并支持 SimpleAggregateFunction
- Kafka-Connect: 隐式日期转换,以及对空值列的更好处理
- Java 客户端: 支持将嵌套类型转换为 Java Map
2023年2月23日
此版本启用了 ClickHouse 23.1 核心版本中的部分功能,带来了与 Amazon Managed Streaming for Apache Kafka (MSK) 的互操作性,并在活动日志中提供了进阶扩缩容和空闲调整选项。
ClickHouse 23.1 版本升级
新增了对 ClickHouse 23.1 中部分功能的支持,例如:
- 支持对 Map 类型执行 ARRAY JOIN
- SQL 标准的十六进制和二进制字面量
- 新增函数,包括
age()、quantileInterpolatedWeighted()、quantilesInterpolatedWeighted() generateRandom在不带参数时可使用插入表的结构- 改进了数据库创建和重命名逻辑,允许重新使用之前的名称
- 更多详情请参阅 23.1 发布的网络研讨会幻灯片和 23.1 发布变更日志
集成变更
- Kafka-Connect:新增对 Amazon MSK 的支持
- Metabase:发布首个稳定版 1.0.0
- 该连接器现已可在 Metabase Cloud 上使用
- 新增了浏览所有可用数据库的功能
- 修复了 AggregationFunction 类型数据库的同步问题
- DBT-clickhouse:新增对最新 DBT 版本 v1.4.1 的支持
- Python 客户端:改进了代理和 ssh 隧道支持;并针对 Pandas DataFrames 进行了多项修复和性能优化
- Nodejs 客户端:现已支持在查询结果中附带
query_id,可用于从system.query_log中检索查询指标 - Golang 客户端:优化了与 ClickHouse Cloud 的网络连接
控制台变更
- 在活动日志中新增了对进阶扩缩容和空闲设置调整的记录
- 在重置密码邮件中新增了用户代理和 IP 信息
- 优化了 Google OAuth 的注册流程
可靠性与性能
- 加快大型服务从空闲状态恢复的速度
- 降低表和分区数量较多的服务的读取延迟
缺陷修复
- 修复了重置 service 密码时未遵循密码策略的问题
- 组织邀请电子邮件验证改为不区分大小写
2023 年 2 月 2 日
此次发布带来了官方支持的 Metabase 集成、一次重要的 Java 客户端 / JDBC 驱动程序更新,以及 SQL 控制台对视图和 materialized views 的支持。
集成变更
- Metabase 插件:现已成为由 ClickHouse 维护的官方解决方案
- dbt 插件:新增对多线程的支持
- Grafana 插件:改进了对连接错误的处理
- Python 客户端:为插入操作新增了流式支持
- Go 客户端:Bug 修复:关闭已取消的连接,改进了对连接错误的处理
- JS 客户端:exec/insert 的不兼容变更;在返回类型中公开了 query_id
- Java 客户端 / JDBC driver 重大版本发布
- 不兼容变更:已弃用的方法、类和包已被移除
- 新增 R2DBC driver 和文件插入支持
控制台变更
- SQL 控制台现已支持视图和 materialized views
性能与可靠性
- 提升了已停止或空闲实例的密码重置速度
- 通过更准确的活动跟踪,改进了缩容行为
- 修复了 SQL 控制台中 CSV 导出被截断的问题
- 修复了导致样本数据上传间歇性失败的问题
2023 年 1 月 12 日
此版本将 ClickHouse 更新至 22.12,支持更多新的数据源字典,并提升了查询性能。
常规变更
- 为更多数据源启用了字典支持,包括外部 ClickHouse、Cassandra、MongoDB、MySQL、PostgreSQL 和 Redis
ClickHouse 22.12 版本升级
- JOIN 支持已扩展,现包含 Grace Hash Join
- 新增对读取 Binary JSON (BSON) 文件的支持
- 新增对 GROUP BY ALL 标准 SQL 语法的支持
- 新增用于固定精度十进制操作的数学函数
- 完整变更列表请参阅 22.12 发布博客 和 详细的 22.12 更新日志
控制台变更
- 改进了 SQL 控制台中的自动补全功能
- 默认区域现在会将所在大洲纳入考量
- 改进了 Billing Usage 页面,可同时显示计费单位和网站单位
集成变更
- DBT 发布 v1.3.2
- 新增对 delete+insert 增量策略的 Experimental 支持
- 新增 s3source 宏
- Python 客户端 v0.4.8
- 新增文件插入支持
- 服务器端查询 参数绑定
- Go 客户端 v2.5.0
- 减少压缩时的内存占用
- 服务器端查询 参数绑定
可靠性和性能
- 提升了在对象存储上读取大量小文件时的查询性能
- 对于新启动的服务,将 compatibility 设置为该服务首次启动时使用的版本
问题修复
现在,使用“进阶扩缩容”滑块预留资源后会立即生效。