跳到主要内容
跳到主要内容

数据摄取

ClickHouse 集成了多种用于数据集成和转换的解决方案。 如需更多信息,请参阅以下页面:

数据摄取工具描述
Airbyte一个开源的数据集成平台。支持创建 ELT 数据管道,并内置 140 多个开箱即用的连接器。
Apache Spark一个多语言引擎,可在单机或集群上执行数据工程、数据科学和机器学习任务。
Apache Flink通过 Flink 的 DataStream API 实现向 ClickHouse 的实时数据摄取和处理,并支持批量写入。
Amazon Glue由 Amazon Web Services (AWS) 提供的全托管、无服务器数据集成服务,可简化为分析、机器学习和应用程序开发进行数据发现、准备和转换的过程。
Azure Synapse由 Microsoft Azure 提供的全托管云端分析服务,将大数据与数据仓库相结合,通过 SQL、Apache Spark 和数据管道,简化大规模的数据集成、转换和分析。
Azure Data Factory一项基于云的数据集成服务,使您能够在大规模环境中创建、调度和编排数据工作流。
Apache Beam一个开源的统一编程模型,使开发者可以定义并执行批处理和流式(持续)数据处理管道。
BladePipe一款端到端实时数据集成工具,具备亚秒级延迟,可在各个平台之间实现无缝数据流转。
dbt使分析工程师能够仅通过编写 select 语句来对数据仓库中的数据进行转换。
dlt一个开源库,您可以将其添加到 Python 脚本中,将来自各种、且往往较为杂乱的数据源的数据加载为结构良好、实时更新的数据集。
Fivetran一个自动化数据移动平台,用于在云数据平台之间以及进出云数据平台移动数据。
NiFi一款开源工作流管理软件,用于自动化软件系统之间的数据流。
Vector一条高性能的可观测性数据管道,使组织能够掌控其可观测性数据。