Duckle:一款本地优先、内置AI助手的可视化数据集成平台

Duckle 是一款免费开源、本地优先的桌面数据集成平台，底层基于 DuckDB 执行计算，兼具 ETL 工具、可视化数据管道编排器和 AI 助手等功能。

Duckle 主要采用 Rust 语言开发，遵循 MIT 或者 Apache 2.0 开源协议，代码托管在 GitHub：

https://github.com/slothflowlabs/duckle

功能特性

• 跨平台：Duckle 提供了 Linux、macOS 以及 Windows 多平台版本。
• 可视化 ETL/ELT：用户在可视化的画布上通过拖拽节点设计数据处理管道，Duckle 会自动将整个管道编译成 SQL，然后交由 DuckDB 执行。用户还能查看生成的 SQL，支持实时预览数据结果。

• 丰富的连接器：Duckle 支持大量（160+）的数据连接器，类型包括数据库（PostgreSQL、MySQL、SQL Server、Oracle、SQLite 等）、数据仓库（Snowflake、BigQuery、Redshift 等）、NoSQL（MongoDB、Cassandra、Elasticsearch、Redis 等）、向量存储（pgvector、Qdrant、Milvus 等）、文件格式（CSV、Parquet、Excel、JSON 等）、湖仓数据（Iceberg、Delta Lake、DuckLake 等）、云存储（AWS S3、Azure Blob、Google Cloud Storage 等）、SaaS 系统（Salesforce、HubSpot、GitHub、Jira、Stripe 等）以及 REST API、GraphQL、OData、Kafka 等系统。

• 数据转换：目前已经提供了超过 130 个转换组件，涵盖字段映射、数据清洗、多表关联、窗口计算、聚合分析、CDC 增量同步、SCD 维度建模以及 AI 数据准备等典型场景。

• 数据质量控制：内置 28 个数据质量组件和专门的 Validator 节点，对数据类型、格式规则、完整性、一致性及业务约束进行校验，并且将不符合要求的数据自动路由到异常数据通道，而非直接写入目标系统。
• 列级血缘分析：Duckle 提供了企业级的列级血缘分析能力，能够自动追踪数据管道中每个输出字段的来源及其转换过程。
• 流程控制：Duckle 提供 19 个控制流节点，用于管理数据管道的执行逻辑和任务编排能力，使数据处理流程不仅能够完成数据转换，还能够实现条件判断、分支处理、错误控制和流程调度等复杂业务场景。
• 代码执行：Duckle 提供了 7 个代码执行节点（SQL、Shell、JavaScript、WebAssembly 等），用于处理可视化组件难以覆盖的复杂业务逻辑和个性化数据处理需求。
• DuckDB 引擎：使用 DuckDB 作为统一执行引擎，所有可视化数据管道都会自动编译为 SQL，并且由 DuckDB 的向量化列式计算引擎执行，从而兼具高性能和易用性。

• 任务调度：拥有完善的任务调度与自动化运行机制，支持基于 Cron 表达式、固定时间间隔（Interval）以及文件监控（File Watch）等多种触发方式自动执行数据管道，满足定时同步、增量采集、周期性数据加工和实时文件处理等场景需求。
• AI 助手：官方 AI 助手（Duckie）基于 Qwen 2.5 Coder，支持使用自然语言描述需求并生成管道。模型默认运行在本地，下载一次后即可离线运行，不需要 API Key。