DataCap:一款开源数据中台软件

DataCap 是一款用于数据转换、集成和可视化的集成软件，可以实现多数据源的管理和监控，对数据进行各种操作和转换、制作数据图表等功能。

DataCap 主要采用 Java、JavaScript 等语言开发，遵循 Apache 2.0 开源协议，代码托管在 GitHub：

https://github.com/devlive-community/datacap 

功能特性

• • 广泛的数据源支持：DataCap 支持超过 60+ 数据源，包括 ClickHouse、MySQL、PostgreSQL、MongoDB、Redis、Elasticsearch、Kafka 等主流数据库和中间件。

• • 灵活的连接方式：DataCap 系统支持通过 JDBC、Native、HTTP 等多种协议连接到不同的数据源，提供了更大的灵活性和兼容性。
• • 统一的查询语言：DataCap 将所有数据源的查询语言统一为 SQL，无论是关系型数据库、NoSQL、文件系统还是其他中间件，都可以使用 SQL 进行操作。

• • 数据转换与集成：DataCap 支持数据转换和集成，可以将不同数据源的数据转换为统一的格式，并进行数据集成，实现数据的统一化管理和分析，方便用户进行数据迁移和整合。
• • 数据可视化功能：DataCap 提供了数据可视化的功能，可以将数据转换为图表、图形和报表，实现数据的可视化展示，帮助用户更直观地理解和分析数据。
• • 多用户支持：DataCap 内置多用户管理系统，支持不同用户权限的配置和管理。
• • 完整的 Web UI：DataCap 内置完整的 Web UI，提供了用户友好的界面，方便用户进行数据查询、管理和可视化，实现数据管理的全面控制。
• • 数据源监控：DataCap 提供了数据源监控的功能，可以实时监控数据源的状态、性能和健康指标，帮助用户了解数据源的运行情况，提供数据源的可靠性保障。
• • 插件化架构设计：DataCap 采用插件化系统设计，支持在线安装、卸载、更新和热部署，方便系统的扩展和维护。
• • 开源透明：DataCap 是开源项目，用户可以自由查看、修改和使用源代码，确保系统的透明度和可定制性。

下载安装

DataCap 支持本机、Docker、Kubernetes 等部署方式，使用 Docker Compose 进行部署的过程如下。

首先，新建一个单独的目录，在其中创建一个 docker-compose.yml 文件，内容如下：

services:  app-mysql:    image: mysql:latest    environment:      MYSQL_ROOT_PASSWORD: 12345678      MYSQL_DATABASE: datacap    ports:      - "13306:3306"    volumes:      - ./configure/schema/datacap.sql:/docker-entrypoint-initdb.d/schema.sql      - mysql_data:/var/lib/mysql  app-clickhouse:    image: clickhouse/clickhouse-server:latest    restart: always    ports:      - "8123:8123"    environment:      - CLICKHOUSE_DB=datacap      - CLICKHOUSE_USER=default      - CLICKHOUSE_PASSWORD=da39a3ee5e6b4b0d3255bfef95601890afd80709    volumes:      - clickhouse_data:/var/lib/clickhouse      - clickhouse_logs:/var/log/clickhouse-server  app-datacap:    image: devliveorg/datacap:latest    restart: always    ports:      - "9099:9096"    depends_on:      - app-mysql      - app-clickhouse    volumes:      - ./configure/docker/application.properties:/opt/app/datacap/configure/application.properties      - datacap_data:/opt/app/datacap/datavolumes:  mysql_data:  clickhouse_data:  clickhouse_logs:  datacap_data:

新建一个子目录 configure/docker，然后将以下文件下载到该目录：

https://github.com/devlive-community/datacap/blob/dev/configure/docker/application.properties 

再新建一个子目录 configure/schema，然后将以下文件下载到该目录：

https://github.com/devlive-community/datacap/blob/dev/configure/schema/datacap.sql 

使用以下命令启动后台服务：

docker-compose up -d

启动成功后，在浏览器中打开网址：http://localhost:9099/#/auth/signin

可以使用以下默认账号进行登录：

• • 系统管理员：admin/12345678
• • 普通用户：datacap/123456789

参考文档：https://datacap.devlive.org/zh-CN/reference/get-started/install.html