乐于分享
好东西不私藏

源码交付!基于 Web-Kettle 的数据中台系统,Doris数据仓库,元数据管理、数据标准、数据质量、数据指标、知识图谱.

源码交付!基于 Web-Kettle 的数据中台系统,Doris数据仓库,元数据管理、数据标准、数据质量、数据指标、知识图谱.

点击关注,获取项目源码

01 项目简介

基于 Web-Kettle 的数据中台是面向企业数字化转型打造的全栈式、一站式、国产化数据能力平台,以Web 可视化 ETL为核心引擎,覆盖数据采、存、管、用全生命周期,帮助企业打通多源异构数据、统一数据标准、构建可信数据资产、实现数据服务化复用。

平台以 Doris 轻量化数仓为底座,深度集成 Web-Kettle 离线开发、Flink 实时采集、元数据管理、数据标准、数据质量、数据指标、标签体系、数据安全、资产门户、BI 可视化等完整能力,无需复杂 Hadoop 架构,开箱即用、易部署、易运维、易扩展,可广泛应用于制造、政府、金融、零售、能源、公共服务等行业,真正实现 “数据资源化→资产化→服务化” 的价值跃升,为企业 “用数据决策、用数据管理、用数据创新” 提供坚实底座。

02 核心优势

  • 功能完备

覆盖企业数据中台全场景能力:元数据、数据标准、数仓设计、离线 / 实时采集、数据质量、数据指标、数据标签、主数据、数据安全、数据服务、BI 可视化、数据资产、知识图谱等,一套平台满足全域数据治理与数据应用需求。

  • 使用简单

  • 底层采Doris 数仓,部署与使用成本远低于 Hive+Hadoop 架构,会 MySQL 即可快速上手。内置Web-Kettle 可视化 ETL,支持拖拽式任务开发,零代码 / 低代码完成数据采集与清洗。
  • 可插拔设计

采用模块化、可插拔架构,系统日志、监控、大数据引擎、可视化、知识图谱等模块按需部署、按需采购,支持从小规模试点到大规模集群的平滑扩展,保护企业投资。

  • 全面国产化支持

  • 支持国产芯片:X86、ARM、兆芯、飞腾、海思,支持国产操作系统:UOS、银河麒麟,支持国产数据库:人大金仓、达梦、OceanBase、TiDB,支持国产中间件自由替换,全面满足信创要求。

03 核心功能

    一、数据盘点与需求管理

    完成上下游业务系统全量梳理,明确数据提供方与使用方,收集数据源接入信息并支持动态扩展;通过标准化模板归集各部门数据需求,将零散诉求结构化,确保数据治理与业务场景精准对齐。

    二、元数据治理

    构建全生命周期元数据管理体系,支持元模型动态适配与多源自动采集;提供血缘分析、影响分析、版本定版与对比功能,维护数据全景图与概念模型,实现技术元数据到业务概念的闭环管理。

    三、数据标准管理

    建立包含标准词根、标准模型、标准字典、数据元、业务术语的完整规范体系,统一命名、枚举与字段定义,消除跨系统数据歧义;支持标准发布审批与核对功能,确保数据源头规范统一。

    四、数据安全管控

    构建 “分类 + 分级” 双维度权限框架,通过智能识别自动标注数据敏感级别,支持字段级脱敏与 RBAC 权限绑定,实现数据访问全流程合规可控,保障数据周期安全。

    五、数据仓库构建

    按业务域划分主题域与业务主题,采用 ODS/DWD/DWS/ADS 四层架构分层存储数据;提供可视化维度建模工具,支持三类模型在线设计与版本回溯,保障数仓结构清晰、变更可追溯。

    六、数据采集与开发

    深度集成 Kettle 引擎,提供可视化 ETL 设计器,支持多源异构数据接入与复杂逻辑处理;支持任务模板复用、多源目录采集与物化视图优化,实现数据采集与加工。

    七、数据质量与生命周期管理

    内置多类数据质量规则模板,支持自定义规则与质量闭环管理;基于 Doris 与 OSS 实现冷热数据分层存储,支持数据归档、恢复与销毁,平衡数据可用性与存储成本。

    八、数据服务与资产运营

    支持低代码 API 开发与第三方接口纳管,通过 API 集市实现服务全生命周期管理;将多类数据资产标准化整合,构建全景资产地图与 “AI 问数” 功能,提升数据效率。

    九、数据应用能力

    提供数据指标、标签、可视化 BI、知识图谱、主数据等应用能力,支撑指标统一管理、用户精准圈群、交互式数据分析与核心主数据跨系统一致,赋能业务智能决策。

    十、平台运维与管理

    提供全维度监控与告警能力,支持数仓备份恢复与异常任务监控;通过用户 / 角色 / 部门管理实现精细化权限管控,结合流程中心与审计功能,保障系统稳定、可追溯。

    04 技术架构

    05 联系方式

    欢迎点赞关注,如需系统源码、系统演示、项目交付,二次开发,请扫描二维码或添加微信gzzw1131

    源码交付!无人机低空一网通飞平台,推动县域低空巡查治理
    推荐一款机房可视化运维软件系统,机房动环监控保障机房安全稳定运行
    推荐一款管道燃气管理系统,实现地下管线三维可视化“立体透明”
    推荐一款JAVA开发的无人机巡检三维建模平台,实现城市低空项目
    推荐一款【开源】的AI智能问数平台,基于自然语言生成SQL,快速生成可视化图表
    推荐一款智慧供水平台,系统源码交付,让 “从取水到用水” 全流程可控。
    告别人工巡检痛点!机器狗无人巡检平台全功能解析:让工业巡检更智能、更安全
    推荐一款数据治理软件平台,支持源码交付,帮助企业快速实施数据中台项目!
    源码交付,推荐一款企业EMS能源管理系统,全链路能源管控中枢
    推荐一款Java开发的智慧园区系统,源码交付,全链路园区智慧运营平台
    工厂智能巡检新标杆:AI识别+机械臂操作,机器狗让巡检“能看更能办”
    推荐一款开箱即用的WebAI平台,开源AI模型训练系统,YOLO+OCR全集成
    视频行为分析系统,无需音视频开发门槛,让算法创新触手可及!
    本站文章均为手工撰写未经允许谢绝转载:夜雨聆风 » 源码交付!基于 Web-Kettle 的数据中台系统,Doris数据仓库,元数据管理、数据标准、数据质量、数据指标、知识图谱.

    猜你喜欢

    • 暂无文章