集成平台实现解释(二)运行时原理源码分析

简介

集成平台是作为企业或复杂系统的“交通中枢”，连接并协调各孤立的应用、数据和设备，打破“信息孤岛”，让信息和业务流程在不同系统间自由、高效地流动。本平台支持拖拽”画”逻辑数据通道，调用runtime构建物理数据通道，实现0代码搭建系统间数据集成。

本系列解释集成平台的源码原理，包括数据通道，runtime，目前runtime是rocketmq connect

本文是分析集成平台运行时rocketmq connet源码分析第一部分，架构，服务和组件

第二部分分析worker，worker connector，worker source task，worker sink task

关键词

OpenMessaging OpenMessaging 是 Linux 基金会下一个开源组织，致力于制定消息领域的标准；

集成平台/接口中台

参考资料

Connect

本章介绍connect平台

技术架构

上图是数据通道是逻辑定义，每个worker运行事件通道的部分任务，数据通道由多个源和多个目标，源与目标之间转换链构成

> 同一集群worker，共同运行一个数据通道的任务，负载均衡和容错

> rocketmq connect/rocketmq底层支撑，事件bus，数据同步，分布式特性支持

> 转换链，修改转换的数据，基于规则的实现

集群架构

下图是rocketmq connect的集群架构

若干worker组成执行集群，同一集群的worker共同运行同一个数据通道，worker间互为负载均衡和故障转移。

逻辑架构和场景

startup 启动worker，支持standalone和分布式两种模式

rest worker的内置rest服务，接收client的指令和请求

服务集群服务，状态服务，配置服务，位点服务，分片服务等

worker connect执行单位，封装连接器/任务，转换执行，状态维护

controller 控制器起着门面服务的作用，持有服务实例

plugin 类加载器，载入jar包，类型

utils ServiceThread和datasync组件

还有些组件本系列没有分析：

connector，transform，stat，metrics

原理分析

原理源码分析通过场景用例分析完成，包括启动，服务，worker(包括连接器和任务)，系统组件

启动(startup)

worker启动有两种模式，分布式和standalone，流程差不多，下面分析一下分布式模式启动

启动从startup类发起，该类从命令行获取配置，实例化服务类，插件类，然后构建控制器；

控制器实例和初始化各服务和功能类，控制器两个职责

作为门面服务支持rest服务；
持有服务类，传递给Worker

worker集群启动

目前connect并没有worker集群的启动实现，需逐个worker节点启动，加入集群，集群的其他worker收到消费组变更通知，触发重分片

服务

上图服务逻辑架构图，下面逐个分析服务

集群服务

集群服务实现比较简单，职责是监听集群成员上下线，调用WorkerStatusListener监听接口，处理集群成员变更事件，驱动执行分片服务

监听集群成员变化是通过订阅消息引擎的消费组成员变更事件

分片服务

分片服务负责分派连接器和任务到worker

RebalanceService 分片服务，继承ServiceThread，获得定时执行和唤醒特性

RebanceImpl/AllocateConnAndTaskStrategy 分片的实现类，支持不同的分片策略；分片完成，连接器/任务分派到位，重新启动Worker连接器和任务

WorkerStatusListenerImpl 实现WorkerStatusListener接口，监听集群变化，唤醒分片服务，驱动重新分片

ConnectorConnectorConfigChangeListenerImpl 实现ConnectorConfigUpdateListener接口，监听connector/task配置变更，唤醒分片服务，驱动重新分片

分片策略

分片策略有2点关键

分片服务集成ServiceThread，支持唤醒执行和定时执行，而且定时时间间隔1秒，原因可能是集群变更事件有丢失，或者执行失败可能，引起任务丢失，频繁的分片要求分片策略有高的稳定性，尽量减少连接器和任务的转移引起启停
分片每个worker进行，分派属于自身worker的部分给自己，因此分片策略需与worker相关，不遗漏，不重复的分派

connect自带两个实现，默认实现，workerId排序，然后哈希分派；另一个是哈希一致性，这里不详细分析