SeaTunnel【SOE-035】ハイパー×ギリモザ ハイパーギリモザ Ami
特质
援手多种数据源,这个就没啥说的了,标配.
援手及时数据同步! 比如MySQL插入了1条数据不错立地就感知到.是通过监听数据库的日记信息. 这点就比DataX好了不少,DataX是阿里云的开源版,阉割了及时的同步的功能!况兼及时和离线配置文献齐差未几,大大镌汰了职责量.
高性能,不错援手单机样式,更不错跑在spark,flink上自然和大数据集成. DataX只可单机.
色吧性爱援手离线全量,离线增量,CDC也即是监听数据库日记,及时同步.
有界面! 许多量据集成的器用齐莫得界面, SeaTunnel 有界面,不错科罚任务,不错及时稽察条数,大小,QPS等信息.
援手插件建树.
援手分别式快照【SOE-035】ハイパー×ギリモザ ハイパーギリモザ Ami,来保证数据一致性.
援手天真参数, 假定你是天表, 那么就不需要每天写一个配置文献,也无谓每天我方用shell配置,平直援手敕令行开动的时间传入参数
架构
不错看到基本架构念念路是相同的 配置源配置野心地 .
SeaTunnel 架构
配置文献
SeaTunnel配置
亦然殊途同归
界说source 界说 sink ,中间不错界说调整
愈加给力的是即是调整了
有FieldMapper 字段映射
有JsonPath 用来读取json凭据jsonpath映射
部署样式
1,土产货部署
2,集群部署
坐褥最好握行即是集群部署,然后使用客户端提交任务.
谨慎这里土产货部署依然集群部署 齐仅仅科罚端【SOE-035】ハイパー×ギリモザ ハイパーギリモザ Ami, 单个的任务是舒适跑在土产货大略手脚flink,spark设施跑在关于的flink集群大略spark集群上.