数据来源

1 概述

1.1 版本

1.3 功能简介

实时同步任务配置中的【数据来源】步骤，需要设置进行实时同步的数据表、同步类型等。如下图所示：

2 功能说明

2.1 数据源

选择需要进行实时同步的表所在的数据来源，目前数据源类型仅支持了“MySQL”，后续会逐步扩充。

选择数据源后，可点击“测试连接”测试该数据源能否正常连接。

2.2 读取方式

选择不同的数据源类型时，支持的读取方式不同，具体如下：
1）数据源类型为“MySQL”类型数据连接时，仅支持一种读取方式“Binlog”；
2）数据源类型为“Oracle”类型数据连接时，支持两种读取方式：LogMiner、XStream；
3）数据源类型为“PostgreSql”类型数据连接时，仅支持一种读取方式“wal2json”；
4）数据源类型为“OceanBase”类型数据连接时，支持两种读取方式：cdc、Binlog。

2.3 同步类型

支持两种同步方式：全量+增量同步、仅增量同步。
1、全量+增量同步
先对所有存量数据完成同步，随后持续同步新增的变化数据(增/删/改)。
任务初次运行时，将完整运行全量同步+增量同步；任务中断或暂停后，再次运行时，如果所有表的全量同步都已完成，则将从增量的断点开始，直接运行增量同步。

2、仅增量同步
从指定的起点开始，持续同步新增的变化数据(增/删/改)。
“增量同步起点”可以将“任务启动时间”作为起点，也可以自定义时间。

1）选择“任务启动时间”作为起点时，将以任务启动时间作为解析开始时间。
对于使用目标数据源推荐方式导入历史数据时，没有筛选条件的历史全量数据导入，可以设置增量同步起点为任务执行开始时间。
2）选择“自定义时间”作为起点时，可指定增量起始时间，可选择到秒。
对于使用目标数据源推荐方式导入历史数据时，基于时间筛选的历史数据导入，可以设置增量同步起点为最早的筛选时间。

注：对于PostgreSQL 数据源，仅支持任务启动时间作为起点。

2.4 同步源表

可选择要实时同步的数据库表，可以选择多张表。
将需要同步的源表从“待选表”中依次添加到“已选表”中。

注：表名不支持中文。

3 后续步骤

“数据来源”配置完成后，点击“下一步”即可进入“数据去向”步骤。