甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
IP的设置：A主机 IP：10.10.0.119；Mask：255.255.0.0；B主机 IP：10.10.8.112；Mask：255.255.0.0
创新互联主要从事网站设计制作、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务河间,十年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:028-86922220
在IP设置完成以后，需要确定两主机的防火墙确实已经关闭。可以使用命令service iptables status查看防火墙状态。如果防火墙状态。
为仍在运行。使用service iptables stop来停用防火墙。如果想启动关闭防火墙，可以使用setup命令来禁用或定制。最终以两台主机可以相互ping通为佳。
3.2 配置A主(master) B从(slave)模式；3.2.1 配置A 为master。
增加一个用户同步使用的帐号：
GRANT FILE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’;
GRANTREPLICATION SLAVE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’。
赋予10.10.8.112也就是Slave机器有File权限，只赋予Slave机器有File权限还不行，还要给它REPLICATION SLAVE的权限才可以。
增加一个数据库作为同步数据库：create database test;
创建一个表结构：create table mytest (username varchar(20),password varchar(20));
修改配置文件：修改A的/etc/my.cnf文件。
在my.cnf配置项中加入下面配置：
server-id = 1 #Server标识
log-bin
binlog-do-db=test #指定需要日志的数据库
重起数据库服务：
service mysqld restart
查看server-id：
show variable like ‘server_id’。
这种架构一般用在以下三类场景
1. 备份多台 Server 的数据到一台如果按照数据切分方向来讲，那就是垂直切分。比如图 2，业务 A、B、C、D 是之前拆分好的业务，现在需要把这些拆分好的业务汇总起来备份，那这种需求也很适用于多源复制架构。实现方法我大概描述下：业务 A、B、C、D 分别位于 4 台 Server，每台 Server 分别有一个数据库来隔离前端的业务数据，那这样，在从库就能把四台业务的数据全部汇总起来，而不需要做额外的操作。那没有多源复制之前，要实现这类需求，只能在汇总机器上搭建多个 MySQL 实例，那这样势必会涉及到跨库关联的问题，不但性能急剧下降，管理多个实例也没有单台来的容易。
2. 用来聚合前端多个 Server 的分片数据。
同样，按照数据切分方向来讲，属于水平切分。比如图 3，按照年份拆分好的数据，要做一个汇总数据展现，那这种架构也非常合适。实现方法稍微复杂些：比如所有 Server 共享同一数据库和表，一般为了开发极端透明，前端配置有分库分表的中间件，比如爱可生的 DBLE。
3. 汇总并合并多个 Server 的数据
第三类和第一种场景类似。不一样的是不仅仅是数据需要汇总到目标端，还得合并这些数据，这就比第一种来的相对复杂些。比如图 4，那这样的需求，是不是也适合多源复制呢？答案是 YES。那具体怎么做呢？
Doris官网定义
mysql原始表结构
1.doris中关联mysql外表
结果如下：
2.doris中关联kafka导入数据
查看作业
State为RUNNING，表示已经成功。
停止作业
3.通过flink导入mysql数据到doris
方法1：通过mysql-cdc写入kafka，kafka关联doris表。
方法2：通过阿里云DTS-datahub，然后通过Flink写入kafka，再关联到doris外表
如何处理delete数据？对于方法1，需要手动的删除doris中的数据；对于方法2，可以通过dts_operation_flag字段来标示，dts_operation_flag可以为I/U/D，分别表示添加、更新和删除。那我们就只需要在doris表中添加一个dts_operation_flag字段来标示就可以了，查询数据的时候就不再查询等于D的值。
如何处理脏数据？delete doris中的数据，然后insert正确的值；还有个方法是将关联一个外表（这个是正确的值），然后再将doris中的表和外表中的值diff，将diff的值insert到doris中。
具体操作：
1、在分析型数据库上创建目标表，数据更新类型为实时写入，字段名称和MySQL中的建议均相同；
2、在阿里云数据传输的控制台上创建数据订阅通道，并记录这个通道的ID；
3、 配置dts-ads-writer/app.conf文件，配置方式如下：所有配置均保存在app.conf中，运行前请保证配置正确；修改配置后，请重启writer，基本配置：
注意事项：
1、RDS
for
MySQL表和分析型数据库中表的主键定义必须完全一致；如果不一致会出现数据不一致问题。如果需要调整RDS/分析型数据库表的主键，建议先停止writer进程；
2、一个插件进程中分析型数据库db只能是一个，由adsJdbcUrl指定；
3、一个插件进程只能对应一个数据订阅通道；如果更新通道中的订阅对象时，需要重启进程。