mysql与oracle体系结构(详解MySQL实时同步到Oracle解决方案)
mysql与oracle体系结构
详解MySQL实时同步到Oracle解决方案1 需求概述
将mysql5.6生产库多张表的数据实时同步到oracle11g数据仓库,mysql历史数据700g,平均每天产生50g左右日志文件,mysql日志空间50g,超过后滚动删除日志文件。整个同步过程不可影响mysql业务操作。
2 技术原理
采用灵蜂数据集成软件beedi将mysql数据实时同步到oracle,通过etl全量同步历史数据,通过日志解析方式实时同步增量数据。
受限于日志空间,如果将所有历史数据一次性同步,需要的时间会超过一天,全量同步过程产生的日志会被删除,造成实时日志解析任务数据缺失,所以需要分批同步历史数据,基本操作如下:
a 全量同步部分表。
b 在实时日志解析任务中添加已全量同步完成的表并启动任务,当mysql和oracle两端对应表数据一致时,停止日志解析任务。
重复上面a和b步骤,直到所有表都加入实时日志解析任务。
3 mysql环境配置
3.1 创建用户
在主库创建同步用户,以用户sync为例,创建用户及权限分配语句如下:
3.2 启用binlog
查询主库日志开启状态及日志记录格式:
如果日志状态为off或日志记录格式不为row,则编辑my.ini文件,设置以下项目内容:
log-bin="xxxxxx" --开启日志
binlog_format="row" --日志记录格式
4 beedi同步操作
4.1 配置全量同步任务
在beedi中新建etl作业,在【etl模板属性】对话框的【映射属性】中设置【lob装载】为绑定存储。
【lob装载】用于指定oracle lob数据载入方式,定位存储通过定位lob指针更新lob内容,绑定存储通过参数绑定方式更新lob内容。
为优化数据抽取性能,建议在抽取组件的【选项】对话框中设置【异步】抽取模式。
为优化数据加载性能,建议在装载组件的【选项】对话框中选择【批量】装载模式。
全量同步任务配置完成如下
按照以上方式,创建多个etl作业,其中每个etl作业对应一张同步表。
4.2 配置实时日志解析任务
实时解析任务使用一个脚本作业,在其中指定所有要同步的表,脚本代码如下
4.3 执行全量同步任务
选中要执行的全量同步作业,点击工具栏【启动】按钮,可以同时启动多个全量同步作业,只要生产库资源及beedi所在机器资源充足。
4.4 执行实时日志解析任务
当所有全量同步作业运行结束后,编辑实时任务脚本,在变量cdc_tables中指定已经全量同步完成的表;在inquirelog函数参数中设置日志捕获起始点,可将最先运行的全量同步作业的启动时间指定为日志捕获起始点,日志捕获点只需在任务初次执行时设置一次,以后任务运行将自动管理日志捕获点。
在【调度窗口】通过快捷菜单【添加】把将要执行的实时日志解析作业载入,选中调度窗口的实时作业,点击工具栏【定时】按钮,设置按秒定时,运行周期1秒。
实时任务运行后,在日志窗口输出mysql数据库日志解析信息,包含每分钟读取的日志记录,最近解析日志时间点。
4.5 添加更多同步表
当实时任务对应的作业状态频繁出现定时图标时,表明任务进入实时状态,此时mysql源表和oracle目标表数据一致,停止实时日志解析任务,配置运行其它表的全量同步任务(参考4.1和4.3)。当全量任务结束后,编辑实时日志解析任务,增加已全量同步完成的其他表,启动实时任务(参考4.2和4.4)。
5 效验同步数据一致性
依次在源库和目标库执行 select count(*) from [表] 比较表记录数是否相等。
依次在源库和目标库执行 select sum([数值列]) from [表] 比较指定字段算术和是否相等。
到此这篇关于详解mysql实时同步到oracle解决方案的文章就介绍到这了,更多相关mysql实时同步到oracle内容请搜索开心学习网以前的文章或继续浏览下面的相关文章希望大家以后多多支持开心学习网!
原文链接:https://blog.csdn.net/wahahaman/article/details/113821037
- mysqlupdate怎么设置(MySQL update 语句的正确用法)
- oraclemysql知识点(详解Mysql和Oracle之间的误区)
- mysql8.0安装版安装详细教程(mysql 8.0.24版本安装配置方法图文教程)
- mysql索引优化技巧(MySQL如何优化索引)
- 将SQL Server数据迁移到MySQL的方法
- mysql双向同步原理(详解MySQL的半同步)
- mysql触发器如何创建(MySQL 触发器的使用和理解)
- docker怎么连接mysql(docker如何安装mysql)
- docker部署tomcat(Docker安装Tomcat、MySQL和Redis的步骤详解)
- 深入理解mysql索引(MySQL中冗余和重复索引的区别说明)
- mysql server安装图解教程(mysql容器之间的replication配置实例详解)
- sysbenchmysql性能跑分(MySQL性能压力基准测试工具sysbench的使用简介)
- 怎样查看mysql的安装路径(MySQL中查看数据库安装路径的方法)
- mysql索引失效原因(MySQL索引失效的几种情况详析)
- windows下mysql密码重置(Windows10系统下Mysql8.0.13忘记root密码的操作方法)
- mysql数据库基本增删改查基本语句(MySQL表的增删改查基础教程)
- 乔欣古装女主戏获热度 作为女主,却没吃到红利(乔欣古装女主戏获热度)
- 爱情是什么(爱情是什么最经典的话)
- 乔欣 古装剧中的高颜值(古装剧中的高颜值)
- 怎么才可以财富自由(如何让自己实现财富自由)
- 为什么越来越多年轻人回农村(为什么越来越多年轻人回农村生活)
- 怎么快速学好英语(怎么快速学好英语初中)
热门推荐
- vue计算两个日期差几分钟(vue实现同时设置多个倒计时)
- C#冒泡排序
- vue跨域代理怎么写(解决vue $http的get和post请求跨域问题)
- php标签怎么写(php 使用mpdf实现指定字段配置字体样式的方法)
- dedecms使用安装(使用dedecms搭建自己的本地网站全程图解)
- canvas 缩放后字发虚(canvas 绘图时位置偏离的问题解决)
- phpstudy 目录浏览宽度(JspStudy如何设置PHP根目录可编辑)
- python分步式进程计算(python中如何使用分步式进程计算详解)
- react实现js控制样式(React + Threejs + Swiper 实现全景图效果的完整代码)
- 云服务器实例和配置(运维必须知道的关于云服务器的十个问题)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9