mysql冷热数据分离方案(MySQL中使用流式查询避免数据OOM)
mysql冷热数据分离方案
MySQL中使用流式查询避免数据OOM目录
- 一、前言
- 二、JDBC实现流式查询
-
三、性能测试
- 3.1. 测试大数据量普通查询
- 3.2. 测试大数据量流式查询
- 3.3. 测试小数据量普通查询
- 3.4. 测试小数据量流式查询
- 四、总结
一、前言
程序访问MySQL
数据库时,当查询出来的数据量特别大时,数据库驱动把加载到的数据全部加载到内存里,就有可能会导致内存溢出(OOM)。
其实在MySQL
数据库中提供了流式查询,允许把符合条件的数据分批一部分一部分地加载到内存中,可以有效避免OOM;本文主要介绍如何使用流式查询并对比普通查询进行性能测试。
二、JDBC实现流式查询
使用JDBC的PreparedStatement/Statement
的setFetchSize
方法设置为Integer.MIN_VALUE
或者使用方法Statement.enableStreamingResults()
可以实现流式查询,在执行ResultSet.next()
方法时,会通过数据库连接一条一条的返回,这样也不会大量占用客户端的内存。
|
public int execute(String sql, boolean isStreamQuery) throws SQLException { Connection conn = null ; PreparedStatement stmt = null ; ResultSet rs = null ; int count = 0 ; try { //获取数据库连接 conn = getConnection(); if (isStreamQuery) { //设置流式查询参数 stmt = conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); stmt.setFetchSize(Integer.MIN_VALUE); } else { //普通查询 stmt = conn.prepareStatement(sql); } //执行查询获取结果 rs = stmt.executeQuery(); //遍历结果 while (rs.next()){ System.out.println(rs.getString( 1 )); count++; } } catch (SQLException e) { e.printStackTrace(); } finally { close(stmt, rs, conn); } return count; } |
「PS」:上面的例子中通过参数isStreamQuery
来切换「流式查询」与「普通查询」,用于下面做测试对比。
三、性能测试
创建了一张测试表my_test
进行测试,总数据量为27w
条,分别使用以下4个测试用例进行测试:
- 大数据量普通查询(27w条)
- 大数据量流式查询(27w条)
- 小数据量普通查询(10条)
- 小数据量流式查询(10条)
3.1. 测试大数据量普通查询
|
@Test public void testCommonBigData() throws SQLException { String sql = "select * from my_test" ; testExecute(sql, false ); } |
3.1.1. 查询耗时
27w 数据量用时 38 秒
3.1.2. 内存占用情况
使用将近 1G 内存
3.2. 测试大数据量流式查询
|
@Test public void testStreamBigData() throws SQLException { String sql = "select * from my_test" ; testExecute(sql, true ); } |
3.2.1. 查询耗时
27w 数据量用时 37 秒
3.2.2. 内存占用情况
由于是分批获取,所以内存在30-270m波动
3.3. 测试小数据量普通查询
|
@Test public void testCommonSmallData() throws SQLException { String sql = "select * from my_test limit 100000, 10" ; testExecute(sql, false ); } |
3.3.1. 查询耗时
10 条数据量用时 1 秒
3.4. 测试小数据量流式查询
|
@Test public void testStreamSmallData() throws SQLException { String sql = "select * from my_test limit 100000, 10" ; testExecute(sql, true ); } |
3.4.1. 查询耗时
10 条数据量用时 1 秒
四、总结
MySQL 流式查询对于内存占用方面的优化还是比较明显的,但是对于查询速度的影响较小,主要用于解决大数据量查询时的内存占用多的场景。
「DEMO地址」:https://github.com/zlt2000/mysql-stream-query
到此这篇关于MySQL中使用流式查询避免数据OOM的文章就介绍到这了,更多相关MySQL 流式查询内容请搜索开心学习网以前的文章或继续浏览下面的相关文章希望大家以后多多支持开心学习网!
原文链接:https://segmentfault.com/a/1190000038792484
- 图片如何存放在mysql中(将图片保存到mysql数据库并展示在前端页面的实现代码)
- 创建数据库入门教程mysql(MySQL数据库安装教程一学就会)
- mysql总是报错error(MySQL 5.6主从报错的实战记录)
- 对mysql性能优化的看法(聊聊MySQL的COUNT的性能,看看怎么最快?)
- mysql主从复制如何解决延迟(MySQL 8.0.23中复制架构从节点自动故障转移的问题)
- mysql分库分表视图(MySQL分库分表与分区的入门指南)
- 怎么把csv文件导入mysql(mysql导入csv的4种报错的解决方法)
- navicat15激活页面不显示(Navicat for MySQL 15注册激活详细教程)
- mysql8.0安装版安装详细教程(mysql 8.0.24版本安装配置方法图文教程)
- mysql 分片键规则(MySql8 WITH RECURSIVE递归查询父子集的方法)
- mysql创建表的基本步骤(mysql中操作表常用的sql总结)
- mysql cache(MySQL取消了Query Cache的原因)
- mysql中group_concat
- mysql首次登录不上怎么办(Mysql匿名登录无法创建数据库问题解决方案)
- mysql拼接和过滤(mysql 如何动态修改复制过滤器)
- mysql数据库的备份与恢复的方法(详解Mysql之mysqlbackup备份与恢复实践)
- 自制橡皮泥(自制橡皮泥)
- 还在卖 禁药西布曲明网上论斤卖(还在卖禁药西布曲明网上论斤卖)
- 微商在朋友圈热卖的 DL减肥咖啡 含违禁药物,你还敢买吗(微商在朋友圈热卖的)
- 八一节,说说中国女兵(八一节说说中国女兵)
- 王治郅菜鸟赛季已让八一带入正轨,大郅七大经典语录或是成功秘诀(王治郅菜鸟赛季已让八一带入正轨)
- 庆八一,重读经典红色语录,感悟互联网发展硬道理(重读经典红色语录)
热门推荐
- navicat如何连接服务器的数据库(Navicat如何远程连接云服务器数据库)
- SQL Server中查询CPU占用高的SQL语句
- mysqlinnodb有什么功能(Mysql技术内幕之InnoDB锁的深入讲解)
- 阿里云服务器端口和ip(阿里云服务器如何添加安全通信端口?)
- dedecms前台发布文章(dedecms随机调用文章数据方法汇总)
- Extjs中FieldSet的收缩和展开
- python数字图像处理入门(python图像处理入门一)
- 阿里云服务器总被攻击怎么办(香港云服务器遭遇恶意攻击怎么处理?)
- js扫雷小游戏源代码(原生js实现简单贪吃蛇小游戏)
- javascript作用域实例(JavaScript defineProperty如何实现属性劫持)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9