hive分析后如何录入mysql(hive从mysql导入数据量变多的解决方案)
hive分析后如何录入mysql
hive从mysql导入数据量变多的解决方案原始导数命令:
|
bin/sqoop import - connect jdbc:mysql://192.168.169.128:3306/yubei -username root - password 123456 - table yl_city_mgr_evt_info --split-by rec_id -m 4 --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info |
原因分析:可能是mysql中字段里面有'\n'等分隔符,导入hive时默认以'n'作换行符,导致hive中的记录数变多。
解决方法:
导入数据时加上--hive-drop-import-delims选项,会删除字段中的\n,\r,\01。
最终导数命令:
|
bin/sqoop import - connect jdbc:mysql://192.168.169.128:3306/yubei -username root - password 123456 - table yl_city_mgr_evt_info --split-by rec_id -m 4 --hive-drop-import-delims --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info |
参考官方文档:https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html
补充:Sqoop导入MySQL数据到Hive遇到的坑
1.sqoop导入到HDFS
1.1执行sqoop job,会自动更新last value
|
# sqoop 增量导入脚本 bin/sqoop job --create sqoop_hdfs_test02 -- import \ --connect jdbc:mysql://localhost:3306/pactera_test \ --username root \ --password 123456 \ --table student \ --target-dir /user/sqoop/test002/ \ --fields-terminated-by "\t" \ --check-column last_modified \ --incremental lastmodified \ --last-value "2018-12-12 00:03:00" \ --append |
说明:--append 参数是必须的,要不然第二次运行job 会报错,如下:
至此,sqoop job 已建设完毕!
2.Hive创建表,并读取sqoop导入的数据
|
create external table if not exists student_hive (SId int ,Sname string ,Sage string,Ssex string , last_modified Timestamp ) row format delimited fields terminated by '\t' location 'hdfs://node01:8020/user/sqoop/test002/' ; |
注意:此处hive中时间的格式为timestamp,设置为date DB数据无法正常加载。
第一次全量加载,整条路线完全OK,hive表可以查询到数据。
-----------------------重点分割线-----------------------
* sqoop lastmodified格式的增量加载,会将last-value 保存为job执行的系统时间,若测试数据库的check-column 小于当前系统时间(即上一个job的last-value),则数据将不被加载。
如SId=6 就没有被加载,遂改为今日时间(2018-12-26 17:05)进行数据测试,数据成功被加载!哟呵!!
总结:
使用lastmodified格式,进行sqoop增量导入时,
1.注意--append的使用;
2.last-value为job运行的系统时间,在数据测试时,要保证数据的准确,数据的自增长。
3.一切皆有定数,查看资料,准确定位自己系统遇到的问题
以上为个人经验,希望能给大家一个参考,也希望大家多多支持开心学习网。如有错误或未考虑完全的地方,望不吝赐教。
原文链接:https://www.cnblogs.com/cqdxwjd/p/12980776.html
- mysql随机获取数据
- xampp数据库表在哪个文件夹(XAMPP集成环境中MySQL数据库的使用)
- mysql多行数据之和(详解MySQL的数据行和行溢出机制)
- mysql sql优化方法(MySQL SQL优化教程之in和range查询)
- 查询mysql 死锁(MySQL线上死锁分析实战)
- navicat for mysql连接测试失败(Navicat连接虚拟机mysql常见错误问题及解决方法)
- MYSQL中常用的强制性操作
- mysql实现mvc(mysql的MVCC多版本并发控制的实现)
- mysql主键为什么用varchar(Mysql中varchar类型一些需要注意的地方)
- mysql语句性能分析(聊聊MySQL的COUNT*的性能)
- mysql六大锁解析(MySQL 锁的相关知识总结)
- mysqlroot本地远程都可登陆(mysql5.7 设置远程访问的实现)
- mysql运算符使用方法(MySQL <>和<=> 运算符介绍)
- mysql乐观锁与mvcc(MySQL中的乐观锁,悲观锁和MVCC全面解析)
- mysql新增字段语句(关于Mysql update修改多个字段and的语法问题详析)
- mysql如何操作日期
- 览邦G08 Plus SMART WATCH 测评⑱ 全独立这才是智能手表该有的样子(览邦G08PlusSMART)
- 荣耀手表 GS 3 真机亮相 不支持无线充电(荣耀手表GS3)
- 通过体温就能为智能手表充电 原来是用NASA在空间站用的黑科技(通过体温就能为智能手表充电)
- 智能手表兼容Windows和Android 无需充电挑战苹果(智能手表兼容Windows和Android)
- 一天一冲也算表 麦步,一款待机 21 天的智能手表体验评测(一天一冲也算表)
- 魅族智能手表充电座曝光 Type-C 接口,线座分离设计(魅族智能手表充电座曝光)
热门推荐
- C#中equals和==的区别有哪些
- 前端轮播图效果(AmazeUI图片轮播效果的示例代码)
- SQL Server中时间类型的范围
- 织梦标签在哪里设置(织梦dedecms gbk站点转utf8之mip改造方案分享)
- vue3 响应式的实现过程(Vue3.x使用mitt.js进行组件通信)
- js竖屏切换程序(js判断移动端横竖屏视口检测实现的几种方法)
- python协程解释(在python里从协程返回一个值的示例)
- vue 为什么要使用key(详解vue中v-for的key唯一性)
- phpstudy8.0使用教程视频(phpstudy v8.1 Apache伪静态配置图文教程)
- php使用yield处理并发(Yii2.0框架模型多表关联查询示例)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9