sql server导入数据csv文件(大容量csv快速内导入sqlserver的解决方法推荐)
sql server导入数据csv文件
大容量csv快速内导入sqlserver的解决方法推荐前言
在论坛中回答了一个问题,导入csv 数据,并对导入的数据增加一个新的列date datetime。要求在10s内完成,200w行数据的导入.分享下解决问题的思路和方法
分析
通常来讲Bulk insert 比 BCP 更快一点,我们选择Bulk insert的方式。 提出的解决方案:先把数据导入到sql server 的临时表,然后再插入目标表。 具体语句如下:
bulk insert test07232 from 'D:\2017-7-22.csv' WITH ( FIELDTERMINATOR = ',', ROWTERMINATOR = '/n' ) SELECT * ,GETDATE() AS Date INTO ttt FROM test07232
但是他提供的的csv 进行导入时,提示如下错误
消息 4866,级别 16,状态 1,第 1 行 大容量加载失败。数据文件中第 1 行的第 2 列太长。请验证是否正确指定了字段终止符和行终止符。 消息 7399,级别 16,状态 1,第 1 行 链接服务器 "(null)" 的 OLE DB 访问接口 "BULK" 报错。提供程序未给出有关错误的任何信息。
消息 7330,级别 16,状态 2,第 1 行 无法从链接服务器 "(null)" 的 OLE DB 访问接口"BULK"提取行。
这是由于行终止符无法识别导致的。使用notepad++打开csv文件,在视图中选择显示行尾号。
可以看到文件的换行符是LF
而对于正常的csv问题 默认是用CRLF作为换行符的
因此上面的bulk insert 语句无法正常执行。
解决
1.首先想到的是修改数据源头,让源头产生正常的数据,但是源头数据不好修改 2.用程序,写c#处理,,太费时间 3.最后终于找到了正确的办法
bulk insert test07232 from 'D:\2017-7-22.csv' WITH ( FIELDTERMINATOR = ',', ROWTERMINATOR = '0x0a' ) SELECT * ,GETDATE() AS Date INTO ttt FROM test07232
最后全部都在SSD 上,导入用时2s。生产正式表1s 。整个过程3s完成。
总结
解决问题要从各个问题入手,找到原因才更好的解决问题
总结
以上所述是小编给大家介绍的大容量csv快速内导入sqlserver的解决方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对开心学习网网站的支持!
- 怎么把csv文件导入mysql(mysql导入csv的4种报错的解决方法)
- sql server导入数据csv文件(大容量csv快速内导入sqlserver的解决方法推荐)
- python csv文件读取方法(对python读取zip压缩文件里面的csv数据实例详解)
- C#如何读取csv格式文件
- python将txt数据写入excel(Python将列表数据写入文件txt, csv,excel)
- python怎么在csv修改数据(python 编写输出到csv的操作)
- python计算csv的行数(对Python 多线程统计所有csv文件的行数方法详解)
- python解析csv文件存到数据库(python读取csv和txt数据转换成向量的实例)
- pandas怎么写入csv文件(Pandas读写CSV文件的方法示例)
- pythoncsv格式转换(Python把对应格式的csv文件转换成字典类型存储脚本的方法)
- python pdf文件操作(Python常见读写文件操作实例总结文本、json、csv、pdf等)
- python怎么用pandas读取两列数据(python 利用pandas将arff文件转csv文件的方法)
- 鱼竿 夏钓短,冬钓长 ,一定是这样 认清优缺点在选竿(鱼竿夏钓短冬钓长)
- 鲢鳙钓底还是钓浮 流水的水域应怎样做钓(鲢鳙钓底还是钓浮)
- 入秋后的第二场苹果发布会来了 全新M1系列芯片登场(入秋后的第二场苹果发布会来了)
- 苹果正式发布自研芯片M1 5nm 32核心 彻底放弃Intel(苹果正式发布自研芯片M1)
- 苹果自研芯片跑分对比 A16芯片排名靠后,M1系列霸榜(苹果自研芯片跑分对比)
- X86处理器的梦魇 苹果M1自研芯片到底有多强(苹果M1自研芯片到底有多强)
热门推荐
- MongoDB命令与SQL语法对比
- apache怎么配置服务器(Apache2 WEB服务器的配置步骤分享)
- php微信支付怎么做(ThinkPHP框架整合微信支付之Native 扫码支付模式一图文详解)
- laravel数据迁移(Laravel框架实现的上传图片到七牛功能详解)
- nginx怎么配置静态文件(Nginx 过滤静态资源文件的访问日志的实现)
- mysql 8.0.22 winx64安装配置图文教程(mysql 8.0.22 winx64安装配置图文教程)
- windowsserver如何安装iis(windows Server2012 IIS8.0配置安装完整教程)
- 织梦二次安装教程(重新安装织梦系统以及转移空间、上传空间的方法)
- 如何搭建pxe服务器(使用vmware测试PXE批量安装服务器的详细过程)
- 微信小程序canvas 动画(微信小程序使用canvas绘制钟表)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9