python pandas dataframe 查询(Python实现从SQL型数据库读写dataframe型数据的方法基于pandas)
python pandas dataframe 查询
Python实现从SQL型数据库读写dataframe型数据的方法基于pandas本文实例讲述了Python实现从SQL型数据库读写dataframe型数据的方法。分享给大家供大家参考,具体如下:
Python的pandas包对表格化的数据处理能力很强,而SQL数据库的数据就是以表格的形式储存,因此经常将sql数据库里的数据直接读取为dataframe,分析操作以后再将dataframe存到sql数据库中。而pandas中的read_sql和to_sql函数就可以很方便得从sql数据库中读写数据。
read_sql
参见pandas.read_sql的文档,read_sql主要有如下几个参数:
- sql:SQL命令字符串
- con:连接sql数据库的engine,一般可以用SQLalchemy或者pymysql之类的包建立
- index_col: 选择某一列作为index
- coerce_float:非常有用,将数字形式的字符串直接以float型读入
- parse_dates:将某一列日期型字符串转换为datetime型数据,与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换,也可以用字典的格式提供列名和转换的日期格式,比如{column_name: format string}(format string:"%Y:%m:%H:%M:%S")。
- columns:要选取的列。一般没啥用,因为在sql命令里面一般就指定要选择的列了
- chunksize:如果提供了一个整数值,那么就会返回一个generator,每次输出的行数就是提供的值的大小。
- params:其他的一些执行参数,没用过不太清楚。。。
以链接常见的mysql数据库为例:
|
import pandas as pd import pymysql import sqlalchemy from sqlalchemy import create_engine # 1. 用sqlalchemy构建数据库链接engine connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8' . format (DB_USER, DB_PASS, DB_HOST, DB_PORT, DATABASE) #1 engine = create_engine(connect_info) # sql 命令 sql_cmd = "SELECT * FROM table" df = pd.read_sql(sql = sql_cmd, con = engine) # 2. 用DBAPI构建数据库链接engine con = pymysql.connect(host = localhost, user = username, password = password, database = dbname, charset = 'utf8' , use_unicode = True ) df = pd.read_sql(sql_cmd, con) |
解释一下 #1: 这个是sqlalchemy中链接数据库的URL格式:dialect[+driver]://user:password@host/dbname[?key=value..]。dialect代表书库局类型,比如mysql, oracle, postgresql。driver代表DBAPI的名字,比如psycopg2,pymysql等。具体说明可以参考这里。此外由于数据里面有中文的时候就需要将charset设为utf8。
to_sql
参见pandas.to_sql函数,主要有以下几个参数:
- name: 输出的表名
- con: 与read_sql中相同
- if_exits: 三个模式:fail,若表存在,则不输出;replace:若表存在,覆盖原来表里的数据;append:若表存在,将数据写到原表的后面。默认为fail
- index:是否将df的index单独写到一列中
- index_label:指定列作为df的index输出,此时index为True
- chunksize: 同read_sql
-
dtype: 指定列的输出到数据库中的数据类型。字典形式储存:{column_name: sql_dtype}。常见的数据类型有
sqlalchemy.types.INTEGER()
,sqlalchemy.types.NVARCHAR()
,sqlalchemy.Datetime()
等,具体数据类型可以参考这里
还是以写到mysql数据库为例:
|
df.to_sql(name = 'table' , con = con, if_exists = 'append' , index = False , dtype = { 'col1' :sqlalchemy.types.INTEGER(), 'col2' :sqlalchemy.types.NVARCHAR(length = 255 ), 'col_time' :sqlalchemy.DateTime(), 'col_bool' :sqlalchemy.types.Boolean }) |
注:如果不提供dtype,to_sql会自动根据df列的dtype选择默认的数据类型输出,比如字符型会以sqlalchemy.types.TEXT
类型输出,相比NVARCHAR,TEXT类型的数据所占的空间更大,所以一般会指定输出为NVARCHAR;而如果df的列的类型为np.int64时,将会导致无法识别并转换成INTEGER型,需要事先转换成int类型(用map,apply函数可以方便的转换)。
参考:
http://docs.sqlalchemy.org/en/latest/core/type_basics.html#sql-standard-and-multiple-vendor-types
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_sql.html
http://docs.sqlalchemy.org/en/latest/core/engines.html
http://docs.sqlalchemy.org/en/latest/core/type_basics.html#sql-standard-and-multiple-vendor-types
http://stackoverflow.com/questions/30631325/writing-to-mysql-database-with-pandas-using-sqlalchemy-to-sql
http://stackoverflow.com/questions/5687718/how-can-i-insert-data-into-a-mysql-database
http://stackoverflow.com/questions/32235696/pandas-to-sql-gives-unicode-decode-error
http://stackoverflow.com/questions/34383000/pandas-to-sql-all-columns-as-nvarchar
希望本文所述对大家Python程序设计有所帮助。
原文链接:https://www.cnblogs.com/arkenstone/p/6271923.html
- pythonwhile语句的原理(谈谈Python中的while循环语句)
- python中赋值语句规则(Python动态赋值的陷阱知识点总结)
- python中字符串常用函数或方法(Python3.5字符串常用操作实例详解)
- python实现七个基本算法(python实现维吉尼亚算法)
- python的pickle用法(Python multiprocess pool模块报错pickling error问题解决方法分析)
- python中导入模块的命令(Python3 导入上级目录中的模块实例)
- 用python图片转字符串(python实现图片转字符小工具)
- thinkphp实战教程之博客技术学习(python3编写ThinkPHP命令执行Getshell的方法)
- 用python做一个表白视频(python仿抖音表白神器)
- python里字典常用方法(Python使用字典的嵌套功能详解)
- python基本运算符编程(对Python3 * 和 ** 运算符详解)
- 在python中导入模块有哪几种方式(Python不同目录间进行模块调用的实现方法)
- python 怎么解析中文(Python中一般处理中文的几种方法)
- python创建一个xls文件(Python XlsxWriter模块Chart类用法实例分析)
- python用列表实现一个定时器(python 定时器,实现每天凌晨3点执行的方法)
- python列出文件夹下所有文件(python批量修改文件夹及其子文件夹下的文件内容)
- 医事文化谈屑 | 古人的名 字 号(医事文化谈屑古人的名)
- ()
- 网友很惭愧,自己写了很多年的字,到头来还不如一名小学生写的好(自己写了很多年的字)
- 中华第一楷 张瑞龄 86岁高龄,苦练楷书71年,一幅字卖593万(中华第一楷张瑞龄)
- 冯骥才 年意(冯骥才年意)
- ()
热门推荐
- 网站友好性的几个建议
- python字典的key(Python使用dict.fromkeys快速生成一个字典示例)
- react路由原理解析(React配置子路由的实现)
- pytorch入门与实战(详解PyTorch基本操作)
- 云主机的作用和功能(云主机具备的特性有哪些?)
- docker运行镜像端口(docker镜像访问本地elasticsearch端口操作)
- 服务器和云服务器有什么区别(云服务是什么,和云服务器有啥区别?)
- docker的安装部署(Docker快速安装Zookeeper的详细教程)
- linux安装sqlserver 2008 r2(Ubuntu 下安装SQL Server教程)
- mysql中FIND_IN_SET函数
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9