pandas导入及数据结构用法(pandas数据集的端到端处理)
类别:脚本大全 浏览量:1104
时间:2022-01-27 01:26:02 pandas导入及数据结构用法
pandas数据集的端到端处理1. 数据集基本信息
df = pd.read_csv()
df.head():前五行;
df.info():
- rangeindex:行索引;
- data columns:列索引;
- dtypes:各个列的类型,
- 主体部分是各个列值的情况,比如可判断是否存在 NaN 值;
对于非数值型的属性列
- df[‘some_categorical_columns'].value_counts():取值分布;
df.describe(): 各个列的基本统计信息
- count
- mean
- std
- min/max
- 25%, 50%, 75%:分位数
df.hist(bins=50, figsize=(20, 15)):统计直方图;
对 df 的每一列进行展示:
|
train_prices = pd.DataFrame({ 'price' : train_df.SalePrice, 'log(price+1)' : np.log1p(train_df.SalePrice)}) # train_prices 共两列,一列列名为 price,一列列名为 log(price+1) train_prices.hist() |
2. 数据集拆分
|
def split_train_test(data, test_ratio = . 3 ): shuffled_indices = np.random.permutation( len (data)) test_size = int ( len (data) * test_ratio) test_indices = shuffled_indices[:test_size] train_indices = shuffled_indices[test_size:] return data.iloc[train_indices], data.iloc[test_indices] |
3. 数据预处理
- 一键把 categorical 型特征(字符串类型)转化为数值型:
|
>> df[ 'label' ] = pd.Categorical(df[ 'label' ]).codes |
- 一键把 categorical 型特征(字符串类型)转化为 one-hot 编码:
|
>> df = pd.get_dummies(df) |
- null 值统计与填充:
|
>> df.isnull(). sum ().sort_values(ascending = False ).head() # 填充为 mean 值 >> mean_cols = df.mean() >> df = df.fillna(mean_cols) >> df.isnull(). sum (). sum () 0 |
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接
原文链接:https://blog.csdn.net/lanchunhui/article/details/80100555
您可能感兴趣
- pandas导入及数据结构用法(pandas数据集的端到端处理)
- SQLserver中cube:多维数据集实例详解(SQLserver中cube:多维数据集实例详解)
- python读取数据集的图片(浅析Python 读取图像文件的性能对比)
- laravel 队列导入数据(laravel框架查询数据集转为数组的两种方法)
- pandas数据分组后的处理(详解pandas如何去掉、过滤数据集中的某些值或者某些行?)
- 仙女们的私藏鲜法大PK 鲜香切块牛肉(仙女们的私藏鲜法大PK)
- 天热没胃口 这道菜开胃又下饭,2个小技巧新手一学就会(这道菜开胃又下饭)
- 指天椒紫苏爆炒牛肉(指天椒紫苏爆炒牛肉)
- 谷雨前,吃牛羊肉别忘了吃河鲜,除湿还清热,加紫苏一炒特解馋(吃牛羊肉别忘了吃河鲜)
- 紫苏牛肉锅里滚一滚,香的鼻子都要掉了(紫苏牛肉锅里滚一滚)
- 每天都吃水果的好处(每天吃水果的好处与功效)
热门推荐
- dedecms标签调用大全(织梦cms图集{dede:field name='imgurls'}显示栏目名称)
- mysql安装时服务无法启动(MySQL 实例无法启动的问题分析及解决)
- sqlserver数据库同步复制(SqlServer将数据库中的表复制到另一个数据库)
- sqlserver复制表结构及数据到新表(SQL SERVER 表与表之间 字段一对多sql语句写法)
- webview获取html(webView加载html图片遇到的问题解决)
- python的opencv图片识别(OpenCV-Python 摄像头实时检测人脸代码实例)
- amazeui怎么设置侧边栏(AmazeUI 等分网格的实现示例)
- php支付系统(php实现的支付宝网页支付功能示例基于TP5框架)
- docker虚拟机和容器(解决docker与vmware的冲突问题)
- 怎么判断云服务器的性能(如何判断云服务器的好坏)