python 筛选符合条件的数据(Python2大类方法筛选excel特定的值以及范围)

1.前言

查询筛选是数据分析常用的功能,我们在做数据挖掘时往往需要先进行数据预处理,然后就可以按各种条件以及相关的组合筛选中所需数据, 我们主要从以下方面来分析查询和筛选常用的操作。①在中括号里设定筛选条件筛选特定的行;②使用isin方法筛选特定的值 ;③loc和iloc以后分享。

完整代码如下所示。

# 2种小方法使用Python进行excel数据筛选 import pandas as pd dataFrame = pd.read_csv('./商品需求训练集.csv') dataFrame.head() # 1. 在中括号里设定筛选条件筛选特定范围 # 1.1筛选label列中大于0的数据 a = dataFrame[dataFrame['label'] > 0] a # 1.2多个筛选条件,用"&"或"|"连接起来。注意用小括号将筛选条件括起来 b = dataFrame[(dataFrame['label'] > 0) & (dataFrame['is_sale_day']==1)] # 1.3筛选label列中在(0, 10]范围之内并且is_sale_day等于1的数据。 c = dataFrame[(dataFrame['label'] > 0) & (dataFrame['label'] <= 10) & (dataFrame['is_sale_day']==1)] # 1.4 更改label范围为(0,100]查询结果如下: c = dataFrame[(dataFrame['label'] > 0) & (dataFrame['label'] <= 100) & (dataFrame['is_sale_day']==1)] c# # 1.5 筛选出大于label变量平均值的数据,并降序处理 d = dataFrame[dataFrame['label'] > dataFrame['label'].mean()].sort_values(by='label', ascending=False) d.head() # 2. 使用isin方法进行筛选 # 我们需要锁定筛选某些具体的值的,这时候就需要isin了。 # 比如我们要限定label取值只能为274.0, 115.0, 118.0时。 # 此时可将其作为列表传入到isin方法中 # 2.1 筛选单个的值 lst = [274.0] e1 = dataFrame[dataFrame.label.isin(lst )] e2 = dataFrame[dataFrame['label'].isin(lst)] e1, e2 # 2.2 同时筛选多个的值 lst2 = [274.0, 115.0, 118.0] g = dataFrame[dataFrame["label"].isin(lst2)] g

2.步骤

1.在中括号里设定筛选条件过滤行

1.1 在中括号中输入单个筛选条件

我们以某个比赛中的训练集的数据为例,数据的基本信息如下所示。

比如说,我们想要筛选label列中大于0的数据,具体代码如下所示。

a = dataFrame[dataFrame['label'] > 0] a

运行结果如下所示。

python 筛选符合条件的数据(Python2大类方法筛选excel特定的值以及范围)(1)

1.2 在中括号中输入多个筛选条件(2个)

如果说有多个筛选条件,可以用“&”(表示“且”)或“|”(表示“或”)连接起来。就比如说,筛选label列中大于0和is_sale_day等于1的数据,注意要用小括号将并列的筛选条件括起来。否则可能出错,或者查找不到正确的数据。具体代码如下所示。

b = dataFrame[(dataFrame['label'] > 0) & (dataFrame['is_sale_day']==1)] b

具体运行结果如下所示。可以看出筛选出来的结果同时满足label大于0和is_sale_day等于1的条件。

python 筛选符合条件的数据(Python2大类方法筛选excel特定的值以及范围)(2)

1.3 在中括号中三个筛选条件

比如说筛选在label在某一范围内的数据,设定上限和下限需要用到两个条件,然后根据自己的情况可以再增加一些条件。如筛选label范围为(0,100]并且is_sale_day的值等于1的情况, 具体代码如下所示。

c = dataFrame[(dataFrame['label'] > 0) & (dataFrame['label'] <= 10) & (dataFrame['is_sale_day']==1)] c

如下所示,查询无结果。可知在该条件下没有符合要求的项。

python 筛选符合条件的数据(Python2大类方法筛选excel特定的值以及范围)(3)

尝试更改label范围为(0,100]查询结果如下:

python 筛选符合条件的数据(Python2大类方法筛选excel特定的值以及范围)(4)

1.4 筛选出大于label变量平均值的数据,并升序处理

如下所示,其中默认为升序排序,我们可以设置参数ascending=False将其变为降序排序。

d = dataFrame[dataFrame['label'] > dataFrame['label'].mean()].sort_values(by='label', ascending=False) d.head()

具体结果如下所示。

python 筛选符合条件的数据(Python2大类方法筛选excel特定的值以及范围)(5)

2.使用isin方法进行筛选

在之前,我们筛选条件基本上都是给出范围,但实际上很多时候我们需要锁定筛选某些具体的值,这时候isin方法就可以派上用场了。

比如我们要限定label取值只能为274.0, 115.0, 118.0时。此时可将其作为列表传入到isin方法中,具体代码如下所示。

2.1筛选单个的值

lst = [274.0] e1 = dataFrame[dataFrame.label.isin(lst)] e2 = dataFrame[dataFrame['label'].isin(lst)] e1, e2

如上所示,将需要查询的值以列表的方式进行传入,然后获取数据中的待查询列(如上第二行和第三行代码所示,有两种方法可以获取列),最后调用isin()方法。

python 筛选符合条件的数据(Python2大类方法筛选excel特定的值以及范围)(6)

类似地,当我们想要同时查询多个值时,只需要更改列表中的值即可。

2.2 同时筛选多个的值

我们需要将label列中值为274.0, 115.0, 118.0 的所在行全部筛选出来,具体代码如下所示。

lst2 = [274.0, 115.0, 118.0] g = dataFrame[dataFrame["label"].isin(lst2)] g

如上所示,具体的运行结果如下所示。

python 筛选符合条件的数据(Python2大类方法筛选excel特定的值以及范围)(7)

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页