pandas基于numpy,所以其中的空值nan和numpy.nan是等价的。numpy中的nan并不是空对象,其实际上是numpy.float64对象,所以我们不能误认为其是空对象,从而用bool(np.nan)去判断是否为空值,这是不对的。

       对于pandas中的空值,我们该如何判断,并且有哪些我们容易掉进去的陷阱,即不能用怎么样的方式去判断呢?

可以判断pandas中单个空值对象的方式:

1、利用pd.isnull(),pd.isna();

2、利用np.isnan();

不可以用来判断pandas单个空值对象的方式:

1、不可直接用==表达式判断;

2、不可直接用bool表达式判断;

3、不可直接用if语句判断。

示例:

import pandas as pd
import numpy as np

na=np.nan

# 可以用来判断空值的方式
pd.isnull(na)  # True
pd.isna(na)  # True
np.isnan(na)  # True

# 不可以直接用来判断的方式,即以下结果和我们预期不一样
na == np.nan  # False
bool(na)  # True
if na:
    print('na is not null')  # Output: na is not null


# 不可以直接用python内置函数any和all
any([na])  # True
all([na])  #True

        由于np.nan是一个常量,因此新创建的空值变量会共享同一个内存中的对象,即如果创建na1=np.nan和na2=np.nan,那么na1和na2的id值是相同的,这时可以用is和in表达式来判断空值。但是对于pandas中DataFrame或Series中的空值元素,如果列的类型不为float,那么nan元素会被copy,id值发生改变,所以非float类型列中的nan的id和np.nan的常量id是不一样的,便不能用is和in表达式判断。如下:

# 新建空值变量共享同一个对象
na1 = np.nan
na2 = np.nan # id(na1) == id(na2)
na_l = [np.nan]

na1 is na2 # True
na1 in na_l # True

# DataFrame和Series中的空值元素不能用is和in判断
df
   a    b
0  NaN  0
1  2    1

df.iloc[0,0] is np.nan # False
np.nan in df['a'].values # False

总结

       numpy.nan是一个numpy.float64的非空对象,所以不能直接用bool表达式去判断,故一切依赖于布尔表达式的判断方式都不行,比如if语句。对于pandas中空值的判断,我们只能通过pandas或者numpy的函数,不能用python的内置函数any或all判断。

       我们知道,对于is表达式,如果返回True,表示这两个引用指向的是同一个内存对象,即内存地址是一样的,一般同一个对象的不同引用的值也应该是相等的,所以一般is表达式为True,那么==表达式也为True。但是对于numpy.nan对象显然不是这样的,因为其可以用is表达式判断,即当is表达式为True时,但==表达式为False,这说明虽然不同numpy.nan变量引用指向的是同一个内存地址,但是其具有自己的值属性,值是不一样的,所以不能用==来判断,这点需要注意。

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐