文章目录

DataFrame是Python中Pandas库中的一种数据结构，它类似excel，是一种二维表

0 简介

DataFrame的单元格可以存放数值、字符串等，这和excel表很像，同时DataFrame可以设置列名columns与行名index。

1 创建DataFrame

pandas常与numpy一起配合使用，所以通常会一起引用，也就是：

  1. import pandas as pd
  2. import numpy as np

1.1 使用numpy函数创建

可以直接通过pandas的DataFrame函数进行创建。

  1. import pandas as pd
  2. import numpy as np
  3. df1 = pd.DataFrame(np.random.randn(3, 3), index=list('abc'), columns=list('ABC'))
  4. print(df1)
  5. #           A         B         C
  6. # a -0.612978  0.237191  0.312969
  7. # b -1.281485  1.135944  0.162456
  8. # c  2.232905  0.200209  0.028671

其中第一个参数是存放在DataFrame里的数据，第二个参数index就是之前说的行名，第三个参数columns是之前说的列名。

其中后两个参数可以使用list输入，但是注意，这个list的长度要和DataFrame的大小匹配，不然会报错。

  1. df2 = pd.DataFrame(np.random.randn(3, 3), index=list('abcd'), columns=list('ABCD'))
     
  2. # ValueError: Shape of passed values is (3, 3), indices imply (4, 4)

当然，这两个参数是可选的，你可以选择不设置，而且这两个list是可以一样的

  1. df3 = pd.DataFrame(np.random.randn(3, 3), index=list('ABC'), columns=list('ABC'))
  2. #           A         B         C
  3. # A  1.106838  0.309086  0.748472
  4. # B  0.439228 -0.213154 -1.438647
  5. # C  0.292450  0.841237 -0.069207

1.2 直接创建

  1. import pandas as pd
  2. import numpy as np
  3. df4 = pd.DataFrame([[1, 2, 3], 
  4.                     [2, 3, 4],
  5.                     [3, 4, 5]],
  6.                    index=list('abc'), columns=list('ABC'))
  7. print(df4)
  8. #    A  B  C
  9. # a  1  2  3
  10. # b  2  3  4
  11. # c  3  4  5

1.3 使用字典创建

  1. import pandas as pd
  2. import numpy as np
  3. dic1 = {
  4.     'name': [
  5.         '张三', '李四', '王二麻子', '小淘气'], 'age': [
  6.             37, 30, 50, 16], 'gender': [
  7.                 '男', '男', '男', '女']}
  8. df5 = pd.DataFrame(dic1)
  9. print(df5)
  10. #    age gender  name
  11. # 0   37      男    张三
  12. # 1   30      男    李四
  13. # 2   50      男  王二麻子
  14. # 3   16      女   小淘气

2 DataFrame属性

2.1 查看列的数据类型

  1. print(df5.dtypes)
  2. # age        int64
  3. # gender    object
  4. # name      object
  5. # dtype: object

2.2 查看DataFrame的头尾

  1. import pandas as pd
  2. import numpy as np
  3. df6 = pd.DataFrame(np.arange(36).reshape(6, 6), index=list('abcdef'), columns=list('ABCDEF'))
  4. print(df6)
  5. #     A   B   C   D   E   F
  6. # a   0   1   2   3   4   5
  7. # b   6   7   8   9  10  11
  8. # c  12  13  14  15  16  17
  9. # d  18  19  20  21  22  23
  10. # e  24  25  26  27  28  29
  11. # f  30  31  32  33  34  35
  12. print(df6.head())
  13. #     A   B   C   D   E   F
  14. # a   0   1   2   3   4   5
  15. # b   6   7   8   9  10  11
  16. # c  12  13  14  15  16  17
  17. # d  18  19  20  21  22  23
  18. # e  24  25  26  27  28  29

比如只看前2行

  1. print(df6.head(2))
  2. #    A  B  C  D   E   F
  3. # a  0  1  2  3   4   5
  4. # b  6  7  8  9  10  11

比如看后5行。

  1. print(df6.tail())
  2. #     A   B   C   D   E   F
  3. # b   6   7   8   9  10  11
  4. # c  12  13  14  15  16  17
  5. # d  18  19  20  21  22  23
  6. # e  24  25  26  27  28  29
  7. # f  30  31  32  33  34  35

比如只看后2行。

  1. print(df6.tail(2))
  2. #     A   B   C   D   E   F
  3. # e  24  25  26  27  28  29
  4. # f  30  31  32  33  34  35

2.3 查看行名与列名

使用index查看行名，columns查看列名

  1. print(df6.index)
  2. print(df6.columns)
  3. # Index(['a', 'b', 'c', 'd', 'e', 'f'], dtype='object')
  4. # Index(['A', 'B', 'C', 'D', 'E', 'F'], dtype='object')

2.4 查看数据值

使用values可以查看DataFrame里的数据值，返回的是一个数组。

  1. print(df6.values)
  2. # [[ 0  1  2  3  4  5]
  3. #  [ 6  7  8  9 10 11]
  4. #  [12 13 14 15 16 17]
  5. #  [18 19 20 21 22 23]
  6. #  [24 25 26 27 28 29]
  7. #  [30 31 32 33 34 35]]

比如说查看某一列所有的数据值。

  1. print(df6['B'].values)
  2. [ 1  7 13 19 25 31]

查看某一行所有的数据值

  1. print(df6.iloc[0])
  2. # A    0
  3. # B    1
  4. # C    2
  5. # D    3
  6. # E    4
  7. # F    5
  8. # Name: a, dtype: int32

2.5 查看行列数

  1. print(df6.shape[0])
  2. print(df6.shape[1])
  3. # 6
  4. # 6

2.6 切片

  1. print(df6['a':'b'])
  2. #    A  B  C  D   E   F
  3. # a  0  1  2  3   4   5
  4. # b  6  7  8  9  10  11

2.7 索引

  1. print(df6.loc[:,'A':'B'])
  2. #     A   B
  3. # a   0   1
  4. # b   6   7
  5. # c  12  13
  6. # d  18  19
  7. # e  24  25
  8. # f  30  31
  • 切片表示的是行切片
  • 索引表示的是列索引

3.DataFrame操作

3.1 转置

直接字母T，线性代数上线。

  1. print(df6.T)
  2. #    a   b   c   d   e   f
  3. # A  0   6  12  18  24  30
  4. # B  1   7  13  19  25  31
  5. # C  2   8  14  20  26  32
  6. # D  3   9  15  21  27  33
  7. # E  4  10  16  22  28  34
  8. # F  5  11  17  23  29  35

3.2 描述性统计

使用describe可以对数据根据列进行描述性统计。

  1. print(df6.describe())
  2. #                A          B          C          D          E          F
  3. # count   6.000000   6.000000   6.000000   6.000000   6.000000   6.000000
  4. # mean   15.000000  16.000000  17.000000  18.000000  19.000000  20.000000
  5. # std    11.224972  11.224972  11.224972  11.224972  11.224972  11.224972
  6. # min     0.000000   1.000000   2.000000   3.000000   4.000000   5.000000
  7. # 25%     7.500000   8.500000   9.500000  10.500000  11.500000  12.500000
  8. # 50%    15.000000  16.000000  17.000000  18.000000  19.000000  20.000000
  9. # 75%    22.500000  23.500000  24.500000  25.500000  26.500000  27.500000
  10. # max    30.000000  31.000000  32.000000  33.000000  34.000000  35.000000

3.3 计算

   使用sum默认对每列求和，sum(1)为对每行求和。

  1. print(df6.sum())
  2. # A     90
  3. # B     96
  4. # C    102
  5. # D    108
  6. # E    114
  7. # F    120
  8. # dtype: int64
  9. print(df6.sum(1))
  10. # a     15
  11. # b     51
  12. # c     87
  13. # d    123
  14. # e    159
  15. # f    195
  16. # dtype: int64

数乘运算使用apply。

  1. print(df6.apply(lambda x: x * 2))
  2. #     A   B   C   D   E   F
  3. # a   0   2   4   6   8  10
  4. # b  12  14  16  18  20  22
  5. # c  24  26  28  30  32  34
  6. # d  36  38  40  42  44  46
  7. # e  48  50  52  54  56  58
  8. # f  60  62  64  66  68  70

乘方运算跟matlab类似，直接使用两个*。

  1. print(df6**2)
  2. #      A    B     C     D     E     F
  3. # a    0    1     4     9    16    25
  4. # b   36   49    64    81   100   121
  5. # c  144  169   196   225   256   289
  6. # d  324  361   400   441   484   529
  7. # e  576  625   676   729   784   841
  8. # f  900  961  1024  1089  1156  1225

3.4 新增

扩充列可以直接像字典一样，列名对应一个list，但是注意list的长度要跟index的长度一致。

  1. df6['G']=['999','999','999','999','999','999']
  2. print(df6)
  3. #     A   B   C   D   E   F    G
  4. # a   0   1   2   3   4   5  999
  5. # b   6   7   8   9  10  11  999
  6. # c  12  13  14  15  16  17  999
  7. # d  18  19  20  21  22  23  999
  8. # e  24  25  26  27  28  29  999
  9. # f  30  31  32  33  34  35  999

还可以使用insert，使用这个方法可以指定把列插入到第几列，其他的列顺延。

  1. df6.insert(0, 'QQ', ['999','999','999','999','999','999'])
  2. print(df6)
  3. #     QQ   A   B   C   D   E   F
  4. # a  999   0   1   2   3   4   5
  5. # b  999   6   7   8   9  10  11
  6. # c  999  12  13  14  15  16  17
  7. # d  999  18  19  20  21  22  23
  8. # e  999  24  25  26  27  28  29
  9. # f  999  30  31  32  33  34  35

3.5 合并

使用join可以将两个DataFrame合并，但只根据行列名合并，并且以作用的那个DataFrame的为基准。

  1. # 也就是以df6为基准。
  2. df7 = pd.DataFrame(['my', 'name', 'is', 'a', 'b', 'c'], index=list('abcdef'), columns=list('G'))
  3. df8 = df6.join(df7)
  4. print(df8)
  5. #     A   B   C   D   E   F     G
  6. # a   0   1   2   3   4   5    my
  7. # b   6   7   8   9  10  11  name
  8. # c  12  13  14  15  16  17    is
  9. # d  18  19  20  21  22  23     a
  10. # e  24  25  26  27  28  29     b
  11. # f  30  31  32  33  34  35     c

但是，join这个方法还有how这个参数可以设置，合并两个DataFrame的交集或并集。参数为’inner’表示交集，'outer’表示并集。

  1. df7 = pd.DataFrame(['2', '6', '7', '19', '44', '77'], index=list('abekld'), columns=list('G'))
  2. df8=df6.join(df7,how='inner')
  3. df9=df6.join(df7,how='outer')
  4. print(df8)
  5. #     A   B   C   D   E   F   G
  6. # a   0   1   2   3   4   5   2
  7. # b   6   7   8   9  10  11   6
  8. # d  18  19  20  21  22  23  77
  9. # e  24  25  26  27  28  29   7
  10. print(df9)
  11. #       A     B     C     D     E     F    G
  12. # a   0.0   1.0   2.0   3.0   4.0   5.0    2
  13. # b   6.0   7.0   8.0   9.0  10.0  11.0    6
  14. # c  12.0  13.0  14.0  15.0  16.0  17.0  NaN
  15. # d  18.0  19.0  20.0  21.0  22.0  23.0   77
  16. # e  24.0  25.0  26.0  27.0  28.0  29.0    7
  17. # f  30.0  31.0  32.0  33.0  34.0  35.0  NaN
  18. # k   NaN   NaN   NaN   NaN   NaN   NaN   19
  19. # l   NaN   NaN   NaN   NaN   NaN   NaN   44

如果要合并多个Dataframe，可以用list把几个Dataframe装起来，然后使用concat转化为一个新的Dataframe。

  1. df10 = pd.DataFrame([1, 2, 3, 4, 5, 6], 
  2.                     index=list('ABCDEF'), columns=['a'])
  3. df11 = pd.DataFrame([10, 20, 30, 40, 50, 60],
  4.                     index=list('ABCDEF'), columns=['b'])
  5. df12 = pd.DataFrame([100, 200, 300, 400, 500, 600],
  6.                     index=list('ABCDEF'), columns=['c'])
  7. list1 = [df10.T, df11.T, df12.T]
  8. df13 = pd.concat(list1)
  9. print(df13)
  10. #      A    B    C    D    E    F
  11. # a    1    2    3    4    5    6
  12. # b   10   20   30   40   50   60
  13. # c  100  200  300  400  500  600

3.6 去重

  1.    df.drop_duplicates(subset=None,
  2.                    keep='first',
  3.                    inplace=False
  4.                    )

参数：

  • subset：指定是哪些列重复。
  • keep：去重后留下第几行，{‘first’, ‘last’, False}, default ‘first’｝，如果是False，则去除全部重复的行。
  • inplace：是否作用于原来的df。
  1. df14 = pd.DataFrame(data=[[1, 2, 3],
  2.                           [1, 2, 4],
  3.                           [1, 2, 4],
  4.                           [1, 2, 3],
  5.                           [1, 2, 5],
  6.                           [1, 2, 5]],
  7.                     index=list('ABCDEF'),
  8.                     columns=['a', 'b', 'c'])
  9. print(df14)
  10. #    a  b  c
  11. # A  1  2  3
  12. # B  1  2  4
  13. # C  1  2  4
  14. # D  1  2  3
  15. # E  1  2  5
  16. # F  1  2  5

去除重复行,保留重复行中最后一行

  1. df14.drop_duplicates(keep='last')
  2. #    a  b  c
  3. # C  1  2  4
  4. # D  1  2  3
  5. # F  1  2  5

去除’c’列中有重复的值所在的行

  1. print(df14.drop_duplicates(subset=('c',)))
  2. #    a  b  c
  3. # A  1  2  3
  4. # B  1  2  4
  5. # E  1  2  5
     

 

 

 

 

 

# python
Logo
GitCode 开源社区

旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。

更多推荐

[转载]在Windows环境下安装GNU Radio

转自：在Windows环境下安装GNURadio_恐弱智_新浪博客GNU Radio是用Python开发的，大部分开源的工程能够在Linux环境下运行良好，而Windows下却运行的很勉强，而且安装配置都很复杂。GNU Radio算是个例外了，不光提供了Windows的二进制安装，还有比较详细的说明。我是Python小白，所以折腾了好久才弄好，特意记录下来，免得以后再装还折腾。GNU Radio的

avatar GitCode 开源社区

centOS 8 使用dnf安装Docker

DNF是什么？CentOS 8使用YUM软件包管理器版本v4.0.4。现在，该版本使用DNF(已删除YUM)。DNF是软件包管理器。它会在Linux发行版上安装，执行更新并删除软件包。使用DNF安装Docker跳过具有损坏依赖性的程序包一个有效的解决方案是使您的CentOS 8系统使用以下--nobest命令安装最符合条件的版本：sudo dnf install docker...

avatar GitCode 开源社区

定时同步数据库表(mysql+linux+crontab)

sync.sh里面的参数需要改变，ip/username/password/database/tablesync.sh#!/bin/sh# Please change the IP and password of the data source db.# Then change the table name.filename=/home/nington/db/$(date +%Y-%m

avatar GitCode 开源社区