量化分析师的Python日记【第5天:数据处理的瑞士军刀pandas】
第一篇:基本数据结构介绍
一、Pandas介绍
终于写到了作者最想介绍,同时也是Python在数据处理方面功能最为强大的扩展模块了。在处理实际的金融数据时,一个条数据通常包含了多种类型的数据,例如,股票的代码是字符串,收盘价是浮点型,而成交量是整型等。在C++中可以实现为一个给定结构体作为单元的容器,如向量(vector
,C++中的特定数据结构)。在Python中,pandas
包含了高级的数据结构Series
和DataFrame
,使得在Python中处理数据变得非常方便、快速和简单。
pandas
不同的版本之间存在一些不兼容性,为此,我们需要清楚使用的是哪一个版本的pandas
。现在我们就查看一下量化实验室的pandas
版本:
import pandas as pd
pd.__version__
'0.14.1'
pandas
主要的两个数据结构是Series
和DataFrame
,随后两节将介绍如何由其他类型的数据结构得到这两种数据结构,或者自行创建这两种数据结构,我们先导入它们以及相关模块:
import numpy as np
from pandas import Series, DataFrame
二、Pandas数据结构:Series
从一般意义上来讲,Series
可以简单地被认为是一维的数组。Series
和一维数组最主要的区别在于Series
类型具有索引(index
),可以和另一个编程中常见的数据结构哈希(Hash)联系起来。
2.1 创建Series
创建一个Series
的基本格式是s = Series(data, index=index, name=name)
,以下给出几个创建Series
的例子。首先我们从数组创建Series
:
a = np.random.randn(5)
print "a is an array:"
print a
s = Series(a)
print "s is a Series:"
print s
a is an array:
[-1.24962807 -0.85316907 0.13032511 -0.19088881 0.40475505]
s is a Series:
0 -1.249628
1 -0.853169
2 0.130325
3 -0.190889
4 0.404755
dtype: float64
可以在创建Series
时添加index
,并可使用Series.index
查看具体的index
。需要注意的一点是,当从数组创建Series
时,若指定index
,那么index
长度要和data
的长度一致:
s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])
print s
s.index
a 0.509906
b -0.764549
c 0.919338
d -0.084712
e 1.896407
dtype: float64
Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')
创建Series
的另一个可选项是name
,可指定Series
的名称,可用Series.name
访问。在随后的DataFrame
中,每一列的列名在该列被单独取出来时就成了Series
的名称:
s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'], name='my_series')
print s
print s.name
a -1.898245
b 0.172835
c 0.779262
d 0.289468
e -0.947995
Name: my_series, dtype: float64
my_series
Series
还可以从字典(dict
)创建:
d = {'a': 0., 'b': 1, 'c': 2}
print "d is a dict:"
print d
s = Series(d)
print "s is a Series:"
print s
d is a dict:
{'a': 0.0, 'c': 2, 'b': 1}
s is a Series:
a 0
b 1
c 2
dtype: float64
让我们来看看使用字典创建Series
时指定index
的情形(index
长度不必和字典相同):
Series(d, index=['b', 'c', 'd', 'a'])
b 1
c 2
d NaN
a 0
dtype: float64
我们可以观察到两点:一是字典创建的Series
,数据将按index
的顺序重新排列;二是index
长度可以和字典长度不一致,如果多了的话,pandas
将自动为多余的index
分配NaN
(not a number,pandas
中数据缺失的标准记号),当然index
少的话就截取部分的字典内容。
如果数据就是一个单一的变量,如数字4,那么Series
将重复这个变量:
Series(4., index=['a', 'b', 'c', 'd', 'e'])
a 4
b 4
c 4
d 4
e 4
dtype: float64
2.2 Series
数据的访问
访问Series
数据可以和数组一样使用下标,也可以像字典一样使用索引,还可以使用一些条件过滤:
s = Series(np.random.randn(10),index=['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j'])
s[0]
1.4328106520571824
s[:2]
a 1.432811
b 0.120681
dtype: float64
s[[2,0,4]]
c 0.578146
a 1.432811
e 1.327594
dtype: float64
s[['e', 'i']]
e 1.327594
i -0.634347
dtype: float64
s[s > 0.5]
a 1.432811
c 0.578146
e 1.327594
g 1.850783
dtype: float64
'e' in s
True
三、Pandas数据结构:DataFrame
在使用DataFrame
之前,我们说明一下DataFrame
的特性。DataFrame
是将数个Series
按列合并而成的二维数据结构,每一列单独取出来是一个Series
,这和SQL数据库中取出的数据是很类似的。所以,按列对一个DataFrame
进行处理更为方便,用户在编程时注意培养按列构建数据的思维。DataFrame
的优势在于可以方便地处理不同类型的列,因此,就不要考虑如何对一个全是浮点数的DataFrame
求逆之类的问题了,处理这种问题还是把数据存成NumPy的matrix
类型比较便利一些。
3.1 创建DataFrame
首先来看如何从字典创建DataFrame
。DataFrame
是一个二维的数据结构,是多个Series
的集合体。我们先创建一个值是Series
的字典,并转换为DataFrame
:
d = {'one': Series([1., 2., 3.], index=['a', 'b', 'c']), 'two': Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
df = DataFrame(d)
print df
one two
a 1 1
b 2 2
c 3 3
d NaN 4
可以指定所需的行和列,若字典中不含有对应的元素,则置为NaN
:
df = DataFrame(d, index=['r', 'd', 'a'], columns=['two', 'three'])
print df
two three
r NaN NaN
d 4 NaN
a 1 NaN
可以使用dataframe.index
和dataframe.columns
来查看DataFrame
的行和列,dataframe.values
则以数组的形式返回DataFrame
的元素:
print "DataFrame index:"
print df.index
print "DataFrame columns:"
print df.columns
print "DataFrame values:"
print df.values
DataFrame index:
Index([u'alpha', u'beta', u'gamma', u'delta', u'eta'], dtype='object')
DataFrame columns:
Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')
DataFrame values:
[[ 0. 0. 0. 0. 0.]
[ 1. 2. 3. 4. 5.]
[ 2. 4. 6. 8. 10.]
[ 3. 6. 9. 12. 15.]
[ 4. 8. 12. 16. 20.]]
DataFrame
也可以从值是数组的字典创建,但是各个数组的长度需要相同:
d = {'one': [1., 2., 3., 4.], 'two': [4., 3., 2., 1.]}
df = DataFrame(d, index=['a', 'b', 'c', 'd'])
print df
one two
a 1 4
b 2 3
c 3 2
d 4 1
值非数组时,没有这一限制,并且缺失值补成NaN
:
d= [{'a': 1.6, 'b': 2}, {'a': 3, 'b': 6, 'c': 9}]
df = DataFrame(d)
print df
a b c
0 1.6 2 NaN
1 3.0 6 9
在实际处理数据时,有时需要创建一个空的DataFrame
,可以这么做:
df = DataFrame()
print df
Empty DataFrame
Columns: []
Index: []
另一种创建DataFrame
的方法十分有用,那就是使用concat
函数基于Series
或者DataFrame
创建一个DataFrame
a = Series(range(5))
b = Series(np.linspace(4, 20, 5))
df = pd.concat([a, b], axis=1)
print df
0 1
0 0 4
1 1 8
2 2 12
3 3 16
4 4 20
其中的axis=1
表示按列进行合并,axis=0
表示按行合并,并且,Series
都处理成一列,所以这里如果选axis=0
的话,将得到一个10×1
的DataFrame
。下面这个例子展示了如何按行合并DataFrame
成一个大的DataFrame
:
df = DataFrame()
index = ['alpha', 'beta', 'gamma', 'delta', 'eta']
for i in range(5):
a = DataFrame([np.linspace(i, 5*i, 5)], index=[index[i]])
df = pd.concat([df, a], axis=0)
print df
0 1 2 3 4
alpha 0 0 0 0 0
beta 1 2 3 4 5
gamma 2 4 6 8 10
delta 3 6 9 12 15
eta 4 8 12 16 20
3.2 DataFrame
数据的访问
首先,再次强调一下DataFrame
是以列作为操作的基础的,全部操作都想象成先从DataFrame
里取一列,再从这个Series
取元素即可。可以用datafrae.column_name
选取列,也可以使用dataframe[]
操作选取列,我们可以马上发现前一种方法只能选取一列,而后一种方法可以选择多列。若DataFrame
没有列名,[]
可以使用非负整数,也就是“下标”选取列;若有列名,则必须使用列名选取,另外datafrae.column_name
在没有列名的时候是无效的:
print df[1]
print type(df[1])
df.columns = ['a', 'b', 'c', 'd', 'e']
print df['b']
print type(df['b'])
print df.b
print type(df.b)
print df[['a', 'd']]
print type(df[['a', 'd']])
alpha 0
beta 2
gamma 4
delta 6
eta 8
Name: 1, dtype: float64
<class 'pandas.core.series.Series'>
alpha 0
beta 2
gamma 4
delta 6
eta 8
Name: b, dtype: float64
<class 'pandas.core.series.Series'>
alpha 0
beta 2
gamma 4
delta 6
eta 8
Name: b, dtype: float64
<class 'pandas.core.series.Series'>
a d
alpha 0 0
beta 1 4
gamma 2 8
delta 3 12
eta 4 16
<class 'pandas.core.frame.DataFrame'>
以上代码使用了dataframe.columns
为DataFrame
赋列名,并且我们看到单独取一列出来,其数据结构显示的是Series
,取两列及两列以上的结果仍然是DataFrame
。访问特定的元素可以如Series
一样使用下标或者是索引:
print df['b'][2]
print df['b']['gamma']
4.0
4.0
若需要选取行,可以使用dataframe.iloc
按下标选取,或者使用dataframe.loc
按索引选取:
print df.iloc[1]
print df.loc['beta']
a 1
b 2
c 3
d 4
e 5
Name: beta, dtype: float64
a 1
b 2
c 3
d 4
e 5
Name: beta, dtype: float64
选取行还可以使用切片的方式或者是布尔类型的向量:
print "Selecting by slices:"
print df[1:3]
bool_vec = [True, False, True, True, False]
print "Selecting by boolean vector:"
print df[bool_vec]
Selecting by slices:
a b c d e
beta 1 2 3 4 5
gamma 2 4 6 8 10
Selecting by boolean vector:
a b c d e
alpha 0 0 0 0 0
gamma 2 4 6 8 10
delta 3 6 9 12 15
行列组合起来选取数据:
print df[['b', 'd']].iloc[[1, 3]]
print df.iloc[[1, 3]][['b', 'd']]
print df[['b', 'd']].loc[['beta', 'delta']]
print df.loc[['beta', 'delta']][['b', 'd']]
b d
beta 2 4
delta 6 12
b d
beta 2 4
delta 6 12
b d
beta 2 4
delta 6 12
b d
beta 2 4
delta 6 12
如果不是需要访问特定行列,而只是某个特殊位置的元素的话,dataframe.at
和dataframe.iat
是最快的方式,它们分别用于使用索引和下标进行访问:
print df.iat[2, 3]
print df.at['gamma', 'd']
8.0
8.0
dataframe.ix
可以混合使用索引和下标进行访问,唯一需要注意的地方是行列内部需要一致,不可以同时使用索引和标签访问行或者列,不然的话,将会得到意外的结果:
print df.ix['gamma', 4]
print df.ix[['delta', 'gamma'], [1, 4]]
print df.ix[[1, 2], ['b', 'e']]
print "Unwanted result:"
print df.ix[['beta', 2], ['b', 'e']]
print df.ix[[1, 2], ['b', 4]]
10.0
b e
delta 6 15
gamma 4 10
b e
beta 2 5
gamma 4 10
Unwanted result:
b e
beta 2 5
2 NaN NaN
b 4
beta 2 NaN
gamma 4 NaN