11个Python Pandas小技巧让你的工作更高效

2018年3月26日 0条评论 257次阅读 0人点赞 9suan

作者：Shiu-TangLi

翻译：吴振东

校对：王雨桐

或许本文中的某些命令你早已知晓，只是没意识到它还有这种打开方式。

Pandas是一个在Python中广泛应用的数据分析包。市面上有很多关于Pandas的经典教程，但本文介绍几个隐藏的炫酷小技巧，我相信这些会对你有所帮助。

1. read_csv

这是读取数据的入门级命令。当要你所读取的数据量特别大时，试着加上这个参数 nrows = 5，就可以在载入全部数据前先读取一小部分数据。如此一来，就可以避免选错分隔符这样的错误啦（数据不一定都是用逗号来分隔）。

（或者在linux系统中，你可以使用‘head’来展示任意文本文件的前五行：head -c 5 data.txt）

接下来，用 df.columns.tolist() 可以提取每一列并转换成list。还可以加上 usecols = [‘c1’, ‘c2’, … ]来载入所需要的指定列。另外，如果你知道某些列的类型，你可以加上dtype = {‘c1’: str, ‘c2’: int, …} ，这样会加快载入的速度。加入这些参数的另一大好处是，如果这一列中同时含有字符串和数值类型，而你提前声明把这一列看作是字符串，那么这一列作为主键来融合多个表时，就不会报错了。

2. select_dtypes

如果已经在Python中完成了数据的预处理，这个命令可以帮你节省一定的时间。在读取了表格之后，每一列的默认数据类型将会是bool，int64，float64，object，category，timedelta64，或者datetime64。首先你可以观察一下大致情况，使用：



1
<span class="code-snippet_outer"><span class="code-snippet__selector-tag">df.dtypes.value_counts</span>()</span>

来了解你的dataframe的每项数据类型，然后再使用：



1
<span class="code-snippet_outer">df.select_dtypes(<span class="code-snippet__keyword">include</span>=[<span class="code-snippet__string"> float64 </span>, <span class="code-snippet__string"> int64 </span>])</span>

获取一个仅由数值类型组成的sub-dataframe。

3. copy

如果你没听说过它的话，我不得强调它的重要性。输入下面的命令：



1
<span class="code-snippet_outer"><span class="code-snippet__keyword">import</span> pandas <span class="code-snippet__keyword">as</span> pd</span>



1
<span class="code-snippet_outer">df1 = pd.DataFrame({ <span class="code-snippet__string"> a </span>:[<span class="code-snippet__number">0</span>,<span class="code-snippet__number">0</span>,<span class="code-snippet__number">0</span>], <span class="code-snippet__string"> b </span>: [<span class="code-snippet__number">1</span>,<span class="code-snippet__number">1</span>,<span class="code-snippet__number">1</span>]})</span>



1
<span class="code-snippet_outer">df2 = df1</span>



1
<span class="code-snippet_outer">df2[<span class="code-snippet__string"> a </span>] = df2[<span class="code-snippet__string"> a </span>] + <span class="code-snippet__number">1</span></span>



1
<span class="code-snippet_outer">df1.head()</span>

你会发现df1已经发生了改变。这是因为df2 = df1并不是生成一个df1的复制品并把它赋值给df2，而是设定一个指向df1的指针。所以只要是针对df2的改变，也会相应地作用在df1上。为了解决这个问题，你既可以这样做：



1
<span class="code-snippet_outer"><span class="code-snippet__attr">df2</span> = df1.copy()</span>

也可以这样做：



1
<span class="code-snippet_outer"><span class="code-snippet__keyword">from</span> copy <span class="code-snippet__keyword">import</span> deepcopy</span>



1
<span class="code-snippet_outer">df2 = deepcopy(df1)</span>

4. map

这个炫酷的命令让你的数据转换变得轻松。首先定义一个

dictionary，“key”是转换前的旧值，而“values”是转换后的新值。



1
<span class="code-snippet_outer">level_map = {<span class="code-snippet__number">1</span>: <span class="code-snippet__string"> high </span>, <span class="code-snippet__number">2</span>: <span class="code-snippet__string"> medium </span>, <span class="code-snippet__number">3</span>: <span class="code-snippet__string"> low </span>}</span>



1
<span class="code-snippet_outer">df[<span class="code-snippet__string"> c_level </span>] = df[<span class="code-snippet__string"> c </span>].<span class="code-snippet__keyword">map</span>(level_map)</span>

几个适用情景：把True、False，转换成1、0（为了建模）；定义级别；使用字典编码。

5. 用不用apply？

如果我们想在现有几列的基础上生成一个新列，并一同作为输入，那么有时apply函数会相当有帮助。



1
<span class="code-snippet_outer" style=""><span class="code-snippet__keyword">def</span> <span class="code-snippet__title">rule(x, y)</span>:</span>



1
<span class="code-snippet_outer">    <span class="code-snippet__keyword">if</span> x == <span class="code-snippet__string"> high </span> <span class="code-snippet__keyword">and</span> y &gt; <span class="code-snippet__number">10</span>:</span>



1
<span class="code-snippet_outer">         <span class="code-snippet__keyword">return</span> <span class="code-snippet__number">1</span></span>



1
<span class="code-snippet_outer">    <span class="code-snippet__keyword">else</span>:</span>



1
<span class="code-snippet_outer">         <span class="code-snippet__keyword">return</span> <span class="code-snippet__number">0</span></span>



1
<span class="code-snippet_outer">df = pd.DataFrame({ <span class="code-snippet__string"> c1 </span>:[ <span class="code-snippet__string"> high </span> ,<span class="code-snippet__string"> high </span>, <span class="code-snippet__string"> low </span>, <span class="code-snippet__string"> low </span>], <span class="code-snippet__string"> c2 </span>: [<span class="code-snippet__number">0</span>, <span class="code-snippet__number">23</span>, <span class="code-snippet__number">17</span>, <span class="code-snippet__number">4</span>]})</span>



1
<span class="code-snippet_outer">df[<span class="code-snippet__string"> new </span>] = df.apply(<span class="code-snippet__keyword">lambda</span> x: rule(x[<span class="code-snippet__string"> c1 </span>], x[<span class="code-snippet__string"> c2 </span>]), axis =  <span class="code-snippet__number">1</span>)</span>



1
<span class="code-snippet_outer">df.head()</span>

在上面的代码中，我们定义了一个有两个输入变量的函数，并依靠apply函数使其作用到列“c1”和“c2”上。

但是apply函数在有些情况下实在是太慢了。如果你是想计算“c1”和“c2”列的最大值，你当然可以这样去做：



1
<span class="code-snippet_outer">df[<span class="code-snippet__string"> maximum </span>] = df.apply(<span class="code-snippet__keyword">lambda</span> x: max(x[<span class="code-snippet__string"> c1 </span>], x[<span class="code-snippet__string"> c2 </span>]), axis = <span class="code-snippet__number">1</span>)</span>

但你会发现相比于以下命令，apply实在是慢太多了：



1
<span class="code-snippet_outer">df[<span class="code-snippet__string"> maximum </span>] = df[[<span class="code-snippet__string"> c1 </span>,<span class="code-snippet__string"> c2 </span>]].max(axis =<span class="code-snippet__number">1</span>)</span>

结论：如果你可以采用其他内置函数（他们一般速度更快），请不要使用apply。比如说，如果你想把“c”列的值近似取整，那么请用round(df[‘c’], 0)或df[ c ],round(0)而不是上文的apply函数。

7. value counts

这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率，可以使用：



1
<span class="code-snippet_outer"><span class="code-snippet__selector-tag">df[ c ].value_counts</span>(</span>

下面是一些有用的小技巧/参数：

normalize = True:查看每个值出现的频率而不是频次数。
dropna = False: 把缺失值也保留在这次统计中。
sort = False: 将数据按照值来排序而不是按照出现次数排序。
df[‘c].value_counts().reset_index(): 将这个统计表转换成pandas的dataframe并且进行处理。

8. 缺失值的数量

当构建模型时，我们可能会去除包含过多缺失值或是全部是缺失值的行。这时可以使用.isnull()和.sum()来计算指定列缺失值的数量。



1
<span class="code-snippet_outer"><span class="code-snippet__keyword">import</span> pandas <span class="code-snippet__keyword">as</span> pd</span>



1
<span class="code-snippet_outer"><span class="code-snippet__keyword">import</span> numpy <span class="code-snippet__keyword">as</span> np</span>



1
<span class="code-snippet_outer">df = pd.DataFrame({ <span class="code-snippet__string"> id </span>: [<span class="code-snippet__number">1</span>,<span class="code-snippet__number">2</span>,<span class="code-snippet__number">3</span>], <span class="code-snippet__string"> c1 </span>:[<span class="code-snippet__number">0</span>,<span class="code-snippet__number">0</span>,np.nan], <span class="code-snippet__string"> c2 </span>: [np.nan,<span class="code-snippet__number">1</span>,<span class="code-snippet__number">1</span>]})</span>



1
<span class="code-snippet_outer">df = df[[<span class="code-snippet__string"> id </span>, <span class="code-snippet__string"> c1 </span>, <span class="code-snippet__string"> c2 </span>]]</span>



1
<span class="code-snippet_outer">df[<span class="code-snippet__string"> num_nulls </span>] = df[[<span class="code-snippet__string"> c1 </span>, <span class="code-snippet__string"> c2 </span>]].isnull().sum(axis=<span class="code-snippet__number">1</span>)</span>



1
<span class="code-snippet_outer">df.head()</span>

9. 依据指定ID来选取行

在SQL中我们可以使用 SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情，你可以使用：



1
<span class="code-snippet_outer"><span class="code-snippet__attribute">df_filter</span> = df[<span class="code-snippet__string"> ID </span>].isin([<span class="code-snippet__string"> A001 </span>,<span class="code-snippet__string"> C022 </span>,...])</span>



1
<span class="code-snippet_outer">df[df_filter]</span>

10. 基于分位数分组

面对一列数值，你想将这一列的值进行分组，比如说最前面的5%放入组别一，5-20%放入组别二，20%-50%放入组别三，最后的50%放入组别四。当然，你可以使用pandas.cut，但你也可以使用下面这种选择：



1
<span class="code-snippet_outer">import numpy <span class="code-snippet__keyword">as</span> np</span>



1
<span class="code-snippet_outer">cut_points = [np.percentile(df[<span class="code-snippet__string"> c </span>], i) <span class="code-snippet__keyword">for</span> i <span class="code-snippet__keyword">in</span> [<span class="code-snippet__number">50</span>, <span class="code-snippet__number">80</span>, <span class="code-snippet__number">95</span>]]</span>



1
<span class="code-snippet_outer">df[<span class="code-snippet__string"> group </span>] = <span class="code-snippet__number">1</span></span>



1
<span class="code-snippet_outer" style=""><span class="code-snippet__keyword">for</span> i <span class="code-snippet__keyword">in</span> <span class="code-snippet__title">range</span>(<span class="code-snippet__params" style="">3</span>):</span>



1
<span class="code-snippet_outer"><span class="code-snippet_outer">    df[ <span class="code-snippet__keyword">group</span> ]</span> = df[<span class="code-snippet__string"> group </span>] + (df[<span class="code-snippet__string"> c </span>] &lt; cut_points[i])</span>



1
<span class="code-snippet_outer" style=""># or &lt;= cut_points[i]</span>

这种方法的运行速度很快（并没有使用到apply函数）。

11. to_csv

这又是一个大家都会用的命令。我想在这里列出两个小技巧。首先是



1
<span class="code-snippet_outer"><span class="code-snippet__selector-tag">print</span>(<span class="code-snippet__selector-tag">df[:5].to_csv</span>())</span>

你可以使用这个命令打印出将要输出文件中的前五行记录。

另一个技巧是用来处理整数值和缺失值混淆在一起的情况。如果一列含有缺失值和整数值，那么这一列的数据类型会变成float而不是int。当导出表格时，你可以加上float_format=‘%.0f’以便将所有的浮点数近似成整数。当你想把所有列的输出值都变成整数格式时，就可以使用这个技巧，这样一来你就会告别所有数值后带“.0”的烦恼。

原文标题：

10 PythonPandas tricks that make your work more efficient

原文链接：

https://towardsdatascience.com/10-python-pandas-tricks-that-make-your-work-more-efficient-2e8e483808ba

推荐阅读

清华姚班90后学霸、MIT博士吴佳俊即将加入斯坦福任助理教授

Python计算机二级模拟题，现在开始！

从小白到大师，这里有一份Pandas入门指南

Kaggle竞赛神器—Facets：快速评估数据集质量，把控数据分析核心环节

开赛前55天NOIP突然宣布停办，学生懵圈家长炸锅，信息学奥赛路风波突起

喜欢就点击“在看”吧！

九算AI实验室|18年专注网站优化-网站SEO-百度账户托管

11个Python Pandas小技巧让你的工作更高效

朋友会在“发现-看一看”看到你“在看”的内容

朋友将在看一看看到

发布到看一看

本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可

九算AI实验室|18年专注网站优化-网站SEO-百度账户托管

朋友会在“发现-看一看”看到你“在看”的内容

朋友将在看一看看到

发布到看一看

本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可

本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可