python数据处理----Apply自定义函数和向量化函数
什么是Apply自定义函数?Pandas提供了很多处理数据的API,如果自己的需求不能被这些API满足的时候,我们就需要写自定义函数使用apply函数apply函数接收一个自定义函数,将DataFrame的 行/列 数据传递给自定义函数处理。apply函数类似for循环,遍历行/列的每一个元素,比原生的for循环效率高。Series使用apply自定义函数创建数据创建自定义函数调用apply函数传
·
什么是Apply自定义函数?
-
Pandas提供了很多处理数据的API,如果自己的需求不能被这些API满足的时候,我们就需要写自定义函数使用apply函数
-
apply函数接收一个自定义函数,将DataFrame的
行/列数据传递给自定义函数处理。 -
apply函数类似for循环,遍历
行/列的每一个元素,比原生的for循环效率高。
Series使用apply自定义函数
- 创建数据
- 创建自定义函数
- 调用apply函数传入自定义函数(
传入的自定义函数不能加括号)
原数据:

import pandas as pd
df = pd.DataFrame({'a':[10,20,30],'b':[20,30,40]})
def my_sq(x):
return x**2
sq = df['a'].apply(my_sq)
print(sq)

apply函数需要传多个参数:
def my_sq(x,e):
return x**e
# 指定参数传参
sq = df['a'].apply(my_sq,e=3)
DataFrame的apply函数
def avg_3(col):
print('===',col)
x = col[0]
y = col[1]
z = col[2]
return (x+y+z)/3
df.apply(avg_3,axis=0)
axis=0时按列计算,传过来一列根据下标取数据

axis=1时按行计算,每次传入一行数据

向量化函数
原数据:

# 两列传入函数计算两个Series对象的平均值
def avg_2(x,y):
return (x+y)/2
avg_2(df['a'],df['b'])

修改函数:
当x等于20时返回NaN
def avg_2_mod(x,y):
if(x==20):
return (np.NaN)
else:
return (x+y)/2
avg_2_mod(df['a'],df['b'])

因为x为向量,20为标量,所以这个函数会报错。
把函数向量化:
使用np.vectorize(需要向量化的函数)
def avg_2_mod(x,y):
if(x==20):
return (np.NaN)
else:
return (x+y)/2
# 把函数向量化
avg_2_mod_vec = np.vectorize(avg_2_mod)
avg_2_mod_vec(df['a'],df['b'])
返回了一个ndarray数组:

还可以使用装饰器(一样的效果):
@np.vectorize
def avg_2_mod(x,y):
if(x==20):
return (np.NaN)
else:
return (x+y)/2
a = avg_2_mod(df['a'],df['b'])
lambda函数
当函数比较简单的时候, 没有必要创建一个def 一个函数, 可以使用lambda表达式创建匿名函数
df.apply(lambda x: x*2)

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)