问题实现
mlr3pipelines提供了许多数据预处理的模块,关于处理类不平衡也有做封装,主要提供了以下两种方法。

1. PipeOpClassBalancing

描述

对[’ Task '][mlr3::Task]可进行过欠采样,以只保留多数类的一小部分行,也可对少数类进行过采样(重复数据点)。抽样只发生在训练阶段。

R语言代码实现

library("mlr3")
library("mlr3pipelines")

task = tsk("spam")
opb = po("classbalancing")

# target class counts
table(task$truth())

# double the instances in the minority class (spam)
opb$param_set$values = list(ratio = 2, reference = "minor",
  adjust = "minor", shuffle = FALSE)
result = opb$train(list(task))[[1L]]
table(result$truth())

# up or downsample all classes until exactly 20 per class remain
opb$param_set$values = list(ratio = 20, reference = "one",
  adjust = "all", shuffle = FALSE)
result = opb$train(list(task))[[1]]
table(result$truth())

2. PipeOpSmote

描述

通过创建生成更均衡的数据集,使用SMOTE算法合成少数类的实例。该算法基于最接近的“K”个邻居为每个少数实例采样一个新的数据点,只能应用于纯数字特征的任务。

R语言代码实现

library("mlr3")
library("mlr3pipelines")

# Create example task
data = smotefamily::sample_generator(1000, ratio = 0.80)
data$result = factor(data$result)
task = TaskClassif$new(id = "example", backend = data, target = "result")
task$data()
table(task$data()$result)

# Generate synthetic data for minority class
pop = po("smote")
smotedata = pop$train(list(task))[[1]]$data()
table(smotedata$result)

参考:https://github.com/mlr-org/mlr3pipelines

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐