数据预处理的主要步骤之 str、 summary、 dim等等

数据预处理是数据科学工作流中的重要环节。通过数据清洗、数据集成、数据变换和数据规约等步骤，可以显著提高数据质量，为后续的分析和建模提供坚实基础。在实际应用中，结合具体数据的特点和分析目标，选择合适的数据预处理方法，可以有效提升模型的准确性和稳定性。

临床数据科学和人工智能兴趣组

930人浏览 · 2024-12-20 21:23:22

临床数据科学和人工智能兴趣组 · 2024-12-20 21:23:22 发布

下面内容摘录自《用R探索医药数据科学》专栏文章的部分内容（原文6676字）。

4章1节：全面了解 R 中的数据预处理，通过 R 基础函数实施数据查阅_r数据预处理-CSDN博客

数据预处理是数据科学工作流中的重要环节。通过数据清洗、数据集成、数据变换和数据规约等步骤，可以显著提高数据质量，为后续的分析和建模提供坚实基础。在实际应用中，结合具体数据的特点和分析目标，选择合适的数据预处理方法，可以有效提升模型的准确性和稳定性。

一、数据预处理

二、数据预处理的主要步骤

1、数据查阅

2、数据清洗

3、数据变换

4、数据精简

三、查看数据结构

3、使用 `str()` 函数

str()函数用于紧凑地显示数据集的内部结构。它提供了数据集的类型、每个变量的类型和前几个值。这有助于我们快速了解数据的基本信息。

例如，查看iris数据集的结构：

str(iris)

输出结果：

'data.frame':	150 obs. of  5 variables:
 $ Sepal.Length: num  5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ...
 $ Sepal.Width : num  3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ...
 $ Petal.Length: num  1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 ...
 $ Petal.Width : num  0.2 0.2 0.2 0.2 0.2 0.4 0.3 0.2 0.2 0.1 ...
 $ Species     : Factor w/ 3 levels "setosa","versicolor",..: 1 1 1 1 1 1 1 1 1 1 ...

我们可以看到，iris 数据集是一个 data.frame，它包含了 150 个观测样本（行）和 5 个变量（列）。每个变量都有其特定的类型和相应的前几个值。例如，Sepal.Length 属于数值型变量（num），而 Species 则是因子型变量（Factor），并且具有 3 个因子水平。

4、使用 `summary()` 函数

summary()函数提供了数据集的描述性统计量，包括最小值、最大值、四分位数、中位数、均值等。对于因子变量，它还提供了频数统计。这些信息对于初步了解数据的分布和特征非常有用。

例如，查看iris数据集的描述性统计量：

summary(iris)

输出结果：

  Sepal.Length    Sepal.Width     Petal.Length    Petal.Width   
 Min.   :4.300   Min.   :2.000   Min.   :1.000   Min.   :0.100  
 1st Qu.:5.100   1st Qu.:2.800   1st Qu.:1.600   1st Qu.:0.300  
 Median :5.800   Median :3.000   Median :4.350   Median :1.300  
 Mean   :5.843   Mean   :3.057   Mean   :3.758   Mean   :1.199  
 3rd Qu.:6.400   3rd Qu.:3.300   3rd Qu.:5.100   3rd Qu.:1.800  
 Max.   :7.900   Max.   :4.400   Max.   :6.900   Max.   :2.500  
       Species  
 setosa    :50  
 versicolor:50  
 virginica :50

从结果中，我们可以看到每个变量的基本统计信息。例如，Sepal.Length的最小值是4.3，最大值是7.9，平均值是5.843，中位数是5.8。对于Species因子变量，它包含3个水平，每个水平有50个样本，等等信息。

5、使用 `dim()` 和 `nrow()` / `ncol()` 函数

dim()函数用于返回数据集的维度，即行数和列数。nrow()和ncol()函数分别返回数据集的行数和列数。

例如，查看iris数据集的维度，表示iris数据集有150行和5列。

> dim(iris)
[1] 150   5

查看行数：

> nrow(iris)
[1] 150

查看列数：

> ncol(iris)
[1] 5

这些函数有助于我们快速了解数据集的大小和结构。

6、使用 `names()` 和 `colnames()` / `rownames()` 函数

names()函数返回数据集的变量名（列名）。colnames()和rownames()函数分别返回列名和行名。

例如，查看iris数据集的列名：

> names(iris)
[1] "Sepal.Length" "Sepal.Width"  "Petal.Length" "Petal.Width" 
[5] "Species"

查看行名：

rownames(iris)

> rownames(iris)
  [1] "1"   "2"   "3"   "4"   "5"   "6"   "7"   "8"   "9"   "10" 
 [11] "11"  "12"  "13"  "14"  "15"  "16"  "17"  "18"  "19"  "20" 
 [21] "21"  "22"  "23"  "24"  "25"  "26"  "27"  "28"  "29"  "30" 
 [31] "31"  "32"  "33"  "34"  "35"  "36"  "37"  "38"  "39"  "40" 
 [41] "41"  "42"  "43"  "44"  "45"  "46"  "47"  "48"  "49"  "50" 
 [51] "51"  "52"  "53"  "54"  "55"  "56"  "57"  "58"  "59"  "60" 
 [61] "61"  "62"  "63"  "64"  "65"  "66"  "67"  "68"  "69"  "70" 
 [71] "71"  "72"  "73"  "74"  "75"  "76"  "77"  "78"  "79"  "80" 
 [81] "81"  "82"  "83"  "84"  "85"  "86"  "87"  "88"  "89"  "90" 
 [91] "91"  "92"  "93"  "94"  "95"  "96"  "97"  "98"  "99"  "100"
[101] "101" "102" "103" "104" "105" "106" "107" "108" "109" "110"
[111] "111" "112" "113" "114" "115" "116" "117" "118" "119" "120"
[121] "121" "122" "123" "124" "125" "126" "127" "128" "129" "130"
[131] "131" "132" "133" "134" "135" "136" "137" "138" "139" "140"
[141] "141" "142" "143" "144" "145" "146" "147" "148" "149" "150"

其实，R语言的基本函数已经能够帮助我们很好地进行数据的查阅和初步探索。例如，通过View()函数，我们可以在类似电子表格的窗口中查看整个数据集，方便直观地浏览数据。head()和tail()函数则允许我们查看数据集的前几行和后几行，有助于快速检查数据的起始和结束部分。str()函数能够紧凑地显示数据集的内部结构，包括每个变量的类型和前几个值，这对于快速了解数据的基本信息非常有用。而summary()函数则提供了数据集的描述性统计量，如最小值、最大值、四分位数、中位数和均值等，帮助我们初步了解数据的分布和特征。此外，dim()、nrow()、ncol()、names()等函数能够快速查看数据集的维度、行列数和变量名，为我们提供了必要的元数据信息。

尽管R语言的基本函数已经非常强大，能够满足很多数据查阅和初步探索的需求，但R的真正优势在于其丰富的扩展包。这些扩展包提供了更为强大和灵活的数据处理和分析功能，使我们能够高效地处理复杂的数据分析任务。例如，dplyr包提供了一系列用于数据操作的高效函数，而ggplot2包则是一个功能强大的数据可视化工具，可以创建各种高质量的图表。此外，还有许多用于特定领域的扩展包，如生物信息学的Bioconductor、时间序列分析的xts和zoo等。这些扩展包大大增强了R语言的功能，使其成为数据科学家和统计学家不可或缺的工具。在接下来的部分中，我们将详细探讨部分扩展包及其应用。

～～～～～～～

市面上的 R 语言培训班和书籍（包括网络上的文章或视频），由于受限于培训时间或书籍篇幅，往往难以深入探讨 R 语言在数据科学或人工智能中的具体应用场景，内容泛泛而谈，最终无法真正解决实际工作中的问题。同时，它们也缺乏针对医药领域的深度结合与讨论。为了解决这些痛点，我们推出了《用 R 探索医药数据科学》专栏。该专栏将持续更新，不仅为您提供系统化的学习内容，更致力于成为您掌握最新、最全医药数据科学技术的得力助手。

每篇文章篇幅在5000字至9000字之间。
内容涵盖试验统计、预测模型、科研绘图、数据库、机器学习等热点领域。

《用 R 探索医药数据科学》专栏目录（截止11月份23日）

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

【计算机视觉】Pixel逐像素分类&Mask掩码分类理解摘要

魔乐社区

计算机视觉（opencv）实战三十二——CascadeClassifier 人脸微笑检测（摄像头）

本文从原理到实现，详细介绍了基于 OpenCV Haar 分类器的人脸与微笑检测：讲解了 Haar 特征和级联检测原理。对代码逐行拆解并解释参数含义。画出完整流程图，帮助理解执行过程。给出了常见问题和优化建议，甚至扩展到深度学习方法。这种方法简单、轻量、实时性好，非常适合入门和小型应用项目。但如果需要更高准确率和更强鲁棒性，建议使用深度学习检测器替代 Haar 分类器。