1、hadoop简介
Hadoop 是一个由Apache软件基金会开发的开源、可靠的分布式计算框架。它的核心设计目标是能够以一种简单、可扩展的方式，处理从GB到PB级别的海量数据集，并能够在上千台普通的商用硬件上运行，提供高容错性。

2、Hadoop的优势
1.高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2.高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
3.高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4.高容错性：能够自动将失败的任务重新分配。

3、安装docker

1、安装依赖包

yum install -y yum-utils device-mapper-persistent-data lvm2

2、配置docker yum源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

3、安装docker

yum install -y docker-ce

4、修改docker配置文件

mkdir /data/docker -p
sudo tee /etc/docker/daemon.json <<-'EOF'
{
   "data-root": "/data/docker"
}
EOF

5、启动docker

systemctl daemon-reload
systemctl enable docker --now
systemctl restart docker

6、安装docker-compose

#下载docker-compose文件

curl -L "https://github.com/docker/compose/releases/download/v2.29.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
#给他一个执行权限
chmod +x /usr/local/bin/docker-compose
ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

#查看是否安装成功
docker-compose --version

4、hadoop安装（非高可用）

4.1、hadoop安装

yum -y install git
git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git
cd docker-compose-hadoop/hadoop
docker-compose -f docker-compose.yaml up -d

查看部署状态

docker-compose -f docker-compose.yaml ps

4.2、访问hadoop

HDFS：http://172.16.17.115:30070

YARN：http://172.16.17.115:30888

5、Hadoop HA部署(高可用)

5.1、hadoop集群安装

git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git
cd docker-compose-hadoop/hadoop-ha
docker-compose -f docker-compose.yaml up -d

查看部署状态

docker-compose -f docker-compose.yaml ps

5.2、访问hadoop

HDFS地址：
http://172.16.17.115:30070
http://172.16.17.115:30071
YARN：http://172.16.17.115:30888

6、简介
Hadoop是开启大数据时代的关键技术，它通过HDFS、MapReduce和YARN三大核心，奠定了分布式处理海量数据的基础架构。