大数据生态圈集群搭建汇总--Hadoop & Hive & Spark & Kafka & HBase & Sqoop & Flume

diaodu2028

356人浏览 · 2018-12-18 10:01:00

diaodu2028 · 2018-12-18 10:01:00 发布

集群搭建

集群规划汇总
Linux 环境准备
Hadoop Ha 集群搭建
Yarn 搭建
Hive 搭建
Spark 搭建
- Spark Standalone 模式
- Spark Yarn 模式
Kafka 搭建
Hbase 搭建
Sqoop 搭建
Flume 搭建

本文将持续更新…

集群规划汇总

角色	node01	node02	node03	node04	client
Hadoop-NameNode	√(主)	√(备)
Hadoop-DataNode		√	√	√
JournalNode	√	√	√
zookeeper		√	√	√
ZookeeperFailoverController	√	√
Hadoop-Client					√
Yarn-ResourceManager	√(主)	√(备)
Yarn-NodeManager		√	√	√
Yarn-Client					√
Hive-Server					√
Hive-Metastore(mysql)					√
Hive-client	√

Linux 环境准备

博客地址: (一)Linux环境搭建

Hadoop Ha 集群搭建

博客地址: (二)高可用完全分布式搭建

Yarn 搭建

博客地址: (三)Yarn资源调度器搭建

Hive 搭建

博客地址: (四)Hive搭建的三种模式

Spark 搭建

Spark Standalone 模式

博客地址:

Spark Yarn 模式

博客地址:

Kafka 搭建

博客地址:

Hbase 搭建

博客地址:

Sqoop 搭建

博客地址:

Flume 搭建

博客地址:

转载于:https://www.cnblogs.com/skisqibao/p/10278968.html

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模