使用docker进行构建单机伪分布式hadoop环境。
- hadoop版本:2.7.7
- spark版本:3.1.1
- jdk版本:1.8
- hive版本:待添加
- Hbase版本:1.4.13
ps:请先确保wsl或者linux虚拟机中的 git 、docker 和 make 是可用的。
镜像内的用户密码为:qwe
git clone git@github.com:Liuyang0001/docker-hadoop.git
进到仓库目录下:
cd docker-hadoop
使用make语句进行拉取docker镜像:
make pull
make up
make bash
启动hadoop伪分布式:
cd ~/onekey
sh run.sh
打开网址查看:
http://localhost:50070/
关闭hadoop集群
sh ~/onekey/stop.sh #关闭hadoop
exit # 退出bash
make down
Enjoy it.