hdfs 部署

首先完成本地部署大数据集群前置准备，可参考：

本地部署大数据集群前置准备https://blog.csdn.net/m0_73641796/article/details/145994787?spm=1001.2014.3001.5501

1.下载hadoop

下载Hadoop安装包，本文用的是hadoop-3.3.4.tar.gz

2. 集群规划

 3. 上传解压

以下操作在Node1节点执行，以root身份登录

上传hadoop安装包到node1节点

tar -zxf hadoop-3.3.4.tar.gz -C /export/server/

cd /export/server/
ln -s /export/server/hadoop-3.3.4 hadoop

 4. 修改配置文件
 1) 配置works

cd hadoop/etc/hadoop

vim workers
--把localhost换为
node1
node2
node3

2) 配置hadoop-env.sh

vim hadoop-env.sh
--填入以下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

 3) 配置core-site.xml

vim core-site.xml
--填入以下内容

  
    fs.defaultFS
    hdfs://node1:8020
  
  
    io.file.buffer.size
    131072
  

4) 配置hdfs-site.xml

vim hdfs-site.xml
--添加以下内容

  
    dfs.datanode.data.dir.perm
    700
  
  
    dfs.namenode.name.dir
    /data/nn
  
  
    dfs.namenode.hosts
    node1,node2,node3
  
  
    dfs.blocksize
    268435456
  
  
    dfs.namenode.handler.count
    100
  
  
    dfs.datanode.data.dir
    /data/dn
  

 5. 准备数据目录

--在node1节点:
mkdir -p /data/nn
mkdir -p /data/dn

--在node2和node3节点:
mkdir -p /data/dn

 6. 分发Hadoop文件夹

--在node1执行如下命令:
cd /export/server

scp -r hadoop-3.3.4 node2:`pwd`/
scp -r hadoop-3.3.4 node3:`pwd`/

--在node2执行:
ln -s /export/server/hadoop-3.3.4/ hadoop

--在node3执行:
ln -s /export/server/hadoop-3.3.4/ hadoop

 7. 配置环境变量

--在node1,node2,node3均执行以下操作:

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

 8. 授权hadoop用户

chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

 9. 格式化HDFS文件系统

su - hadoop
hadoop namenode -format

10. 启动集群

--启动hdfs集群
start-dfs.sh

--关闭hdfs集群
stop-dfs.sh

 通过jps可查看正在运行的java进程

11. 查看HDFS WEBUI

在浏览器输入 node1:9870，即可查看