一、安装虚拟机
下载CentOS操作系统镜像(百度网盘链接)
通过网盘分享的文件:CentOS-7-x86_64-Everything-2009.iso
链接: https://pan.baidu.com/s/1zHvU699B65E8sEFWpFp0iw?pwd=zjmx 提取码: zjmx
1、打开“Vmware“软件,选择”创建新的虚拟机
2.选择典型,点击下一步。
3、选择“安装程序光盘映像文件”,选择下载好的CentOS-7-x86_64-Everything-2009 点击下一步。
4、输入用户名:spark,密码:123456(密码尽量简单),点击下一步。
5、输入虚拟机名称,选择虚拟机存放位置,点击下一步。
6、磁盘大小设置为40GB,下一步。
7、等待片刻,输入密码即可进入。
二、安装FinalShell,并远程连接虚拟机
1.安装FinalShell。FinalShell安装地址为:””
2.进入终端界面,输入:”ip address”,查看ip地址,如图所示。
3.使用FinalShell连接CentOS虚拟机
4.输入名称,主机ip、用户名、密码,单击确定。
5.弹出图片所示表示连接成功,保存并接受。
三、搭建单机版集群
一、下载安装包(百度网盘)
通过网盘分享的文件:Spark大数据技术与运用
链接: https://pan.baidu.com/s/1nuNEAcxTxTLTAfaXD0Fqsg?pwd=k5i7 提取码: k5i7
二、上传安装包至虚拟机,搭建单机版集群
1.将下载好的安装包拖动至opt目录下,完成上传操作
2.解压Spark安装包至/usr/local/: “tar -zxf /opt/spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/”
3.解压完成后使用:”cd /usr/local/spark-3.2.1-bin-hadoop2.7/bin/” 命令进入安装目录下使用“SparkPi”计算Pi的值 代码如下:”./run-example SparkPi 2″
4.出现如图所示:“Pi is roughly 3.140555702778514”,一个Spark 单机版集群就搭建好了。