三步搭建 Spark 单机版集群:安装配置虚拟机与 FinalShell 远程管理

一、安装虚拟机

下载CentOS操作系统镜像(百度网盘链接)

通过网盘分享的文件:CentOS-7-x86_64-Everything-2009.iso

链接: https://pan.baidu.com/s/1zHvU699B65E8sEFWpFp0iw?pwd=zjmx 提取码: zjmx

1、打开“Vmware“软件,选择”创建新的虚拟机

2.选择典型,点击下一步

3、选择“安装程序光盘映像文件”,选择下载好的CentOS-7-x86_64-Everything-2009 点击下一步。

 4、输入用户名:spark,密码:123456(密码尽量简单),点击下一步。

5、输入虚拟机名称,选择虚拟机存放位置,点击下一步。

6、磁盘大小设置为40GB,下一步。

7、等待片刻,输入密码即可进入。

二、安装FinalShell,并远程连接虚拟机

1.安装FinalShell。FinalShell安装地址为:””

2.进入终端界面,输入:”ip address”,查看ip地址,如图所示。

3.使用FinalShell连接CentOS虚拟机

4.输入名称,主机ip、用户名、密码,单击确定。

5.弹出图片所示表示连接成功,保存并接受。

三、搭建单机版集群

一、下载安装包(百度网盘)

通过网盘分享的文件:Spark大数据技术与运用

链接: https://pan.baidu.com/s/1nuNEAcxTxTLTAfaXD0Fqsg?pwd=k5i7 提取码: k5i7

二、上传安装包至虚拟机,搭建单机版集群

1.将下载好的安装包拖动至opt目录下,完成上传操作

2.解压Spark安装包至/usr/local/: “tar -zxf /opt/spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/”

3.解压完成后使用:”cd /usr/local/spark-3.2.1-bin-hadoop2.7/bin/” 命令进入安装目录下使用“SparkPi”计算Pi的值 代码如下:”./run-example SparkPi 2″

4.出现如图所示:“Pi is roughly 3.140555702778514”,一个Spark 单机版集群就搭建好了。

大数据

酒店数据分析解决方案(酒店数据分析解决方案案例)

2025-3-1 23:12:22

大数据

大数据应用与服务赛项标语(大数据与应用技能大赛)

2025-3-1 23:12:24

0 条回复 A文章作者 M管理员
欢迎您,新朋友,感谢参与互动!
    暂无讨论,说说你的看法吧