一、下载需要的软件及其jdk(我选择的版本是jdk1.8,建议不要使用太高版本,不然配置pom.xml容易报错。
1、下载IDEA和jdk.
spark-3.3.2-bin-hadoop3.tgz
scala-2.12.0.msi
hadoop-3.3.1.tar.gz
IDEA下载位置:IntelliJ IDEA – 专业 Java 和 Kotlin 开发 IDE
JDK1.8下载位置:https://www.oracle.com/
下载位置:spark-3.3.2-bin-hadoop3.tgz
下载位置:scala-2.12.0.msi
下载位置:hadoop-3.3.1.tar.gz(这里也可以选择3.3.6版本)
二、安装
1、IDEA(IntelliJ IDEA 2024.3)安装,B站上有,这里不多解释
2、JDK安装:第一步,在C盘新建文件夹 “java”,第二步,找到下载好的JDK程序 “双击” 安装。在安装过程中,选择安装到创建好的文件夹 “java”.
第三步,JDK环境变量配置。
右击 “此电脑”:
双击 “path”
最后一直点确定。
3、spark-3.3.2-bin-hadoop3.tgz安装
配置环境变量:
4、scala-2.12.0.msi 安装
安装过程中选择一个空的文件夹位置:例如“D盘下的 “scala”文件夹
配置环境变量:
5、hadoop-3.3.1.tar.gz 安装
复制的地址放到系统环境变量中 “path”中
到这里前期工作已经完成。接下来在IDEA中创建spark工程。
打开IDEA:点击新建项目
最后一步测试: