idea创建spark项目(idea配置本地spark)

一、下载需要的软件及其jdk(我选择的版本是jdk1.8,建议不要使用太高版本,不然配置pom.xml容易报错

1、下载IDEA和jdk.
spark-3.3.2-bin-hadoop3.tgz
scala-2.12.0.msi
hadoop-3.3.1.tar.gz

IDEA下载位置:IntelliJ IDEA – 专业 Java 和 Kotlin 开发 IDE

JDK1.8下载位置:https://www.oracle.com/

下载位置:spark-3.3.2-bin-hadoop3.tgz

下载位置:scala-2.12.0.msi

下载位置:hadoop-3.3.1.tar.gz(这里也可以选择3.3.6版本)

二、安装
1、IDEA(IntelliJ IDEA 2024.3)安装,B站上有,这里不多解释
2、JDK安装:第一步,在C盘新建文件夹 “java”,第二步,找到下载好的JDK程序 “双击” 安装。在安装过程中,选择安装到创建好的文件夹 “java”.
第三步,JDK环境变量配置。
右击 “此电脑”:

双击 “path”

最后一直点确定。
3、spark-3.3.2-bin-hadoop3.tgz安装

配置环境变量:

4、scala-2.12.0.msi 安装

安装过程中选择一个空的文件夹位置:例如“D盘下的 “scala”文件夹
配置环境变量:

5、hadoop-3.3.1.tar.gz 安装

复制的地址放到系统环境变量中 “path”中

到这里前期工作已经完成。接下来在IDEA中创建spark工程。 
打开IDEA:点击新建项目

 

 

 

 

最后一步测试: 

 

大数据

git命令行操作(git命令提交代码的正确步骤)

2025-3-4 15:17:16

大数据

本地部署大语言模型 电脑配置(本地部署大语言模型有哪些)

2025-3-4 15:17:19

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧