【20250607接單】Spark + Scala + IntelliJ 項目的開發環境配置從零教學

本教程適用于零基礎一臺剛裝好 Windows 的全新電腦開始,搭建能運行 Spark + Scala + IntelliJ 項目的開發環境。以下是超詳細、小白級別逐步教程,從“下載什么”到“點擊哪里”都幫你列清楚。


🎯 目標

  • 操作系統:Windows10/11
  • 工具:openJDK、Scala、Spark、sbt、IntelliJ IDEA、winutils
  • 最終效果:在 IntelliJ 中運行你上傳的 Spark 程序(Explore.scala)

🧰 一、安裝開發工具(5 步)

? 1. 安裝 openJDK(Java)

📥 下載地址(華為鏡像):

👉 https://mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/windows/
在這里插入圖片描述

🚀 安裝步驟:
  • 雙擊安裝,點“下一步”即可。
  • 修改設置或重寫JAVA_HOME變量,點擊下一步,完成安裝。
    在這里插入圖片描述
? 測試:

打開命令提示符(Win + R 輸入 cmd):
在這里插入圖片描述
輸入命令行:

java -version

在這里插入圖片描述


? 2. 安裝 Scala

📥 下載地址(官網):

👉 https://www.scala-lang.org/download/2.12.20.html
在這里插入圖片描述

🚀 安裝步驟:
  • 雙擊 .msi 安裝
  • 一路next
    在這里插入圖片描述
? 測試:

打開命令提示符(Win + R 輸入 cmd):

scala -version

在這里插入圖片描述


? 3. 安裝 Spark

📥 下載地址(Spark 3.5.6,清華源):

👉 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.6/
在這里插入圖片描述

🚀 安裝步驟:
  1. 解壓縮 .tgz 文件到任意目錄(不要解壓在包含中文或空格的路徑下)
  2. 得到目錄:spark-3.5.6-bin-hadoop3
?? 配置環境變量:

打開「控制面板」→「系統」→「高級系統設置」→「環境變量」

  • 找到 系統變量下的Path
  • 添加 spark安裝目錄\binPath
    在這里插入圖片描述
? 測試:
spark-shell --version

在這里插入圖片描述


? 4. 安裝 Hadoop Winutils(適配 Windows)

📥 下載地址(Gitee):

👉 https://github.com/cdarlint/winutils/tree/master/hadoop-3.3.5/bin

下載:

  • winutils.exe

winutils.exe復制到:(自己創建)

C:\hadoop\bin\
?? 配置環境變量:
  • 添加 C:\hadoop\binPath
? 測試:
winutils.exe

在這里插入圖片描述


? 5. 安裝 sbt(Scala 構建工具)

📥 下載地址(官網):

👉 https://www.scala-sbt.org/download/
在這里插入圖片描述

🚀 安裝步驟:
  • 雙擊安裝,默認設置即可
    在這里插入圖片描述
? 測試:
sbt sbtVersion

在這里插入圖片描述


💻 二、安裝 IntelliJ IDEA + 配置項目

? 1. 下載 IntelliJ IDEA 社區版(免費)

👉 官網:https://www.jetbrains.com/idea/download
在這里插入圖片描述
在這里插入圖片描述

下載安裝后,打開IDEA

? 安裝插件:

  • ? Scala(必須)
    在這里插入圖片描述

? 2. 創建新 Scala + sbt 項目

📁 項目結構(自動生成):
🚀 創建步驟:
  1. 打開 IntelliJ IDEA → File > New > Project

  2. 左側選擇 Scala → 右側選 sbt

  3. 配置:

    • 項目名:test
    • Scala SDK:選擇 2.12.20
    • sbt 版本:1.11.1
  4. 創建完成
    在這里插入圖片描述


? 3. 編輯 build.sbt

ThisBuild / version := "0.1.0-SNAPSHOT"ThisBuild / scalaVersion := "2.12.20"lazy val root = (project in file(".")).settings(name := "test")libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "3.5.6","org.apache.spark" %% "spark-sql" %  "3.5.6","org.apache.spark" %% "spark-hive" % "3.5.6"
)

在這里插入圖片描述


📄 三、運行你的代碼文件

在scala文件夾下新建Explore.scala文件
在這里插入圖片描述在這里插入圖片描述

將你的代碼文件復制 Explore.scala 中:
在這里插入圖片描述
sbt下載配置依賴:
在這里插入圖片描述
代碼文件修改以下地方:
其中第三處文件位置填你自己csv文件存放的地址。
在這里插入圖片描述
點擊綠色三角運行即可:
在這里插入圖片描述
出現如下結果即代碼運行正常。
在這里插入圖片描述


本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/908531.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/908531.shtml
英文地址,請注明出處:http://en.pswp.cn/news/908531.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【ubuntu】虛擬機安裝配置,sh腳本自動化,包含 apt+時間同步+docker+mysql+redis+pgsql

可以說是ubuntu基礎環境搭建合集,個人學習用,使用sh一鍵安裝,避免復制各種命令 流程主要包括 0. 可選擇不同ubuntu版本對應安裝(支持 Ubuntu 20.04/22.04/23.04/24.04) 1. apt換源aliyun 2. 時間選擇上海時區&#x…

Rust 學習筆記:關于智能指針的練習題

Rust 學習筆記:關于智能指針的練習題 Rust 學習筆記:關于智能指針的練習題問題一問題二問題三問題四問題五問題六問題七問題八問題九問題十問題十一 Rust 學習筆記:關于智能指針的練習題 參考視頻: https://www.bilibili.com/vi…

JavaScript ES6 解構:優雅提取數據的藝術

JavaScript ES6 解構:優雅提取數據的藝術 在 JavaScript 的世界中,ES6(ECMAScript 2015)的推出為開發者帶來了許多革命性的特性,其中“解構賦值”(Destructuring Assignment)無疑是最受歡迎的功…

Shell 命令及運行原理 + 權限的概念(7)

文章目錄 Shell 命令以及運行原理(4-1.22.08)Linux權限的概念1. 什么是權限2. 認識人(普通用戶,root用戶)以及兩種用戶的切換認識普通用戶和root用戶兩種用戶之間的切換指令提權 3. 文件的屬性解析 權限屬性指令ll顯示…

以智能管理為基礎,樓宇自控打造建筑碳中和新路徑

在全球氣候變化的嚴峻形勢下,“碳中和”已成為各國發展的重要戰略目標。建筑行業作為能源消耗與碳排放的“大戶”,其運行階段的能耗占全社會總能耗近40%,碳排放占比與之相當,實現建筑碳中和迫在眉睫。傳統建筑管理模式下&#xff…

Python爬蟲實戰:研究Hyper 相關技術

一、項目概述 本項目展示了如何結合 Python 的異步編程技術與 Hyper 框架開發一個高性能、可擴展的網絡爬蟲系統。該系統不僅能夠高效地爬取網頁內容,還提供了 RESTful API 接口,方便用戶通過 API 控制爬蟲的運行狀態和獲取爬取結果。 二、系統架構設計 1. 整體架構 系統采…

html 滾動條滾動過快會留下邊框線

滾動條滾動過快時,會留下邊框線 但其實大部分時候是這樣的,沒有多出邊框線的 滾動條滾動過快時留下邊框線的問題通常與滾動條樣式和滾動行為有關。這種問題可能出現在使用了自定義滾動條樣式的情況下。 注意:使用方法 6 好使,其它…

【Linux】Ubuntu 創建應用圖標的方式匯總,deb/appimage/通用方法

Ubuntu 創建應用圖標的方式匯總,deb/appimage/通用方法 對于標準的 Ubuntu(使用 GNOME 桌面),desktop 后綴的桌面圖標文件主要保存在以下三個路徑: 當前用戶的桌面目錄(這是最常見的位置)。所…

【自然語言處理】大模型時代的數據標注(主動學習)

文章目錄 A 論文出處B 背景B.1 背景介紹B.2 問題提出B.3 創新點 C 模型結構D 實驗設計E 個人總結 A 論文出處 論文題目:FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models發表情況:2023-EMNLP作者單位:浙江大…

【論文解讀】DeepSeek-R1

文章目錄 概覽一、DeepSeek-R1-Zero:在 Base Model 上直接進行 RL(一)強化學習算法(二)獎勵模型(三)數據構造(四)DeepSeek-R1-Zero 的性能、自我進化過程和 Aha Moment1.…

巴西醫療巨頭尤邁Kafka數據泄露事件的全過程分析與AI安防策略分析

一、事件背景與主體信息 涉事主體:Unimed,全球最大醫療合作社,巴西醫療行業龍頭企業,擁有約1500萬客戶。技術背景:泄露源于其未保護的Kafka實例(開源實時數據傳輸平臺),用于客戶與聊天機器人“Sara”及醫生的實時通信。二、時間線梳理 時間節點關鍵事件描述2025年3月24…

軟信天成:數據驅動型背后的人工智能,基于機器學習的數據管理

在數字化轉型浪潮中,當代企業如同逆水行舟,不進則退。無數企業希望通過數字化轉型捕獲全新的市場機遇,改善財政狀況,在未來市場競爭中占據一席之地。要想獲得成功的數字化轉型,關鍵因素在于具備可靠、及時的數據用以支…

如何理解 IP 數據報中的 TTL?

目錄 前言理解 前言 面試靈魂一問:說說對 IP 數據報中 TTL 的理解?我們都知道,IP 數據報由首部和數據兩部分組成,首部又分為兩部分:固定部分和可變部分,共占 20 字節,而即將討論的 TTL 就位于首…

【Java學習筆記】StringBuilder類(重點)

StringBuilder(重點) 1. 基本介紹 是一個可變的字符串序列。該類提供一個與 StringBuffer 兼容的 API,但不保證同步(StringBuilder 不是線程安全的) 該類被設計用作 StringBuffer 的一個簡易替換,用在字符…

計算機網絡 | 1.2 計算機網絡體系結構與參考模型

計算機網絡體系結構與參考模型 目錄 計算機網絡體系結構與參考模型 【思維導圖】 1、計算機的分層結構 1、為什么要分層? 2、什么是計算機網絡體系結構 2、計算機網絡協議、接口和服務 1)協議: 2)接口: 3…

微軟的新系統Windows12未來有哪些新特性

在今年即將到來的重大設計升級中,蘋果計劃對其全線操作系統統一按年份命名,作為另一巨頭微軟的win12還遠嗎?win11和win10是微軟現在正在用的主流版本,win11系統發布于2021年6月24日,win10系統發布于2015年7月29日。預計win12嘗鮮版可能在2025年下半年或明年。 盡管win12還…

制造業數智化卡在知識斷層?R2AIN SUITE AI知識管理打通關鍵經絡

在一家工廠里,工程師正面臨棘手難題——某機器異常振動的處理方案。他的筆記本記錄著三年前類似案例的解決方案,但翻查半小時仍未找到關鍵參數。與此同時,工廠的碳排放監控系統顯示,因設備停機導致的額外能源損耗已使產線碳強度有…

構造數列中的常見變形總結

前情概要 針對高考中構造數列的常見變形做一總結,便于梳理思路,提升思維。 類型Ⅰ: 形如 a n + 1 = p ? a n + q a_{n+1}=p\cdot a_n+q an+1?=p?an?+q, p , q p,q p,q為常數,即 a n + 1 = f ( a n ) a_{n+1}=f(a_n) an+1?=f(an?),構造變形方向: 其一: a n…

全國縣域統計年鑒PDF-Excel電子版-2022年

全國縣域統計年鑒PDF-Excel電子版-2022年.ziphttps://download.csdn.net/download/2401_84585615/89784662 https://download.csdn.net/download/2401_84585615/89784662 《中國縣域統計年鑒》是一部全面反映中國縣域社會經濟發展狀況的資料性年鑒。自2014年起,該年…

81 實戰一:給root目錄擴容

添加一塊100G硬盤 vgextend centos /dev/sdb1 /dev/sdc lvextend -L +120G /dev/centos/root xfs_growfs /dev/centos/root df -h 看是否擴容成功 82 實戰二:給swap空間擴容 添加一塊20G硬盤 fdisk -l 可以看到新添加的硬盤 vgextend centos /dev/sdd …