pyspark版本3.1.3
需要文件
- graphframes-0.8.2-spark3.1-s_2.12.jar
- spark-graphx_2.12-3.1.3.jar
- 從 https://github.com/microsoft/adb2spark/raw/main/graphframes-0.8.2-py3-none-any.whl 下載graphframes-0.8.2-py3-none-any.whl。下載后把whl后綴改成zip,解壓后其中一個文件夾是graphframes,直接把這個文件夾壓縮成graphframes.zip
--jars graphframes-0.8.2-spark3.1-s_2.12.jar,spark-graphx_2.12-3.1.3.jar
--py-files graphframes.zip
驗證是不是成功
from graghframes import GraphFrame