给Python做PySpark环境配置

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1、pymysql 这块大家前面应该安装过，没有安装的话安装一下
pip install -i https://pypi.douban.com/simple pymysql


2、Googlechrome 安装一下


3、selenium
pip install -i https://pypi.douban.com/simple pymysql  selenium


4、安装gensim
conda install gensim
或者使用
pip install gensim


5、安装 jieba
conda install jieba
或
pip install -i https://pypi.douban.com/simple pymysql  jieba


6、Windows 安装 spark


-----1）安装 jdk1.8
---------1.1 双击执行默认安装
---------1.2 配置JAVA_HOME环境变量  C:\Program Files\Java\jdk1.8.0_251
---------1.3 配置path环境变量




-----2)  安装Scala2.12
---------2.1  解压缩后放置在非中文、文件名不含空格的路径下
---------2.2  配置SCALA_HOME变量  C:\Users\edz\Desktop\NLP_BigData\Program\scala-2.12.14
---------2.3  配置path环境变量


-----3）安装spark3.0.3
---------3.1  解压缩后放置在非中文、文件名不含空格的路径下


-----4）安装Hadoop Windows版
---------4.1  解压缩后放置在非中文、文件名不含空格的路径下




-----5）将pyspark 与 py4j 模块复制到 python环境中去
----------5.1将SPARK_HOME/python/lib/下的 py4j-0.10.9-src.zip与 pyspark.zip 分别解压
----------5.2解压的方式选择解压到当前路径下即可，以免造成不必要的问题（import 的时候出错）
----------5.3 将解压后的 两个文件夹放到 Anaconda3/Lib/site-packages 这个文件夹中 ，这样就可以使用pyspark的local模式了


相关安装包链接：https://pan.baidu.com/s/1FhVNq8CZ3o0wmMo7zAZwQg
提取码：tyuq

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：python Spark SPAR Park SPA