寻找hadoop、hive、spark对应版本

一开始装了hadoop3.2.1+hive3.1.2+spark3.0.0，整个安装虽然有一些些jar包版本冲突问题但都解决了，直到写spark-sql的时候执行，sparkSession.sql("……")的时候报了一个类找不到问题，一眼看过去就觉得应该又是包冲突了，然后，从pom.xml引入的包版本冲突开始解决，最后演变成，解决A问题，发现了B问题，又遇到D问题……一种坑越挖越大的感觉。说白了

16503人浏览 · 2020-08-19 23:37:17

 ·  2020-08-19 23:37:17 发布

1、spark对应的环境

http://spark.apache.org/documentation.html

2、找spark和hive版本

 http://spark.apache.org/docs/3.0.0/building-spark.html#specifying-the-hadoop-version-and-enabling-yarn

​​​​​​​

 

3、找hadoop版本

       进入hive官网https://hive.apache.org/downloads.html，可以看到hive对应的hadoop版本

# hadoop

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

加入社区

更多推荐

• · 软考中级-软件设计师 UML图详解（ 类图，对象图，用例图，序列图，通信图，状态图，活动图，构件图，部署图）
• · 机器学习 决策树-分类
• · 【SD教程】超详细AI绘画提示词语法讲解！

软考中级-软件设计师 UML图详解（ 类图，对象图，用例图，序列图，通信图，状态图，活动图，构件图，部署图）

2048 AI社区

机器学习 决策树-分类

2048 AI社区

【SD教程】超详细AI绘画提示词语法讲解！

2048 AI社区

欢迎加入社区

取消 确定