• 复制Hive配置文件
    # 将Hive的hive-site.xml复制到Spark配置目录
    cp /opt/hive/conf/hive-site.xml $SPARK_HOME/conf/
     class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

  • 三、验证读写功能
    1. 启动Spark Shell测试
    ./bin/spark-shell --master yarn
     class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
    2. 验证Hive Metastore连接

    四、常见问题与解决
    class="table-box">
    问题解决方案
    ClassNotFoundException检查 spark.sql.hive.metastore.jars 路径是否正确,确保包含所有Hive 3.1.2依赖JAR。
    Hive Metastore连接失败确认 hive-site.xmlhive.metastore.uris 指向正确的Metastore服务地址。
    权限不足配置HDFS目录权限:hdfs dfs -chmod -R 777 /user/hive/warehouse
    版本不兼容使用 mvn dependency:tree 检查依赖冲突,排除冲突的JAR包。

    五、注意事项
    1. 版本一致性

    2. 资源配置优化

    3. 安全加固


    结语
    遵循本指南,可确保Spark 3.1.2与Hive 3.1.2无缝集成,实现高效稳定的数据读写操作。建议定期检查版本兼容性,并参考Spark官方文档Hive社区获取最新支持。

    >>
    注:本文转载自blog.csdn.net的PlutoZuo的文章"https://blog.csdn.net/PlutoZuo/article/details/133637759"。版权归原作者所有,此博客不拥有其著作权,亦不承担相应法律责任。如有侵权,请联系我们删除。
    复制链接

    评论记录:

    未查询到任何数据!