如何在hdp(hortonworks数据平台)中安装scala库

dxxyhpgq  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(409)

提前感谢您的阅读时间,并为我的英语不好感到抱歉。
我试图使用Spark流实时数据处理。我已经在hdp(hortonworks数据平台)中安装了spark,对于我的过程,我需要安装一个用于json解析的scala库。我在网上读了很多关于这个的东西,但是它只是一个简单的spark集群而不是像hdp和cdh这样的解决方案,我试图调整这个解决方案,但是我没有,我没有找到任何scala文件来安装它。有人知道有什么解决办法或窍门可以帮我吗?谢谢您

jfgube3f

jfgube3f1#

要在齐柏林飞艇中加载spark的依赖项,您需要创建一个新单元并使用以下命令:

  1. %dep
  2. // it's a good idea to do a reset first, but not required
  3. z.reset()
  4. // the following line will load directly from the Maven online repo
  5. z.load("org.apache.spark:spark-streaming-karka_2.10:1.6.1")

有关齐柏林飞艇加载依赖项的更多详细信息,请参见:https://zeppelin.apache.org/docs/latest/interpreter/spark.html#3-通过dep解释器动态加载依赖项
这里有一点很简单,即依赖项加载必须是您在笔记本上运行的第一个单元格,否则会给您一条错误消息。要解决此问题,请单击“解释器”选项卡,然后单击spark解释器上的“重新启动”,然后返回笔记本并使用%dep运行单元格

相关问题