我在跑步 scala_script.scala 从unix cli获取错误： enycription key missing ，而同样的scala代码在sparkshell中运行良好。
代码用于访问配置单元表将其加载到Dataframe中，处理一些转换，然后再次执行： write.mode("append/overwrite").saveAsTable("my_db.my_table") . 代码为：
import org.apache.spark.sql.hive.HiveContext;
val hc = new org.apache.spark.sql.hive.HiveContext(sc)
val tb_applicant_details=hc.sql("SELECT * FROM staging_mps_25.applicant_details")
tb_applicant_details.write.mode("overwrite").insertInto("spark_tests.new_test_person")
1条答案
按热度按时间xfb7svmp1#
一个好的方法是使用sparkshell的：加载“路径到脚本”。另一个是在sparkshell-i命令中为运行脚本提供正确的驱动程序——driver和set——主线程。比如sparkshell-i-master-warn-driver“com.correct.driver”complete/absolute/path/to/script.scala