我的意见是 HBase table。首先我加载数据和函数 withCatalog 会回来的 Dataframe .
def withCatalog(cat: String): DataFrame = {
sqlContext
.read
.options(Map(HBaseTableCatalog.tableCatalog -> cat))
.format("org.apache.hadoop.hbase.spark")
.load()
}
val allrulesDF = withCatalog("personDb:employeeTable")
allrulesDF.show()
``` `HBaseTableCatalog` 显示以下错误的行
符号 `term <none>.yetus.audience` 不见了 `classpath.` 此符号是必需的 `<none>` . 确保术语访问群体在类路径中，并检查与 `-Ylog-classpath` . 完全重建可能会有所帮助，如果 `HBaseTableCatalog.class` 是根据的不兼容版本编译的 `<none>.yetus` .
符号 `term org.apache.yetus` 类路径中缺少。此符号是必需的 `<none>` . 确保术语yetus在类路径中，并检查与 `-Ylog-classpath` . 完全重建可能会有所帮助，如果 `HBaseTableCatalog.class` 是根据的不兼容版本编译的 `org.apache` .
1条答案
按热度按时间fjaof16o1#
这是因为spark无法加载hbase jar。
如果您使用hbase2.1+，您可以在路径中找到jar，比如访问注解-*.jar等等
$HBASE_HOME/lib/client-facing-thirdparty.把这些jar移到Spark罐上。