如何设置Databricks集群策略以引用Oracle jar文件?我正在通过JSON创建策略(在UI中,创建策略时不允许查看Libraries选项卡)。我做了大量研究,尚未找到合适的答案。我的JSON到目前为止看起来像这样:
“init_scripts.0.dbfs.destination”:{“type”:“fixed”,“value”:“dbfs:/FileStore/../ojdbc.jar”}
上面的代码不起作用,因为Oracle jar文件不是init_script,并且在运行作业时出现错误。试图找出是否有特定的策略字段名称可以替换“init_scripts.0.dbfs.destination”。这是我得到的错误:
- 运行结果不可用:运行失败并显示错误消息等待群集(XXX)准备就绪时出现意外故障:群集XXX处于意外状态终止:INIT_WARST_FAILURE(CLIENT_ERROR):instance_id:X-Error,databricks_error_message:群集作用域的初始化脚本dbfs:/FileStore/./ojdbc.jar失败:尝试5次后超时并出现异常(debugStr = '阅读远程文件以执行初始化脚本'),原因:java.lang.IllegalArgumentException:在dbfs执行初始化脚本:/FileStore/./ojdbc8.jar(4210517字节)超过了允许的最大大小65536字节。*
PS:上面的错误消息被编辑以删除确切的集群名称,ID,以及Oracle jar文件的完整文件路径+名称。
手动编辑JSON文件。希望Oracle Jar文件能够成功加载,通过让Notebook执行JDBC查询来测试。
1条答案
按热度按时间c90pui9n1#
您正在使用的代码试图将
.jar.
文件用作init脚本-这是不正确的。策略中的库未在策略定义中指定,但应通过UI填充,或使用Cluster Policies Create API中的libraries
块。x1c 0d1x的数据
P.S.如果你在UI中没有看到Libraries部分,那么可能它还没有为你的地区发布。