如何从java连接到databricks apache spark的远程示例并将csv文件写入其中?

vi4fp9gy  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(637)

我正在尝试连接到databricks的远程示例,并将csv文件写入dbfs的特定文件夹。我到处都能找到一些零碎的东西,但我不知道该怎么做。如何从本地机器上运行的java程序将文件添加到远程databricks示例的dbfs中?
我当前使用的社区示例是从以下位置创建的:https://databricks.com/try-databricks
这是我的示例的url(我猜“o=7823909094774610”表示我的示例)。
https://community.cloud.databricks.com/?o=7823909094774610
下面是我正在寻找的一些资源,试图解决这个问题,但我仍然无法离开地面:
databricks connect文档:这里讨论的是连接,但不是专门从java。它给出了一个“将eclipse连接到数据块”的示例,这个示例似乎是如何获得这个的jar依赖性(附带的问题是,有mvn版本吗?)。https://docs.databricks.com/dev-tools/databricks-connect.html#run-ide中的示例
一些java示例代码:似乎没有连接到远程databricks示例的示例https://www.programcreek.com/java-api-examples/index.php?api=org.apache.spark.sql.sparksession
databricks文件系统(dbfs)文档:很好地概述了文件功能,但似乎没有具体讨论如何从远程java应用程序连接并将文件从java应用程序写入databricks示例https://docs.databricks.com/data/databricks-file-system.html
filestore文档:提供了一个很好的文件存储概述,但似乎没有具体讨论如何从远程java应用程序执行此操作https://docs.databricks.com/data/filestore.html

tyu7yeag

tyu7yeag1#

您可以看看dbfsrestapi,并考虑在java应用程序中使用它。
如果不需要java解决方案,那么您还可以查看databricks cli。用pip安装后( pip install databricks-cli )您只需:
通过运行以下命令配置cli: databricks configure 主持人:https://community.cloud.databricks.com/?o=7823909094774610
用户名:<您的用户名>
密码:<您的密码>
通过运行以下命令将文件复制到dbfs: databricks fs cp <source> dbfs:/<target>

相关问题