关闭。这个问题需要细节或清晰。它目前不接受答案。
**想改进这个问题吗?**通过编辑这个帖子来添加细节并澄清问题。
两个月前关门了。
改进这个问题
我是scala和spark的新手,想知道如何使用intellij idea停止scala中的硬编码。
我的模式是
val schema="actor_id int,first_name string,last_name string,last_update timestamp"
path = E:\Salman\Hive-Data\actor.csv
1条答案
按热度按时间p8h8hvxi1#
如果不想硬编码,可以使用文件存储配置。
然后,您可以使用java属性类或类型安全配置库或scala.io库来检索代码中的这些信息。
假设您想使用sparkapi读取一些文件,而不想硬编码文件路径。
首先,创建一个文件并保存信息,如下所示:
代码:
读取csv时不需要显式指定模式。如果我们使用如下代码所示的选项,spark.read.csv会处理这个问题,
如果您想显式地指定模式而不进行硬编码,那么再次使用以前的配置文件。
向文件中添加以下内容。
代码:
您可以使用我在开始阅读配置文件时提到的其他可选库。