spark.read.json中的regex

iezvtpos  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(403)

我想从hadoop目录中读取所有在当前时间前一小时有时间戳的json文件。文件名类似于test_

  1. import java.util.Calendar;
  2. import java.text.SimpleDateFormat;
  3. val form = new SimpleDateFormat("yyyyMMddhh");
  4. val c = Calendar.getInstance();
  5. c.add(Calendar.HOUR, -1);
  6. val path ="/Test_"+form.format(c.getTime())+"*";
  7. val test_df = spark.read.json(path)

当我运行这个代码时:路径不存在错误来了。有人能建议如何读取像test_{任何可能的数字组合}这样的文件名吗??

r7xajy2e

r7xajy2e1#

一个快速测试显示你有分钟 form.format(c.getTime()) res2: String = 2020021401 所以把最新的两辆车拆了
当做

相关问题