我需要根据特定条件从文件中的20GB数据中获取唯一的JSON记录（取决于queryId）。文件中的每一行都是一条JSON记录。例如：{"sessionID":"xyz","appID":"abc","tenantID":"123","realmId":"buyer_2021","topology":"top456","queryId":"12346278","signalType":"USER_QUERY_RESULTS",XYZ content.....}
{"sessionID":"xyz","appID":"abc","tenantID":"123","realmId":"buyer_2021","topology":"top456","queryId":"12346278","signalType":"USER_QUERY_RESULTS",XYZ content.....}
dgenwo3n1#
文件中的每一行都是一条JSON记录。从Spark开始。您不需要Hadoop来处理仅20 GB的数据
val df = spark.read.json("file.json")
这样，您就可以选择/filter/groupBy等查询ID字段。https://spark.apache.org/docs/latest/sql-data-sources-json.html
1条答案
按热度按时间dgenwo3n1#
文件中的每一行都是一条JSON记录。
从Spark开始。您不需要Hadoop来处理仅20 GB的数据
这样，您就可以选择/filter/groupBy等查询ID字段。
https://spark.apache.org/docs/latest/sql-data-sources-json.html