我从hadoop生态系统开始，我面临一些问题，需要你的帮助。
我有两个hdfs文件，需要执行levenshtein distance，第一个列的一组列与第二个列的另一组列之间的距离。
这个过程每天都要执行相当大的数据量（第一个文件中有1.5亿行，第二个文件中有1100万行）。
我会很感激有一些指导（代码示例，参考资料等），我可以从hdfs读取我的两个文件执行levenshtein距离（使用spark？）如所述，并保存在第三个hdfs文件的结果。
事先非常感谢。
我从hadoop生态系统开始，我面临一些问题，需要你的帮助。
我有两个hdfs文件，需要执行levenshtein distance，第一个列的一组列与第二个列的另一组列之间的距离。
这个过程每天都要执行相当大的数据量（第一个文件中有1.5亿行，第二个文件中有1100万行）。
我会很感激有一些指导（代码示例，参考资料等），我可以从hdfs读取我的两个文件执行levenshtein距离（使用spark？）如所述，并保存在第三个hdfs文件的结果。
事先非常感谢。
1条答案
按热度按时间kzmpq1sx1#
我猜你有csv文件，所以你可以直接读取Dataframe：
这个
spark.sql.functions模块conatinsdeflevenshtein(l: Column, r: Column): Column函数，因此如果要传递一组可以接受的列，则需要作为参数传递字符串类型的dataframe列concat('col1,'col2,..)函数来连接多个列并将它们传递给上一个函数。如果有2个或更多的Dataframe，则必须将它们合并到一个Dataframe中，然后执行距离计算。最后，您可以使用df.write.csv("path")