有人觉得在pig0.11上运行脚本很慢吗？我已经在与pig0.11和pig0.8相同的环境中运行了脚本。Pig0.8总是更快。评论？
xurqigkl1#
是不是因为你 LOAD 声明 USING PigStorage() 匹配很多文件？ PigStorage() 在pig0.11中，默认情况下，检查hdfs上的模式文件以查找匹配的文件。如果您正在读取大量文件，这会使其速度非常慢。使用 x = LOAD '...' USING PigStorage('...','-noschema') . 使用-noschema将避免查找模式文件，您应该重新加快速度。更多信息请点击此处。
LOAD
USING PigStorage()
PigStorage()
x = LOAD '...' USING PigStorage('...','-noschema')
1条答案
按热度按时间xurqigkl1#
是不是因为你
LOAD声明USING PigStorage()匹配很多文件？PigStorage()在pig0.11中，默认情况下，检查hdfs上的模式文件以查找匹配的文件。如果您正在读取大量文件，这会使其速度非常慢。使用
x = LOAD '...' USING PigStorage('...','-noschema'). 使用-noschema将避免查找模式文件，您应该重新加快速度。更多信息请点击此处。