我是hadoop和hdfs的新手。我想我的问题和这个帖子有点关系。实际上，我正在尝试在hdfs中创建10gb大小的空文件。truncate命令失败，因为指定大于现有文件大小的文件大小似乎是被禁止的。在这种情况下，有什么选择？例如，在linux系统中，可以使用“truncate”命令设置任意文件大小。
d8tt03nd1#
您可以使用testdfsio直接在hdfs中创建所需大小的文件。程序testdfsio打包在jar文件“hadoop mapreduce client jobclient tests.jar”中。这个jar随hadoop安装而来，在下面的命令中找到这个jar并提供这个jar的路径。 hadoop jar <PATH_OF_JAR_hadoop-mapreduce-client-jobclient-tests.jar> TestDFSIO -write -nrFiles 1 -fileSize 10GB 其中，“nrfiles”是文件数，“filesize”是要生成的每个文件大小。文件将在路径处生成 /benchmarks/TestDFSIO/ 在hdfs中。
hadoop jar <PATH_OF_JAR_hadoop-mapreduce-client-jobclient-tests.jar> TestDFSIO -write -nrFiles 1 -fileSize 10GB
/benchmarks/TestDFSIO/
1条答案
按热度按时间d8tt03nd1#
您可以使用testdfsio直接在hdfs中创建所需大小的文件。
程序testdfsio打包在jar文件“hadoop mapreduce client jobclient tests.jar”中。这个jar随hadoop安装而来，在下面的命令中找到这个jar并提供这个jar的路径。
hadoop jar <PATH_OF_JAR_hadoop-mapreduce-client-jobclient-tests.jar> TestDFSIO -write -nrFiles 1 -fileSize 10GB其中，“nrfiles”是文件数，“filesize”是要生成的每个文件大小。文件将在路径处生成
/benchmarks/TestDFSIO/在hdfs中。