不使用mapreduce将普通java代码转换为hadoop代码?

yr9zkbsy  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(383)

我目前正在研究hadoop。我想把我的java代码转换成hadoop。我希望我的代码与hdfs一起工作。i、 我的代码是正常的文件系统,我希望它与hdfs(高清文件系统)工作。我希望下面的代码在hadoop(hd文件系统)中工作。

  1. import java.io.File;
  2. import java.io.FileInputStream;
  3. import java.io.FileOutputStream;
  4. import java.io.IOException;
  5. import java.util.zip.GZIPInputStream;
  6. import java.util.zip.GZIPOutputStream;
  7. public class GZIPExample {
  8. public static void gzip() {
  9. int i = new File("/media/0052ADF152ADEC1A/all splits").list().length;
  10. System.out.println(i + "here");
  11. while (i > 0) {
  12. String file = "/media/0052ADF152ADEC1A/all splits/File" + i + ".txt";
  13. String gzipFile = "/media/0052ADF152ADEC1A/compress/Filegz" + i + ".gz";
  14. String newFile = "/media/0052ADF152ADEC1A/all/hadoop ebooks/test1.txt";
  15. compressGzipFile(file, gzipFile);
  16. decompressGzipFile(gzipFile, newFile);
  17. i--;
  18. }
  19. }
  20. private static void decompressGzipFile(String gzipFile, String newFile) {
  21. try {
  22. FileInputStream fis = new FileInputStream(gzipFile);
  23. GZIPInputStream gis = new GZIPInputStream(fis);
  24. FileOutputStream fos = new FileOutputStream(newFile);
  25. byte[] buffer = new byte[1024];
  26. int len;
  27. while ((len = gis.read(buffer)) != -1) {
  28. fos.write(buffer, 0, len);
  29. }
  30. //close resources
  31. fos.close();
  32. gis.close();
  33. } catch (IOException e) {
  34. e.printStackTrace();
  35. }
  36. }
  37. private static void compressGzipFile(String file, String gzipFile) {
  38. try {
  39. FileInputStream fis = new FileInputStream(file);
  40. FileOutputStream fos = new FileOutputStream(gzipFile);
  41. GZIPOutputStream gzipOS = new GZIPOutputStream(fos);
  42. byte[] buffer = new byte[1024];
  43. int len;
  44. while ((len = fis.read(buffer)) != -1) {
  45. gzipOS.write(buffer, 0, len);
  46. }
  47. //close resources
  48. gzipOS.close();
  49. fos.close();
  50. fis.close();
  51. } catch (IOException e) {
  52. e.printStackTrace();
  53. }
  54. }
  55. }
ar5n3qh5

ar5n3qh51#

我建议您开始阅读和理解mapreduce代码的外观及其必须实现的功能:
https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html
然后你就会明白没有“转化”。在一个非常高级的视图中,mapreducejava代码是一种将代码分为两个阶段的方法:map和reduce
在您的示例中,您似乎希望使用并行计算对大量文件进行解压缩,因此您应该尝试将mapreduce代码编写为一个两步的文件解压缩过程。对不起,我从来没有面对过压缩算法。

dldeef67

dldeef672#

下面给出了一个java代码示例和处理hadoop文件系统的示例:
https://sites.google.com/site/hadoopandhive/home/how-to-read-all-files-in-a-directory-in-hdfs-using-hadoop-filesystem-api
你可以把这个作为参考。

相关问题