需要在google云存储上运行mapreduce程序的帮助吗

du7egjpx  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(244)

我使用谷歌云存储hadoop2.3.0使用gcs连接器。
我已经在hadoop安装的lib目录中添加了gcs.jar,并在中添加了gcs连接器的路径 hadoop-env.sh 文件格式:

export HADOOP_CLASSPATH=${HADOOP_CLASSPATH:"/share/hadoop/common/lib/gcs_connector"}

我也做了一些改变 core-site.xml hadoop安装文件为:

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://127.0.0.1:9000</value>
   </property>
   <property>
   <name>fs.gs.impl</name>
   <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem</value>
   <description>The FileSystem for gs: (GCS) uris.</description>
   </property>
   <property>
   <name>fs.AbstractFileSystem.gs.impl</name>
   <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS</value>
   <description>The AbstractFileSystem for gs: (GCS) uris. Only necessary for use with Hadoop 2.
  </description>
  </property>
  <property>
  <name>fs.gs.impl</name>
  <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem</value>
  </property>
  <property>
  <name>fs.gs.project.id</name>
  <value>1113</value>
  </property>
  <property>
  <name>fs.gs.system.bucket</name>
  <value>hadoop1</value>
  </property>
  <property>
  <name>fs.gs.working.dir</name>
  <value>/</value>
  </property>
  <property>
  <name>fs.gs.auth.service.account.enable</name>
  <value>true</value>
  </property>
  <property>
  <name>fs.gs.auth.service.account.email</name>
  <value>7168543aovnjqaf1e7sumil@developer.gserviceaccount.com</value>
  </property>
  <property>
  <name>fs.gs.auth.service.account.keyfile</name>
  <value>C://hadoop-2.3.0/etc/hadoop/gcskey.p12</value>
  </property>
  <property>
  <name>fs.gs.auth.client.id</name>
  <value>7168543aovnjqaf1e7sumil.apps.googleusercontent.com</value>
   </property>

我创建的项目的帐单帐户也已启用。
我创建了一个桶,桶中的内容对我来说是可见的,使用:

hadoop fs -ls gs://hadoop1

我尝试了hadoop的click to deploy选项,为hadoop和vm示例创建了主节点和工作节点。
我安装了gcloud进行身份验证登录。还创建了git存储库。
我关注了谷歌上的mapreduce文章,但它对完整的指导毫无帮助。
问:我想在云上使用部署的hadoop运行java开发的mapreduce程序?我在程序中为输入和输出文件提供什么路径?
我的程序在hadoop平台上运行良好。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题