我使用谷歌云存储hadoop2.3.0使用gcs连接器。
我已经在hadoop安装的lib目录中添加了gcs.jar,并在中添加了gcs连接器的路径 hadoop-env.sh
文件格式:
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH:"/share/hadoop/common/lib/gcs_connector"}
我也做了一些改变 core-site.xml
hadoop安装文件为:
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<property>
<name>fs.gs.impl</name>
<value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem</value>
<description>The FileSystem for gs: (GCS) uris.</description>
</property>
<property>
<name>fs.AbstractFileSystem.gs.impl</name>
<value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS</value>
<description>The AbstractFileSystem for gs: (GCS) uris. Only necessary for use with Hadoop 2.
</description>
</property>
<property>
<name>fs.gs.impl</name>
<value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem</value>
</property>
<property>
<name>fs.gs.project.id</name>
<value>1113</value>
</property>
<property>
<name>fs.gs.system.bucket</name>
<value>hadoop1</value>
</property>
<property>
<name>fs.gs.working.dir</name>
<value>/</value>
</property>
<property>
<name>fs.gs.auth.service.account.enable</name>
<value>true</value>
</property>
<property>
<name>fs.gs.auth.service.account.email</name>
<value>7168543aovnjqaf1e7sumil@developer.gserviceaccount.com</value>
</property>
<property>
<name>fs.gs.auth.service.account.keyfile</name>
<value>C://hadoop-2.3.0/etc/hadoop/gcskey.p12</value>
</property>
<property>
<name>fs.gs.auth.client.id</name>
<value>7168543aovnjqaf1e7sumil.apps.googleusercontent.com</value>
</property>
我创建的项目的帐单帐户也已启用。
我创建了一个桶,桶中的内容对我来说是可见的,使用:
hadoop fs -ls gs://hadoop1
我尝试了hadoop的click to deploy选项,为hadoop和vm示例创建了主节点和工作节点。
我安装了gcloud进行身份验证登录。还创建了git存储库。
我关注了谷歌上的mapreduce文章,但它对完整的指导毫无帮助。
问:我想在云上使用部署的hadoop运行java开发的mapreduce程序?我在程序中为输入和输出文件提供什么路径?
我的程序在hadoop平台上运行良好。
暂无答案!
目前还没有任何答案,快来回答吧!