我尝试在google云上运行hive，hadoop是通过点击部署安装的。Hive看起来很好，但当我跑的时候 hive 我得到以下错误输出：
Logging initialized using configuration in jar:file:/home/michael_w_sherman_gmail_com/apache-hive-0.14.0-bin/l
ib/hive-common-0.14.0.jar!/hive-log4j.properties
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop-install/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!
/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/michael_w_sherman_gmail_com/apache-hive-0.14.0-bin/lib/hive-jdbc-0.14.
0-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/
hive on HDFS should be writable. Current permissions are: rwx------
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:444)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:672)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:616)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current per
missions are: rwx------
at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:529)
at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:478)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:430)
... 7 more我的第一个办法是检查 hdfs-site.xml 然后改变主意 dfs.permissions.enabled 设置，但已设置为 false . 接下来，我试着 chmod 权限。但是chmod的改变不需要。
$hadoop fs-ls版本
15/01/28 23:03:13信息gcs.googlehadoopfilesystembase:ghfs版本：1.2.9-hadoop2
找到8个项目。。。。
drwx------x\u gmail\u com x\u gmail\u com 0 2015-01-28 21:54 tmp
$hadoop fs-chmod-r 777/tmp版本
15/01/28 23:03:31信息gcs.googlehadoopfilesystembase:ghfs版本：1.2.9-hadoop2
$hadoop fs-ls 15/01/28 23:09:35信息gcs.googlehadoopfilesystembase:ghfs版本：1.2.9-hadoop2
找到8个项目。。。。
drwx------\ gmail\ com \ gmail\ com 0 2015-01-28 21:54 tmp
不同的 chmod 选择，比如 a+w ，更改权限失败。而且文件的所有者/组始终等于ssh用户（上面的日志来自googlecloud控制台启动的ssh终端，它使用您的电子邮件作为用户名）。但我进去的时候也有同样的问题。
如何更改权限或使配置单元不给出错误？
谢谢您。
1条答案
按热度按时间wwtsj6pe1#
目前，hadoop的gcs连接器不支持细粒度hdfs权限，因此报告的700是“假的”；事实上，权限是通过acl控制的，如果使用具有读/写访问权限的服务帐户，那么经过身份验证的gce vm中的任何linux用户实际上都能够读/写/执行gcs中的所有文件。
hive0.14.0似乎引入了一个不幸的尝试，试图检查根目录上的最小权限733，即使它只是忽略了权限，可访问性也会得到很好的解决。不幸的是，目前“必需的权限”在hive的sessionstate中是不可配置的，在hadoop的gcs连接器中也是不可配置的；在将来的版本中，我们可以为gcs connector for hadoop提供一个配置设置，以指定要报告的权限，和/或在所有目录上实现完全细粒度的posix权限。
同时，hive0.13.0似乎没有相同的不幸检查，所以如果您对稍微旧一点的hive版本满意，它应该可以正常工作。
重要提示：尽管如此，请注意“单击部署”解决方案目前还没有正式支持pig或hive，部分原因是它还没有设置gcs-connector-1.3.0/bdutil-0.36.4中引入的更高级的“nfs一致性缓存”，并自动设置列表一致性缓存。如果没有列表一致性缓存，hive和pig可能会意外丢失数据，因为它们依赖“ls”提交临时文件。
最好的办法是下载最新的bdutil-1.1.0并使用它；它支持Pig和Hive：
或等效地：
在里面
querytools_env.sh文件，您将发现：您可以选择将自己的配置单元版本上载到自己的bucket并修改
HIVE_TARBALL_URI为了bdutil把它捡起来。Hive0.14.0仍然无法工作，但您可能会很幸运地使用Hive0.13.0。或者，如果你不太在意这个版本，默认的hive0.12.0会从google的工程团队那里得到持续的测试和验证，这样你会有更好的验证体验。如果愿意，还可以在github上查看bdutil的内容https://github.com/googlecloudplatform/bdutil