如何在没有hadoop的情况下使用hive

kyks70gy  于 2021-06-03  发布在  Hadoop
关注(0)|答案(5)|浏览(993)

我是nosql解决方案的新手,想玩hive。但是安装hdfs/hadoop需要大量的资源和时间(也许没有经验,但我没有时间这么做)。
有没有办法在没有hdfs/hadoop的本地机器上安装和使用hive?

gijlo24d

gijlo24d1#

是的,您可以在没有hadoop的情况下运行hive 1。在本地系统上创建仓库2。将默认fs设置为file:///这样就可以在本地模式下运行配置单元,而不必安装hadoop
在hive-site.xml中

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration>
      <property>
         <name>hive.metastore.schema.verification</name> 
         <value>false</value> 
      </property> 
     <property> 
      <!-- this should eventually be deprecated since the metastore should supply this --> 
        <name>hive.metastore.warehouse.dir</name> 
        <value>file:///tmp</value>
        <description></description> 
     </property>
     <property> 
        <name>fs.default.name</name> 
        <value>file:///tmp</value> 
     </property> 
</configuration>
gab6jxml

gab6jxml2#

更新此答案已过时:与 Hive on Spark 不再需要有 hdfs 支持。
hive需要hdfs和map/reduce,所以您需要它们。另一个答案在推荐一种简单/预先配置的方法来为您获取所有组件的意义上有一些优点。
但是它的要点是:hive需要hadoop和m/r,所以在某种程度上你需要处理它。

irlmq6kh

irlmq6kh3#

如果你只是想在做决定之前体验一下hive,你可以使用@maltram建议的预配置vm(hortonworks、cloudera、ibm和其他公司都提供这样的vm)
您应该记住的是,如果没有hadoop和hdfs,您将无法在生产中使用hive,因此如果这对您来说是一个问题,您应该考虑hive的替代品

sigwle7e

sigwle7e4#

不过,您必须记住一些细节,使用没有hdfs的hive是完全正常的。有几个细节我们应该记住。
正如上面提到的一些评论员所说,您仍然需要一些来自hadoop common的.jar文件。
到今天(2020年12月12日),很难运行hive/hadoop3对。在hive2中使用稳定的hadoop2。
确保正确设置了posix权限,这样本地配置单元就可以访问仓库,并最终访问derby数据库位置。
通过手动调用初始化数据库 schematool 你可以用 site.xml 指向本地posix文件系统的文件,但您也可以在中设置这些选项 HIVE_OPTS 环境变量。我在博客上列举了一些错误的例子

klr1opcd

klr1opcd5#

你不能,只需下载hive,然后运行:

./bin/hiveserver2                                                                                                                                        
Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path

hadoop就像一个核心,而hive需要它的一些库。

相关问题