在hdinsight上运行配置单元和hadoop批处理文件

ryhaxcpt  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(262)

我在通过powershell让hdinsight工作时遇到了一些问题。作为一个临时工作,任何人都可以通过bat文件为我指出运行hive/hadoop脚本的正确方向。
我尝试创建一个bat文件,并将其更改为hivebin文件夹,然后运行一些命令,但没有成功。我猜这是打开dos提示符并运行命令,而不是hadoop命令行。
干杯,克里斯。

vyswwuz2

vyswwuz21#

可以在集群头节点上运行的.bat文件中使用配置单元命令行。为此,您必须在azure控制面板中启用远程桌面,然后在head节点中启用rdp。
然后可以运行一个包含以下内容的.bat文件

%Hive_Home%\bin\hive -e "your query here"

当然,如果您有一个较长的查询,将其放在一个单独的文件中并使用:

%Hive_Home%\bin\hive -f "your query here"

虽然这是可能的,但肯定不可取。我强烈建议不要在集群上启用远程桌面连接,而是使用powershell Invoke-Hive 执行调度的客户端发出的命令。当然,如果必须的话,您可以将powershell的执行 Package 到bat文件中,但是在这一点上您并没有真正获得任何好处。如果您的目标是安排一个配置单元查询运行,那么您最好只安排一个powershell脚本。

jjjwad0x

jjjwad0x2#

可以使用invoke-hive-file。有关详细信息,请参阅http://www.windowsazure.com/en-us/manage/services/hdinsight/using-hive-with-hdinsight/.
如果要使用配置单元命令行,则必须将rdp导入集群头节点。从hadoop命令行运行以下命令:
cd%hive\u home%\bin配置单元

相关问题