hive命令使用subprocess-empty结果

xfyts7mz 于 2021-06-26 发布在 Hive

关注(0)|答案(1)|浏览(413)

我使用subprocess在python中运行配置单元命令，但得到的结果是空的。如果我从hivecli运行相同的命令，就会得到结果。

query = "set hive.cli.print.header=true;use mydb;describe table1;"  
 process = subprocess.Popen( ["ssh", "hadoop" , "hive", "-e", "%r" % query], stdout = subprocess.PIPE, stderr = subprocess.PIPE )  
 data = [line.split('\t') for line in process.stdout]  
 cols = list(itertools.chain.from_iterable(data[:1]))  
 df = pd.DataFrame(data[1:], columns = cols)  
 print "==>"+df+"<----"

它正在返回空的Dataframe。
请帮帮我

Hive python subprocess

来源：https://stackoverflow.com/questions/36170132/python-hive-commands-using-subprocess-empty-results

1条答案

按热度按时间

ao218c7q1#

myfile=open("query_result.tsv", 'w')
p=subprocess.Popen("your query",
        shell=True,
        stdout=myfile,stderr=subprocess.PIPE)
stdout,stderr = p.communicate()
if p.returncode != 0:
    print stderr
    sys.exit(1)

myfile是一个tsv文件，您可以使用pandas.read\u csv（sep='\t'）并设置sep='\t'，您可能需要查找pandas api以了解有关read\u csv（）的更多用法。
您应该在17.1.2中查找关于popen对象的subprocess api，它会给您一个关于stdout=pipe的警告。https://docs.python.org/2/library/subprocess.html#frequently-使用的参数

赞(0）回复(0）举报 2021-06-26

我来回答

hive命令使用subprocess-empty结果

1条答案

相关问题

热门标签

最新问答