python—是否可以在配置单元中按列表进行查询？

zpqajqem 于 2021-05-29 发布在 Hadoop

关注(0)|答案(3)|浏览(405)

我有身份证清单

[id1, id2, id3.......]

我想查询所有行，以便id与列表中的一个id匹配
现在我正在用一种老套的方式做这件事


# This is a python script
id_list_str = "`_id` = '" + str(_id[0]) + "' "
for m_id in _id[1:]:
    id_list_str += " OR `_id` = '" + str(m_txn_id) + "' "
hive_query = "SELECT" \
             "  `_id`, " \
             "  time, " \
             "  state " \
             "FROM " \
             "  transaction " \
             "WHERE " \
             "  %s " \
             % (id_list_str)

我不认为这会随着我列表中id数量的增加而增加，还有其他方法吗？
谢谢

sql hadoop Hive python bigdata

来源：https://stackoverflow.com/questions/31275122/is-it-possible-to-query-by-list-in-hive

3条答案

按热度按时间

ny6fqffe1#

您使用哪个配置单元版本？配置单元0.13现在不支持where子句中的/exists。。问题https://issues.apache.org/jira/browse/hive-784

赞(0）回复(0）举报 2021-05-30

f0ofjuux2#

你可以用 in 子句，例如在本例中： select * from table_name where column_name in ('medicine','physics','biology')

赞(0）回复(0）举报 2021-05-30

58wvjzkj3#

在配置单元中，尝试横向视图分解以展开列表。这将工作，如果你有许多名单以及。

select a.id
    , a.time
    , a.state
  from transaction a 
 left semi join
  (SELECT distinct id 
  from list_of_ids LATERAL VIEW explode(id_list_Str) idTable as id
  ) 
  t on a.id = t.id

赞(0）回复(0）举报 2021-05-30

我来回答

python—是否可以在配置单元中按列表进行查询？

3条答案

相关问题

热门标签

最新问答