可以使用 arrays_overlap 条件，然后进行分组和计数：

import pyspark.sql.functions as F

result = (items.join(consequents, F.arrays_overlap('items', 'consequents'))
               .groupBy('consequents')
               .count()
         )

result.show()
+-----------+-----+
|consequents|count|
+-----------+-----+
|        [c]|    1|
|        [b]|    2|
|        [a]|    2|
+-----------+-----+

对于较旧的spark版本（<2.4），可以使用 array_contains 而不是条件：

import pyspark.sql.functions as F

result = (items.join(consequents, F.expr("array_contains(items, consequents[0])"))
               .groupBy('consequents')
               .count()
         )

让我们加载数据：

df = pd.DataFrame({'consequents':[['a'],['b'],['c']]})
dfi = pd.DataFrame({'items':[['a','b'],['a'],['b','c']]})

我们注意到 explode 在这种情况下非常有用（如查看 dfi.explode('items') . 很可能你想要的东西可以通过

dfi.explode('items').value_counts()

这给了你

items
a        2
b        2
c        1
dtype: int64

但万一 dfi 元素比中的多 df 我们可以合并。所以最终的解决办法很简单

(df.explode('consequents')
  .merge(dfi.explode('items').value_counts().to_frame(), left_on = 'consequents', right_on = 'items')  
  .rename(columns = {0:'freq'})  
)

输出

consequents freq
0   a           2
1   b           2
2   c           1