希望你过得好!我有一个非常大的数据集，大约有600万条记录，它看起来像这个片段：

data = pd.DataFrame({
    'ID': ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'],
    'TEXT': [
        "Mouthwatering BBQ ribs cheese, and coleslaw.",
        "Delicious pizza with pepperoni and extra cheese.",
        "Spicy Thai curry with cheese and jasmine rice.",
        "Tiramisu dessert topped with cocoa powder.",
        "Sushi rolls with fresh fish and soy sauce.",
        "Freshly baked chocolate chip cookies.",
        "Homemade lasagna with layers of cheese and pasta.",
        "Gourmet burgers with all the toppings and extra cheese.",
        "Crispy fried chicken with mashed potatoes and extra cheese.",
        "Creamy tomato soup with a grilled cheese sandwich."
    ],
    'DATE': [
        '2023-02-01', '2023-02-01', '2023-02-01', '2023-02-01', '2023-02-02',
        '2023-02-02', '2023-02-01', '2023-02-01', '2023-02-02', '2023-02-02'
    ]
})

我想从列'TEXT'中生成bigram和trigram。我对trigram和bigram的两种类型的ngrams感兴趣：一旦我们有了这些，我想通过唯一的"日期"来总结（计算唯一的ID频率）这些ngram。这意味着如果一个ngram在一个ID中出现多次，我将只计算一次，因为我想知道它最终出现在多少个不同的"ID"中。
我对Python还是个新手。我来自R世界，其中有一个名为quanteda的库，它使用C编程和并行计算。搜索这些ngrams看起来像这样：

corpus_food %>%
  tokens(remove_punct = TRUE) %>% 
  tokens_ngrams(n = 2) %>% 
  tokens_select(pattern = "^extra", valuetype = "regex") %>%
  dfm() %>%
  dfm_group(groups = lubridate::date(DATE)) %>%
  textstat_frequency()

得到我想要的结果：

feature frequency rank docfreq group
1 extra_cheese         3    1       2   all

我想要的结果看起来像这样：
| Ngram|非唯一的|组|
| - -|- -|- -|
| 奶酪和|3| 2023年2月1日|
| 和额外|2| 2023年2月1日|
| 额外的奶酪|2| 2023年2月1日|
| 多加奶酪|2| 2023年2月1日|
| 令人垂涎的烧烤|1| 2023年2月1日|
| 烧烤排骨|1| 2023年2月1日|
| 排骨乳酪|1| 2023年2月1日|
| 和凉拌卷心菜|1| 2023年2月1日|
| 令人垂涎的烧烤排骨|1| 2023年2月1日|
| 烧烤芝士排骨|1| 2023年2月1日|
| 排骨奶酪和|1| 2023年2月1日|
| 奶酪和凉拌卷心菜|1| 2023年2月1日|
| 美味的比萨|1| 2023年2月1日|
| 披萨|1| 2023年2月1日|
| 意大利辣香肠|1| 2023年2月1日|
| 辣香肠和|1| 2023年2月1日|
| 美味的比萨饼|1| 2023年2月1日|
| 意大利辣香肠比萨饼|1| 2023年2月1日|
| 意大利辣香肠，|1| 2023年2月1日|
| 意大利辣香肠和额外的|1| 2023年2月1日|
| 香辣泰式|1| 2023年2月1日|
| 泰国咖喱|1| 2023年2月1日|
我不是在比较两种语言，Python和R。它们是惊人的，但目前，我感兴趣的是一个非常直接和快速的方法来实现我的结果在Python中。如果你不使用gensim库，但知道如何在python中以更快更有效的方式实现我所寻找的内容，我将是开放的，我是一个超级细心和活跃的用户，肯定会渴望并支持找到解决方案。请善待我，因为我是Python的新手，我的心理健康此刻正处于崩溃的边缘。
到目前为止，我已经找到了一种方法来创建bigram和trigram，但我不知道如何执行那些以"extra"开头的选择，以及那些不这样做的人，创建ngrams的过程需要一个多小时，所以我会采取所有关于如何减少时间的建议，谢谢
解决方法：

import nltk
from nltk import bigrams
from nltk.util import trigrams 
from nltk.tokenize import word_tokenize

data['bigrams'] = data['TEXT'].apply(lambda x: list(bigrams(word_tokenize(x))))
data['trigrams'] = data['TEXT'].apply(lambda x: list(trigrams(word_tokenize(x))))

阅读通过一些帖子，有些人建议使用gensim库，你们怎么看？