我必须分析几个压缩文件中的8 GB Twitter数据，这是一个月的数据，频率为一小时。每个文件包含几条JSON格式的推文，每行都是推文。
这是我在第一次筛选时使用的代码：

import pandas as pd
import pathlib
import timeit
import zipfile

def main():

    twitter_files = list(pathlib.Path("TwitterData").iterdir())
    twitter_data = []

    for tfilename in twitter_files:
        with zipfile.ZipFile(tfilename, "r") as zfile:
            # each zip file should contain just one json file,
            # this loop it's added for security reason
            for filename in zfile.namelist():
                print(filename)
                with zfile.open(filename) as jfile:
                    df = pd.read_json(jfile, lines=True)
                    # Remove NaN and duplicated values
                    sub_df = df[[
                        "id_str",
                        "created_at",
                        "in_reply_to_status_id_str",
                        "text",
                        "entities",
                        "extended_entities",
                        "quoted_status_id_str",
                        "retweeted",
                        "truncated"
                    ]].dropna(
                        subset=["id_str", "created_at", "text"],
                        how="any"
                    ).drop_duplicates(subset="text")

                    twitter_data.append(sub_df)
                    del df, sub_df

    tweets_df = pd.concat(twitter_data)
    del twitter_data
    with open("./tweet_data.feather", "w") as ffile:
        tweets_df.to_feather(ffile.name)

if __name__ == "__main__":
    duration = timeit.timeit(main, number=1)
    print(f"time: {duration}")

字符串
我想提取我需要的信息，保存在文件中，然后使用这个文件进行最终分析（找到独特的推文，转推的数量等）。
当然，问题是我的笔记本电脑内存很快就用完了，程序到了一个日期，在月底之前就停止了。
我想找到一个更多的内存和，可能的，时间有效的方式来保存我需要的数据。
我在想逐行读取JSON文件，并保存“好”的推文，但我认为这是一个I/O瓶颈.
你有更好的解决办法吗？