我想读取一个大文件与csv数据（>1 GB，从ERP系统导出），并提供一个表接口的数据。
事实上，我有一个很好的工作表类。它以这种（抽象）方式工作：

• 表行，它是列数据的向量
• 行的向量。

要读取大文件，这会导致内存问题，我想是因为vector确实需要堆上的全部内存。所以我创建了一个新类，它只具有指向列中字符串的指针，如下所示：

• 一个表行，它是列数据的vector<string *>
• 一个vector<row>的行。

这样效果更好。它在堆上的内存占用减少了1/3。我认为分离的字符串数据适合堆上的一些洞;-）
但如果数据变得更大，内存问题也会存在。
读取文件并转换它需要大约2分钟。
我尝试了SQLLite，但是导入非常慢。阅读大文件（大约3000000行）并插入它们，需要大约15个小时。我知道我可以加快很多，但我真的不知道这是否是解决方案。顺便说一句：sqlite浏览器在导入这样的文件时崩溃！
有没有其他人有这样的问题，或者你知道一个好的方法来管理这样的大数据表的内存？表是一个查找表的一些任务，所以它应该适合内存一次，如果可能的话。
目前我正在使用Visual Studio C++ 2012。