我有一个输入文件，其中包含数百万条记录，每条记录又包含数千列，其中每一列用分隔符分隔。
记录和列的数量因文件而异。
我有一个要求，我必须解析这些记录并将它们存储在java对象中，以便它可以进一步传递给drools框架进行列级验证。
这就是我的输入数据和模式文件的样子。
输入文件：

John|Doe|35|10 Floyd St|132|Los Angeles|CA|USA ... and so on 
...
...
Millions records like this

架构文件：

firstName|String|false|20|NA
lastName|String|false|20|NA
age|Integer|false|3|NA
addressLine1|String|false|20|NA
addressLine2|String|false|20|NA
city|String|false|5|NA
state|String|false|10|NA
country|String|false|10|NA

我试图借助一个Map来实现这个解决方案，并创建了一个包含这个Map的java类。

class GenericRecord {
   Map<String,FieldSpecification> properties; //used HashMap as an implementation
}

class FieldSpecification {
    public String fieldName;
    public String dataType;
    public int length;
    public String value;
    public String format;
}

对于输入文件中的reach行，我正在创建一个 Record 对象并使用map存储其列的值。除此之外，我还将有关列的元数据存储在 FieldSpecification 对象，如数据类型、长度、格式等。
对于我的输入文件中的几千行来说，它工作得很好，但是一旦行数开始增加，它就开始因为内存问题而中断（正如预期的那样）。它正在创建数百万个对象的Map，其中有数千个键。
我知道这不是解决这类问题的有效方法。
因此，我关心的是基于内存的解决方案是否适用于我的场景，或者我更喜欢基于磁盘的解决方案，比如嵌入式数据库或基于磁盘的Map。
请告知是否有任何其他开源Map实现，我可以使用。
注意：对于文件解析和数据验证，我使用的是hadoop，它运行在一个40节点的集群上。
以下是我的Map器的流程和实现：
作为complete行接收该值，然后将该行传递给java框架，java框架将其转换为相应的generiobject（如上所述），然后将该对象传递给drools框架进行进一步验证。
Map器实现：

public void map(LongWritable key , Text value , Context context) throws IOException, InterruptedException {

        //Convert the text value to string i.e line by line comes here
        String record = value.toString();

        // Develop a drools service that will take record as an input 
        // and will validate it on the basis of XL sheet provided
        workingMemory = knowledgeBase.newStatefulKnowledgeSession();
        DroolsObject recordObject = DroolsServiceImpl.validateByRecord(record, fileMetaData, workingMemory);

        //Check to validate if the processed record
        if(recordObject.isValid) {
            context.getCounter(AppCounter.VALID_RECORD).increment(1);
            mapperOutputKey.set("A");
            mapperOutputValue.set(recordObject.toString());
            context.write(mapperOutputKey,mapperOutputValue);
        }

        else {
            context.getCounter(AppCounter.INVALID_RECORD).increment(1);
            mapperOutputKey.set("R");
            mapperOutputValue.set(recordObject.toStringWithErrors());
            context.write(mapperOutputKey,mapperOutputValue);
        }
}