我正在做深度学习神经网络开发，使用mnist数据集进行测试。训练集由60000个序列组成，每个序列有784个双精度输入值。在java中将这些数据从文件读入数组的过程中，会产生大约4gb的内存开销，在整个程序运行过程中都会保持分配。这个开销是除了600007848=376mb之外的开销，该开销分配给双精度阵列本身。这种开销很可能是因为java除了存储数字数组外，还存储了文件的完整副本，但这可能是扫描器开销。
据一位消息人士称，将文件作为流读取可以避免将整个文件存储在内存中。但是，流读取仍然有这个问题。我将java 8与intellij 2016.2.4结合使用。这是流读取代码：

FileInputStream inputStream = null;
Scanner fileScan = null;
String line;
String[] numbersAsStrings;

totalTrainingSequenceArray = new double[60000][784];

try {
    inputStream = new FileInputStream(m_sequenceFile);
    fileScan = new Scanner(inputStream, "UTF-8");
    int sequenceNum = 0;
    line = fileScan.nextLine();//Read and discard the first line.
    while (fileScan.hasNextLine()) {
        line = fileScan.nextLine();
        numbersAsStrings = line.split("\\s+"); //Split the line into an array of strings using any whitespace delimiter.
        for (int inputPosition = 0; inputPosition < m_numInputs; inputPosition++) {
            totalTrainingSequenceArray[sequenceNum][inputPosition] = Double.parseDouble(numbersAsStrings[inputPosition]);
        }
        sequenceNum++;
    }
    if (fileScan.ioException() != null) {//Handle fileScan exception
        throw fileScan.ioException();
    }
} catch (IOException e) {//Handle the inputstream exception
    e.printStackTrace();
} finally {
    if (inputStream != null)  {
        try {
            inputStream.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    if (fileScan != null) {
        fileScan.close();
    }
}

在读取并调用system.gc（）之后，我尝试将流和扫描程序设置为null，但这没有起到任何作用。这是扫描仪开销问题吗？要读取这个大数据文件而不产生巨大的永久开销，最简单的方法是什么？谢谢你的意见。