为了处理可能比可用ram大的numpy数组，我将使用内存Map的numpy数组。在我的机器上，ujson比内置json快3.8倍。假设rows是json的行数：

from hdfs3 import HDFileSystem
import numpy as nm
import ujson as json
rows=int(1e8)
columns=4

# 'w+' will overwrite any existing output.npy

out = np.memmap('output.npy', dtype='float32', mode='w+', shape=(rows,columns))
with hdfs.open('/user/iot_all_valid.json/') as f:
    for row, line in enumerate(f):
        data = json.loads(line)
        # convert data to numerical array
        out[row] = data
out.flush()

# memmap closes on delete.

del out

我会远离numpy和Pandas，因为这两种情况下你都会有记忆问题。我宁愿坚持使用sframe或blaze生态系统，它们是专门为处理这种“大数据”案例而设计的。神奇的工具！

因为每列的数据类型都是不同的，所以dataframe是一个更合适的数据结构来保存它。您仍然可以使用numpy函数操作数据。

import pandas as pd
data = pd.read_json('/user/iot_all_valid.json', dtype={<express converters for the different types here>})

为了避免崩溃问题，请尝试在数据集中的一个小样本上运行k-means。确保工作正常。然后可以增加数据大小，直到您对整个数据集感到满意为止。