可以将数据库中的数据导出为csv或制表符分隔、管道分隔或ctrl-a（unicode 0x0001）分隔的文件。然后，您可以将这些文件复制到hdfs中，并运行一个非常简单的mapreduce作业，甚至可能只包含一个Map器，并配置为读取所使用的文件格式并输出序列文件。
这将允许在hadoop集群的服务器之间分配创建序列文件的负载。
而且，这很可能不是一次性交易。您必须定期将postgres数据库中的数据加载到hdfs中。它们使您能够调整mapreduce作业以合并新数据。

您可以使用avro序列化您的数据，尽管它的速度不是很快（尤其是在示例中使用python时），然后将其加载到hdfs中。
假设您有数据库foo:

postgres=# \c foo
You are now connected to database "foo" as user "user".
foo=# 

foo=# \d bar
                              Table "public.bar"
Column |          Type           |                     Modifiers                     
--------+-------------------------+---------------------------------------------------
key    | integer                 | not null default nextval('bar_key_seq'::regclass)
value  | character varying(1024) | not null

您可以创建如下avro模式：

{"namespace": "foo.avro",
 "type": "record",
 "name": "bar",
 "fields": [
     {"name": "id", "type": "int"},
     {"name": "value", "type": "string"}
 ]
}

然后逐行序列化数据：

import psycopg2
import avro.schema
from avro.datafile import DataFileReader, DataFileWriter
from avro.io import DatumReader, DatumWriter

schema = avro.schema.parse(open("foo.avsc").read())
writer = DataFileWriter(open("foo.avro", "w"), DatumWriter(), schema)

c = psycopg2.connect(user='user', password='s3cr3t', database='foo')
cur = c.cursor()
cur.execute('SELECT * FROM bar')

for row in cur.fetchall():
    writer.append({"id": row[0], "value": row[1]})

writer.close()
cur.close()
c.close()

或者，您可以使用纯json序列化数据。

有http://sqoop.apache.org/ 你要怎么做就怎么做。