在click house中导入大文件的问题

des4xlb0  于 2021-07-15  发布在  ClickHouse
关注(0)|答案(0)|浏览(404)

下面的语句只加载部分数据(几乎是实际数据的40%),错误如下所述:

  1. cat dr_201604.csv | docker run -i --rm \
  2. --link clickhouse-server:clickhouse-server \
  3. yandex/clickhouse-client \
  4. clickhouse-client --host clickhouse-server \
  5. --query="INSERT INTO dlr FORMAT CSV"

代码:117。db::异常:应为行尾
read unix@->/var/run/docker.sock:read:对等端重置连接
这一定是docker的问题,因为clickhouse网站并没有提到任何数据接收量的限制。dr201604.csv文件超过4 gb。如果我只选择了10行(sample.csv),那么它将毫无问题地加载。

  1. head dr_201604.csv > sample.csv

只有大约800MB的数据可以通过管道传输,这有什么限制吗?
更新:
我尝试将卷装入容器中,但仍然能够加载与以前完全相同的行数:

  1. docker run -i --rm \
  2. --volume /home/ec2-user/:/tmp/ --entrypoint=/bin/sh \
  3. --link clickhouse-server:clickhouse-server \
  4. yandex/clickhouse-client \
  5. -c "cat /tmp/dr_201604.csv | clickhouse-client --host clickhouse-server --query='INSERT INTO dlr FORMAT CSV' "

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题