我想导入一个压缩文件的.Z格式有.txt文件。它的大小是37 GB，解压缩后变成240 GB。首先，我解压缩文件，需要6~7个小时，然后使用导出导入向导导入到数据库，需要很多很多小时才能完成。我一个月要做5次这个活动，它占用了服务器的所有资源，非常繁忙。是否有任何程序或工具可以将任何压缩格式直接导入数据库？我会非常感谢的。这对我来说是一个巨大的压力。需要帮助。
a8jjtwal1#
这类问题没有简单的解决方案。如果无法接受，您必须更改当前接收数据的方式：
否则，如果数据格式没有改变，我会创建无人值守的解决方案来解压缩和加载数据-然后让它在工作时间运行（周末是可能的）。然后你可以尝试不同的方法来加载数据。根据你的文件/表结构，也许你可以使用批量加载和分区切换等组合...提到的来自SQL 2016的COMPRESS和DECOMPRESS函数不会有帮助，因为这些函数将用于列。
9rygscc12#
dba-tools powershell 实用 程序 对 gzip 压缩 的 csv 文件 具有 此 功能 。使用 Import-DbaCsv 调用 dba-tools 。 如果 文件 以 .gz 结尾 ， 它 将 即时 解 压缩 。 导入 也 是 流式 的 ， 因此 内存 应该 保持 在 一 个 限制 范围 内 。有关 gzip 压缩 ， 请 参阅 此处 的 Git Issue ：https://github.com/dataplat/dbatools/issues/8554 格式
csv
.gz
2条答案
按热度按时间a8jjtwal1#
这类问题没有简单的解决方案。如果无法接受，您必须更改当前接收数据的方式：
否则，如果数据格式没有改变，我会创建无人值守的解决方案来解压缩和加载数据-然后让它在工作时间运行（周末是可能的）。然后你可以尝试不同的方法来加载数据。根据你的文件/表结构，也许你可以使用批量加载和分区切换等组合...
提到的来自SQL 2016的COMPRESS和DECOMPRESS函数不会有帮助，因为这些函数将用于列。
9rygscc12#
dba-tools powershell 实用 程序 对 gzip 压缩 的
csv文件 具有 此 功能 。使用 Import-DbaCsv 调用 dba-tools 。 如果 文件 以
.gz结尾 ， 它 将 即时 解 压缩 。 导入 也 是 流式 的 ， 因此 内存 应该 保持 在 一 个 限制 范围 内 。有关 gzip 压缩 ， 请 参阅 此处 的 Git Issue ：https://github.com/dataplat/dbatools/issues/8554 格式