我在使用dsbulk将数据从.csv文件加载到表中时遇到问题。我在下面的错误日志中得到了类似的信息。
原因：com.datastax.driver.core.exceptions.operationtimedoutexception:[/10.0.126.13:9042]等待服务器响应时超时
这个环境是我们的poc环境，有3个节点，8个cpu和64g内存。根据我的观察，当我运行dsbulk命令时，它会占用服务器上的所有cpu，内存消耗也会很高。
如果您能给我一个指针来微调dsbulk，通过它可以减少cpu使用率/内存消耗。如果这个操作慢下来，如果我得到可管理的性能我可以接受。
2条答案
按热度按时间zvms9eto1#
谢谢大家的帮助，我可以通过下载最新版本的debulk并将批量大小设置为5000来解决这个问题。
jfewjypa2#
您可以指定
--executor.maxPerSecond选项来限制每秒的操作数。请参阅dsbulk的文档。您还可以尝试调整批处理选项，例如，
--batch.maxBatchStatements.而且还建议从单独的机器上运行dsbulk，以防止它影响dse的性能(这是所有负载测试的常见建议，等等）