在我的情况下,需要大量的并发请求。我发现DSStateManagerConfig中有一个未使用的参数max_context。我想问的是,我可以修改这个参数来消除死锁吗?
wtzytmuj1#
你好,@BaiStone2017,感谢你的问题。遗憾的是,max_context无法帮助解决这个问题。你可以通过设置另一个参数(max_ragged_sequence_count)来限制推理引擎维护的序列数量。这将降低死锁的风险,但性能可能会显著下降。
max_context
max_ragged_sequence_count
1条答案
按热度按时间wtzytmuj1#
你好,@BaiStone2017,感谢你的问题。
遗憾的是,
max_context
无法帮助解决这个问题。你可以通过设置另一个参数(max_ragged_sequence_count
)来限制推理引擎维护的序列数量。这将降低死锁的风险,但性能可能会显著下降。