在过去的几个月里，我一直在使用bertopic训练主题模型，它运行得很好。然而，从上周开始，我在我的大学集群上遇到了一些问题。我不断地收到以下错误信息，而且在这里找不到类似的问题。这似乎是一个cuBLAS版本不兼容的问题，但我不确定如何解决它。这个错误只在运行脚本大约40分钟后抛出。这就是为什么我还减少了之前运行正常的UMAP函数中的n_neighbors参数。如果有任何建议，将不胜感激！
错误追踪(最近一次出现):
File "/var/scratch/xli3/workspace/dstm/dstm/bert-topic.py", line 104, in
topics, probs = topic_model.fit_transform(corpus)
File "/var/scratch/xli3/miniconda3/envs/dstm2/lib/python3.10/site-packages/bertopic/_bertopic.py", line 386, in fit_transform
umap_embeddings = self._reduce_dimensionality(embeddings, y)
File "/var/scratch/xli3/miniconda3/envs/dstm2/lib/python3.10/site-packages/bertopic/_bertopic.py", line 3183, in _reduce_dimensionality
self.umap_model.fit(embeddings, y=y)
File "/var/scratch/xli3/miniconda3/envs/dstm2/lib/python3.10/site-packages/cuml/internals/api_decorators.py", line 188, in wrapper
ret = func(*args, **kwargs)
File "/var/scratch/xli3/miniconda3/envs/dstm2/lib/python3.10/site-packages/cuml/internals/api_decorators.py", line 393, in dispatch
return self.dispatch_func(func_name, gpu_func, *args, **kwargs)
File "/var/scratch/xli3/miniconda3/envs/dstm2/lib/python3.10/site-packages/cuml/internals/api_decorators.py", line 190, in wrapper
return func(*args, **kwargs)
File "base.pyx", line 674, in cuml.internals.base.UniversalBase.dispatch_func
File "umap.pyx", line 603, in cuml.manifold.umap.UMAP.fit
RuntimeError: cuBLAS error encountered at: file=/__w/cuml/cuml/python/_skbuild/linux-x86_64-3.10/cmake-build/_deps/raft-src/cpp/include/raft/core/resource/cublas_handle.hpp line=75: call='cublasSetStream(ret, get_cuda_stream(res))', Reason=1:CUBLAS_STATUS_NOT_INITIALIZED
4条答案
按热度按时间ukxgm1gy1#
新Bertopic是否存在版本问题？因为我认为我是在新创建的环境中安装了新版本。
如果你认为这可能是问题的根源，那么很可能所有依赖项都没有版本控制。因此，我认为你之前使用的环境与你现在使用的环境不同。它们之间的任何变化都可能影响功能。话虽如此，我认为这与BERTopic无关，而是与cuML有关。你是否确保正在安装与之前相同的cuML版本？此外，你是否使用与之前相同的GPU和CUDA版本？从快速谷歌搜索来看，似乎与你的GPU和CUDA之间的不兼容性有关。
70gysomp2#
感谢您分享这个问题。您提到它不再起作用了。在它起作用和现在之间有什么变化吗？例如，您使用的环境是否都与BERTopic、其依赖项、Python、CUDA等具有相同的版本？
mefy6pfw3#
感谢回复！
我正在使用conda来管理我的环境。然而，我也尝试重新安装所有内容并创建一个新的环境，但在新环境中仍然出现错误。至于CUDA,我尝试加载相同的模块，并且没有收到关于该模块的任何更改通知。
新Bertopic是否存在版本问题？因为我认为我是在新创建的环境中安装了新版本。
6tqwzwtp4#
问题仍然存在...有什么建议吗？
感谢您分享这个问题。您提到它不再起作用了。在它起作用和现在之间有没有什么变化？例如，您使用的环境是否都与BERTopic、其依赖项、Python、CUDA等具有相同的版本？