是否有办法将某些操作(如注意力计算)仅卸载到GPU,而其他操作(如层归一化等)则卸载到CPU?
pcrecxhr1#
我看不到这样做有任何阅读的好处。由于复制数据所需的时间,它将对性能产生负面影响,CPU <==> GPU
1条答案
按热度按时间pcrecxhr1#
我看不到这样做有任何阅读的好处。由于复制数据所需的时间,它将对性能产生负面影响,CPU <==> GPU