فهرست منبع

add no_split_module_classes to prevent tensor split error

deepdiffuser 2 سال پیش
والد
کامیت
9fbd60bf22
1فایلهای تغییر یافته به همراه1 افزوده شده و 1 حذف شده
  1. 1 1
      modules/models.py

+ 1 - 1
modules/models.py

@@ -118,7 +118,7 @@ def load_model(model_name):
             max_memory['cpu'] = f"{shared.args.cpu_memory or '99'}GiB"
 
             import accelerate
-            device_map = accelerate.infer_auto_device_map(model, max_memory=max_memory)
+            device_map = accelerate.infer_auto_device_map(model, max_memory=max_memory, no_split_module_classes=["LLaMADecoderLayer"])
             model = accelerate.dispatch_model(model, device_map=device_map)
         else:
             model = model.to(torch.device('cuda:0'))