Bladeren bron

Add back low_cpu_mem_usage=True

Removing it didn't help with anything, so I am adding it bad on a purely
superstiticious basis.
oobabooga 3 jaren geleden
bovenliggende
commit
119be56390
1 gewijzigde bestanden met toevoegingen van 1 en 1 verwijderingen
  1. 1 1
      server.py

+ 1 - 1
server.py

@@ -88,7 +88,7 @@ def load_model(model_name):
     # Custom
     else:
         command = "AutoModelForCausalLM.from_pretrained"
-        settings = []
+        settings = ["low_cpu_mem_usage=True"]
 
         if args.cpu:
             settings.append("low_cpu_mem_usage=True")