소스 검색

Add back low_cpu_mem_usage=True

Removing it didn't help with anything, so I am adding it bad on a purely
superstiticious basis.
oobabooga 3 년 전
부모
커밋
119be56390
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      server.py

+ 1 - 1
server.py

@@ -88,7 +88,7 @@ def load_model(model_name):
     # Custom
     else:
         command = "AutoModelForCausalLM.from_pretrained"
-        settings = []
+        settings = ["low_cpu_mem_usage=True"]
 
         if args.cpu:
             settings.append("low_cpu_mem_usage=True")