oobabooga %!s(int64=3) %!d(string=hai) anos
pai
achega
6c7f187586
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      server.py

+ 1 - 1
server.py

@@ -141,7 +141,7 @@ def generate_reply(question, tokens, inference_settings, selected_model, eos_tok
 
     input_ids = encode(question, 1)
     preset = preset.replace('max_new_tokens=tokens', 'max_new_tokens=1')
-    cuda = ".cuda()" if not args.cpu else ""
+    cuda = "" if args.cpu else ".cuda()"
     for i in range(tokens):
         if eos_token is None:
             output = eval(f"model.generate(input_ids, {preset}){cuda}")