Просмотр исходного кода

Add debug preset (deterministic, should always give the same responses)

oobabooga 3 лет назад
Родитель
Сommit
4820379139
2 измененных файлов с 5 добавлено и 3 удалено
  1. 2 0
      presets/Debug-deterministic.txt
  2. 3 3
      server.py

+ 2 - 0
presets/Debug-deterministic.txt

@@ -0,0 +1,2 @@
+do_sample=False,
+max_new_tokens=tokens,

+ 3 - 3
server.py

@@ -136,11 +136,11 @@ def fix_galactica(s):
     return s
     return s
 
 
 def encode(prompt, tokens):
 def encode(prompt, tokens):
-    if not args.cpu:
+    if args.cpu:
+        input_ids = tokenizer.encode(str(prompt), return_tensors='pt', truncation=True, max_length=2048-tokens)
+    else:
         torch.cuda.empty_cache()
         torch.cuda.empty_cache()
         input_ids = tokenizer.encode(str(prompt), return_tensors='pt', truncation=True, max_length=2048-tokens).cuda()
         input_ids = tokenizer.encode(str(prompt), return_tensors='pt', truncation=True, max_length=2048-tokens).cuda()
-    else:
-        input_ids = tokenizer.encode(str(prompt), return_tensors='pt', truncation=True, max_length=2048-tokens)
     return input_ids
     return input_ids
 
 
 def decode(output_ids):
 def decode(output_ids):