소스 검색

Fix llama.cpp with --no-stream

oobabooga 2 년 전
부모
커밋
2259143fec
1개의 변경된 파일1개의 추가작업 그리고 3개의 파일을 삭제
  1. 1 3
      modules/llamacpp_model.py

+ 1 - 3
modules/llamacpp_model.py

@@ -1,8 +1,5 @@
-from pathlib import Path
-
 import llamacpp
 
-import modules.shared as shared
 from modules.callbacks import Iteratorize
 
 
@@ -65,6 +62,7 @@ class LlamaCppModel:
                 self.model.eval()
                 token = self.model.sample()
                 text = self.model.token_to_str(token)
+                output += text
                 is_end_of_text = token == self.model.token_eos()
                 if callback:
                     callback(text)