瀏覽代碼

Consider tokenizer a type of text

oobabooga 2 年之前
父節點
當前提交
875847bf88
共有 1 個文件被更改,包括 1 次插入1 次删除
  1. 1 1
      download-model.py

+ 1 - 1
download-model.py

@@ -108,7 +108,7 @@ def get_download_links_from_huggingface(model, branch):
             is_pytorch = re.match("pytorch_model.*\.bin", fname)
             is_safetensors = re.match("model.*\.safetensors", fname)
             is_tokenizer = re.match("tokenizer.*\.model", fname)
-            is_text = re.match(".*\.(txt|json)", fname)
+            is_text = re.match(".*\.(txt|json)", fname) or is_tokenizer
 
             if any((is_pytorch, is_safetensors, is_text, is_tokenizer)):
                 if is_text: