 oobabooga
|
65dda28c9d
Rename --llama-bits to --gptq-bits
|
vor 2 Jahren |
|
oobabooga
|
fed3617f07
Move LLaMA 4-bit into a separate file
|
vor 2 Jahren |
 draff
|
001e638b47
Make it actually work
|
vor 2 Jahren |
|
draff
|
804486214b
Re-implement --load-in-4bit and update --llama-bits arg description
|
vor 2 Jahren |
 ItsLogic
|
9ba8156a70
remove unnecessary Path()
|
vor 2 Jahren |
|
draff
|
e6c631aea4
Replace --load-in-4bit with --llama-bits
|
vor 2 Jahren |
|
oobabooga
|
e9dbdafb14
Merge branch 'main' into pt-path-changes
|
vor 2 Jahren |
|
oobabooga
|
706a03b2cb
Minor changes
|
vor 2 Jahren |
|
oobabooga
|
de7dd8b6aa
Add comments
|
vor 2 Jahren |
|
oobabooga
|
e461c0b7a0
Move the import to the top
|
vor 2 Jahren |
 deepdiffuser
|
9fbd60bf22
add no_split_module_classes to prevent tensor split error
|
vor 2 Jahren |
|
deepdiffuser
|
ab47044459
add multi-gpu support for 4bit gptq LLaMA
|
vor 2 Jahren |
 rohvani
|
2ac2913747
fix reference issue
|
vor 2 Jahren |
|
rohvani
|
826e297b0e
add llama-65b-4bit support & multiple pt paths
|
vor 2 Jahren |
|
oobabooga
|
9849aac0f1
Don't show .pt models in the list
|
vor 2 Jahren |
|
oobabooga
|
74102d5ee4
Insert to the path instead of appending
|
vor 2 Jahren |
|
oobabooga
|
2965aa1625
Check if the .pt file exists
|
vor 2 Jahren |
|
oobabooga
|
828a524f9a
Add LLaMA 4-bit support
|
vor 2 Jahren |
|
oobabooga
|
e91f4bc25a
Add RWKV tokenizer
|
vor 2 Jahren |
|
oobabooga
|
c33715ad5b
Move towards HF LLaMA implementation
|
vor 2 Jahren |
|
oobabooga
|
bd8aac8fa4
Add LLaMA 8-bit support
|
vor 2 Jahren |
|
oobabooga
|
ed8b35efd2
Add --pin-weight parameter for FlexGen
|
vor 2 Jahren |
|
oobabooga
|
ea5c5eb3da
Add LLaMA support
|
vor 2 Jahren |
|
oobabooga
|
659bb76722
Add RWKVModel class
|
vor 2 Jahren |
|
oobabooga
|
6837d4d72a
Load the model by name
|
vor 2 Jahren |
|
oobabooga
|
70e522732c
Move RWKV loader into a separate file
|
vor 2 Jahren |
|
oobabooga
|
ebc64a408c
RWKV support prototype
|
vor 2 Jahren |
|
oobabooga
|
8e3e8a070f
Make FlexGen work with the newest API
|
vor 2 Jahren |
|
oobabooga
|
65326b545a
Move all gradio elements to shared (so that extensions can use them)
|
vor 2 Jahren |
|
oobabooga
|
f6f792363b
Separate command-line params by spaces instead of commas
|
vor 2 Jahren |
