 oobabooga
|
49c10c5570
Add support for the latest GPTQ models with group-size (#530)
|
vor 2 Jahren |
 EyeDeck
|
dcfd866402
Allow loading of .safetensors through GPTQ-for-LLaMa
|
vor 2 Jahren |
|
oobabooga
|
db4219a340
Update comments
|
vor 2 Jahren |
|
oobabooga
|
7618f3fe8c
Add -gptq-preload for 4-bit offloading (#460)
|
vor 2 Jahren |
|
oobabooga
|
9a3bed50c3
Attempt at fixing 4-bit with CPU offload
|
vor 2 Jahren |
 askmyteapot
|
53b6a66beb
Update GPTQ_Loader.py
|
vor 2 Jahren |
|
oobabooga
|
265ba384b7
Rename a file, add deprecation warning for --load-in-4bit
|
vor 2 Jahren |
