 oobabooga
|
bd8aac8fa4
Add LLaMA 8-bit support
|
vor 2 Jahren |
|
oobabooga
|
c93f1fa99b
Count the tokens more conservatively
|
vor 2 Jahren |
|
oobabooga
|
736f61610b
Update README
|
vor 2 Jahren |
|
oobabooga
|
ed8b35efd2
Add --pin-weight parameter for FlexGen
|
vor 2 Jahren |
|
oobabooga
|
05e703b4a4
Print the performance information more reliably
|
vor 2 Jahren |
|
oobabooga
|
5a79863df3
Increase the sequence length, decrease batch size
|
vor 2 Jahren |
|
oobabooga
|
e62b9b1074
Revamp the "Default" preset with HF defaults
|
vor 2 Jahren |
|
oobabooga
|
a345a2acd2
Add a tokenizer placeholder
|
vor 2 Jahren |
|
oobabooga
|
4cc36dc434
Tweak the Naive preset (for LLaMA/RWKV)
|
vor 2 Jahren |
|
oobabooga
|
5b354817f6
Make chat minimally work with LLaMA
|
vor 2 Jahren |
|
oobabooga
|
ea5c5eb3da
Add LLaMA support
|
vor 2 Jahren |
|
oobabooga
|
2bff646130
Stop chat from flashing dark when processing
|
vor 2 Jahren |
|
oobabooga
|
7c70e0e2a6
Fix the download script (sort of)
|
vor 2 Jahren |
|
oobabooga
|
bcea196c9d
Bump flexgen version
|
vor 2 Jahren |
|
oobabooga
|
76378c6cc2
Update README
|
vor 2 Jahren |
|
oobabooga
|
169209805d
Model-aware prompts and presets
|
vor 2 Jahren |
|
oobabooga
|
024d30d1b4
Reorder imports
|
vor 2 Jahren |
|
oobabooga
|
7bbe32f618
Don't return a value in an iterator function
|
vor 2 Jahren |
|
oobabooga
|
ff9f649c0c
Remove some unused imports
|
vor 2 Jahren |
|
oobabooga
|
1a05860ca3
Ensure proper no-streaming with generation_attempts > 1
|
vor 2 Jahren |
|
oobabooga
|
a2a3e8f797
Add --rwkv-strategy parameter
|
vor 2 Jahren |
|
oobabooga
|
99dc95e14e
Minor aesthetic change
|
vor 2 Jahren |
|
oobabooga
|
449116a510
Fix RWKV paths on Windows (attempt)
|
vor 2 Jahren |
|
oobabooga
|
955cf431e8
Minor consistency fix
|
vor 2 Jahren |
|
oobabooga
|
7a9b4407b0
Settle for 0.0.6 for now
|
vor 2 Jahren |
|
oobabooga
|
f351dce032
Keep rwkv up to date
|
vor 2 Jahren |
|
oobabooga
|
f3da6dcc8f
Merge pull request #149 from oobabooga/RWKV
|
vor 2 Jahren |
|
oobabooga
|
831ac7ed3f
Add top_p
|
vor 2 Jahren |
|
oobabooga
|
7c4d5ca8cc
Improve the text generation call a bit
|
vor 2 Jahren |
|
oobabooga
|
2f16ce309a
Rename a variable
|
vor 2 Jahren |
