 oobabooga
|
0bd5430988
Use 'with' statement to better handle streaming memory
|
vor 2 Jahren |
|
oobabooga
|
37f0166b2d
Fix memory leak in new streaming (second attempt)
|
vor 2 Jahren |
|
oobabooga
|
59b5f7a4b7
Improve usage of stopping_criteria
|
vor 2 Jahren |
|
oobabooga
|
add9330e5e
Bug fixes
|
vor 2 Jahren |
|
oobabooga
|
33fb6aed74
Minor bug fix
|
vor 2 Jahren |
|
oobabooga
|
ad2970374a
Readability improvements
|
vor 2 Jahren |
|
oobabooga
|
72d539dbff
Better separate the FlexGen case
|
vor 2 Jahren |
|
oobabooga
|
ab50f80542
New text streaming method (much faster)
|
vor 2 Jahren |
|
oobabooga
|
8e89bc596b
Fix encode() for RWKV
|
vor 2 Jahren |
|
oobabooga
|
19a34941ed
Add proper streaming to RWKV
|
vor 2 Jahren |
|
oobabooga
|
8660227e1b
Add top_k to RWKV
|
vor 2 Jahren |
|
oobabooga
|
20bd645f6a
Fix bug in multigpu setups (attempt 3)
|
vor 2 Jahren |
|
oobabooga
|
09a7c36e1b
Minor improvement while running custom models
|
vor 2 Jahren |
|
oobabooga
|
24c4c20391
Fix bug in multigpu setups (attempt #2)
|
vor 2 Jahren |
|
oobabooga
|
d88b7836c6
Fix bug in multigpu setups
|
vor 2 Jahren |
|
oobabooga
|
e91f4bc25a
Add RWKV tokenizer
|
vor 2 Jahren |
|
oobabooga
|
a54b91af77
Improve readability
|
vor 2 Jahren |
|
oobabooga
|
8e706df20e
Fix a memory leak when text streaming is on
|
vor 2 Jahren |
|
oobabooga
|
c33715ad5b
Move towards HF LLaMA implementation
|
vor 2 Jahren |
|
oobabooga
|
c93f1fa99b
Count the tokens more conservatively
|
vor 2 Jahren |
|
oobabooga
|
05e703b4a4
Print the performance information more reliably
|
vor 2 Jahren |
|
oobabooga
|
a345a2acd2
Add a tokenizer placeholder
|
vor 2 Jahren |
|
oobabooga
|
5b354817f6
Make chat minimally work with LLaMA
|
vor 2 Jahren |
|
oobabooga
|
ea5c5eb3da
Add LLaMA support
|
vor 2 Jahren |
|
oobabooga
|
7bbe32f618
Don't return a value in an iterator function
|
vor 2 Jahren |
|
oobabooga
|
ff9f649c0c
Remove some unused imports
|
vor 2 Jahren |
|
oobabooga
|
955cf431e8
Minor consistency fix
|
vor 2 Jahren |
|
oobabooga
|
831ac7ed3f
Add top_p
|
vor 2 Jahren |
|
oobabooga
|
7c4d5ca8cc
Improve the text generation call a bit
|
vor 2 Jahren |
|
oobabooga
|
0f6708c471
Sort the imports
|
vor 2 Jahren |
