 oobabooga
|
24c4c20391
Fix bug in multigpu setups (attempt #2)
|
hace 2 años |
|
oobabooga
|
d88b7836c6
Fix bug in multigpu setups
|
hace 2 años |
|
oobabooga
|
e91f4bc25a
Add RWKV tokenizer
|
hace 2 años |
|
oobabooga
|
a54b91af77
Improve readability
|
hace 2 años |
|
oobabooga
|
8e706df20e
Fix a memory leak when text streaming is on
|
hace 2 años |
|
oobabooga
|
c33715ad5b
Move towards HF LLaMA implementation
|
hace 2 años |
|
oobabooga
|
c93f1fa99b
Count the tokens more conservatively
|
hace 2 años |
|
oobabooga
|
05e703b4a4
Print the performance information more reliably
|
hace 2 años |
|
oobabooga
|
a345a2acd2
Add a tokenizer placeholder
|
hace 2 años |
|
oobabooga
|
5b354817f6
Make chat minimally work with LLaMA
|
hace 2 años |
|
oobabooga
|
ea5c5eb3da
Add LLaMA support
|
hace 2 años |
|
oobabooga
|
7bbe32f618
Don't return a value in an iterator function
|
hace 2 años |
|
oobabooga
|
ff9f649c0c
Remove some unused imports
|
hace 2 años |
|
oobabooga
|
955cf431e8
Minor consistency fix
|
hace 2 años |
|
oobabooga
|
831ac7ed3f
Add top_p
|
hace 2 años |
|
oobabooga
|
7c4d5ca8cc
Improve the text generation call a bit
|
hace 2 años |
|
oobabooga
|
0f6708c471
Sort the imports
|
hace 2 años |
|
oobabooga
|
e735806c51
Add a generate() function for RWKV
|
hace 2 años |
|
oobabooga
|
f871971de1
Trying to get the chat to work
|
hace 2 años |
|
oobabooga
|
ebd698905c
Add streaming to RWKV
|
hace 2 años |
|
oobabooga
|
70e522732c
Move RWKV loader into a separate file
|
hace 2 años |
|
oobabooga
|
ebc64a408c
RWKV support prototype
|
hace 2 años |
|
oobabooga
|
6e843a11d6
Fix FlexGen in chat mode
|
hace 2 años |
|
oobabooga
|
fa58fd5559
Proper way to free the cuda cache
|
hace 2 años |
|
oobabooga
|
700311ce40
Empty the cuda cache at model.generate()
|
hace 2 años |
|
oobabooga
|
78ad55641b
Remove duplicate max_new_tokens parameter
|
hace 2 años |
|
oobabooga
|
65326b545a
Move all gradio elements to shared (so that extensions can use them)
|
hace 2 años |
|
oobabooga
|
9ae063e42b
Fix softprompts when deepspeed is active (#112)
|
hace 2 años |
|
oobabooga
|
7224343a70
Improve the imports
|
hace 2 años |
|
oobabooga
|
1dacd34165
Further refactor
|
hace 2 años |
