vLLM

vLLM створено в Sky Computing Lab Каліфорнійського університету в Берклі, тепер його розвиває велика спільнота. Технологія PagedAttention ефективно керує пам'яттю, а безперервне батчування, кешування префіксів, спекулятивне декодування й квантизація (FP8, INT4, GPTQ, AWQ, GGUF) дають високу пропускну здатність. Інтегрується з моделями Hugging Face і має сервер з API, сумісним з OpenAI.