llama.cpp

llama.cpp — відкритий проєкт ggml-org, на якому побудовано багато локальних AI-застосунків. Він запускає моделі у форматі GGUF на звичайних комп'ютерах, підтримує квантизацію, багато типів відеокарт і мультимодальні моделі. Можна завантажити модель з Hugging Face однією командою, спілкуватися в терміналі або підняти сервер з API, сумісним з OpenAI. Встановлення — скриптом, Docker або готовими збірками.