← До напряму

Локальні LLM

Реклама Безкоштовно: інструкція для AI-асистента підтримки Роль, тон, правила безпеки, передача людині й 10 тестових запитів

Ollama

Запуск відкритих AI-моделей на своєму комп'ютері (macOS, Windows, Linux) або в хмарі Ollama однією командою.

LM Studio

Застосунок для запуску локальних LLM з агентом Bionic: чат, документи, код і голосовий ввід на вашому комп'ютері.

GPT4All

Безкоштовний локальний чат-бот від Nomic: відкриті моделі на Windows, macOS і Linux та чат із власними документами.

Jan

Відкрита альтернатива ChatGPT для комп'ютера: локальні моделі або підключення до хмарних GPT, Claude, Gemini.

AnythingLLM

Приватний AI-асистент на вашому пристрої: чат із документами, агенти, нотатки зустрічей — без акаунтів і API-ключів.

Open WebUI

Self-hosted платформа з вебінтерфейсом для будь-яких моделей: Ollama, OpenAI-сумісні API, розширення на Python.

LocalAI

Відкритий runtime для тексту, голосу, зображень і відео на власному залізі з API, сумісним з OpenAI.

Msty

Приватний AI-простір Msty Studio: локальні й онлайн-моделі, агенти та бази знань для людей і команд.

llama.cpp

Бібліотека й набір утиліт на C/C++ для швидкого локального запуску LLM на CPU та GPU, з OpenAI-сумісним сервером.

vLLM

Відкрита бібліотека для швидкого інференсу й обслуговування LLM на серверах з GPU з високою пропускною здатністю.

llamafile

Проєкт Mozilla.ai: LLM в одному виконуваному файлі, що запускається на більшості ОС без встановлення.

KoboldCpp

Один файл без встановлення для локальних моделей GGUF з вебінтерфейсом: чат, історії, зображення, голос і API.

TextGen (oobabooga)

Відкритий десктопний застосунок для локальних LLM без телеметрії: чат, зображення, інструменти, навчання LoRA й API.

Pinokio

Браузер-лаунчер, що встановлює й запускає відкриті AI-застосунки на вашому комп'ютері в один клік.