Ragas — один із найвідоміших інструментів для оцінювання RAG. Метрики Context Precision і Context Recall показують, чи знайшов пошук потрібні фрагменти, Faithfulness — чи відповідь спирається на знайдене без вигадок, Response Relevancy — чи відповідь стосується питання; є також Noise Sensitivity, метрики для агентів і виклику інструментів (Tool Call Accuracy, Agent Goal Accuracy), SQL і класичні BLEU, ROUGE. Ragas уміє автоматично генерувати тестові набори питань з ваших документів і працює з LangChain та інструментами моніторингу. Ліцензія Apache 2.0.
Практичний посібник з тестування застосунків на основі великих мовних моделей: тестовий набір, LLM-суддя, метрики RAG, перевірка агентів, OWASP Top 10 для LLM, red teaming, guardrails, регресія в CI і моніторинг. Promptfoo, DeepEval, Ragas, garak, PyRIT, Langfuse та інші інструменти.
Практичний посібник з тестування безпеки застосунків Android та iOS: OWASP Mobile Top 10 і MASVS, статичний і динамічний аналіз, перехоплення трафіку й SSL pinning, сховище даних, deep links, root і jailbreak, Frida, MobSF, jadx, тренажери й план навчання.
Посібник з тестування баз даних: цілісність і коректність даних, міграції схеми, збережені процедури, продуктивність запитів, безпека, тестові дані без персональних даних, якість даних у сховищах. Готові SQL-перевірки, tSQLt, pgTAP, Testcontainers, Flyway, Liquibase, dbt і план навчання.
Cookie на сайті
Без вашої згоди працюють лише необхідні cookie: вхід, мова, обране місце в Marketplace. Відео з YouTube у рекламі (Google може зберігати свої cookie) вантажаться лише після «Прийняти всі» або натискання ▶. Детальніше
Виклик Асистента