lm-evaluation-harness запускає понад 60 стандартних академічних бенчмарків із сотнями підзадач через один інтерфейс. Працює з моделями Hugging Face Transformers (зокрема квантизованими), vLLM і SGLang для швидкого інференсу, llama.cpp, OpenVINO, а також з API, сумісними з OpenAI, і Anthropic. Саме на ньому працював Open LLM Leaderboard від Hugging Face. Корисний, коли треба порівняти моделі перед вибором або перевірити, що донавчання чи квантизація не погіршили якість. Ліцензія MIT.
Практичний посібник з тестування застосунків на основі великих мовних моделей: тестовий набір, LLM-суддя, метрики RAG, перевірка агентів, OWASP Top 10 для LLM, red teaming, guardrails, регресія в CI і моніторинг. Promptfoo, DeepEval, Ragas, garak, PyRIT, Langfuse та інші інструменти.
Практичний посібник з тестування безпеки застосунків Android та iOS: OWASP Mobile Top 10 і MASVS, статичний і динамічний аналіз, перехоплення трафіку й SSL pinning, сховище даних, deep links, root і jailbreak, Frida, MobSF, jadx, тренажери й план навчання.
Посібник з тестування баз даних: цілісність і коректність даних, міграції схеми, збережені процедури, продуктивність запитів, безпека, тестові дані без персональних даних, якість даних у сховищах. Готові SQL-перевірки, tSQLt, pgTAP, Testcontainers, Flyway, Liquibase, dbt і план навчання.
Cookie на сайті
Без вашої згоди працюють лише необхідні cookie: вхід, мова, обране місце в Marketplace. Відео з YouTube у рекламі (Google може зберігати свої cookie) вантажаться лише після «Прийняти всі» або натискання ▶. Детальніше
Виклик Асистента