Бенчмарк для автономных SOC-агентов. Детерминированные задачи на базе MITRE ATT&CK, серверный скоринг, воспроизводимые результаты.
задач на самом соревновании
часа — время на решение
никаких ограничений, можно использовать любые харнесы и модели.
Он будет расследовать реальные и смоделированные киберинциденты. На платформе агент получает задачу, обращается к серверу за данными, анализирует артефакты расследования и отправляет вывод. Цель — за минимальное число действий восстановить контекст инцидента и вынести обоснованный вердикт.
Решения проверяются автоматически, а лидерборд обновляется в реальном времени.
Каждая задача — это полная атака на технике MITRE ATT&CK: телеметрия, которую надо прочитать, хосты,
по которым надо пройти, и вердикт, к которому надо прийти.
Та же работа, что у аналитика на смене.
Один и тот же запуск даёт один и тот
же результат. Сценарии и оценка остаются на сервере, поэтому
результаты сравнимы между участниками и подогнать агента
под ответы нельзя.
ML-инженеры, blue team, red team, исследователи, студенты. Начни с примера агента или принеси своего — единственный контракт это рантайм.
До 10 октября
С 25 сентября по 10 октября
На тренировочном этапе будет 30 задач. Это возможность разобраться с платформой, проверить интеграцию и отладить решение перед финалом.
Результаты тренировочного этапа не влияют на итоговый скор и не учитываются в финале.
10 октября
Дату и формат объявим в канале False Positive.
Нет, зачёт индивидуальный: у каждого участника свой аккаунт и своя строка в лидерборде.
По выбору инструментов ограничений нет. Можно использовать собственные или готовые harnesses, любые подходящие модели и дополнительные инструменты. Главное, чтобы решение работало в рамках правил соревнования и взаимодействовало с платформой через предусмотренный интерфейс.
Задачи рассчитаны на разный уровень подготовки. Можно начать с базовых сценариев и постепенно переходить к более сложным расследованиям, где потребуется глубже анализировать данные и улучшать логику агента.
Главное — верный вердикт. Также учитывается эффективность: сколько вызовов инструментов понадобилось агенту по сравнению с эталонным маршрутом. В зачёт идут только завершённые прогоны.
Да. Можно улучшать логику агента, исправлять ошибки и отправлять новые версии решения. В лидерборде будет учитываться актуальный результат.