Сетевые аномалии. Обнаружение, локализация, прогнозирование

Оглавление

ПРЕДИСЛОВИЕ

1 СЕТЕВЫЕ АНОМАЛИИ, МЕТОДЫ, СИСТЕМЫ И ИНСТРУМЕНТЫ АНАЛИЗА
1.1. Типы и классификация аномалий
1.1.1. Классификации аномалий
1.1.2. Аномалии временных последовательностей
1.1.3. Аномалии производительности и изменения приложений
1.2. Методы обнаружения сетевых аномалий
1.2.1. Поведенческие методы
1.2.2. Методы машинного обучения
1.2.3. Методы вычислительного интеллекта
1.2.4. Методы основанные на знаниях
1.3. Обнаружение аномалий в потоковых данных
1.3.1. Формулировки задачи и сценарии обнаружения аномалий в дискретных последовательностях
1.3.2. Обнаружение аномальных временных рядов относительно базы данных временных рядов. Секвенциальный анализ темпоральных данных
1.3.3. Обнаружение аномальных последовательностей в потоке данных на основе знаний о цепочке событий, произошедших ранее в данном потоке
1.3.4. Обнаружение аномальных паттернов на основе анализа частоты их появления
1.3.5. Обнаружение аномалий в реальном времени
1.4. Системы и инструменты обнаружения сетевых аномалий
1.4.1. Типы сетевых аномалий
1.4.2. Классификация методов и систем обнаружения сетевых аномалий
1.4.3. Обнаружение сетевых аномалий
1.4.4. Существенные аспекты обнаружения сетевых аномалий
1.4.5. Обучающие выборки для задачи обнаружения аномалий
1.5. Метрики, используемые для оценки методов и систем обнаружения сетевых аномалий
1.5.1. Оценка эффективности алгоритмов обнаружения
1.5.2. Оценка эффективности алгоритмов классификации и кластеризации
Литература к главе 1

2. АНАЛИЗ И МОНИТОРИНГ СЕТЕВОГО ТРАФИКА
2.1. Проблемы контроля и анализа сетевого трафика
2.1.1. Место контроля трафика
2.1.2. Задачи контроля
2.2. Сетевые анализаторы трафика
2.2.1. Задачи анализа сетевого трафика
2.2.2. Средства анализа сетевого трафика
2.2.3. Программный сниффер Wireshark
2.2.4. Аппаратный сниффер Network Associates
2.2.5. Iris Network Traffic Analyzer
2.3. Сбор данных с помощью протокола NetFlow
2.3.1. Мониторинг
2.3.2. Примеры контрольных и аналитических инструментов потока сетевого трафика с помощью протокола NetFlow
2.4. Сбор данных с помощью протокола SNMP
2.4.1. Контроль сетевых устройств
2.4.2. Примеры контрольных и аналитических инструментов потока сетевого трафика помощью протокола SNMP
2.5. Программный сниффер Tcpdump
2.6. Другие технологии и подходы к сетевому мониторингу
2.6.1. Трассировка событий сетевого стека
2.6.2. Протокол ICMP
2.6.3. Анализ системных журналов
2.7. Инструменты классификации. Технология DPI
2.8. Использование инструментов DPI для классификации и учета трафика
2.8.1. Использование инструментов DPI для классификации трафика
2.8.2. Использование инструментов DPI для целей учета трафика
2.8.3. Влияние усечения пакетов и потоков на классификацию трафика
2.9. Наборы обучающих и тестовых данных обнаружения сетевых атак
2.9.1. Синтетические данные
2.9.2. Эталонные данные
2.9.3. Реальные наборы данных
2.9.4. Симуляция сети
2.10. Системы и инструменты для анализа потоковых данных
Литература к главе 2

3. СТАТИСТИЧЕСКИЕ ХАРАКТЕРИСТИКИ СЕТЕВЫХ АНОМАЛИЙ
3.1. Аномалии сетевой безопасности
3.1.1. Типы сетевых атак
3.1.2. Примеры формирования атакующего трафика
3.2. Примеры сетевых атак полученные имитационным моделированием аномалий трафика в локальной сети
3.3. Статистические характеристики трафика с DoS-атакой
3.3.1. ICMP flooding
3.3.2. Flash crowd
3.3.3. Smurf
3.3.4. Fraggle
3.3.5. SYN flooding
3.3.6. UDP storm
3.4. Анализ статистических характеристик используемых для описания аномальных вторжений
3.5. Результаты анализа статистических характеристик аномальных вторжений
3.5.1. Атака Flash crowd
3.5.2. Атака ICMP flooding
3.5.3. Атака fraggle
3.5.4. Атака smurf
3.5.5. Атака SYN flooding
3.5.6. Атака UDP storm
3.5.7. Neptune
3.6. Информативные статистические параметры аномальных вторжений
3.7. Классификация аномальных вторжений статистическими методами
3.7.1. Методы классификации
3.7.2. Результаты классификации аномалий на основе оценки статистических параметров
3.8. Фрактальные свойства телекоммуникационного трафика
Литература к главе 3
4. СТАТИСТИЧЕСКИЕ МЕТОДЫ ОБНАРУЖЕНИЯ АНОМАЛИЙ
4.1. Статистическеие методы обнаружения аномального поведения
4.1.1. Принципы статистических методов обнаружения аномалий
4.1.2. Классификация методов обнаружения
4.2. Критерии соотвествия и однородности
4.2.1. Критерий хи-квадрат
4.2.2. Критерий Колмогорова-Смирнова
4.2.3. Критерий оценки Вилкоксона-Манна-Уитни
4.3. Критерии аномального поведения и их практическое применение
4.3.1. Признаки появления аномалии
4.3.2. Процентное отклонение (PD)
4.4. Параметрические методы регистрации изменений
4.4.1. Контрольные карты
4.4.2. Контрольные карты Шухарта
4.4.3. Контрольные карты CUSUM
4.4.4. Контрольные карты EWMA
4.5. Статистические алгоритмы и методы идентификации аномалий
4.5.1. Алгоритм обобщенных экстремальных отклонений
4.5.2. Алгоритм обнаружения выбросов на основе вычисления эксцесса
4.5.3. Алгоритм Шапиро-Вилка
4.5.4. Алгоритм обнаружения нескольких выбросов отличающихся различными параметрами
4.5.5. Алгоритм обнаружения одного выброса в упорядоченной выборке
4.5.6. Алгоритм идентификации выбросов, основанный на экспоненциальном сглаживании
4.5.7. Алгоритм оценки соответствия новых входных данных наблюдений уже имеющимся
4.5.8. Алгоритм фильтрующего окна
4.5.9. Матричные методы обнаружения выбросов
4.6. Методы, критерии и алгоритмы математической статистики
4.6.1. Методы описательной статистики
4.6.2. Критерий Кохрана-Кокса
4.6.3. Критерий Беренса-Фишера сравнения выборок при неизвестных неравных дисперсиях
4.6.4. Критерий сравнения двух параметров экспоненциальных распределений
4.6.5. Критерий Фишера для дисперсий
4.6.6. Композиция статистических критериев для работы в режиме on-line
4.7. Сравнительный анализ алгоритмов обнаружения аномалий статистическими методами в режиме on-line
4.7.1. Постановка задачи
4.7.2. Численные результаты обнаружения аномалий в режиме on-line
4.8. Обнаружение аномальных выбросов с использованием информационных критериев
4.8.1. Методика обнаружения
4.8.2. Численные результаты
4.9. Обнаружение аномалий трафика с использоватнием алгоритма кумулятивных сумм
4.9.1. Структура алгоритма
4.9.2. Описание алгоритма обнаружения
4.9.3. Численные результаты
4.10. Обнаружение и оценка момента возникновения сетевых аномалий методом разладки Бродского-Дархосвкого
4.10.1. Постановка задачи
4.10.2. Критерии обнаружения
4.10.3. Алгоритм Бродского-Дарховского
4.10.4. Результаты статистической обработки с использованием алгоритма Бродского-Дарховского
4.11. Помск и оценка аномалий сетевого трафика на основе циклического анализа
4.12. Информационно-теоретические модели обнаружения аномалий
4.13. Обнаружение аномальных вторжений с помощью модели смеси гауссовских распределений
4.14. Применение сэмплинга трафика для систем мониторинга рисков безопасности в IP-сетях
4.14.1. Технология выборки и анализа трафика в IP-сетях
4.14.2. Методы сэмплинга
4.14.3. Механизм реализации адаптивного сэмплинга на сетевом устройстве
4.14.4. Адаптация частоты дискретизации путем удаленного доступа
4.14.5. Примеры применения сэмплинга для обнаружения сетевых аномалий
4.15. Достоинства и недостатки статистических методов
Литература к главе 4

5. ОБНАРУЖЕНИЕ АНОМАЛИЙ ТРАФИКА МЕТОДАМИ КРАТНОМАСШТАБНОГО АНАЛИ-ЗА
5.1. Основные положения кратномасштабного анализа (КМА)
5.2. Обнаружение аномалий трафика с помощью вейвлет-анализа
5.2.1. Непрерывное вейвлет-преобразование
5.2.2. Дискретные вейвлет-преобразования: разложение и реконструкция
5.2.3. Дискретное вейвлет-преобразование с максимальным перекрытием
5.2.4. Пакетные вейвлеты
5.3. Анализ методов обнаружения аномалий трафика с помощью вейвлетов
5.3.1. Качественный анализ
5.3.2. Обнаружение DDoS-атак на основе оценки энергии коэффициентов детализации дискретного вейвлет-преобразования
5.3.3. Обнаружение на основе пакетных вейвлетов
5.3.4. Критерии выбора вейвлет-функции
5.4. Обнаружение аномалий методами ДВП в режиме off-line
5.4.1. Статистические характеристики коэффициентов аппроксимации и детализации
5.4.2. Алгоритм, основанный на сумме квадратов вейвлет-коэффициентов
5.4.3. Алгоритм, основанный на максимуме квадратов вейвлет-коэффициентов
5.4.4. Сравнительный анализ алгоритмов обнаружения
5.5. Обнаружение аномалий методами ДВП в режиме on-line
5.5.1. Статистические характеристики аномалии
5.5.2. Алгоритмы обнаружения
5.5.3. Результаты статистической обработки
5.6. Обнаружение аномалий методами ДВП в режиме on-line с учетом предварительной фильтрации
5.6.1. Предварительная фильтрация трафика методами трешолдинга
5.6.2. Оценка эффективности трешолдинга при обнаружении аномалий
5.6.3. Результаты статистической обработки аномально засоренного трафика
5.7. Оценка достоверности обнаружения аномалий методами кратномасштабного анализа
5.7.1. Оценка вероятностных характеристик достоверности обнаружения при использовании критерия Фишера
5.7.2. Оценка вероятностных характеристик достоверности обнаружения при использовании критерия Фишера для средних значений
5.7.3. Структура программного комплекса
5.7.4. Сравнительный анализ результатов обнаружения аномалий при использовании различных длительностей окон анализа
5.7.5. Сравнительный анализ результатов обнаружения аномалий при использовании различных систем вейвлетов
Литература к главе 5

6. ОБНАРУЖЕНИЕ АНОМАЛИЙ МЕТОДАМИ МОНО И МУЛЬТИФРАКТАЛЬНОГО АНАЛИЗА
6.1. Основные положения теории фракталов и мультифракталов
6.2. Мультифрактальный анализ трафика методом максимумов модулей вейвлет-преобразования
6.2.1. Особенности определения спектра сингулярностей мультифрактального сигнала
6.2.2. Алгоритм оценки параметров мультифрактального спектра методом ММВП 298
6.3. Имитационное моделирование мультифрактальных характеристик телекоммуникационного трафика в условиях DoS-атак
6.4. Обнаружение аномалий методом мультифрактального кратномасштабного анализа в реальном времени
6.4.1. Постановка задачи
6.4.2. Метод оценки скачка фрактальной размерности в режиме on-line
6.4.3. Эффективность текущей оценки показателя Херста
6.4.4. Мультифрактальное расширение алгоритма обработки
6.4.5. Результаты эксперимента
6.4.6. Анализ полученных результатов
6.5. Оценка показателя Херста методом кратномасштабного анализа
6.6. Анализ методов оценки монофрактальной размерности
6.6.1. Методы оценки показателя Херста
6.6.2. Алгоритмы оценки параметров самоподобия
6.6.3. Итеративный алгоритм оценки показателя Херста
6.6.4. Упрощенная процедура оценки показателя Херста
6.6.5. Оценка показателя Херста на основе вейвлет-анализа
6.6.6. Алгоритм обнаружения аномалий на основе дискретного стационарного вейвлет-преобразования (DSWT) и фрактальной размерности (FD)
6.7. Примеры обнаружения аномалий сетевого трафика методом оценки фрактальной размерности
6.7.1. Обнаружение аномалий в сетевом трафике локальной сети методом оценки самоподобия
6.7.2. Оценка уровня риска безопасности LAN на основе оценки самоподобия трафика
6.7.3. Обнаружения атаки DDoS Flood с помощью ДВП и SIC
Литература к главе 6

7. СЕТЕВАЯ ТОМОГРАФИЯ. ОБНАРУЖЕНИЕ И ЛОКАЛИЗАЦИЯ АНОМАЛИЙ ОБЪЕМА
7.1. Основные положения сетевой томографии
7.2. Обнаружение и локализация аномалий в крупномасштабных сетях
7.3. Систематизация аномалий объема сети
7.4. Моделирование и оценка матрицы трафика
7.5. Оценка ТМ
7.5.1. Информационно-теоретический подход к оценке ТМ
7.5.2. Некорректные обратные задачи
7.6. Оценка ТМ методом максимального правдоподобия
7.6.1. Модель самоподобного трафика
7.6.2. Функция правдоподобия
7.7. Рекуррентная оценка матрицы трафика
7.8. Оценка ТМ методом главных компонент
7.9. Методы обнаружения и локализации аномалий объема
7.9.1. Обнаружение аномалий с использованием фильтра Калмана
7.9.2. Обнаружение и локализаций аномалий методом РСА
7.9.3. Результаты имитационного моделирования
7.10. Структура системы мониторинга аномалий объема в больших распределенных системах
Литература к главе 7

8. ОБНАРУЖЕНИЕ И ПРОГНОЗИРОВАНИЕ АНОМАЛИЙ В ПОТОКОВЫХ ДАННЫХ
8.1. Обнаружение аномалий на основе прогнозирования профиля нормального функционирования
8.1.1. Профиль нормального функционирования
8.1.2. Краткосрочное прогнозирование временных рядов
8.2. Анализ существующих методов прогнозирования
8.2.1. Основные понятия и определения
8.2.2. Обнаружение аномалий с помощью экспоненциального сглаживания временного ряда. Глубина упреждения прогноза
8.2.3. Статистические модели прогнозирования
8.3. Регрессионные модели
8.3.1. Линейные авторегрессионные (AR) модели
8.3.2. Процессы скользящего среднего
8.3.3. Авторегрессионные модели скользящего среднего
8.3.4. Авторегрессионные интегральные модели скользящего среднего (ARIMA)
8.3.5. Фрактальные авторегрессионные интегральные модели скользящего среднего (FARIMA)
8.3.6. Выбор порядка АР-модели
8.4. Этапы обнаружения аномалий объектов мониторинга с помощью ПНФ
8.5. Обнаружение аномалий в потоках данных временных рядов
8.5.1. Модели потоков данных
8.5.2. Факторы, влияющие на выбор метода обнаружения аномалий
8.5.3. Подходы к обнаружению аномалий в потоковых данных
8.6. Методы и алгоритмы обнаружения аномалий в потоковых данных
8.6.1. Анализ экстремальных значений
8.6.2. Тест Граббса
8.6.3. Тест обобщенных экстремальных отклонений
8.6.4. Простая линейная регрессия
8.6.5. Локальный коэффициент выбросов
8.7. Обнаружение аномалий в темпоральных данных на основе цепей Маркова
8.7.1. Дискретные цепи Маркова
8.7.2. Гибридно продукционно-стохастическая модель
8.7.3. Марковская модель с доходами
8.8. Обнаружения аномалий в потоковых данных на основе скрытых марковских моделей
8.8.1. Основные теоретические положения
8.8.2. Основные задачи, решаемые с помощью СММ
8.8.3. Алгоритм метода Баума-Велша обучения СММ системы
8.8.4. Алгоритм вычисления состояний СММ методом Витерби
8.8.5. Примеры построения и использования СММ в задачах обнаружения аномалий
8.8.6. Схема обучения СMM
8.8.7. Прогнозирование сетевых аномалий с помощью СММ
8.8.8. Преимущества и недостатки методов, основанных на CMM
Литература к главе 8