Нейронные сети для обработки информации

Оглавление

К читателю

Предисловие

Предисловие к российскому изданию

1. Введение
1.1. Биологические основы функционирования нейрона
1.2. Первые модели нейронной сети
1.3. Прикладные возможности нейронных сетей
2. Модели нейронов и методы их обучения

2.1. Персептрон
2.2. Сигмоидальный нейрон
2.3. Радиальный нейрон
2.4. Нейрон типа «адалайн»
2.5. Инстар и оутстар Гроссберга
2.6. Нейроны типа WTA
2.7. Модель нейрона Хебба
2.8. Стохастическая модель нейрона
2.9. Задания

3. Однонаправленные многослойные сети сигмоидального типа
3.1. Однослойная сеть
3.2. Многослойная персептронная сеть
3.2.1. Структура персептронной сети
3.2.2. Алгоритм обратного распространения
3.3. Применение потоковых графов для генерации градиента
3.4. Градиентные алгоритмы обучения сети
3.4.1. Алгоритм наискорейшего спуска
3.4.2. Алгоритм переменной метрики
3.4.3. Алгоритм Левенберга–Марквардта
3.4.4. Алгоритм сопряженных градиентов
3.5. Подбор коэффициента обучения
3.6. Эвристические методы обучения сети
3.6.1. Алгоритм Quickprop
3.6.2. Алгоритм RPROP
3.7. Компьютерная программа MLP для обучения персептронной сети
3.8. Сравнение эффективности алгоритмов обучения
3.9. Элементы глобальной оптимизации
3.9.1. Алгоритм имитации отжига
3.9.2. Элементы теории генетических алгоритмов
3.10. Методы инициализации весов
3.11. Задания

4. Проблемы практического использования искусственных нейронных сетей
4.1. Способность нейронной сети к обобщению
4.1.1. Основные зависимости
4.1.2. Мера VCdim
4.1.3. Зависимости между погрешностью обобщения и мерой VCdim
4.1.4. Обзор методов повышения способности нейронной сети к обобщению
4.2. Предварительный подбор архитектуры сети
4.3. Подбор архитектуры сети, оптимальной с позиций обобщения
4.3.1. Методы редуцирования сети с учетом чувствительности
4.3.2. Методы редуцирования сети с использованием штрафной функции
4.4. Добавление шума в обучающие выборки
4.5. Повышение способности к обобщению путем использования нескольких сетей
4.6. Примеры использования персептронной сети
4.6.1. Распознавание и классификация двоичных образов
4.6.2. Распознавание образов на основе внешнего описания
4.6.3. Нейронная сеть для сжатия данных
4.6.4. Идентификация динамических объектов
4.6.5. Прогнозирование нагрузок энергетической системы
4.7. Задания

5. Радиальные нейронные сети
5.1. Математические основы
5.2. Радиальная нейронная сеть
5.3. Методы обучения радиальных нейронных сетей
5.3.1. Применение процесса самоорганизации для адаптации параметров радиальных функций
5.3.2. Вероятностный алгоритм подбора параметров радиальных функций
5.3.3. Гибридный алгоритм обучения радиальных сетей
5.3.4. Алгоритмы обучения, основанные на обратном распространении
5.4. Методы подбора количества базовых функций
5.4.1. Эвристические методы
5.4.2. Метод ортогонализации Грэма–Шмидта
5.5. Компьютерная программа для обучения радиальных сетей
5.6. Пример использования радиальной сети для аппроксимации
5.7. Сравнение радиальных и сигмоидальных сетей
5.8. Задания

6. Сети SVM
6.1. Линейная сеть SVM для решения задачи классификации
6.1.1. Нелинейная сеть SVM для решения задачи классификации
6.2. Интерпретация множителей Лагранжа в структуре сети
6.3. Задача классификации при наличии нескольких классов
6.4. Сети SVM для решения задач регрессии
6.5. Обзор алгоритмов решения двойственной задачи
6.6. Компьютерная программа для обучения сети SVM
6.7. Примеры использования сетей SVM
6.7.1. Задача классификации двух спиралей
6.7.2. Распознавание текстур
6.7.3. Выявление неисправностей элементов в контуре электрического фильтра
6.8. Сравнение сети SVM с другими нейронными решениями
6.9. Задания

7. Специализированные структуры нейронных сетей
7.1. Сеть каскадной корреляции Фальмана
7.2. Сеть Вольтерри
7.2.1. Структура и особенности обучения сети
7.2.2. Примеры использования сети Вольтерри
7.3. Задания

8. Рекуррентные сети как ассоциативные запоминающие устройства
8.1. Автоассоциативная сеть Хопфилда
8.1.1. Основные зависимости
8.1.2. Режим обучения сети Хопфилда
8.1.3. Режим распознавания сети Хопфилда
8.1.4. Программа Hop win
8.2. Сеть Хемминга
8.2.1. Структура сети и алгоритм подбора весов
8.2.2. Функционирование сети Хемминга
8.2.3. Программа Shamming обучения сети
8.3. Сеть типа ВАМ
8.3.1. Описание функционирования сети
8.3.2. Модифицированный алгоритм обучения сети ВАМ
8.3.3. Модифицированная структура сети ВАМ
8.4. Задания

9. Рекуррентные сети на базе персептрона
9.1. Персептронная сеть с обратной связью
9.1.1. Структура сети RMLP
9.1.2. Алгоритм обучения сети RMLP
9.1.3. Подбор коэффициента обучения
9.1.4. Коэффициент усиления сигнала
9.1.5. Результаты компьютерного моделирования
9.2. Рекуррентная сеть Эльмана
9.2.1. Структура сети
9.2.2. Алгоритм обучения сети Эльмана
9.2.3. Обучение с учетом момента
9.2.4. Пример компьютерного моделирования сети Эльмана
9.3. Сеть RTRN
9.3.1. Структура сети и алгоритм обучения
9.3.2. Результаты численных экспериментов
9.4. Задания

10. Сети с самоорганизацией на основе конкуренции
10.1. Особенности сетей с самоорганизацией на основе конкуренции
10.1.1. Меры расстояния между векторами
10.1.2. Нормализация векторов
10.1.3. Проблема мертвых нейронов
10.2. Алгоритмы обучения сетей с самоорганизацией
10.2.1. Алгоритм Кохонена
10.2.2. Алгоритм нейронного газа
10.2.3. Программа Kohon
10.2.4. Сравнение алгоритмов самоорганизации
10.3. Сеть отображения одно- и двумерных данных
10.4. Отображение Сэммона
10.5. Применение сетей с самоорганизацией
10.5.1. Компрессия данных
10.5.2. Выявление неисправностей оборудования
10.5.3. Краткосрочное прогнозирование нагрузок энергетической системы
10.6. Гибридная сеть
10.7. Задания

11. Сети с самоорганизацией корреляционного типа
11.1. Энергетическая функция корреляционных сетей
11.2. Нейронные сети РСА
11.2.1. Математическое введение
11.2.2. Отношение между преобразованиями РСА и SVD
11.2.3. Определение первого главного компонента
11.2.4. Алгоритмы определения нескольких главных компонентов
11.3. Нейронные сети для слепого разделения сигналов
11.3.1. Статистическая независимость сигналов
11.3.2. Рекуррентная структура разделяющей сети
11.3.3. Алгоритм Херольта–Джуттена для рекуррентной сети
11.3.4. Алгоритм Чихотского для обучения рекуррентной сети
11.3.5. Программа слепого разделения сигналов BS
11.3.6. Однонаправленная сеть для разделения сигналов
11.3.7. Toolbox ICALAB
11.4. Задания

12. Математические основы нечетких систем
12.1. Операции на нечетких множествах
12.2. Меры нечеткости нечетких множеств
12.3. Нечеткость и вероятность
12.4. Нечеткие правила вывода
12.5. Системы нечеткого вывода Мамдани–Заде
12.5.1. Фуззификатор
12.5.2. Дефуззификатор
12.5.3. Модель Мамдани–Заде как универсальный аппроксиматор
12.6. Модель вывода Такаги–Сугено–Канга
12.7. Задания

13. Нечеткие нейронные сети
13.1. Структура нечеткой сети TSK
13.2. Структура сети Ванга–Менделя
13.3. Алгоритмы самоорганизации для обучения нечеткой сети
13.3.1. Алгоритм пикового группирования
13.3.2. Алгоритм C–means
13.3.3. Алгоритм нечеткой самоорганизации Густафсона–Кесселя
13.4. Генерация правил вывода нечеткой сети
13.5. Гибридный алгоритм обучения нечеткой сети TSK
13.6. Модификации сети TSK
13.6.1. Алгоритм определения количества правил вывода
13.6.2. Численный пример
13.6.3. Упрощенная сеть TSK
13.7. Гибридная нечеткая сеть
13.8. Примеры использования нечетких сетей
13.8.1. Оценивание концентрации компонентов газовой смеси
13.8.2. Распознавание компонентов газовой смеси
13.8.3. Распознавание сортов пива по запаху
13.9. Адаптивный алгоритм самоорганизации нечеткой сети
13.10. Задания

Литература

Предметный указатель