Рекомендуем

Методы и технологии искусственного интеллектаРутковский Лешек Методы и технологии искусственного интеллекта
Нейронные сети, генетические алгоритмы и нечеткие системыРутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы
Автоматизированный анализ деятельности предприятия с использованием семантических сетейКаширин И.Ю., Крошилин А.В., Крошилина С.В. Автоматизированный анализ деятельности предприятия с использованием семантических сетей

Книга

Нейронные сети: основы теории

2016 г.
496 стр.
Тираж 1000 экз.
Формат 60х90/16 (145x215 мм)
Исполнение: в мягкой обложке
ISBN 978-5-9912-0082-0
ББК 30.17
УДК 681.322
Аннотация

Изложена методика синтеза многослойных нейросетей различной структуры: с полными и неполными последовательными связями, перекрестными и обратными связями, функционирующими в режимах обучения, самообучения, обучения с учителями, обладающих конечной квалификацией. Приведены этапы исследования надежности и диагностики нейронных сетей. Представлены основные постановки задач перспективных исследований в области теории нейронных сетей.

Для научных работников, аспирантов и студентов, занимающихся разработкой и применением сверхвысокопроизводительной вычислительной техники.

Оглавление

Предисловие
Профессор, Lotfi A. Zadeh Университет Беркли, штат Калифорния
Профессор, Robert Hecht-Nielsen Вычислительная нейробиология, Институт нейронных вычислений и факультет ЕСЕ Университета Калифорнии, Сан Диего
Профессор Shun-ichi Amari директор RIKEN Brain Science Institute,Токио

Введение

Раздел 1. Структура нейронных сетей

Глава 1. От логического базиса булевых элементов И, ИЛИ, НЕ к пороговому логическому базису
1.1. Линейный пороговый элемент (нейрон)
1.2. Многопороговая логика
1.3. Непрерывная логика
1.4. Частные виды функций активации

Глава 2. Качественные характеристики архитектур нейронных сетей
2.1. Частные типы архитектур нейронных сетей
2.2. Многослойные нейронные сети с последовательными связями
2.3. Структурное и символическое описание многослойных нейронных сетей

Глава 3. Оптимизация структуры многослойных нейронных сетей с перекрестными связями
3.1. О критерии сложности задачи
3.2. Одномерный вариант нейронной сети с перекрестными связями
3.3. Вывод верхней и нижней оценки количества областей
3.4. Частная задача оптимизации
3.5.Оптимизация структуры по некоторым основным топологическим характеристикам
3.6. Оптимизация структуры многослойных нейронных cетей с Kр решениями

Глава 4. Континуальные нейронные сети
4.1. Нейроны с континуумом признаков на входе
4.2. Континуум нейронов в слое
4.3. Континуум нейронов слоя и дискретное множество признаков
4.4. Классификация континуальных моделей слоя нейронов
4.4.1. Дискретное множество нейронов
4.4.2. Одномерное и двумерное m2 пространство признаков
4.4.3.Континуум признаков. Одномерное m1, для нескольких каналов
4.4.4. Континуум признаков. Двумерное m1
4.4.5. Слой нейронов с континуумом выходных значений

Раздел 2. Оптимальные модели нейронных сетей

Глава 5. Исследование характеристик входных сигналов
5.1. Постановка задачи
5.2. Совместный закон распределения вероятностей входного сигнала для двух классов образов
5.3. Совместный закон распределения вероятностей входного сигнала для K классов образов

Глава 6. Построение оптимальных моделей нейронных сетей
6.1. Общая структура оптимальной модели
6.2. Аналитическое представление разделяющих поверхностей в типовых нейронных сетях
6.3. Оптимальная модель нейронной сети для многомерных сигналов е(n) у(n)
6.4. Априорная информация о входном сигнале нейронной сети в режиме самообучения
6.5. О критериях первичной оптимизации нейронной сети в режиме самообучения
6.6. Оптимальные модели нейронной сети в режиме самообучения и при произвольной квалификации учителя

Глава 7. Анализ разомкнутых нейронных сетей
7.1. Законы распределения аналоговой и дискретной ошибок нейронной сети
7.1.1. Нейрон с двумя решениями
7.1.2. Нейрон с континуумом решений
7.1.3. Анализ нейрона с Кр решениями
7.1.4. Анализ системы распознавания образов с нелинейной разделяющей поверхностью
7.2. Выбор функционала вторичной оптимизации
7.3. О выборе функционала вторичной оптимизации в системе «Адалин»
7.4. Формирование функционалов вторичной оптимизации, соответствующих заданному критерию первичной оптимизации
7.4.1. Критерий минимума средней функции
7.4.2. Критерий минимума R при условии равенства р1r1 = р2r2
7.4.3. Критерий минимума R при условии ptrt= a = const
7.5. Континуальные модели нейронной сети
7.5.1. Нейронная сеть с континуумом решений: два класса образов
7.5.2. Нейронная сеть с континуумом решений: континуум классов образов
7.5.3. Нейронная сеть с Кр решениями; К классов образов
7.5.4. Нейронная сеть с N*-выходными каналами; К0 градаций сигнала по каждому классу
7.5.5. Нейронные сети с N*-выходными каналами; континуум решений нейронных сетей
7.6. Нейронная сеть в режимах самообучения и при произвольной квалификации учителя

Глава 8. Поиск экстремума функций многих переменных
8.1. Организация процедуры поиска экстремума функционала вторичной оптимизации в многослойных нейронных сетях
8.2. Анализ итерационного метода поиска экстремума функций многих переменных
8.3. О методе стохастической аппроксимации
8.4. Итерационные методы поиска экстремума функций многих переменных при наличии ограничений типа равенств на переменные
8.4.1. Алгоритм поиска
8.4.2. Анализ матрицы вторых производных функции Лагранжа
8.4.3. Оптимальность по быстродействию итерационной
процедуры поиска экстремума при ограничениях типа равенств
8.4.4. Оптимальность по быстродействию при ограничениях (8.6)
8.4.5. Случай ограничений типа равенств, решаемых относительно переменных
8.4.6. Устойчивость итерационного процесса при ограничениях типа равенств
8.4.7. Сходимость итерационного метода поиска при ограничениях типа равенств
8.5. Итерационные методы поиска экстремума функций многих переменных при наличии ограничений типа неравенств на переменные
8.5.1. Условия оптимальности
8.5.2. Алгоритм поиска экстремума при наличии ограничений типа неравенств
8.6. Алгоритм случайного поиска локальных и глобального экстремумов функций многих переменных
8.7. Построение алгоритмов адаптации в многослойных нейронных сетях с использованием оценок производных второго порядка функционала вторичной оптимизации 190
8.7.1. Построение алгоритмов поиска
8.7.2. Одномерный случай

Раздел 3. Адаптивные нейронные сети

Глава 9. Алгоритмы настройки нейронных сетей
9.1. Постановка задачи
9.2. Нейрон с двумя и континуумом решений
9.3. Двухслойные нейронные сети
9.4. Многослойные нейронные сети из нейронов с континуумом решений
9.5. Построение нейронных сетей, настраивающихся по замкнутому циклу при ограничениях на переменные
9.6. Реализация критериев первичной оптимизации в нейронах с двумя решениями
9.7. Реализация критерия минимума средней функции риска в нейронах с континуумом и Kp решениями
9.8. Реализация критерия минимума средней функции риска в нейронных сетях с N" выходными каналами (слой нейронов)
9.9. Реализация критерия минимума средней функции риска в многослойных нейронных сетях
9.10. Построение замкнутых нейронных сетей нестационарных образов
9.11. Построение нейронных сетей с перекрестными и обратными связями, настраивающихся по замкнутому циклу
9.12. Построение замкнутых нейронных сетей в режимах самообучения и произвольной квалификации учителя
9.13. Вывод выражений для оценок производных второго порядка функционала вторичной оптимизации

Глава 10. Настройка континуальных нейронных сетей
10.1. Настройка нейрона с континуумом признаков
10.2. Настройка слоя, состоящего из континуума нейронов
10.3. Выбор параметрической матрицы для процедуры обучения континуального слоя нейронов на основе данных случайных выборок
10.4. Выбор параметрической функции K*(I,j) на основе данных случайных выборок для процедуры обучения нейрона с континуумом признаков
10.5. Особенности алгоритма настройки континуальной двухслойной нейронной сети
10.6. Три варианта реализации весовых функций континуального слоя нейронов и соответствующие им процедуры обучения
10.7. Алгоритм обучения двухслойной континуальной нейронной сети с функционалом вторичной оптимизации а2g (в пространстве пяти признаков)
10.7.1. Алгоритм обучения второго слоя (нейрон с континуумом признаков)
10.7.2. Алгоритм обучения первого слоя (континуальный слой нейронов)
10.8. Континуальный слой нейронов с кусочно-постоянными весовыми функциями
10.8.1. Разомкнутая структура слоя
10.8.2. Рекуррентная процедура настройки кусочно-постоянных весовых функций
10.8.3. К вопросу об оценке матрицы K*(i)
10.9. Континуальный слой нейронов с кусочно-линейными весовыми функциями
10.9.1. Разомкнутая структура слоя нейронов
10.9.2. Рекуррентная процедура настройки кусочно-линейных весовых функций
10.10. Континуальный слой нейронной сети с кусочно-постоянными весовыми функциями (случай фиксированных величин «ступенек»)
10.10.1 Разомкнутая структура слоя
10.10.2. Рекуррентная процедура настройки кусочно-постоянных весовых функций с ts изменяемыми длинами отрезков

Глава 11. Выбор начальных условий при настройке нейронных сетей. Типовые входные сигналы многослойных нейронных сетей
11.1. О методах выбора начальных условий
11.2. Алгоритм детерминированного выбора начальных условий
в алгоритмах настройки многослойных нейронных сетей
11.3. Выбор начальных условий в многослойных нейронных сетях
11.4. Формирование начальных условий для настройки коэффициентов нейронных сетей в различных задачах оптимизации
11.4.1. Системы линейных уравнений
11.4.2. Системы линейных неравенств
1.4.3. Аппроксимация и экстраполяция функции
11.4.4. Распознавание образов
11.4.5 Кластеризации
11.4.6. Задача коммивояжера
11.4.7. Моделирование динамических систем
11.4.8. Заключение
11.5. Типовые входные сигналы многослойных нейронных сетей

Глава 12. Исследование замкнутых многослойных нейронных сетей
12.1. Постановка задачи синтеза контура настройки многослойных нейронных сетей по замкнутому циклу
12.2. Исследование нейрона при многомодальном распределении входного сигнала
12.2.1. Одномерный случай; поисковый алгоритм настройки
12.2.2. Многомерный случай. Аналитический алгоритм настройки
12.3. Исследование динамики частного вида нейронных сетей для распознавания нестационарных образов
12.4. Исследование динамики трехслойной нейронной сети в режиме обучения
12.5. Исследование нейронной сети частного вида с обратными связями
12.6. Исследование динамики однослойных нейронных сетей в режиме самообучения
12.6.1. Нейронная сеть с поиском центров мод распределения f(x)
12.6.2. Нейронная сеть с N* выходными каналами
12.6.3. Нейрон с K решениями
12.7. Двухслойная нейронная сеть в режиме самообучения
12.8. О некоторых инженерных методах выбора параметров матриц в алгоритмах настройки многослойных по замкнутому циклу
12.9. Построение многослойной нейронной сети для решения задачи обращения матрицы
12.10. Построение многослойной нейронной сети для решения задачи перевода чисел из двоичной системы исчисления в десятичную
12.11. Исследование многослойной нейронной сети при произвольной квалификации учителя
12.12. Аналитические методы исследования нейронных сетей, настраивающихся по замкнутому циклу

Глава 13. Синтез многослойных нейронных сетей с переменной структурой
13.1. Последовательный алгоритм обучения нейронов первого слоя многослойной нейронной сети
13.2. Алгоритм обучения нейронов первого слоя многослойной нейронной сети с применением метода случайного поиска локальных и глобального экстремумов функций
13.3. Анализ сходимости алгоритмов при увеличении числа гиперплоскостей
13.4. Алгоритм обучения нейронов второго слоя двухслойной нейронной сети
13.4.1. Условие реализуемости логической e(у) функции на одном нейроне
13.4.2. Синтез нейрона методом минимизации функционала
13.4.3. Синтез нейрона по таблицам пороговых функций
13.5. Алгоритм обучения второго и третьего слоев нейронов трехслойной нейронной сети
13.6. Общая методика последовательного синтеза многослойных нейронных сетей
13.7. Метод обучения нейронов первого слоя многослойной нейронной сети с континуумом признаков
13.8. Использование алгоритма настройки многослойных нейронных сетей с переменной структурой для решения задачи выбора начальных условий
13.9. Об алгоритме самообучения многослойных нейронных сетей с переменной структурой

Глава 14. Выбор информативных признаков в многослойных нейронных сетях
14.1. Постановка задачи выбора информативных признаков в режиме обучения
14.2. О структурных методах выбора информативных признаков в многослойных нейронных сетях с фиксированной структурой
14.3. Выбор информативных признаков исходного пространства с помощью многослойных нейронных сетей с последовательными алгоритмами настройки нейронов первого слоя
14.4. Минимизация числа нейронов
14.5. О выборе информативных признаков в многослойных нейронных сетях в режиме самообучения

Раздел 4. Надежность и диагностика нейронных сетей

Глава 15. Надежность нейронных сетей
15.1. Методы исследования функциональной надежности нейронных сетей
15.2. Исследование функциональной надежности восстанавливающих органов, выполненных в виде многослойных нейронных сетей
15.3. Исследование функциональной надежности многослойных нейронных сетей
15.4. Исследование параметрической надежности нейронных сетей
15.5. Исследование функциональной надежности многослойных нейронных сетей при наличии катастрофических отказов

Глава 16. Диагностика нейронных сетей
16.1. Граф состояний нейронной сети. Основные понятия и определения
16.2. Алгоритм локализации отказов в нейронных сетях
16.3. Алгоритм построения минимального теста для отказов типа логических констант на выходах нейронов
16.4. Метод адаптивной диагностики отказов в нейронных сетях

Раздел 5. Резюме

Глава 17. Методика решения задач в нейросетевам логическом базисе
17.1. Нейроматематика – новый перспективный раздел вычислительной математики
17.2. Теория нейронных сетей – логический базис разработки нейросетевых алгоритмов решения задач
17.3. Выбор задач, адекватных сетевому логическому базису
17.4. Общая структура пакета программ решения задач в нейросетевом логическом базисе
17.5. Многослойные нейронные сети с переменной структурой
17.6. Нейронная сеть с фиксированной структурой
17.6.1. Формирование входного сигнала нейронной сети
17.6.2. Формирование выходного сигнала многослойной нейронной сети
17.6.3. Формирование критериев первичной оптимизации
17.6.4. Выбор структуры разомкнутой нейронной сети
17.6.5. Примечания к выбору структуры разомкнутой нейронной сети в соответствии с классом решаемых задач
17.6.6. Примечания к выбору функции активации
17.6.7. Выбор структуры многослойных нейронных сетей в соответствии с технологией аппаратной реализации
17.6.8. Формирование функционала вторичной оптимизации в многослойных нейронных сетях
17.6.9. Формирование алгоритма поиска экстремума функционала вторичной оптимизации
17.6.10. Формирование алгоритмов адаптации в многослойных нейронных сетях
17.7. Верификация настроенной многослойной нейронной сети
17.8. Разработка плана экспериментов
17.9. О важности проблемы унификации обозначений в процессе синтеза алгоритмов настройки нейронных сетей
17.10. О мифах на пути теории нейронных сетей
17.11. Заключение

Общее заключение

Приложение. Научные работы – основа данной монографии