Рекомендуем

Методы искусственного  интеллекта в медицинских задачах классификации и регрессииХалафян А.А. Методы искусственного интеллекта в медицинских задачах классификации и регрессии
Популярное введение в современный анализ данных и машинное обучение на STATISTICAБоровиков В.П. Популярное введение в современный анализ данных и машинное обучение на STATISTICA
Методы машинного обучения в Data Mining пакета STATISTICAХалафян А.А. Методы машинного обучения в Data Mining пакета STATISTICA

Книга

Аналитическая платформа PolyAnalyst: архитектура, функциональность, практика применения

Учебное пособие для вузов
232 стр.
Формат 70x100/16 (170x240 мм)
Исполнение: в мягкой обложке
ISBN 978-5-9912-1076-8
ББК 32.973
УДК 004.9:519.25(075.8)
Гриф
Рекомендовано Ученым советом Института общественных наук федерального государственного бюджетного образовательного учреждения высшего образования «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации» в качестве учебного пособия для студентов, обучающихся по программе высшего образования по специальностям и направлениям 0103.02 – «Прикладная математика и информатика»; 02.03.1 – «Математика и компьютерные науки»; 02.03.2 – «Фундаментальная информатика и информационные технологии»; 09.03.01 – «Информатика и вычислительная техника»; 09.03.3 – «Прикладная информатика»; 27.03.03 – «Системный анализ и управление»; 45.04.3 – «Когнитивная и компьютерная лингвистика»; 45.04.4 – «Интеллектуальные системы в гуманитарной среде» и для обучающихся на гуманитарных направлениях подготовки
Аннотация

Детально рассмотрен процесс разработки сценариев анализа числовых и текстовых данных с использованием методов машинного обучения в концепции LowCode на основе аналитической платформы PolyAnalyst. Подробно описаны архитектура платформы, логика работы и параметры настройки основных функциональных узлов, включая группы узлов OCR (распознавание текстов), ETL (загрузка, агрегация, очистка и преобразование данных), TextMining и NLP (анализ текстов на естественном языке), математические алгоритмы, в том числе DataMining, узлы BI, обеспечивающие визуализацию результатов анализа, построение аналитических интерактивных сводных панелей (дашбордов), а также возможности применения методов машинного обучения и нейросетей. Представлены базовые концепции и принципы анализа текстовых данных, формирования словарей. Приведены примеры решения практических задач из различных предметных областей.

Для специалистов в области информационных технологий, искусственного интеллекта, прикладной математики и информатики, компьютерной лингвистики, анализа данных и машинного обучения, а также студентов вузов, обучающихся по соответствующим направлениям и специальностям.

Оглавление

Предисловие

Введение

1. Функциональные возможности платформы PolyAnalyst
1.1. Архитектура платформы PolyAnalyst
1.2. Масштабируемость и производительность
1.3. Форматы и источники анализируемых данных. Коннекторы к данным
1.4. Возможности анализа текстовых данных. Машинное обучение и язык XPDL для описания и извлечения лингвистических паттернов
1.5. Инструменты предобработки и очистки данных (ETL)
1.6. Инструменты анализа числовых данных. Data Mining, машинное обучение (ML), подключение внешних библиотек и кода на языках Python и R
1.7. Инструменты визуализации для создания аналитических и сводных панелей (блок BI)
1.8. Экспорт результатов и отчетов
1.9. Интерфейс PolyAnalyst API для интеграции с ИТ-системами и привязки к бизнес-процессам заказчика

2. Установка PolyAnalyst

3. Начало работы с PolyAnalyst
3.1. Запуск сервера PolyAnalyst
3.2. Вход в систему
3.3. Стартовая страница
3.4. Управление персональными данными в профиле пользователя
3.5. Аналитический клиент

4. Импорт данных
4.1. Виды узлов-источников данных
4.2. Настройки узлов импорта данных
Узел Файлы CSV
Узел Файлы
Узел Изображения
Узел XML
Узел Microsoft Excel
Узел ODBC
Узел OLEDB
Узел Интернет
Узел RSS
Узел SharePoint
4.3. Импорт данных в случае установки серверной части PolyAnalyst на удаленной машине

5. Экспорт данных
5.1. Виды узлов экспорта данных
5.2. Настройки узлов экспорта данных
Узел Экспорт в файл (CSV)
Узел Экспорт в MS Word
Узел Экспорт в папку
Узел Экспорт в словарь
Узел Отправка писем
Узел Экспорт в изображение
Узел Создание публикации
Узел Экспорт в ODBC

6. ETL. Манипуляции с данными
6.1. Виды узлов операций с колонками
6.2. Настройки узлов операций с колонками
Узел Анонимайзер
Узел Дискретизация
Узел Нормализация
Узел Консолидация категорий
Узел Извлечение терминов
Узел Фильтрация колонок
Узел Модификация колонок
Узел Замена категорий
Узел Замена терминов
Узел Оптическое распознавание символов
Узел Производные колонки
Узел Применение моделей
Узел Объединение моделей
6.3. Виды узлов операций со строками
6.4. Настройки узлов операций со строками
Узел Смещенная выборка
Узел Дополнение
Узел Обогащение данных
Узел Уникальные записи
Узел Фильтрация строк
Узел Выборка
Узел Суммы и ранги
6.5. Виды узлов операций с таблицами
6.6. Настройки узлов операций с таблицами
Узел ABC XYZ анализ
Узел Python
Узел Агрегирование
Узел Конкатенация
Узел Объединение
Узел Применение таксономии
Узел Производная таблица
Узел Сравнение
Узел Структурная организация
Узел Транспонирование

7. Текстовый анализ
7.1. Использование словарей
7.2. Виды узлов для текстового анализа
7.3. Настройки узлов текстового анализа
Узел Автоматическая таксономия
Узел Анализ тональности
Узел Анализ трендов
Узел Анонимизация сущностей
Узел Восстановление сущностей
Узел Извлечение ключевых слов
Узел Извлечение сущностей
Узел Извлечение медицинских сущностей
Узел Извлечение сущностей с обучением
Узел Извлечение фактов
Узел Индекс
Узел Классификация на основе таксономии
Узел Классификация текстов
Узел Кластеризация текстов
Узел Объединение таксономий
Узел Определение языка
Узел Перевод текстов
Узел Поисковый запрос
Узел Проверка грамматики
Узел Проверка орфографии
Узел Разметка текста
Узел Расшифровка сокращений
Узел Резюме
Узел Связь терминов
Узел Сравнение текстов
Узел Схожесть текстов
Узел Таксономия
Узел Тематика текстов
Узел Тональность текстов
Узел Уникальные тексты
Узел Удаление фрагментов

8. Анализ данных и алгоритмы машинного обучения
8.1. Алгоритмы машинного обучения и другие узлы PolyAnalyst, применяемые для анализа данных
8.2. Настройки узлов анализа данных и машинного обучения
Узел ARIMA
Узел SVM-классификатор
Узел Адаптивный бустинг
Узел Многомерные адаптивные регрессионные сплайны
Узел Сверточная нейронная сеть
Узел Факторный анализ
Узел Анализ покупательских корзин
Узел Анализ связей
Узел Анализ социальных сетей
Узел Нейронная сеть
Узел Сеть Кохонена
Узел Анализ статистических распределений
Узел Аудит данных
Узел Байесовская классификация
Узел Нечеткое объединение
Узел Ближайшие соседи
Узел Случайный лес решений
Узел Кластеризация на основе расстояния
Узел Таблица решений
Узел Дерево решений
Узел Нечеткое совпадение
Узел Кластеризация по методу К-средних
Узел Корреляционный анализ
Узел Линейная классификация
Узел Нормализация сущностей
Узел Тестирование модели
Узел Логистическая регрессия
Узел Максимизация ожидания
Узел Транзакционный анализ покупательских корзин
Узел Прогнозирование временных рядов

9. Инструменты визуализации в платформе PolyAnalyst
9.1. Виды узлов визуализации данных
9.2. Настройки узлов визуализации данных
Узел OLAP-Таблица
Узел Агрегированный график
Узел Граф
Узел Диаграмма рассеяния
Узел Диаграмма связей
Узел Иерархическая диаграмма
Узел Карта
Узел Коробчатая диаграмма
Узел Линейный график
Узел Матрица диаграмм рассеяния
Узел Многомерная матрица
Узел Облако тегов
Узел Объект GIS
Узел Параллельные координаты
Узел Пузырьковая диаграмма

10. Разработка интерактивных графических аналитических панелей (дашбордов)
10.1. PolyAnalyst как BI-система. Зачем нужен «генеральский слайд»
10.2. Примеры дашбордов, построенных в PolyAnalyst
10.3. Процесс создания аналитического отчета
10.4. Работа в редакторе отчетов PolyAnalyst. Как создать шедевр
10.5. Добавление в отчеты внешних виджетов

Заключение

Литература