Нейронные сети

· по характеру настройки синапсов: Сети с фиксированными связями (весовые коэффициенты нейронной сети выбираются сразу, исходя из условий задачи, при этом: dW/dt = 0 , где W — весовые коэффициенты сети); сети с динамическими связями (для них в процессе обучения происходит настройка синаптических связей, то есть dW/dt ≠ 0, где W — весовые коэффициенты сети).

· по характеру связей: Сети

прямого распространения (Feedforward). Все связи направлены строго от входных нейронов к выходным; Рекуррентные сети. Сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя. Как любая система, имеющая обратную связь, рекуррентная сеть стремится к устойчивому состоянию. Как известно, наиболее устойчивое состояние обеспечивается минимизацией энергии системы. Рекуррентная сеть «фильтрует» входные данные, возвращаясь к устойчивому состоянию и, таким образом, позволяет решать задачи компрессии данных и построения ассоциативной памяти; Двунаправленные сети. В таких сетях между слоями существуют связи как в направлении от входного слоя к выходному, так и в обратном; Самоорганизующиеся карты. Такие сети представляют собой, как правило, двумерную структуру нейронов. Перед обучением структура случайна, нейроны распределены примерно равномерно. При обучении, для каждой обучающей записи рассчитывается точка, которая соответствует ей в структуре сети. Нейрон, находящийся ближе всего к искомой точке, называется нейроном победителем. Веса связей, соединяющих этот нейрон с другими, увеличивается, тем самым несколько упорядочивая структуру. Веса от нейронов, являющихся «соседями» нейрона победителя, к другим нейронам также увеличиваются, но слабее и т. д. Таким образом, чем чаще нейрон «побеждает» при сравнении с признаком, тем «плотнее» к нему находятся другие нейроны. В конце обучения сеть представляет из себя несколько зон сосредоточения нейронов, называемых кластерами. [2]

2. Преимущества нейронных сетей

Круг задач, для решения которых используются нейронные сети, во многом совпадает с задачами, решаемыми традиционными статистическими методами. Поэтому укажем преимущества нейросетей перед несколькими классическими методами статистики.

По сравнению с линейными методами статистики (линейная регрессия, авторегрессия, линейный дискриминант), нейронные сети позволяют эффективно строить нелинейные зависимости, более точно описывающие наборы данных. Из нелинейных методов классической статистики распространен, пожалуй, только байесовский классификатор, строящий квадратичную разделяющую поверхность − нейронная сеть же может построить поверхность более высокого порядка. Высокая нелинейность разделяющей поверхности наивного байесовского классификатора (он не использует ковариационные матрицы классов, как классический байес, а анализирует локальные плотности вероятности) требует значительного суммарного числа примеров для возможности оценивания вероятностей при каждом сочетании интервалов значений переменных − нейронная сеть же обучается на всей выборке данных, не фрагментируя её, что повышает адекватность настройки нейронной сети.

При построении нелинейных моделей (например, полиномиальных) в статистических программах обычно требуется ручное введение-описание модели в символьном виде с точностью до значений параметров: при N=10 независимых переменных полином второй степени будет содержать N*(N-1)/2=45 коэффициентов при попарных произведениях переменных, 10 при самих переменных, 10 при квадратах значений переменных, т.е. 65 (66 с учетом неоднородного слагаемого) коэффициентов. При двадцати переменных в выражение войдет уже 231 слагаемое. Вводить такие длинные формулы долго, велик риск опечатки. Нейронная сеть же создается путем указания вида структуры, числа слоев и числа нейронов в каждом слое, что гораздо быстрее. А алгоритмы построения растущих нейросетей и вовсе не требуют первоначального задания размера нейронной сети. Альтернативой нейронной сети при построении сложных нелинейных моделей является только метод группового учета аргументов.

Для сжатия и визуализации данных в статистике разработан метод линейных главных компонент. Нейросети-автоассоциаторы позволяют эффективнее сжимать данные за счет построения нелинейных отображений и визуализировать данные в пространстве меньшего числа нелинейных главных компонент.

По сравнению с методами непараметрической статистики, нейронная сеть с радиальными базисными функциями позволяет сокращать число ядер, оптимизировать координаты и размытость каждого ядра. Это позволяет при сохранении парадигмы локальной ядерной аппроксимации ускорять дальнейший процесс принятия решения.

При обучении нейронной сети вместо критерия качества в виде наименьших квадратов можно использовать робастные критерии, дополнительно вести оптимизацию и других свойств нейронной сети (например, добавляя критерии регуляризации решения или оптимизации структуры нейронной сети). Алгоритмы обучения нейронной сети при этом остаются неизменными.

Необходимость решения прямой и обратной задач обычно требует построения двух моделей. При использовании же нейронных сетей можно обойтись одной сетью, обученной решать прямую задачу.

3. Использование нейронных сетей

Нейронные сети могут решать широкий круг задач обработки и анализа данных − распознавание и классификация образов, прогнозирование, управление и т.д. Конкурентами являются классические методы анализа данных: методы статистики, идентификации систем и управления − частично это обрисовано при обсуждении преимуществ нейронных сетей.

3.1 Требования к компетенции пользователя

Под пользователем здесь понимается человек, непосредственно разрабатывающий нейросетевые модели, а не конечный пользователь готового нейросетевого "решателя". Несмотря на многочисленные заявления о том, что нейронные сети доступны пользователям-неспециалистам, реальное положение вещей на самом деле иное. Во-первых, правильную формулировку задачи никакой компьютер за пользователя не сделает, причем под "правильной формулировкой" понимается не только правильность смысловой постановки задачи, но и правильный выбор математического метода решения и его настроек − а это в случае нейронных сетей подразумевает выбор адекватной структуры нейросети, алгоритма обучения, критерия качества решения задачи и и т.д. Конечно, значительная гибкость и универсальность нейроалгоритмов допускает применение по принципу забивания гвоздей микроскопом, но не всегда это приводит к хорошему результату. Во-вторых, имеющиеся автоматические схемы подбора оптимальных настроек нейрометодов не могут найти правильные решения для более-менее сложных задач. Например, соответствующие процедуры в Statistica Neural Networks не умеют хорошо работать с временными рядами, поскольку не используют приведения ряда к стационарному виду. Так что для пользователей-неспециалистов хороших широкопрофильных автоматических инструментов нет. А если делать вручную, то для получения хороших результатов (я остаюсь пока в рамках примера с временными рядами) придется осваивать как теорию статистического прогнозирования временных рядов и соответствующий модуль пакета Statistica (или альтернативную статпрограмму), так и нейросетевые методы и программы. И для иных классов задач грамотное применение нейросетей требует хороших знаний как методов нейроинформатики, так и других методов обработки и анализа данных (статистики, например).

 Скачать реферат