Термин интеллект (intelligence) происходит от латинского intellectus что означает ум, рассудок, разум; мыслительные способности человека

Вид материала

Документы

Содержание Задачи решаемы с помощью нейронных сетей. Принятие решений и управление Прогнозирование и аппроксимация Архитектура нейронных сетей. Однослойный персептрон. Многослойный персептрон Сети на основе радиальных базисных функций. Радиально-базисная сеть характеризуется тремя особенностями Исключение признаков с помощью нейронных сетей. Фильтр Хебба. Нейродинамика, аттракторы. Сеть Хопфилда. Аттракторы классифицируют по Нейронная сеть Хопфилда Типы точек в нейронная сети Хопфилда Архитектура сети

Подобный материал:

• 1. Основы теории коррозии Термин коррозия происходит от латинского "corrosio", что, 205.52kb.
• Слово "мебель" происходит от латинского "мобилис", что означает "подвижный", 457.09kb.
• Лекция Понятие об интеллекте и интеллектуальных нарушениях. Интеллект, 1197.01kb.
• Теоретический курс: Что означает термин «логика» Каковы объект и предмет логики, 632.78kb.
• Понятие информации, виды информации. Ее свойства, 220.05kb.
• Культура античности древнегреческая цивилизация, 120.53kb.
• М. Ю. Лермонтова 7-10 стр, 331.07kb.
• Проституция одна из форм социально отклоняющегося полового поведения, проявляющегося, 325.9kb.
• Концепция, 230.42kb.
• Роль спекуляции (легальной и нелегальной) в рыночном хозяйстве. Хеджеры и спекулянты, 244.01kb.

Типы обучения.

1. Корректировка ошибок.
   
2. Обучение на основе памяти
   

Пункты обхода плана последовательно включаются в маршрут, причем, каждый очередной включаемый пункт должен быть ближайшим к последнему выбранному пункту среди всех остальных, ещё не включенных в состав маршрута.

3. Обучение Хебба
   

Правило Хебба. Самым старым обучающим правилом является постулат обучения Хебба. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностью этого правила является то, что изменение синаптического веса зависит только от активности нейронов, которые связаны данным синапсом. Это существенно упрощает цепи обучения в реализации VLSI.

4. Конкурентное обучение
   

Обучение методом соревнования. В отличие от обучения Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, при соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Это явление известно как правило «победитель берет все». Подобное обучение имеет место в биологических нейронных сетях. Обучение посредством соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями и представляются одним элементом.

При обучении модифицируются только веса «победившего» нейрона. Эффект этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей победившего нейрона), при котором он становится чуть ближе ко входному примеру. Входные векторы нормализованы и представлены точками на поверхности сферы. Векторы весов для трех нейронов инициализированы случайными значениями. Их начальные и конечные значения после обучения отмечены Х на рис. 3а и 3б соответственно. Каждая из трех групп примеров обнаружена одним из выходных нейронов, чей весовой вектор настроился на центр тяжести обнаруженной группы.

5. Обучение с учителем
   
6. Обучение на основе самоорганизации
   
7. Обучение Больцмана
   

Обучение Больцмана. Представляет собой стохастическое правило обучения, которое следует из информационных теоретических и термодинамических принципов. Целью обучения Больцмана является такая настройка весовых коэффициентов, при которой состояния видимых нейронов удовлетворяют желаемому распределению вероятностей. Обучение Больцмана может рассматриваться как специальный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах .

Задачи решаемы с помощью нейронных сетей.

Распознавание образов и классификация

В качестве образов могут выступать различные по своей природе объекты: символы текста, изображения, образцы звуков и т. д. При обучении сети предлагаются различные образцы образов с указанием того, к какому классу они относятся. Образец, как правило, представляется как вектор значений признаков. При этом совокупность всех признаков должна однозначно определять класс, к которому относится образец. В случае, если признаков недостаточно, сеть может соотнести один и тот же образец с несколькими классами, что неверно. По окончании обучения сети ей можно предъявлять неизвестные ранее образы и получать ответ о принадлежности к определённому классу.

Топология такой сети характеризуется тем, что количество нейронов в выходном слое, как правило, равно количеству определяемых классов. При этом устанавливается соответствие между выходом нейронной сети и классом, который он представляет. Когда сети предъявляется некий образ, на одном из её выходов должен появиться признак того, что образ принадлежит этому классу. В то же время на других выходах должен быть признак того, что образ данному классу не принадлежит. Если на двух или более выходах есть признак принадлежности к классу, считается что сеть «не уверена» в своём ответе.

Принятие решений и управление

Эта задача близка к задаче классификации. Классификации подлежат ситуации, характеристики которых поступают на вход нейронной сети. На выходе сети при этом должен появиться признак решения, которое она приняла. При этом в качестве входных сигналов используются различные критерии описания состояния управляемой системы.

Кластеризация

Под кластеризацией понимается разбиение множества входных сигналов на классы, при том, что ни количество, ни признаки классов заранее не известны. После обучения такая сеть способна определять, к какому классу относится входной сигнал. Сеть также может сигнализировать о том, что входной сигнал не относится ни к одному из выделенных классов — это является признаком новых, отсутствующих в обучающей выборке, данных. Таким образом, подобная сеть может выявлять новые, неизвестные ранее классы сигналов. Соответствие между классами, выделенными сетью, и классами, существующими в предметной области, устанавливается человеком. Кластеризацию осуществляют, например, нейронные сети Кохонена.

Прогнозирование и аппроксимация

Способности нейронной сети к прогнозированию напрямую следуют из ее способности к обобщению и выделению скрытых зависимостей между входными и выходными данными. После обучения сеть способна предсказать будущее значение некой последовательности на основе нескольких предыдущих значений и/или каких-то существующих в настоящий момент факторов. Следует отметить, что прогнозирование возможно только тогда, когда предыдущие изменения действительно в какой-то степени предопределяют будущие. Например, прогнозирование котировок акций на основе котировок за прошлую неделю может оказаться успешным (а может и не оказаться), тогда как прогнозирование результатов завтрашней лотереи на основе данных за последние 50 лет почти наверняка не даст никаких результатов.

Сжатие данных и Ассоциативная память

Способность нейросетей к выявлению взаимосвязей между различными параметрами дает возможность выразить данные большой размерности более компактно, если данные тесно взаимосвязаны друг с другом. Обратный процесс — восстановление исходного набора данных из части информации — называется (авто)ассоциативной памятью. Ассоциативная память позволяет также восстанавливать исходный сигнал/образ из зашумленных/поврежденных входных данных. Решение задачи гетероассоциативной памяти позволяет реализовать память, адресуемую по содержимому.


Архитектура нейронных сетей.

ИНС может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. По архитектуре связей ИНС могут быть сгруппированы в два класса: сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями.

В наиболее распространенном семействе сетей первого класса, называемых многослойным перцептроном, нейроны расположены слоями и имеют однонаправленные связи между слоями. На рисунке представлены типовые сети каждого класса. Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.


Однослойный персептрон.

Это модель, в которой входные элементы напрямую соединены с выходными с помощью системы весов. Является простейшей сетью прямого распространения — линейным классификатором, и частным случаем классического перцептрона, в котором каждый S-элемент однозначно соответствует одному A-элементу, S—A связи имеют вес +1 и все A-элементы имеют порог θ = 1. Однослойные перцептроны фактически являются формальными нейронами, то есть пороговыми элементами Мак-Каллока — Питтса. Они имеют множество ограничений, в частности, они не могут идентифицировать ситуацию, когда на их входы поданы разные сигналы («задача XOR»).

Однослойный персептрон способен распознавать простейшие образы. Отдельный нейрон вычисляет взвешенную сумму элементов входного сигнала, вычитает значение смещения и пропускает результат через жесткую пороговую функцию, выход которой равен +1 или -1. В зависимости от значения выходного сигнала принимается решение: +1 - входной сигнал принадлежит классу A, -1 - входной сигнал принадлежит классу B. На рисунке 3.1 показана схема нейронов, используемых в однослойных персептронах, график передаточной функции и схема решающих областей, созданных в многомерном пространстве входных сигналов. Решающие области определяют, какие входные образы будут отнесены к классу A, какие - к классу B. Персептрон, состоящий из одного нейрона, формирует две решающие области, разделенные гиперплоскостью.

На рисунке показан случай, когда размерность входного сигнала равна 2. При этом разделяющая поверхность представляет собой прямую линию на плоскости. Входные сигналы над разделяющей линией относятся к классу A, под линией - к классу B. Уравнение, задающее разделяющую прям ую, зависит от значений синаптических весов и смещения.


Многослойный персептрон.

Межнейронные синаптические связи сети устроены таким образом, что каждый нейрон на данном уровне иерархии принимает и обрабатывает сигналы от каждого нейрона более низкого уровня. Таким образом, в данной сети имеется выделенное направление распостранения нейроимпульсов - от входного слоя через один (или несколько) скрытых слоев к выходному слою нейронов. Нейросеть такой топологии мы будем называть обобщенным многослойным персептроном или, если это не будет вызывать недоразумений, просто персептроном.

Персептрон представляет собой сеть, состоящую из нескольких последовательно соединенных слоев формальных нейронов МакКаллока и Питтса. На низшем уровне иерархии находится входной слой, состоящий из сенсорных элементов, задачей которого является только прием и распространение по сети входной информации. Далее имеются один или, реже, несколько скрытых слоев. Каждый нейрон на скрытом слое имеет несколько входов, соединенных с выходами нейронов предыдущего слоя или непосредственно со входными сенсорами X1..Xn, и один выход. Нейрон характеризуется уникальным вектором весовых коэффициентов w. Веса всех нейронов слоя формируют матрицу, которую мы будем обозначать V или W. Функция нейрона состоит в вычислении взвешенной суммы его входов с дальнейшим нелинейным преобразованием ее в выходной сигнал:

Выходы нейронов последнего, выходного, слоя описывают результат классификации Y=Y(X). Особенности раб оты персептрона состоят в следующем. Каждый нейрон суммирует поступающие к нему сигналы от нейронов предыдущего уровня иерархии с весами, определяемыми состояниями синапсов, и формирует ответный сигнал (переходит в возбужденное состояние), если полученная сумма выше порогового значения. Персептрон переводит входной образ, определяющий степени возбуждения нейронов самого нижнего уровня иерахии, в выходной образ, определяемый нейронами самого верхнего уровня. Число последних, обычно, сравнительно невелико. Состояние возбуждения нейрона на верхнем уровне говорит о принадлежности входного образа к той или иной категории.


Сети на основе радиальных базисных функций.




Сеть радиальных базисных функций (RBF-сеть) - нейронная сеть прямого распространения сигнала, которая содержит промежуточный (скрытый) слой радиально симметричных нейронов. Такой нейрон преобразовывает расстояние от данного входного вектора до соответствующего ему "центра" по некоторому нелинейному закону (обычно функция Гаусса). Нейроны выходного слоя RBF-сети имеют линейные активационные функции.

Радиально-базисная сеть характеризуется тремя особенностями:

Единственный скрытый слой

Только нейроны скрытого слоя имеют нелинейную активационную функцию

Синаптические веса связей входного и скрытого слоев равны единице.


Исключение признаков с помощью нейронных сетей. Фильтр Хебба.

Cинонимы: Правило обучения

Если два нейрона по обе стороны синапса (соединения) активизируются одновременно (то есть синхронно), то прочность этого соединения возрастает.

Если два нейрона по обе стороны синапса активизируются асинхронно, то такой синапс ослабляется или вообще отмирает.

Вес связи пары нейронов увеличивается пропорционально произведению значений их состояний.



Если аксон клетки A достаточно близок к клетке B, чтобы возбуждать ее, и если он повторно или настойчиво принимает участие в ее срабатывании, то в одной из этих клеток или в обеих происходит некоторый процесс метаболического изменения, так что эффективность клетки A как одной из клеток, вызывающих срабатывание клетки B, увеличивается.

Если нейрон получает сигнал от другого нейрона, и оба из них активны (имеют одинаковый знак), то вес между этими нейронами усиливается.


Нейродинамика, аттракторы. Сеть Хопфилда.

Аттрактор — множество состояний (точнее — точек фазового пространства) динамической системы, к которым она стремится с течением времени. Так, наиболее простыми вариантами аттрактора являются притягивающая неподвижная точка (к примеру, в задаче о маятнике с трением о воздух) и периодическая траектория (пример — самовозбуждающиеся колебания в контуре с положительной обратной связью), однако бывают и значительно более сложные примеры.

Существуют различные формализации понятия стремления, что приводит к различным определениям аттрактора, задающим, соответственно, потенциально различные множества (зачастую — вложенные одно в другое). Наиболее употребительными определениями являются максимальный аттрактор, аттрактор Милнора и неблуждающее множество.

Аттракторы классифицируют по:

Формализации понятия стремления: различают максимальный аттрактор, неблуждающее множество, аттрактор Милнора, центр Биркгофа, статистический и минимальный аттрактор.

Регулярности самого аттрактора: аттракторы делят на регулярные (притягивающая неподвижная точка, притягивающая периодическая траектория, многообразие) и странные (нерегулярные — зачастую фрактальные и/или в каком-либо сечении устроенные как канторово множество; динамика на них обычно хаотична).

Локальности («притягивающее множество») и глобальности.

Нейронная сеть Хопфилда — полносвязная нейронная сеть с симметричной матрицей связей. В процессе работы динамика таких сетей сходится (конвергирует) к одному из положений равновесия. Эти положения равновесия являются локальными минимумами функционала, называемого энергией сети (в простейшем случае — локальными минимумами отрицательно определённой квадратичной формы на n-мерном кубе). Сеть может быть использована как автоассоциативная память, как фильтр, а также для решения некоторых задач оптимизации. В отличие от многих нейронных сетей, функционирующих до получения ответа через определённое количество тактов, сети Хопфилда функционируют до достижения равновесия, когда следующее состояние сети в точности равно предыдущему: начальное состояние является входным образом, а при равновесии получают выходной образ.

Типы точек в нейронная сети Хопфилда:

Устойчивый узел

Неустойчивый узел

Устойчивый фокус

Неустойчевый фокус

Узловая точка (“седловая точка”)

Центровая точка

Архитектура сети

Схема сети Хопфилда с тремя нейронами

Нейронная сеть Хопфилда состоит из N искусственных нейронов. Каждый нейрон системы может принимать одно из двух состояний (что аналогично выходу нейрона с пороговой функцией активации):



Благодаря своей биполярной природе нейроны сети Хопфилда иногда называют спинами.

Взаимодействие спинов сети описывается выражением:



где wij элемент матрицы взаимодействий W, которая состоит из весовых коэффициентов связей между нейронами. В эту матрицу в процессе обучения записывается М «образов» — N-мерных бинарных векторов: S_m = (s_m1,s_m2,...,s_mN)

В сети Хопфилда матрица связей является симметричной w_ij = w_ji, а диагональные элементы матрицы полагаются равными нулю (wii = 0), что исключает эффект воздействия нейрона на самого себя и является необходимым для сети Хопфилда, но не достаточным условием, устойчивости в процессе работы сети. Достаточным является асинхронный режим работы сети. Подобные свойства определяют тесную связь с реальными физическими веществами называемыми спиновыми стеклами.