Системное автоматизированное проектирование
Информация - Компьютеры, программирование
Другие материалы по предмету Компьютеры, программирование
ем на вход сети последовательно подаются векторы из обучающей выборки и модифицируются связи между нейронами, начиная с последнего слоя.
Представим ценностную функцию в виде:
где V - фактические значения состояния нейронов, вычисленные с учетом текущих значений связей между нейронами. В этом выражении сумма распространяется на нейроны последнего ( выходного) слоя.
Изменение весов связей на каждом шаге алгоритма производится по правилу:
где > 0 - параметр. Вычисляя производную в этом выражении, для выходного слоя нейронов получим:
.
Затем последовательно вычисляются изменения коэффициентов на предшествующих слоях.
Такой способ модификации связей в сети позволяет значительно сократить время, необходимое для обучения сети. Вообще , время обучения существенно зависит от требуемой сложности разбиения
пространства возможных входов сети на подклассы ( например, если построить несвязные области ).
3.2. ОБУЧЕНИЕ БЕЗ СУПЕРВИЗОРА
Подобный подход применим к нейронным сетям Гроссберга-Карпентера и Кохонена. Такие сети имеют другое название - самоорганизующиеся сети. Процесс их обучения выглядит как процесс возникновения определенных свойств при взаимодействии системы с внешним миром. Сети такого типа наиболее близки по своим свойствам к неравновесным физическим, химическим или биологическим системам, в которых возможно образование диссипативных структур. Распознание образов и обучение, по-видимому, тесно связаны с вопросом о коллективном поведении систем, включающим множество частиц.
Сущность обучения без супервизора можно пояснить следующим образом. Для этого рассмотрим динамическую систему, элементы которой ( нейроны) взаимодействуют между собой и термостатом.
Состояние i-го нейрона будем описывать непрерывной переменной m (t) ( t - время ), изменяющейся в интервале - m<= m <=+m .
Предположим также, что энергия системы является квадратичной функцией вида
( 7 )
Будем рассматривать величину
( 8 )
В дальнейшем al - параметр или лагранжиан взаимодействия системы, являющейся функционалом независимых переменных и .
Учитывая взаимодействие нейронов с термостатом, приводящее к появлению "сил трения" (m / gam ,
T/ gam ) из (8)получим динамические уравнения для и
( 9 )
( 10 )
Добавленные в эти уравнения нелинейные слагаемые (f, F) препятствуют неограниченному возрастанию абсолютных величин m и Т: в рамках лагранжевой схемы они могут быть включены в выражение (9 ) в виде потенциалов, быстро возрастающих вблизи точек + -m и + - T ( предельное значение для коэффициентов матрицы связей).
Величины и представляют собой ланжевеновские источники шума. В нейробиологии шум возникает вследствие несинаптических взаимодействий между нейронами и выделением нейромедиаторов. В электронных моделях нейронных сетей источником шума могут быть электрические флуктуации в цепях. В простейшем случае шум можно охарактеризовать введением эффективной температуры:
= 0 ,
где скобки обозначают усреднение по времени.
Уравнения (9) и (10) описывают существенно различные физические процессы, которые в рассматриваемом контексте можно назвать "обучением" и "распознаванием образов". Рассмотрим первое из них. Обучение состоит в том, что в (9) включается сильное внешнее поле, действующее в течение времени t . В результате того вектор m(t) принимает стационарное значение fi , соответствующее "образу" с компонентами m . После "обучения" элементы матрицы , со временем в соответствии с уравнением (10), получат приращение ( при этом предполагается, что t значительно больше времени релаксации на внешнем поле вектора m к своему стационарному значению fi ). Процедуру обучения можно повторить многократно, используя образы fi , s=1,...,n. Считая, что до начала обучения = 0, после окончания этого процесса получим
,
где коэффициенты nu зависят от длительности обучения. Таким образом, уравнения (9) и (10) описывают процесс запоминания поступающей в систему информации в виде матриц связей хеббовского вида.
Ранее предполагалось, что до начала обучения нейронная сеть не содержит никакой информации, = 0. Можно рассмотреть противоположный случай, когда до начала обучения нейронная сеть имеет большое число устойчивых состояний. Предполагается, что доминируют глубокие энергетические минимумы, которые могут образовывать структуру дерева. Процедура обучения должна приводить к селекции образов . В процессе обучения заучиваемый образ задается в качестве начального состояния сети и эволюционирует к некоторому аттрактору, энергия которого уменьшается за счет синоптических изменений ( в частности, если время релаксации меньше времени обучения), а область притяжения смещается и увеличивается за счет
присоединения соседних областей. Таким образом, процесс селекции отличается от режима обучения, рассмотренного ранее тем что используется внешнее поле.
ОСНОВНЫЕ ФУНКЦИИ НЕЙРОННЫХ СЕТЕЙ
АССОЦИАТИВНАЯ ПАМЯТЬ И КАТЕГОРИЗАЦИЯ
Под ассоциативной памятью ( или памятью, адресуемой по содержанию) понимается способность системы нейронов, например, мозга млекопитающих восстана?/p>