Книги по разным темам Pages:     | 1 |   ...   | 17 | 18 | 19 | 20 | 21 |   ...   | 25 |

Серьезную проблему представляет достижениетребуемой связанности в электронных цепях. В [10] предполагается, что плотностьконденсаторов в двумерной системе должна уменьшаться обратно пропорциональноквадрату расстояния от нейрона-источника; в противном случае отсутствуетвозможность реализации системы в виде интегральных цепей. Это ограничение имеетособое значение при реализации сетей с полными взаимными связями.

Реализация нейронных сетей в виде оптическихсистем позволяет решить эту проблему. Взаимное соединение нейронов с помощьюсветовых лучей не требует изоляции между сигнальными путями, световые потокимогут проходить один через другой без взаимного влияния. Более того, сигнальныепути могут быть расположены в трех измерениях. (Интегральные цепи являютсясущественно планарными с некоторой рельефностью, обусловленной множествомслоев.) Плотность путей передачи ограничена только размерами источников света,их дивергенцией и размерами детектора. Потенциально эти размеры могут иметьвеличину в несколько микрон. Наконец, все сигнальные пути могут работатьодновременно, тем самым обеспечивая огромный темп передачи данных. В результатесистема способна обеспечить полный набор связей, работающих со скоростьюсвета.

Оптические нейронные сети могут такжеобеспечить важные преимущества при проведении вычислений. Величинасинаптических связей может запоминаться в голограммах с высокой степеньюплотности; некоторые оценки дают теоретический предел в 1012 бит на кубический сантиметр. Хотятакие значения на практике не достигнуты, существующий уровень плотности памятиочень высок. Кроме того, веса могут модифицироваться в процессе работы сети,образуя полностью адаптивную систему.

Учитывая эти преимущества, можно задатьвопрос, почему наряду с оптическими нейронными сетями вообще рассматриваютсядругие способы реализации. К сожалению, возникает множество практическихпроблем при попытках оптической реализации нейронных сетей. Оптическиеустройства имеют собственные физические характеристики, часто несоответствующие требованиям искусственных нейронных сетей. Хотя они вдействительности пригодны для обработки изображений, изображения от оптическихнейронных сетей, полученные до настоящего времени, были разочаровывающеплохими. Однако достаточно взглянуть на первые пробы телевизионных изображений,чтобы понять, какой огромный прогресс возможен в повышении качестваизображения. Несмотря на эти трудности, а также на такие проблемы, какстоимость, размеры и критичность к ориентации, потенциальные возможностиоптических систем побуждали (и побуждают) попытки проведения интенсивных ишироких исследований. В этой области происходят стремительные изменения и вближайшее время ожидаются важные улучшения.

Многие изучаемые конфигурации оптическихнейронных сетей можно разделить на две категории, рассмотренные в данной главе:векторно-матричные умножители и голографические корреляторы. Заметим, чтодетальное описание вопросов оптической физики выходит за рамки данной работы.Вместо этого приведено качественное описание работы систем и взгляд автора надостижения в этой области.

1. ВЕКТОРНО-МАТРИЧНЫЕУМНОЖИТЕЛИ

Процесс функционирования большинстваискусственных нейронных сетей может быть описан математически в видепоследовательных умножений вектора на матрицу, одна операция умножения в каждомслое. Для вычисления выхода слоя входной вектор умножается на матрицу весовыхкоэффициентов, образуя вектор NET. К этому вектору прикладывается затем функцияактивации F, образуя векторOUT, являющийся выходом слоя.

Символически

NET = XW,

OUT = F(NET),

где NET – вектор в виде строки,сформированный взвешенными суммами входов; OUT – выходной вектор; Х – входной вектор; W – матрица весовыхкоэффициентов.

В биологических нейронных сетях эта операцийвыполняется большим количеством работающих одновременно нейронов, поэтомусистема работает быстро, несмотря на медленную работу отдельныхнейронов.

Когда искусственные нейронные сетимоделируются на универсальных компьютерах, присущая им параллельная природавычислений теряется; каждая операция должна быть выполнена последовательно.Несмотря на большую скорость выполнения отдельных вычислений, количествоопераций, необходимых для выполнения умножения матриц, пропорционально квадратуразмерности входного вектора (если входной и выходной векторы имеют одинаковуюразмерность), и время вычислений может стать слишком большим.

1. Электронно-оптические матричные умножители

Электронно-оптические нейронные сетиобеспечивают средства для выполнения параллельного умножения матриц.Рассмотренные в работах [3,6,7] такие сети работают со скоростью, ограниченнойтолько доступными электронно-оптическими компонентами; время вычисленийпотенциально располагается в субнаносекундном диапазоне.

На рис.а9.1 показана система, способнаявыполнять умножение шестиэлементного входного вектора на матрицу размерностью6х5, производя на выходепятиэлементный вектор NET. Справа расположен столбец световых источников, лучикоторых проходят через цилиндрические линзы; каждый луч освещает одну строкувесовой маски.

Таким образом, луча1 освещает и w11w12 w15. В качестве маски может бытьиспользована фотопленка, у которой прозрачность каждого квадратапропорциональна весу. С левой стороны расположена вторая цилиндрическая линза,фокусирующая свет от каждого столбца маски на соответствующий фотодетектор.Таким образом, световой поток на фотодетектореа1 является суммой произведенийсветовых интенсивностей на передаточную функцию столбцаа1. В символьнойформе

,

где NETj – выходNET нейрона j (выходфотодетектора j);Wij – вес связи от нейрона i к нейрону j (величина обратно пропорциональнаяпрозрачности весовой маски в строке i, столбце j);Xi – i-я компонента входного вектораi (выход источника светаi).

Рис.а9.1. Электронно-оптическийвекторно-матричный умножитель

Выход каждого фотодетектора являетсясверткой между входным вектором и соответствующим столбцом весовой матрицы.Таким образом, набор выходов представляет собой вектор, равный произведениювходного вектора на весовую матрицу.

Это матричное умножение выполняетсяпараллельно. При использовании соответствующих высокоскоростных светоизлучающихдиодов и фотодетекторов PIN умножение вектора на матрицу может быть выполненоменее чем за наносекунду. Более того, скорость умножения практически не зависитот размерности массива. Это позволяет наращивать сети без существенногоувеличения времени вычислений. В данном простом примере веса сети фиксированы;они могут изменяться только при подстановке различных весовых масок. Дляиспользования в адаптивных системах веса должны быть переменными. Существуетмногообещающий метод, основанный на использовании жидкокристаллического клапанавместо фотографического негатива. Это позволяет изменять веса электроннымспособом в течение микросекунд. В настоящее время жидкокристаллический клапанможет использоваться для реализации двоичных весов, но имеет недостаточнуюстабильность и контрастность для реализации непрерывных переменных весов. Этаситуация может измениться в ближайшем будущем.

2. Сети Хопфилда набазе электронно-оптических матричных умножителей

Если выходы фотодетекторов в сети подаютсяобратно для управления соответствующими световыми входами, реализуетсяэлектронно-оптическая сеть Хопфилда. Для выполнения этого должна бытьобеспечена пороговая функция активации. В настоящее время функция активациинаилучшим образом реализуется с помощью электронных цепей, следующих за каждымфотодетектором.

Для удовлетворения требований стабильностимассив весов должен быть симметричным с нулевыми коэффициентами для квадратовглавной диагонали (w11, w12,wmn).

Электронно-оптическая двунаправленнаяассциативная память (ДАП). Если две системы, показанные на рис.а9.1, соединены в каскад (выходвторой системы подается на вход первой), реализуется электронно-оптическая ДАП.Для обеспечения стабильности вторая весовая маска должна являться транспозициейпервой.

В [9] описана компактная система, в которойдля реализации электронно-оптической ДАП требуется только одна маска иоптическая система (рис.а9.2). Здесь каждые фотодетектор и световой источникзаменяются парой фотодетектор – световой источник. Функционирует данная система аналогично ранееописанному простому фотооптическому умножителю, за исключением того, что выходкаждого фотодетектора управляется связанным с ним световымисточником.

В процессе работы световой поток от каждогоисточника света справа проходит через цилиндрическую линзу, освещаясоответствующую строку световой маски. Эта линза разворачивает световой поток вгоризонтальном направлении, оставляя его неразвернутым в вертикальномнаправлении.

Каждый фотодетектор слева получает световойпоток от столбца весовой маски и с помощью подключенных к нему электронныхцепей реализует пороговую функцию для выработки электрического выходногосигнала NET. Сигнал NET затем управляет соответствующим данному фотодетекторусветовым источником, свет от которого проходит через оптическую подсистему,освещая тот же столбец. Следует отметить, что одно и то же оптическоепространство используется световыми образами, проходящими слева направо исправа налево. Так как световые потоки не взаимодействуют между собой, это невызывает проблем.

Рис.а9.2. Электронно-оптическаядвунаправленная ассоциативная память

Каждый фотодетектор реагирует на световойпоток от всей строки, его электронная часть реализует пороговую функцию ирезультирующий сигнал управляет связанным с ним световым источником. Тем самымзамыкается петля обратной связи, включающая световые источники, фотодетекторы иоптическую систему. Заметим, что устойчивость ДАП гарантируется, даже еслиматрица не симметрична; кроме того, не требуется обязательного равенства нулюэлементов главной диагонали.

Массивы линейных модуляторов. Линейный модулятор, недостаточноизученное до настоящего времени устройство, позволяет надеяться на существенноеупрощение структуры электронно-оптических сетей. Как показано на рис.а9.3,линейный модулятор представляет собой тонкую пластину с чередующимися полоскамисветочувствительного материала и полосками оптических модуляторов. Прозрачностькаждой полосы, соответствующей оптическому модулятору, может быть измененаэлектронным способом.

Рис.а9.3. Массив линейныхпространственно-световых модуляторов

На рис.а9.4 показана упрощенная конструкцияиз линейных модуляторов, используемая в качестве оптического умножителя матриц.Горизонтальные полосы оптических модуляторов управляются электронным способом.Светопроводность каждой полосы соответствует величине соответствующейкомпоненты входного вектора X, тем самым определяя величину светового потока черезсоответствующую строку весовой матрицы. В этой системе нет отдельных световыхпотоков для каждой световой строки; один источник света через коллиматорсоздает световой поток, входящий справа и проходящий через каждую полосумодулятора на весовую маску. Свет, проходящий через эту маску, попадает навертикальные светочувствительные столбцы. Каждый столбец производит выход,пропорциональный суммарному световому потоку, проходящему через соответствующийстолбец весовой маски. Таким образом, результат аналогичен описанному ранее длялинзовой системы, концентрирующей свет на маленьком фотодетекторе; даннаясистема производит умножение матриц с точно таким же результатом.

Рис.а9.4. Линейный модулятор, используемыйв качестве
оптического матричногоумножителя.

Так как массивы линейных модуляторовпередают свет, прошедший коллиматор, для данной системы не требуетсяцилиндрических линз. Это решает трудную проблему геометрических искажений,связанную с использовавшейся ранее оптикой. Преимущества компактной конструкциии оптической простоты, в то же время, приводят к относительно низкой скоростифункционирования; современные технологии требуют десятков микросекунд дляпереключения световых модуляторов.

Реализация ДАП с использованием массивовлинейных модуляторов. Нарис.а9.5 приведена структура ДАП, сконструированной с использованием массивовлинейных модуляторов. Она аналогична структуре описанного выше умножителя, заисключением того, что каждая полоса столбца светового детектора слева управляетпороговыми цепями, которые в свою очередь управляют светопроводностью связаннойс ними вертикальной полосы. Таким образом, модулируется второй световойисточник слева и соответствующий столбец весовой маски получает управлямыйуровень освещенности. Это вырабатывает необходимый сигнал обратной связи длягоризонтальных строк световых детекторов справа; их выходные сигналыобрабатываются пороговой функцией и управляют светопроводностью соответствующихгоризонтальных светомодулирующих полос, тем самым замыкая петлю обратной связиДАП.

Рис.а9.5. Оптическая двунаправленнаяассоциативная память,
использующая массивылинейных модуляторов.

2. ГОЛОГРАФИЧЕСКИЕКОРРЕЛЯТОРЫ

Существует множество вариантов реализацииголографических корреляторов и тем не менее их основные принципыфункционирования очень схожи. Все они запоминают образцовые изображения в виделибо плоской, либо объемной голограммы и восстанавливают их при когерентномосвещении в петле обратной связи. Входное изображение, которое может бытьзашумленным или неполным, подается на вход системы и одновременно коррелируетсяоптически со всеми запомненными образцовыми изображениями. Эти корреляцииобрабатываются пороговой функцией и подаются обратно на вход системы, гденаиболее сильные корреляции усиливают (и, возможно, корректируют или завершают)входное изображение. Усиленное изображение проходит через систему многократно,именяясь при каждом проходе до тех пор, пока система не стабилизируется натребуемом изображении. Заметим, что для описания распознаваемых образовиспользовался термин лизображение. Хотя распознавание изображений являетсянаиболее адекватным приложением для оптических корреляторов, вход системы можетрассматриваться как обобщенный вектор и система при этом становится общецелевойассоциативной памятью.

Многие исследователи сделали большой вклад вразвитие голографических корреляторов и лежащей в их основе теории. Например, вработах [2,4,8] проведены превосходные исследования. В работе [1] рассмотренавпечатляющая система, являющаяся основой следующего нижеобсуждения.

Рис.а9.6. Оптическая система распознаванияизображений

Pages:     | 1 |   ...   | 17 | 18 | 19 | 20 | 21 |   ...   | 25 |    Книги по разным темам