Во второй главе рассматриваются вопросы, связанные с машинным распознаванием символов

Вид материала

Реферат

Содержание 1.2 Анализаторы (сенсорные системы) 1.3 Искусственный нейрон. 1.4 Нейронные сети. Глава 2. Распознавание символов 2.1. Классификация задач распознавания образов. 2.2 Обзор подходов к распознаванию символов.

Подобный материал:

• Язык символов — язык вечности, 222.57kb.
• Электронное научное издание «Труды мгта: электронный журнал», 89.87kb.
• Кроме того, в отдельной главе рассматриваются некоторые вопросы методики обучения этим, 704.71kb.
• Название работы, 183.87kb.
• Лекция: Алгоритмы синхронизации, 244.5kb.
• Учебно-методический комплекс по дисциплине высокоуровневые методы информатики и программирования, 435.89kb.
• Лидерство: стиль, ситуация и эффективность введение, 511.47kb.
• Тематика курсовых работ (включая вопросы, необходимые для рассмотрения во 2 главе работы)., 65.99kb.
• Суперкомпьютерные и grid-технологии, 242.74kb.
• Н. И. Рамза Встатье рассматриваются вопросы, связанные с применением тренинговых статегий, 88.03kb.

Аннотация

Данный реферат посвящен нейросетям и распознаванию символов. В первой главе рассматриваются биологические нейроны, их искусственные модели, нейронные сети, различные аспекты применения нейронных сетей. Особое внимание в данной главе уделяется анализаторам, реакции на раздражители.

Во второй главе рассматриваются вопросы, связанные с машинным распознаванием символов.

Глава 1. Нейросети

1.1 Биологический нейрон

К предмету нейробилологии относится изучение нервной системы и ее главного органа - мозга. Принципиальным вопросом для этой науки является выяснение соотношения между строением нервной системы и ее функцией. При этом рассмотрение проводится на нескольких уровнях: молекулярном, клеточном, на уровне отдельного органа, организма в целом, и далее на уровне социальной группы. Таким образом, классический нейробилогический подход состоит в последовательном продвижении от элементарных форм в направлении их усложнения.

Элементом клеточной структуры мозга является нервная клетка - нейрон. Нейрон в своем строении имеет много общих черт с другими клетками биоткани: тело нейрона окружено плазматической мембраной, внутри которой находится цитоплазма, ядро и другие составляющие клетки. Однако нервная клетка существенно отличается от иных по своему функциональному назначению. Нейрон выполняет прием, элементарное преобразование и дальнейшую передачу информации другим нейронам. Информация переносится в виде импульсов нервной активности, имеющих электрохимическую природу.




Нейроны крайне разнообразны по форме, которая зависит от их местонахождения в нервной системе и особенностей функционирования. На рисунке приведена схема строения "типичного" нейрона. Тело клетки содержит множество ветвящихся отростков двух типов. Отростки первого типа, называемые дендритами за их сходство с кроной раскидистого дерева, служат в качестве входных каналов для нервных импульсов от других нейронов. Эти импульсы поступают в сому или тело клетки размером от 3 до 100 микрон, вызывая ее специфическое возбуждение, которое затем распространяется по выводному отростку второго типа - аксону. Длина аксонов обычно заметно превосходит размеры дендритов, в отдельных случаях достигая десятков сантиметров и даже метров. Гигантский аксон кальмара имеет толщину около миллиметра, и именно наблюдение за ним послужило выяснению механизма передачи нервных импульсов между нейронами.

Тело нейрона, заполненное проводящим ионным раствором, окружено мембраной толщиной около 75 ангстрем, обладающей низкой проводимостью. Между внутреннней поверхностью мембраны аксона и внешней средой поддерживается разность электрических потенциалов. Это осуществляется при помощи молекулярного механизма ионных насосов, создающих различную концентрацию положительных ионов K+ и Na+ внутри и вне клетки. Проницаемость мембраны нейрона селективна для этих ионов. Внутри аксона клетки, находящейся в состоянии покоя, активный транспорт ионов стремится поддерживать концентрацию ионов калия более высокой, чем ионов натрия, тогда как в жидкости, окружающей аксон, выше оказывается концентрация ионов Na+. Пассивная диффузия более подвижных ионов калия приводит к их интенсивному выходу из клетки, что обуславливает ее общий отрицательный относительно внешней среды потенциал покоя, составляющий около -65 милливольт.

Под воздействием стимулирующих сигналов от других нейронов мембрана аксона динамически изменяет свою проводимость. Это происходит, когда суммарный внутренний потенциал превышает пороговое значение масштаба -50 мв. Мембрана на короткое время, сотавляющее около 2 миллисекунд, изменяет свою полярность (деполяризуется) и достигает потенциала действия около +40 мв. На микроуровне это объясняется кратковременным повышением проницаемости мембраны для ионов Na+ и активным поступлением их в аксон. В дальнейшем, по мере выхода ионов калия, положительный заряд с внутренней стороны мембраны меняется на отрицательный, и наступает так называемый период рефрактерности, длящийся около 200 мс. В течении этого времени нейрон является полностью пассивным, практически неизменно сохраняя потенциал внутри аксона на уровне около -70 мв.

Импульс деполяризации клеточной мембраны, называемый спайком, распространяется вдоль аксона практически без затухания, поддерживаясь локальными ионными градиентами. Скорость перемещения спайка является относительно невысокой и составляет от 100 до 1000 сантиметров в секунду.


Возбуждение нейрона в виде спайка передается другим нейронам, которые таким образом объединены в проводящую нервные импульсы сеть. Участки мембраны на аксоне, где размещаются области контакта аксона данного нейрона с дендритами другими нейронов, называются синапсами. В области синапса, имеющего сложное строение, происходит обмен информацией о возбуждении между нейронами. Механизмы синаптической передачи достаточно сложны и разнообразны. Они могут иметь химическую и электрическую природу. В химическом синапсе в передаче импульсов участвуют специфические химические вещества - нейромедиаторы, вызывающие изменения проницаемости локального участка мембраны. В зависимости от типа вырабатываемого медиатора синапс может обладать возбуждающим (эффективно проводящим возбуждение) или тормозящим действием. Обычно на всех отростках одного нейрона вырабатывается один и тот же медиатор, и поэтому нейрон в целом функционально является тормозящим или возбуждающим. Это важное наблюдение о наличии нейронов различных типов в последующих главах будет существенно использоваться при проектировании искусственных систем.

Взаимодействующие между собой посредством передачи через отростки возбуждений нейроны формируют нейронные сети. Переход от рассмотрения отдельного нейрона к изучению нейронных сетей является естественным шагом в нейробиологической иерархии.

Общее число нейронов в центральной нервной системе человека достигает 1010 - 1011, при этом каждая нервная клетка связана в среднем с 103 - 104 других нейронов. Установлено, что в головном мозге совокупность нейронов в объеме масштаба 1 мм³ формирует относительно независимую локальную сеть, несущую определенную функциональную нагрузку.



Выделяют несколько (обычно три) основных типов нейронных сетей, отличающихся структурой и назначением. Первый тип составляют иерархические сети, часто встречающиеся в сенсорных и двигательных путях. Информация в таких сетях передается в процессе последовательного перехода от одного уровня иерархии к другому.

Нейроны образуют два характерных типа соединений - конвергентные, когда большое число нейронов одного уровня контактирует с меньшим числом нейронов следующего уровня, и дивергентные, в которых контакты устанавливаются со все большим числом клеток последующих слоев иерархии. Сочетание конвергентных и дивергентных соединений обеспечивает многократное дублирование информационных путей, что является решающим фактором надежности нейронной сети. При гибели части клеток, сохранившиеся нейроны оказываются в состоянии поддерживать функционирование сети. Ко второму типу нейронных сетей относятся локальные сети, формируемые нейронами с ограниченными сферами влияния. Нейроны локальных сетей производят переработку информации в пределах одного уровня иерархии. При этом функционально локальная сеть представляет собой относительно изолированную тормозящую или возбуждающую структуру. Важную роль также играют так называемые дивергентные сети с одним входом. Командный нейрон, находящийся в основании такой сети может оказывать влияние сразу на множество нейронов, и поэтому сети с одним входом выступают согласующим элементом в сложном сочетании нейросетевых систем всех типов.

Структура основных типов нейронных сетей генетически предопределена. При этом исследования в области сравнительной нейроанатомии говорят о том, что по фундаментальному плану строения мозг очень мало изменился в процессе эволюции. Однако детерминированные нейронные структуры демонстрируют свойства изменчивости, обуславливающие их адаптацию к конкретным условиям функционирования.

Генетическая предопределенность имеет место также и в отношении свойств отдельных нейронов, таких, например, как тип используемого нейромедиатора, форма и размер клетки. Изменчивость на клеточном уровне проявляется в пластичности синаптических контактов. Характер метаболической активности нейрона и свойства проницаемости синаптической мембраны могут меняться в ответ на длительную активизацию или торможение нейрона. Синаптический контакт "тренируется" в ответ на условия функционирования.

Изменчивость на уровне сети связана со спецификой нейронов. Нервная ткань практически лишена характерной для других типов тканей способности к регенерации путем деления клеток. Однако нейроны демонстрируют способность к формированию новых отростков и новых синаптических контактов. Ряд экспериментов с преднамеренным повреждением нервных путей указывает, что развитие нейронных ответвлений сопровождается конкуренцией за обладание синаптическими участками. Это свойство в целом обеспечивает устойчивость функционирования нейронный сетей при относительной ненадежности их отдельных компонент - нейронов.

Специфическая изменчивость нейронных сетей и свойств отдельных нейронов лежит в основе их способности к обучению - адаптации к условиям функционирования - при неизменности в целом их морфологической структуры. Следует заметить, однако, что рассмотрение изменчивости и обучаемости малых групп нейронов не позволяет в целом ответить на вопросы об обучаемости на уровне высших форм психической деятельности, связанных с интеллектом, абстрактным мышлением, речью.

1.2 Анализаторы (сенсорные системы)

Человек и животное непрерывно получают информацию о бесконечном многообразии изменений, которые происходят во внешней и внутренней среде. Это осуществляется благодаря наличию у организма специализированных структур, которые получили название анализаторы (сенсорные системы).

Под анализаторами понимают совокупность образований, обеспечивающих восприятие энергии раздражителя, трансформацию ее в специфические процессы возбуждения, проведение этого возбуждения в структуры ЦНС и к клеткам коры, анализ и синтез специфическими зонами коры этого возбуждения с последующим формированием ощущения.

Понятие об анализаторах введено в физиологию И. П. Павловым в связи с учением о высшей нервной деятельности. Каждый анализатор состоит из трех отделов:

• Периферический или рецепторный отдел, который осуществляет восприятие энергии раздражителя и трансформацию ее в специфический процесс возбуждения.
  
• Проводниковый отдел, представленный афферентными нервами и подкорковыми центрами, он осуществляет передачу возникшего возбуждения в кору головного мозга.
  
• Центральный или корковый отдел анализатора, представленный соответствующими зонами коры головного мозга, где осуществляется высший анализ и синтез возбуждений и формирование соответствующего ощущения.
  

Роль анализаторов при формировании приспособительных реакций чрезвычайно велика и многообразна. Согласно концепции функциональной системы П. К. Анохина формирование любой приспособительной реакции осуществляется в несколько этапов. Анализаторы принимают непосредственное участие в формировании всех этапов функциональной системы. Они являются поставщиками афферентных посылок определенной модальности и различного функционального назначения, причем, одна и та же афферентация может быть обстановочной, пусковой, обратной и ориентировочной в зависимости от этапа формирования приспособительной деятельности.

Рецепторы играют ведущую роль в получении организмом информации о состоянии внешней и внутренней среды. Благодаря большому многообразию рецепторов человек способен воспринимать стимулы разных модальностей.

Рецепторы представляют собой конечные специализированные образования, которые предназначены для восприятия энергии раздражителя и трансформации ее в специфическую активность нервной клетки. У большинства рецепторных аппаратов основной структурной единицей является клетка, снабженная подвижными волосками или ресничками, которые представляют собой как бы периферические подвижные антенны. В составе волосков выделяют 9 пар периферических фибрилл, которые сокращаются под действием атф, благодаря чему осуществляется непрерывные поиски адекватного стимула и обеспечиваются условия взаимодействия с ним. Центральные 2 фибриллы выполняют опорную функцию.

Общий механизм рецепции слагается из механохимических молекулярных процессов, обеспечивающих движение антенн, и общих биохимических циклов при взаимодействии специфического стимула с рецепторными мембранами антенн. Однако, у некоторых рецепторов во взаимодействии со стимулом принимает участие вся клетка (например, хеморецепторные клетки, чувствительные к напряжению кислорода в крови), у других восприятие осуществляется микроворсинками (вкусовые луковицы). У большинства рецепторов кожи, внутренних органов и мышц участки преобразования стимула находятся в окончаниях нервных волокон.

Классификация рецепторов. В основу классификации рецепторов положено несколько критериев.

Психофизиологический характер ощущения: тепловые, холодовые, болевые и др.

Природа адекватного раздражителя: механо-, термо-, хемо-, фото-, баро-, осмбрецепторы и др.

Среда, в которой рецептор воспринимает раздражитель: экстеро-, интерорецепторы.

Отношение к одной или нескольким модальностям: моно- и полимодальные (мономодальные преобразуют в нервный импульс только один вид раздражителя - световой, температурный и т. д., полимодальные могут несколько раздражителей преобразовать в нервный импульс - механический и температурный, механический и химический и т. д.).

Способность воспринимать раздражитель, находящийся на расстоянии от рецептора или при непосредственном контакте с ним:

контактные и дистантные.

Уровень чувствительности (порог раздражения): низкопороговые (механорецепторы) и высокопороговые (ноцицепторы).

Скорость адаптации: быстроадаптирующиеся, (тактильные), медленноадаптирующиеся (болевые) и неадаптирующиеся (вестибулярные рецепторы и проприорецепторы).

Отношение к различным моментам действия раздражителя: при включении раздражителя, при его выключении, на протяжении всего времени действия раздражителя.

Морфофункциональная организация и механизм возникновения возбуждения: первичночувствующие и вторичночувствующие.

В первичночувствующих рецепторах стимул действует на воспринимающий субстрат, заложенный в самом сенсорном нейроне, который при этом возбуждается непосредственно (первично) раздражителем. К первичночувствующим рецепторам относятся: обонятельные, тактильные рецепторы и мышечные веретена.

К вторичночувствующим относятся те рецепторы, у которых между действующим стимулом и сенсорным нейроном располагаются дополнительные рецептирующие клетки, при этом сенсорный нейрон возбуждается не непосредственно стимулом, а опосредовано (вторично) - потенциалом рецептирующей клетки. К вторичночувствующим рецепторам относятся: рецепторы слуха, зрения, вкуса, вестибулярные рецепторы.

Механизм возникновения возбуждения у этих рецепторов различен. В первичночувствующем рецепторе транформация энергии раздражителя и возникновение импульсной активности идет в самом сенсорном нейроне. У вторичночувствующих рецепторов между сенсорным нейроном и стимулом расположена рецептирующая клетка, в которой под влиянием раздражителя идут процессы трансформации энергии раздражителя в процесс возбуждения. Но в этой клетке не возникает импульсной активности. Рецепторные клетки синапсами соединены с сенсорными нейронами. Под влиянием потенциала рецептирирующей клетки выделяется медиатор, который возбуждает нервное окончание сенсорного нейрона и вызывает в нем появление локального ответа - постсинаптического потенциала. Он оказывает деполяризующее действие на отходящее нервное волокно, в котором возникает импульсная активность.

Следовательно, у вторичночувствующих рецепторов локальная деполяризация возникает дважды: в рецептирующей клетке и в сенсорном нейроне. Поэтому принято называть градуальный электрический ответ рецептирующей клетки рецепторным потенциалом, а локальную деполяризацию сенсорного нейрона генераторным потенциалом, имея в виду, что он генерирует в отходящем от рецептора нервном волокне распространяющееся возбуждение. У первичночувствующих рецепторов рецепторный потенциал является и генераторным. Таким образом, рецепторный акт можно изобразить в виде следующей схемы.

Для первичночувствующих рецепторов:

I этап - специфическое взаимодействие раздражителя с мембраной рецептора;

II этап - возникновение рецепторного потенциала в месте взаимодействия раздражителя с рецептором в результате изменения проницаемости мембраны для ионов натрия (или кальция);

III этап - электротоническое распространение рецепторного потенциала к аксону сенсорного нейрона (пассивное распространение рецепторного потенциала вдоль нервного волокна называется электротоническим);

IV этап - генерация потенциала действия;

V этап - проведение потенциала действия по нервному волокну в ортодромном направлении.

Для вторичночувствующих рецепторов:

I-III этапы совпадают с такими же этапами первичночувствующих рецепторов, но протекают они в специализированной рецептирующей клетке и заканчиваются на ее пресинаптической мембране;

IV этап - выделение медиатора пресинаптическими структурами рецептирующей клетки;

V этап - возникновение генераторного потенциала на постсинаптической мембране нервного волокна;

VI этап - электротоническое распространение генераторного потенциала по нервному волокну;

VII этап - генерация потенциала действия электрогенными участками нервного волокна;

VIII этап - проведение потенциала действия по нервному волокну в ортодромном направлении.

Свойства периферического (рецепторного) отдела анализаторов. В деятельности каждого анализатора и его отделов независимо от характеристики раздражителей различают ряд общих свойств. Для периферического отдела анализаторов характерны следующие свойства.

1. Специфичность - способность воспринимать определенный, т. е. адекватный данному рецептору, раздражитель. Эта способность рецепторов сформировалась в процессе эволюции.

2. Высокая чувствительность - способность реагировать на очень малые по интенсивности параметры адекватного раздражителя. Например, для возбуждения фоторецепторов сетчатки глаза достаточно нескольких, а иногда и одного, квантов света. Обонятельные рецепторы информируют организм о появлении в атмосфере единичных молекул пахучих веществ.

3. Способность к ритмической генерации импульсов возбуждения в ответ на однократное действие раздражителя.

4. Способность к адаптации - т. е. способность приспосабливаться ("привыкать") к постоянно действующему стимулу. Адаптация может выражаться в снижении активности рецептора и частоты генерации импульсов возбуждения, вплоть до полного его прекращения. В зависимости от скорости адаптации различают:

• быстроадаптирующиеся (тактильные);
  
• медленноадаптирующиеся (терморецепторы);
  
• неадаптирующиеся (вестибулярные и проприорецепторы).
  

Выделяют несколько видов адаптации:

• изменение возбудимости рецептора в сторону снижения - десенсибилизация;
  
• изменение возбудимости в сторону повышения - сенсибилизация.
  

Адаптация проявляется в снижении абсолютной чувствительности рецептора и в повышении дифференциальной чувствительности к стимулам, близким по силе к адаптируемому. Сенсибилизация проявляется в стойком повышении возбудимости, которое вызывается многократными действиями пороговых раздражителей, наносимых один за другим.

Процессы адаптации в рецепторах могут определяться внешними и внутренними факторами. В качестве внешнего фактора в механизме адаптации могут выступать свойства вспомогательных структур. Так, например, причиной быстрой адаптации телец Пачини являются свойства вспомогательных структур - капсулы рецептора, которые не пропускают к нервному окончанию статической составляющей механического раздражения, в то время как динамическая составляющая раздражителя проходит через оболочки капсулы, хотя и уменьшается по амплитуде. Это предположение подтверждается тем, что после удаления капсулы рецептор начинает генерировать рецепторный потенциал в течение длительного действия раздражителя.

Внутренние факторы механизма адаптации связаны с изменениями физико-химических процессов в самом рецепторе. Например, выявлено различие в наборе натриевых и калиевых каналов в быстро- и медленно-адаптирующихся рецепторах. Важную роль в явлениях адаптации играют эфферентные влияния от нервных центров. При наличии тормозной эфферентной регуляции процессы адаптации в рецепторах ускоряются.

5. Функциональная мобильность. Анализаторные системы способны изменять свою деятельность путем изменения количества функционирующих рецепторов в зависимости от условий окружающей среды и функционального состояния организма. Например, количество функционирующих вкусовых рецепторов больше в состоянии голода, а после приема пищи их количество уменьшается. При снижении температуры окружающей среды количество холодовых рецепторов кожных покровов увеличивается.

6. Низкая способность к аккомодации.

7. Специализация рецепторов к определенным параметрам адекватного раздражителя. Рецепторы, входящие в состав периферического отдела анализатора, неоднородны по отношению к различным моментам действия раздражителя. Имеются рецепторы, которые возбуждаются только в момент включения раздражителя, другие- только в момент выключения раздражителя, а третьи реагируют в течение всего времени действия раздражителя. Кроме того, имеются рецепторы, реагирующие на изменение интенсивности раздражителя или на его перемещение и т. д.

8. Способность к элементарному первичному анализу. Благодаря связи между отдельными рецепторами периферического отдела, отражающими отдельные параметры раздражителя, осуществляется элементарный первичный анализ последнего. Деятельность рецепторов осуществляется не изолированно, а во взаимодействии, в связи с чем уже на рецепторном уровне осуществляется анализ раздражителя по разным его характеристикам (параметрам).

9. Кодирование информации. Информация о действии химических, механических раздражителей, имеющих разнообразную природу, преобразуется рецепторами в универсальные для мозга сигналы - нервные импульсы. Таким образом рецепторы кодируют информацию о среде, т. е. преобразуя сигналы, непонятные мозгу, в сигналы, понятные ему.

Кодирование качества. Различение действующих на организм внешних раздражителей по их физической и химической природе происходит уже при первой встрече с ними соответствующих рецепторов. Это различение достигается избирательной чувствительностью рецепторов к определенному виду энергии и очень низкими порогами возбуждения. Глаз, например, возбуждается светом, но не реагирует на звук, а ухо чувствительно к звуку, но безразлично к свету и т. д. Как же мозг "узнает" модальность действующего раздражителя? Если потенциалы действия всех нервных волокон в принципе одинаковы, то почему раздражители разных модальностей ощущаются по-разному? Анализ отдельных признаков сенсорных стимулов в нервной системе не может основываться на показании только одного рецепторного образования, а должен осуществляться их совокупной деятельностью.

Сенсорный проводящий путь состоит из ряда модально-специфических нейронов, которые соединены синапсами. Такой принцип организации получил название меченой линии или топической организации. Суть этого принципа заключается в пространственно упорядоченном расположении нейронов на различных уровнях сенсорных систем соответственно характеристикам их рецептивных полей.

Рецептивное поле с морфологической точки зрения - это участок рецепторной поверхности, с которым данная нервная структура (волокно, нейрон) связана анатомически (жестко). С функциональной точки зрения - рецептивное поле - понятие динамическое, означающее, что один и тот же нейрон в различные отрезки времени в зависимости, например, от характеристики воздействия может оказаться связанным с различным числом рецепторов.

Принципу меченой линии противопоставлялась теория "структуры ответа", согласно которой рецепторы кодируют качественные особенности раздражителей структурой импульсного ответа. Эта теория предполагала отсутствие жестких связей между рецепторами и центральными нейронами. Основанием для нее послужили экспериментальные данные, показавшие, что кодирование информации осуществляется не одиночными импульсами, а группой равномерно следующих потенциалов действия. В качестве сигнальных признаков могут быть использованы дополнительные параметры активности рецепторов, например, частота импульсации или продолжительность межимпульсных интервалов.

Для равномерно следующих импульсов сигнальными признаками могут служить число импульсов в пачке или продолжительность пачек, а также интервалы между ними и периодичность их следования. Такое кодирование открывает безграничные возможности, т. к. вероятны самые разнообразные вариации с пачками импульсов. Пространственно-временное распределение электрической активности нервных волокон называют паттернами. Разнообразные качества стимулов, согласно этой теории, отображаются характерными "узорами" паттернов. Нейроны способны расшифровать эти сигналы и в зависимости от их структуры формировать ощущение, которое соответствует раздражителю, кодируемого определенными паттернами.

Нейрон, по-разному реагируя на различные паттерны, может участвовать в выполнении нескольких функций. Каждый оттенок качества ощущения возникает в результате деятельности комплекса нейронов, образующих динамические ансамбли, формирование которых зависит от характера паттернов, приходящих от рецепторов.

Для каждой модальности имеется своя форма кодирования информации в соответствии с физическими свойствами различаемых стимулов. Одни качества распознаются сенсорными системами, функционирующими по принципу топической организации, другие кодируются паттернами. Например, распознавание многих качеств зрительных образов осуществляется меченными линиями, а вкусовые раздражители кодируются паттернами.

Кодирование интенсивности. Так как частота афферентной импульсации зависит от амплитуды рецепторного потенциала, которая в свою очередь пропорциональна интенсивности раздражения, то кодирование интенсивности стимула осуществляется посредством изменения частоты следования нервных импульсов от рецепторов в нервные центры. Увеличение интенсивности раздражителя кодируется увеличением частоты импульсной активности.

Между интенсивностью стимула и частотой потенциалов действия существует логарифмическая зависимость - ощущение увеличивается пропорционально логарифму интенсивности раздражения. Эта зависимость получила название закона Вебера-Фехнера, описавших ее.

Одним из способов кодирования интенсивности сенсорных стимулов является кодирование числом нервных элементов, участвующих в ответе. Этот способ кодирования имеет существенное значение, т. к. не все афференты обладают одинаковым порогом возбуждения. Есть основания полагать, что ЦНС "считывает" интенсивность по числу реагирующих элементов, умноженному на среднюю частоту импульсации. Таким образом, изменения интенсивности раздражителя отображаются колебаниями частоты импульсации в отдельных афферентных волокнах и количеством каналов связи, по которым сигнализация поступает в мозг.

Пространственное кодирование. В некоторых сенсорных системах естественная стимуляция рецепторов характеризуется тем или иным распределением локальных стимулов. Способность определять место или конфигурацию стимулов называется пространственным различением. В зрительной и слуховой системах выделены афферентные каналы, пространственно разнесенные в центральных структурах и связанные с обработкой информации о локализации источника раздражения, его перемещении, хроматических и частотных качествах сигнала.

Временное кодирование. Способность оценки времени неотделима от других аспектов кодирования. Частота нервных разрядов - это универсальная переменная величина, которая изменяется во времени. Кодирование информации осуществляется группой равномерно следующих импульсов. В качестве сигнальных признаков используются такие временные параметры выходных сигналов, как частота импульсации или продолжительность межимпульсных интервалов. Для временного различия двух раздражителей необходимо, чтобы нервные процессы, вызванные этими раздражителями, не сливались во времени.

Таким образом, уже на уровне рецепторов осуществляется первичное кодирование качества стимулов и их количественных характеристик - переход из присущей им формы физической и химической энергии в форму нервных импульсов. Преобразованная информация поступает на следующий уровень сенсорной системы, где подвергается дальнейшим преобразованиям, приводящим к изменению кода. Ни на одном уровне сенсорной системы не происходит восстановления стимула в его первоначальной форме, т. е. декодирование. Это основное отличие физиологического кодирования от большинства технических систем связи, где сообщение, как правило, восстанавливается в первоначальном, декодированном виде.

Свойства проводникового отдела анализаторов

Этот отдел анализаторов представлен афферентными путями и подкорковыми центрами. Основными функциями проводникового отдела являются: анализ и передача информации, осуществление рефлексов и межанализаторного взаимодействия. Эти функции обеспечиваются свойствами проводникового отдела анализаторов, которые выражаются в следующем.

1. От каждого специализированного образования (рецептора), идет строго локализованный специфический сенсорный путь. Эти пути как правило, передают сигналы от рецепторов одного типа.

2. От каждого специфического сенсорного пути отходят коллатерали к ретикулярной формации, в результате чего она является структурой конвергенции различных специфических путей и формирования мультимодальных или неспецифических путей, кроме того, ретикулярная формация является местом межанализаторного взаимодействия.

3. Имеет место многоканальность проведения возбуждения от рецепторов к коре (специфические и неспецифичекие пути), что обеспечивает надежность передачи информации.

4. При передаче возбуждения происходит многократное переключение возбуждения на различных уровнях ЦНС. Выделяют три основных переключающих уровня:

• спинальный или стволовой (продолговатый мозг);
  
• зрительный бугор;
  
• соответствующая проекционная зона коры головного мозга.
  

Вместе с тем, в пределах сенсорных путей существуют афферентные каналы срочной передачи информации (без переключении) в высшие мозговые центры. Полагают, что по этим каналам осуществляется преднадстройка высших мозговых центров к восприятию последующей информации. Наличие таких путей является признаком совершенствования конструкции мозга и повышения надежности сенсорных систем.

5. Кроме специфических и неспецифических путей существуют так называемые ассоциативные таламо-кортикальные пути, связанные с ассоциативными областями коры больших полушарий. Показано, что с деятельностью таламо-кортикальных ассоциативных систем связана межсенсорная оценка биологической значимости стимула и др. Таким образом, сенсорная функция осуществляется на основе взаимосвязанной деятельности специфических, неспецифических и ассоциативных образований мозга, которые и обеспечивают формирование адекватного адаптивного поведения организма.

Свойства коркового отдела анализаторов

1. Каждая сенсорная система (каждый анализатор) имеет проекцию в кору больших полушарий. Корковый отдел анализаторов имеет центральную часть и окружающую ее ассоциативную зону (по представлению И. П. Павлова - "ядро" и рассеянные элементы). Центральная часть коркового отдела анализатора состоит из высокодифференцированных в функциональном отношении нейронов, которые осуществляют высший анализ и синтез информации, поступающей к ним. Ассоциативные корковые зоны представлены менее дифференцированными нейронами, способных к выполнению простейших функций. Синтез и анализ афферентных импульсов этими клетками осуществляется в элементарной, примитивной форме.

2. Одной из общих черт организации сенсорных систем является принцип двойственной проекции их в кору больших полушарий. Этот принцип тесно связан с многоканальностью проводящих путей и выражается в осуществлении двух различных типов корковых проекций, которые можно разделить на первичные и вторичные проекции. Первичные и вторичные проекционные зоны окружены ассоциативными корковыми зонами той же сенсорной системы. Примером двойственной проекции в коре головного мозга может служить представительство вкусового анализатора. Его первичная корковая проекция представлена, по-видимому, орбитальной областью коры, так как именно здесь при раздражении рецепторов языка вызванные ответы возникают с самым коротким латентным периодом и имеют самую высокую амплитуду. Вторичной проекционной областью коры вкусового анализатора является соматосенсорная область. Здесь вызванные ответы возникают значительно позже, чем в орбитальной области, и амплитуда их меньше.

3. Взаимодействие анализаторов на корковом уровне осуществляется за счет ассоциативных корковых зон и за счет наличия полимодальных нейронов.

Взаимодействие анализаторов. Деятельность одних анализаторов находится в зависимости от деятельности других, причем, может наблюдаться как усиление деятельности анализатора, так и ее ослабление.

Взаимодействие анализаторов осуществляется на различных уровнях - спинальном, ретикулярном и таламо-кортикальном. Особенно широкая интеграция сигналов наблюдается в нейронах ретикулярной формации. Интеграция сигналов высшего порядка осуществляется на корковом уровне. В результате множественных связей с нижележащими уровнями анализаторов и неспецифических систем многие нейроны коры приобретают способность отвечать на сложные комбинации сигналов различной природы. Это особенно свойственно клеткам ассоциативных областей, а также моторной зоне коры больших полушарий. Пирамидные клетки этой области коры являются общим конечным путем слуховых, зрительных, тактильных и других сигналов.

1.3 Искусственный нейрон.

Исторически первой работой, заложившей теоретический фундамент для создания искусственных моделей нейронов и нейронных сетей, принято считать опубликованную в 1943 г. статью Уоррена С. Мак-каллока и Вальтера Питтса "Логическое исчисление идей, относящихся к нервной активности". Главный принцип теории Маккалока и Питтса заключается в том, что произвольные явления, относящиеся к высшей нервной деятельности, могут быть проанализированы и поняты, как некоторая активность в сети, состоящей из логических элементов, принимающих только два состояния ("все или ничего"). При этом для всякого логического выражения, удовлетворяющего указанным авторами условиям, может быть найдена сеть логических элементов, имеющая описываемое этим выражением поведение.




В качестве модели такого логического элемента, получившего в дальнейшем название "формальный нейрон", была предложена схема, приведенная на рисунке. С современной точки зрения, формальный нейрон представляет собой математическую модель простого процессора, имеющего несколько входов и один выход. Вектор входных сигналов (поступающих через "дендриты") преобразуется нейроном в выходной сигнал (распространяющийся по "аксону") с использованием трех функциональных блоков: локальной памяти, блока суммирования и блока нелинейного преобразования.

Вектор локальной памяти содержит информацию о весовых множителях, с которыми входные сигналы будут интерпретироваться нейроном. Эти переменные веса являются аналогом чувствительности пластических синаптических контактов. Выбором весов достигается та или иная интегральная функция нейрона.

В блоке суммирования происходит накопление общего входного сигнала (обычно обозначаемого символом net), равного взвешенной сумме входов:



В модели Маккалока и Питтса отсутствуют временные задержки входных сигналов, поэтому значение net определяет полное внешненее возбуждение, воспринятое нейроном. Отклик нейрон далее описывается по принципу "все или ничего", т. е. переменная подвергается нелинейному пороговому преобразованию, при котором выход (состояние активации нейрона) Y устанавливается равным единице, если net > Θ, и Y=0 в обратном случае. Значение порога Θ (часто полагаемое равным нулю) также хранится в локальной памяти.

Фомальные нейроны могут быть объединены в сети путем замыкания выходов одних нейронов на входы других, и по мысли авторов модели, такая кибернетическая система с надлежаще выбранными весами может представлять произвольную логическую функцию. Для теоретического описания получаемых нейронных сетей предлагался математический язык исчисления логических предикатов.

Нужно отметить, что сегодня, спустя 50 лет после работы Маккалока и Питтса, исчерпывающей теории синтеза логических нейронных сетей с произвольной функцией, по-видимому, нет. Наиболее продвинутыми оказались исследования в области многослойных систем и сетей с симметричными связями. Большинство моделей опираются в своей основе на различных модификациях формального нейрона. Важным развитием теории формального нейрона является переход к аналоговым (непрерывным) сигналам, а также к различным типам нелинейных переходных функций. Опишем наиболее широко используемые типы переходных функций Y=f(net).

• Пороговая функция (рассмотренная Маккалоком и Питтсом):
  

• Линейная функция, а также ее вариант - линейная функция с погашением отрицательных сигналов:
  

• Сигмоидальная функция:
  

Как указывалось еще С. Гроссбергом, сигмоидальная функция обладает избирательной чувствительностью к сигналам разной интенсивности, что соответствует биологическим данным. Наибольшая чувствительность наблюдается вблизи порога, где малые изменения сигнала net приводят к ощутимым изменениям выхода. Напротив, к вариациям сигнала в областях значительно выше или ниже порогового уровня сигмоидальная функция не чувствительна, так как ее производная при больших и малых аргументах стремится к нулю.

В последнее время также рассматриваются математические модели формальных нейронов, учитывающие нелинейные корреляции между входами. Для нейронов Маккалока и Питтса предложены электротехнические аналоги, позволяющие проводить прямое аппаратное моделирование.

1.4 Нейронные сети.

Одной из первых искусственных сетей, способных к перцепции (восприятию) и формированию реакции на воспринятый стимул, явился PERCEPTRON Розенблатта (F.Rosenblatt, 1957). Персептрон рассматривался его автором не как конкретное техническое вычислительное устройство, а как модель работы мозга. Нужно заметить, что после нескольких десятилетий исследований современные работы по искусственным нейронным сетям редко преследуют такую цель.



Простейший классический персептрон содержит нейрободобные элементы трех типов, назначение которых в целом соответствует нейронам рефлекторной нейронной сети. S-элементы формируют сетчатку сенсорных клеток, принимающих двоичные сигналы от внешнего мира. Далее сигналы поступают в слой ассоциативных или A-элементов (для упрощения изображения часть связей от входных S-клеток к A-клеткам не показана). Только ассоциативные элементы, представляющие собой формальные нейроны, выполняют нелинейную обработку информации и имеют изменяемые веса связей. R-элементы с фиксированными весами формируют сигнал реакции персептрона на входной стимул.

Розенблатт называл такую нейронную сеть трехслойной, однако по современной терминологии, используемой в этой книге, представленная сеть обычно называется однослойной, так как имеет только один слой нейропроцессорных элементов. Однослойный персептрон характеризуется матрицей синаптических связей W от S- к A-элементам. Элемент матрицы отвечает связи, ведущей от i-го S-элемента к j-му A-элементу.

В Корнельской авиационной лаборатории была разработана электротехническая модель персептрона MARK-1, которая содержала 8 выходных R-элементов и 512 A-элементов, которые можно было соединять в различных комбинациях. На этом персептроне была проведена серия экспериментов по распознаванию букв алфавита и геометрических образов.

В работах Розенблатта был сделано заключение о том, что нейронная сеть рассмотренной архитектуры будет способна к воспроизведению любой логической функции, однако, как было показано позднее М.Минским и С.Пейпертом (M.Minsky, S.Papert, 1969), этот вывод оказался неточным. Были выявлены принципиальные неустранимые ограничения однослойных персептронов, и в последствии стал в основном рассматриваться многослойный вариант персептрона, в котором имеются несколько слоев процессорных элементов.

С сегодняшних позиций однослойный персептрон представляет скорее исторический интерес, однако на его примере могут быть изучены основные понятия и простые алгоритмы обучения нейронных сетей.

Предложенный Ф. Розенблаттом метод обучения состоит в итерационной подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах.

Каждый нейрон персептрона является формальным пороговым элементом, принимающим единичные значения в случае, если суммарный взвешенный вход больше некоторого порогового значения:



Таким образом, при заданных значениях весов и порогов, нейрон имеет определенное значение выходной активности для каждого возможного вектора входов. Множество входных векторов, при которых нейрон активен (y=1), отделено от множества векторов, на которых нейрон пассивен (y=0) гиперплоскостью, уравнение которой:



Следовательно, нейрон способен отделить (иметь различный выход) только такие два множества векторов входов, для которых имеется гиперплоскость, отсекающая одно множество от другого. Такие множества называют линейно разделимыми. Проиллюстрируем это понятие на примере.

Пусть имеется нейрон, для которого входной вектор содержит только две булевые компоненты, определяющие плоскость. На данной плоскости возможные значения векторов отвечают вершинам единичного квадрата. В каждой вершине определено требуемое значение активности нейрона 0 (белая точка) или 1 (черная точка). Требуется определить, существует ли такое такой набор весов и порогов нейрона, при котором этот нейрон сможет отделить точки разного цвета?



На рисунке представлена одна из ситуаций, когда этого сделать нельзя вследствие линейной неразделимости множеств белых и черных точек.

Требуемая активность нейрона для этого рисунка определяется таблицей, в которой не трудно узнать задание логической функции "ислючающее или".

X1	X2	Y
0	0	0
1	0	1
0	1	1
1	1	0

Линейная неразделимость множеств аргументов, отвечающих различным значениям функции означает, что функция "ислючающее или", столь широко использующаяся в логических устройствах, не может быть представлена формальным нейроном. Столь скромные возможности нейрона и послужили основой для критики персептронного направления Ф.Розенблатта со стороны М.Минского и С.Пейперта.

При возрастании числа аргументов ситуация еще более катастрофична: относительное число функций, которые обладают свойством линейной разделимости резко уменьшается. А значит и резко сужается класс функций, который может быть реализован персептроном (так называемый класс функций, обладающий свойством персептронной представляемости).