Нейробум: поэзия и проза нейронных сетей
| Вид материала | Документы |
- Ю. Н. Шунин Лекции по теории и приложениям искусственных нейронных сетей,Рига,2007, 190.96kb.
- Я. А. Трофимов международный университет природы, общества и человека «Дубна», Дубна, 71.95kb.
- Курсовая работа по дисциплине " Основы систем искусственного интеллекта" Тема: Опыт, 903.59kb.
- Нейрокомпьютерная техника: Теория и практика, 2147.23kb.
- Заочный Государственный Университет Внастоящее время все большее применение в разработке, 64.47kb.
- Особенности применения нейронных сетей в курсе «Интеллектуальные информационные системы», 82.99kb.
- Применение аппарата нейронных сетей системы matlab для аппроксимации степенных математических, 50.69kb.
- Автоматизированная система рубрикации лекционного материала с использованием нейронных, 114.4kb.
- Ульяновский Государственный Технический Университет Кафедра вычислительной техники, 216.41kb.
- Isbn 5-7262-0634 нейроинформатика 2006, 96.9kb.
Множества повышенной надежности
Алгоритмы контрастирования, рассматриваемые в данной главе, позволяют выделить минимально необходимое множество входных сигналов. Использование минимального набора входных сигналов позволяет более экономично организовать работу нейркомпьютера. Однако у минимального множества есть свои недостатки. Поскольку множество минимально, то информация, несомая одним из сигналов, как правило не подкрепляется другими входными сигналами. Это приводит к тому, что при ошибке в одном входном сигнале сеть ошибается с большой степенью вероятности. При избыточном наборе входных сигналов этого как правило не происходит, поскольку информация каждого сигнала подкрепляется (дублируется) другими сигналами.
Таким образом возникает противоречие – использование исходного избыточного множества сигналов неэкономично, а использование минимального набора сигналов приводит к повышению риска ошибок. В этой ситуации правильным является компромиссное решение – необходимо найти такое минимальное множество, в котором вся информация дублируется. В данном разделе рассматриваются методы построения таких множеств, повышенной надежности. Кроме того, построение дублей второго рода позволяет установить какие из входных сигналов не имеют дублей в исходном множестве сигналов. Попадание такого «уникального» сигнала в минимальное множество является сигналом о том, что при использовании нейронной сети для решения данной задачи следует внимательно следить за правильностью значения этого сигнала.
^
Формальная постановка задачи
Пусть дана таблица данных, содержащая N записей, каждая из которых содержит M+1 поле. Обозначим значение i-о поля j-й записи через
, где 
, 
. Обозначим через 
задачник, в котором ответы заданы в полях с номерами 
, а входные данные содржатся в полях с номерами 
. Множество ^ А будем называть множеством ответов, а множество S – множеством входных данных. Минимальное множество входных сигналов, полученное при обучении сети на задачнике , обозначим через 
. В случае, когда сеть не удалось обучить решению задачи будем считать, что 
. Число элементов в множестве A будем обозначать через 
. Через 
будем обозначать сеть, обученную решать задачу предсказания всех полей (ответов), номера которых содержатся в множестве A, на основе входных сигналов, номера которых содержатся в множестве S.Задача. Необходимо построить набор входных параметров, который позволяет надежно решать задачу
. Решение задачи будем называть множеством повышенной надежности, и обозачать
.Для решения этой задачи необходимо определит набор параметров, дублирующих минимальный набор
. Возможно несколько подходов к определению дублирующего набора. В следующих разделах рассмотрены некоторые из них.^
Классификация дублей
Возможно два типа дублей – набор входных сигналов, способный заменить определенный входной сигнал или множество сигналов при получении ответа первоначальной задачи, и набор входных сигналов, позволяющий вычислить дублируемый сигнал (множество дублируемых сигналов). Дубли первого типа будем называть прямыми, а дубли второго типа – косвенными.
Возможна другая классификация, не зависящая от ранее рассмотренной. Дубли первого и второго рода будем различать по объекту дублирования. Дубль первого рода дублирует все множество вцелом, а дубль второго рода дублирует конкретный сигнал.
Очевидно, что возможны все четыре варианта дублей: прямой первого рода,косвенный первого рода, прямой второго рода и косвенный второго рода. В следующих разделах будут описаны алгоритмы получения дублей всех вышеперечисленных видов.
^
Прямой дубль первого рода
Для нахождения прямого дубля первого рода требуется найти такое множество сигналов D что существует сеть
и 
. Решение этой задачи очевидно. Удаим из множества входных сигналов те их них, которые вошли в первоначальное минимальное множество входных сигналов 
. Найдем минимальное множествовходных сигналов среди оставшихся. Найденное множество и будет искомым дублем. Формально описанную выше процедуру можно записать следующей формулой:
.Множество повышенной надежности в этом случае можно записать в следующем виде:
.Очевидно, что последнюю формулу можно обобщить, исключив из первоначального множества входных сигналов найденное ранее множество повышенной надежности и попытавшись найти минимальное множество среди оставшихся входных сигналов. С другой стороны, для многих нейросетевых задач прямых дублей первого рода не существует. Примером может служить одна из классических тестовых задач – задача о предсказании результатов выборов президента США.
^
Косвенный дубль первого рода
Для нахождения косвенного дубля первого рода необходимо найти такое множество входных сигналов D что существует сеть
и . Другими словами, среди множества входных сигналов, не включающем начальное минимальное множество, нужно найти такие входные сигналы, по которым можно восстановит значения входных сигналов начального минимального множества. Формально описанную выше процедуру можно записать следующей формулой:
.Множество повышенной надежности в этом случае можно записать в следующем виде:
Эта формула так же допускает обобщение. Однако, следует заметить, что косвенные дубли первого рода встречаются еще реже чем прямые дубли первого рода. Соотношение между косвенным и прямым дублем первого рода описываются следующей теоремой.
Теорема 1. Если множество D является косвенным дублем первого рода, то оно является и прямым дублем первого рода.
Доказательство. Построим нейронную сеть, состоящую из последовательно соединенных сетей
и 
, как показано на рис. 6. Очевидно, что на выходе первой сети будут получены те сигналы, которые, будучи поданы на вход второй сети, приведут к получению на выходе второй сети правильного ответа. Таким образом сеть, полученная в результате объединения двух сетей и , является сетью . Что и требовалось доказать.  Рис. 6. Сеть для получения ответа из косвенного дубля. |
нет прямого дубля первого рода, то у нее нет и косвенного дубля первого родаДоказательство. Пусть это не так. Тогда существует косвенный дубль первого рода. Но по теореме 1 он является и прямым дублем первого рода, что противоречит условию теоремы. Полученное противоречие доказывает следствие.
^
Прямой дубль второго рода
Перенумеруем входные сигналы из множества
. Множество сигналов, являющееся прямым дублем второго рода для сигнала 
можно получить найдя минимальное множество для получения ответа, если из исходного множества входных сигналов исключен сигнал . Таким образом прямые дубли второго рода получаются следующим образом:
.Полный прямой дубль второго рода получается объединением всех дублей для отдельных сигналов
. Множество повышенной надежности для прямого дубля второго рода можно записать в следующем виде:
Заметим, что при построении прямого дубля второго рода не требовалось отсутствия в нем всех элементов множества
, как это было при построении прямого дубля первого рода. Такое снижение требований приводит к тому, что прямые дубли второго рода встречаются чаще, чем прямые дубли первого рода. Более того, прямой дубль первого рода очевидно является прямым дублем второго рода. Более точное соотношение между прямыми дублями первого и второго родов дает следующая теорема.Теорема 2. Полный прямой дубль второго рода является прямым дублем первого рода тогда, и только тогда, когда
 . | (1) |
Доказательство. Построим сеть, состоящую из параллельно работающих сетей,
, за которыми следует элемент, выдающтй на выход среднее арифметическое своих входов. Такая сеть очевидно будет решать задачу, а в силу соотношения (1) она будет сетью 
. Таким образом, если соотношение (1) верно, то прямой дубль второго рода является прямым дублем первого рода. Необходимость следует непосредственно из определения прямого дубля первого рода. ^
Косвенный дубль второго рода
Косвенный дубль второго рода для сигнала
является минимальным множеством входных сигналов, для которых существует сеть 
. Полный косвенный дубль второго рода строится как объединение косвенных дублей второго рода для всех сигналов первоначального минимального множества:
.
Соотношения между косвенными дублями второго рода и другими видами дублей первого и второго рода задаются теоремами 1, 2 и следующими двумя теоремами.
Теорема 3. Косвенный дубль второго рода всегда является прямым дублем второго рода.
Доказательство данной теоремы полностью аналогично доказательству теоремы 1.
Теорема 4. Полный косвенный дубль второго рода является косвенным дублем первого рода тогда, и только тогда, когда верно соотношение
Доказателство данной теоремы полностью аналогично доказательству теоремы 2.
^
Косвенный супердубль
Последним рассматриваемым в данной работе видом дубля является косвенный супердубль. Косвенным супердублем будем называть минимальное множество входных сигналов, которое позволяет восстановит все входные сигналы. Косвенный супердубль формально описывается следующей формулой:
Очевидно, что косвенный супердубль является полным косвенным дублем второго рода. Также очевидно, что косвенный супердубль встречается гораздо реже, чем наиболее редкий из ранее рассматриваемых косвенный дубль первого рода.