Глава 3. прощение нейронной сети.

3.1. Что такое прощение нейронной сети и зачем оно нужно

По обучающей выборке невозможно сказать, какая структура сети (число слоев, элементов сети) требуется для решения задачи. Также не существует конструктивного алгоритма определения значений адаптивных параметров сети исходя из обучающей выборки. Хотя и был предложен подход [17,20] к анализу достаточности структуры сети при помощи оценки константы Липшица функции, вычисляемой сетью, и выборочной оценки константы Липшица для обучающей выборки, но он не учитывает влияния и вида используемой при обучении целевой функции (функции оценки) и некоторых других аспектов.

Поэтому обычно задаются некоторой избыточной структурой сети и адаптивные параметры находят путем обучения сети, т.е. с привлечением методов оптимизации [16-20]. Это приводит к тому, что часто в нейронной сети присутствует некоторое число избыточных элементов, без которых можно вполне обойтись при решении задачи. даление таких элементов из нейросети называется прощением сети.

Упрощение нейронной сети преследует следующие цели [16,17,20]:

-        

-        

-        

-        

В настоящей работе и в Главе 3 основное внимание деляется последней задаче, задача минимизации числа входных сигналов решается как побочная.

Нужно отметить, что после проведения прощения теряется такое свойство сети, как отказоустойчивость к повреждениям элементов. Поэтому для получения отказоустойчивых нейросетей разработаны специальные модификации алгоритмов обучения и прощения, например, [21].

3.2. Задача извлечения знаний из нейронной сети

Обучаясь, нейросеть формирует некоторый навык решения неформализованной задачи классификации или предсказания. Этот навык можно оценить при помощи тестовой выборки - если точность решения тестовых задач достаточна с точки зрения пользователя, то полученная нейросеть может в дальнейшем использоваться в составе нейросетевой экспертной системы для решения задачи [17].

Однако нейросеть сформировала скрытое, неявное знание об алгоритме решения задачи. Это знание заложено в сеть в виде значений весов ее адаптивных параметров. В нейросети могут присутствовать и избыточные элементы (см. Параграф 2.2.6), поэтому пользователю сложно или практически невозможно осмыслить и преобразовать в явную форму нейросетевое правило принятия решения путем анализа структуры сети и ее адаптивных параметров.

Поэтому появилась задача извлечения знаний из нейронной сети, процесс решения которой схематически можно представить так [22,23]:

вырезание "всего лишнего"

Глава 4. Методы извлечения знанийа иза искусственныха нейронныха сетей

4.1. Существующие методы извлечения знаний из обученной нейросети

Как и для методов прощения нейросети, для методов извлечения из сети знаний можно тоже ввести несколько классификаций. Так, в [59] представлено ранжирование методов извлечения знаний по следующим свойствам:

-        

-        

-        

4.1.1. Методы на основе квантования сигналов сети

Квантование непрерывнозначных сигналов имеет целью получение для каждой входной переменной таких интервалов ее изменения, каждому из которых можно в дальнейшем сопоставить некоторую лингвистическую категорию. Порождаемые лингвистические категории можно использовать для процесса объяснения принятия сетью решения. Некоторые методы позволяют переход от непрерывнозначных сигналов к дискретнозначным либо путем сопоставления с каждым интервалом некоторого дискретного значения (и в дальнейшем дискретизации каждой непрерывнозначной переменной по сопоставленным с ней значениям), либо путем некоторой модификации сети.

В [53] разработан метод порождения и проверка гипотез о структурной и функциональной связи между входом и выходом, состоящий из трех этапов:

1.                 уже обученной сети. Для каждого i-го входного сигнала строится график показателя чувствительности выходного сигнала сети к изменению i-го сигнала в точке x, из диапазона значений сигнала: img src="image067-218.gif.xip" title="Скачать документ бесплатно">

Глава 5. Нейросетевой анализ структуры индивидуального пространства смыслов

5.1. Семантический дифференциал

Слова осмысляются человеком не через "толковый словарь", через ощущения, переживания. За каждым словом у человека стоит несколько этих базовых переживаний: собака - это что-то маленькое, добродушненькое, пушистое, с мокрым язычком, Е, но это и здоровенный, грозно рычащий зверь со злобными глазами, огромными клыками, Е. Большинство слов кодирует некоторые группы переживаний, ощущений, и определить смысл слова, то есть эти самые переживания - довольно сложная задача.

Дж. Осгуд с совторами в работе под названием Измерение значений ввели для решения этой задачи метод Усемантического дифференциала (обзор литературы дан в работе [86]). Они предложили искать координаты слова в пространстве свойств следующим образом. Был собран некоторый набор слов (например, "мама", "папа" и т.д.) и набор признаков к этим словам (таких, как близкий - далекий, хороший - плохой, и т.д.), и опрашиваемые люди оценивали слова по этим шкалам. Затем отыскивался минимальный набор координат смысла, по которому можно восстановить все остальные. Было выделено 3 базовых координаты смысла, по которым все остальные можно предсказать достаточно точно: сильный - слабый, активный - пассивный и хороший - плохой. С другой стороны, выявились огромные различия между культурами, например, у японцев и американцев очень многие вещи имеют существенно разные смысловые характеристики.

Существуют различные способы выделения основных признаков (базовых координат), например, метод главных компонент, факторный анализ и др. В данной работе используются нейросетевые методы. Разработка технологии сокращения описания и извлечения знаний из данных с помощью обучаемых и разреживаемых нейронных сетей началась в 90-е годы XX века и к настоящему времени созданы библиотеки нейросетевых программ даже для PC, позволяющие строить полуэмпирические теории в различных областях.

В данной работе с помощью нейроимитатора исследовались индивидуальные смысловые пространства. Был создан вопросник, в котором определяются координаты (от Ц10 до 10) 40 слов по 27 параметрам и были проведены эксперименты на нескольких людях.

Слова:

1.    

2.    

3.    

4.    

5.    

6.    

7.    

8.    

9.    

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

41.

42.

Параметры:

1.    

2.    

3.    

4.    

5.    

6.    

7.    

8.    

9.    

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

В экспериментах отыскивался минимальный набор координат смысла, по которому можно восстановить все остальные с точностью до тенденции (т.е. с точностью до 3 баллов). Это делалось при помощи нейросетевого имитатора NeuroPro. Следует отметить, что предсказание с точностью до 3 баллов фактически соответствует переходу от 21-балльных шкал (от Ц10 до 10) к традиционным 7-балльным (от Ц3 до 3).

С помощью NeuroPro возможно получение показателей значимости входных сигналов для принятия нейросетью решения, показателей чувствительности выходного сигнала сети к изменению входных сигналов, показателей значимости и чувствительности по отдельным примерам выборки.

За начальную архитектуру была взята слоистая нейронная сеть, состоящая из трех слоев по 10 нейронов в каждом. Далее проводились последовательно следующие операции.

1)        

2)        

Эта процедура проводилась до тех пор, пока нейросеть могла обучиться. В результате этих операций были получены минимальные определяющие наборы признаков (т.е. наборы входных сигналов, оставшиеся после сокращения их числа).

Для разных людей получены очень разные результаты (первые результаты представлены в [87]), совсем непохожие на результаты Осгуда. Вот типичные примеры:

Определяющий набор признаков 1-го человека (размерность 7):

Умный - глупый, шумный - тихий, разумный - неразумный, плотный - рыхлый, дружественный - враждебный, страшный - не страшный, опасный - безопасный.

2-го человека: сильный - слабый, приятный - неприятный, опасный - безопасный, страшный - не страшный, дружественный - враждебный, добный - неудобный (размерность 6).

3-го человека: приятный - неприятный, опасный - безопасный (размерность 2).

Представляет интерес, что Осгудовские признаки почти не представлены в большинстве наборов. В связи с этим было решено проверить, можно ли предсказать значения произвольно выбранных признаков при помощи набора Осгуда (ошибка обучения в экспериментах допускалась
0.49 балла). Практически во всех случаях нейронные сети обучались с приемлемой ошибкой обучения, но ошибка обобщения в экспериментах со скользящим контролем (нейронные сети обучались по всем словам, кроме 2-х - 3-х, потом тестировались на этих словах) часто была недопустимо велика (5-9 баллов).

После этого проводились следующие эксперименты: нейронная сеть обучалась предсказывать значения параметров по же определенному минимальному набору признаков на одной половине слов, далее она тестировалась на словах из другой половины. При этом для большинства слов нейронные сети давали довлетворительные прогнозы по всем параметрам (с точностью до 3 баллов), но почти во всех случаях обнаруживались одно - два слова, для которых сразу по нескольким признакам ошибка нейронных сетей была очень велика.

5.2. MAN-многообразия

Итак, для каждого человека обнаруживается многообразие сравнительно малой размерности, в небольшой окрестности которого лежат почти все слова.

При осмыслении этого возникает гипотеза, связанная с тем, что отношение человека к большинству вещей, событий и т.д. не индивидуально, сформировано культурой, в которой этот человек рос, его окружением и поэтому зависит от сравнительно небольшого числа признаков. В связи с этим и могли появиться многообразия малой размерности, в небольшой окрестности которых лежат почти все слова. Назовем их манЦмногообразиями (от немецкого неопределенного местоимения man (некто)). Вероятно, для каждой определенной культуры имеется небольшое количество различных ман-многообразий, специфичных для нее. В ходе воспитания человек присваивает одно из типичных манЦмногообразий. Например, определяющий набор признаков 3-го человека представляется основным набором признаков и для животных: опасность и приятность имеют прямой химический аналог и соответствуют ровню адреналина, эндорфинов и энкефалинов.

Обнаружено, что у большинства людей есть слова, которые неожиданно "выпадают" из ман-многообразий, ‑ отстоят от них довольно далеко. Вероятно, это слова, с которыми у человека связаны какие-либо сильные переживания, ощущения, что приводит к появлению "индивидуальности" оценки или же слова, свое истинное отношение к которым человек пытается скрыть. Есть еще один тип таких точек, специфичных для каждой отдельной культуры (или субкультуры), особое отношение к которым сформировано самой культурой (например, в России - Великая Отечественная, в мусульманских странах - бог). Интерпретация "индивидуальных точек" может дать полезную психодиагностическую информацию, анализ особенных точек культуры - культурологическую. Возможно проведение культурологических исследований путем сравнения особенностей и закономерностей для различных культур.

Уже первые опыты показывают, что набор индивидуальных точек дает яркий и знаваемый портрет личности, а общекультурные особенности пока не были изучены, так как требуют более масштабных исследований.

В перспективе результаты работы могут быть использованы во многих областях, где требуется информация о психологии и психическом здоровье человека, могут быть применены для создания компьютерных психодиагностических методик, выявляющих и анализирующих индивидуальные особенности и скрытые напряжения и т.п.

Литература

1.    

2.    

3.    

4.    

5.    

6.    

7.    

8.    

9.    

10.l-компактности в алгоритмах анализа данных // Сибирский журнал индустриальной математики. Январь-июнь, 1998. Т.1, №1. - с.114-126.

11.

12.

13.

14.

15.

16.(English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, рp.1-134).

17.

18.

19.

20.

21.Kwon O.J., Bang S.Y. A Design Method of Fault Tolerant Neural Networks / Proc. ICNN 1994, Seoul, Korea. - Vol.1. - pp. 396-400.

22.

23.

24.Reed R. Pruning Algorithms - a Survey / I Trans. on Neural Networks, 1993, Vol.4, №5. - pp.740-747.

25.Depenau J., Moller M. Aspects of Generalization and Pruning / Proc. WCNN'94, 1994, Vol.3. - pp.504-509.

26.

27.Weigend A.S., Rumelhart D.E., Huberman B.A. Generalization by Weights-elimination with Application to Forecasting / Advances in Neural Information Processing Systems. Morgan Kaufmann, 1991. Vol.3. - pp. 875-882.

28.Yasui S. Convergence Suppression and Divergence Facilitation for Pruning Multi-Output Backpropagation Networks / Proc. 3rd Int. Conf. on Fuzzy Logic, Neural Nets and Soft Computing, Iizuka, Japan, 1994. - pp.137-139.

29.Yasui S. A New Method to Remove Redundant Connections in Backpropagation Neural Networks: Inproduction of 'Parametric Lateral Inhibition Fields' / Proc. I INNS Int. Joint Conf. on Neural Networks, Beijing, Vol.2. - pp.360-367.

30.Yasui S., Malinowski A., Zurada J.M. Convergence Suppression and Divergence Facilitation: New Approach to Prune Hidden Layer and Weights in Feedforward Neural Networks / Proc. I Int. Symposium on Circuits and Systems 1995, Seattle, WA, USA. Vol.1. - pp.121-124.

31.Malinowski A., Miller D.A., Zurada J.M. Reconciling Training and Weight Suppression: New Guidelines for Pruning-efficient Training / Proc. WCNN 1995, Washington, DC, USA. Vol.1. - pp.724-728.

32.Krogh A., Hertz J. A Simple Weight Decay can Improve Generalization / Advances in Neural Infromation Processing Systems 4, 1992. - pp. 950-957.

33.Kamimura R., Nakanishi S. Weight-decay as a Process of Redundancy Reduction / Proc. WCNN, 1994, Vol.3. - pp.486-489.

34.Karnin E.D. A Simple Procedure for Pruning Back-propagation Trained Network / I Trans. on Neural Networks, June 1990. Vol. 1, No.2. - pp.239-242.

35.Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage / Advances in Neural Information Processing Systems 2. - Morgan Kaufmann, 1990. - pp.598-605.

36.Hassibi B., Stork D.G., Wolff G. Optimal Brain Surgeon: Extensions and Performance Comparisions / Advances in Neural Information Processing Systems 6, 1994. - pp.263-270.

37.

38.Tanpraset C., Tanpraset T., Lursinsap C. Neuron and Dendrite Pruning by Synaptic Weight Shifting in Polynomial Time / Proc. I ICNN 1996, Washington, DC, USA. Vol.2. - pp.822-827.

39.Kamimura R. Principal Hidden Unit Analysis: Generation of Simple Networks by Minimum Entropy Method / Proc. IJCNN 1993, Nagoya, Japan. - Vol.1. - pp.317-320.

40.Mozer M.C., Smolensky P. Using Relevance to Reduce Network Size Automatically / Connection Science. 1989. Vol.1. - pp.3-16.

41.Mozer M.C., Smolensky P. Skeletonization: A Technique for Trimming the Fat from a Network via Relevance Assessment / Advances in Neural Network Information Processing Systems 1, Morgan Kaufmann, 1989. - pp.107-115.

42.Watanabe E., Shimizu H. Algorithm for Pruning Hidden Units in Multi Layered Neural Network for Binary Pattern Classification Problem / Proc. IJCNN 1993, Nagoya, Japan. - Vol.1. - pp.327-330.

43.Yoshimura A., Nagano T. A New Measure for the Estimation of the Effectiveness of Hidden Units / Proc. Annual Conf. JNNS, 1992. - pp.82-83.

44.Murase K., Matsunaga Y., Nakade Y. A Back-propagation Algorithm which Automatically Determines the Number of Association Units / Proc. IJCNN, Singapore, 1991. - Vol.1. - pp.783-788.

45.Matsunaga Y., Nakade Y., Yamakawa O., Murase K, A Back-propagation Algorithm with Automatic Reduction of Association Units in Multi-layered Neural Network / Trans. on IEICE, 1991. Vol. J74-DII, №8. - pp.8-1121.

46.Hagiwara M. Removal of Hidden Units and Weights for Back Propagation Networks / Proc. IJCNN 1993, Nagoya, Japan. - Vol.1. - pp.351-354.

47.Majima N., Watanabe A., Yoshimura A., Nagano T. A New Criterion "Effectiveness Factor" for Pruning Hidden Units / Proc. ICNN 1994, Seoul, Korea. - Vol.1. - pp. 382-385.

48.

49.Sietsma J., Dow R.J.F. Neural Net Pruning - Why and How / Proc. I IJCNN 1988, San Diego, CA. Vol.1. - pp. 325-.

50.Sietsma J., Dow R.J.F. Creating Artificial Neural Network that Generalize / Neural Networks, 1991. Vol.4, No.1. - pp.67-79.

51.Yamamoto S., Oshino T., Mori T., Hashizume A., Motoike J. Gradual Reduction of Hidden Units in the Back Propagation Algorithm, and its Application to Blood Cell Classification / Proc. IJCNN 1993, Nagoya, Japan. - Vol.3. - pp.2085-2088.

52.Sarle W.S. How to measure importance of inputs? SAS Institute Inc., Cary, NC, USA, 1. a href="page0.php">

Публикации автора по теме диплома

1.     "Нейрокомпьютеры": разработка, применение. 2002, No 4. С. 14-19.

2.     (Электронная версия: домен сайта скрыт/ scripts/ trans.pl/rus/ cyrillic/ awse/ CONFER/ MCE99/ 072.htm )

3.     Gorban P.A. Relations between Social, Economic and Political Traits of USA Political Situation. Abstract: USA-NIS Neurocomputing Opportunities Workshop, Washington, DC, July 12-17, 1. домен сайта скрыт/ wldb/ Witali/ / P2_2.htm

4.    

5.    

6.    

Благодарности

втор благодарен своему научному руководителю, всем сотрудника группы "Нейрокомп" и, в особенности, В.Г. Царегородцеву за внимание к работе, поддержку и разрешение использовать результаты совместных работ в дипломе. Я существенно использовал в дипломной работе описание программы НейроПро (В.Г. Царегородцев), технический отчет с обзором экспертных систем (А. Батуро), также лекции проф. А.Н. Горбаня по нейронным сетям.

Приложение 1. Плакаты для защиты диплома.

ТЕХНОЛОГИЯ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННЫХ СЕТЕЙ:

¨ АПРОБАЦИЯ,

¨ ПРОЕКТИРОВАНИЕ ПО,

¨ ИСПОЛЬЗОВАНИЕ В ПСИХОЛИНГВИСТИКЕ

ЦЕЛЬ РАБОТЫ

¨            апробация гибкой технологии извлечения знаний из нейронных сетей, настраиваемой с четом предпочтений пользователя;

¨            тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию;

¨            проведение исследований индивидуальных пространств смыслов на основе данной технологии.

ОСНОВНЫЕ ЗАДАЧИ РАБОТЫ

¨            анализ разработанных методов извлечения явных знаний из нейронных сетей с казанием их ограничений и областей применимости;

¨            апробация гибкой настраиваемой на основе предпочтений пользователя технологии извлечения знаний, опирающейся на предварительное проведение комплексного упрощения нейронной сети, выполняющегося с четом сформированных пользователем требований к результирующему виду извлекаемых знаний;

¨            тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию;

¨            усовершенствование метода семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей.

НЕЙРОНЫ, СЕТИ, ОБУЧЕНИЕ

ЗАДАЧА ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННОЙ СЕТИ

вырезание "всего лишнего"

Приложение 2. Статья: Горбань П.А. Нейросетевой анализ структуры индивидуального пространства смыслов. "Нейрокомпьютеры": разработка, применение. 2002, No 4. С. 14-19.

УДК 681.31

Нейросетевой анализ структуры индивидуального пространства смыслов

П.А.Горбань

Усовершенствован метод семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей. Проведена серия экспериментов, заключающихся в исследовании индивидуальных смысловых пространств, проинтерпретированы их результаты. Предложена гипотеза о структуре индивидуального пространства смыслов: оно состоит из многообразия малой размерности, задаваемого культурой (лман-многообразия от немецкого безличного местоимения man) и сравнительно небольшого множества индивидуальных отклонений, которые могут быть важны для диагностики. Каждая культура имеет небольшое количество специфических для нее ман -многообразий (субкультур).

The method of the semantic differential by Osgood was improved using the technology of pruning neural networks. The series of the experiments, consists of the research of the individual meaning space was made, and there given an interpretation of their results. A hypothesis about the structure of the individual meaning space, concluding in that this consists of the manifold of small dimention (man-manifold, from the german indefinite pronoun man) and a small quantity of individual divertions, which could be important for the psychodiagnostics, was proposed. Every culture have a small amount of its specific man-manifolds (subcultures).

Слова осмысляются человеком не через "толковый словарь", через ощущения, переживания. За каждым словом у человека стоит несколько этих базовых переживаний: собака - это что-то маленькое, добродушненькое, пушистое, с мокрым язычком, Е, но это и здоровенный, грозно рычащий зверь со злобными глазами, огромными клыками, Е. Большинство слов кодирует некоторые группы переживаний, ощущений, и определить смысл слова, то есть эти самые переживания - довольно сложная задача.

Дж. Осгуд с совторами в работе под названием Измерение значений ввели для решения этой задачи метод семантического дифференциала (обзор литературы дан в работе [1]). Они предложили искать координаты слова в пространстве свойств следующим образом. Был собран некоторый набор слов (например, "мама", "папа" и т.д.) и набор признаков к этим словам (таких, как близкий - далекий, хороший - плохой, и т.д.), и опрашиваемые люди оценивали слова по этим шкалам. Затем отыскивался минимальный набор координат смысла, по которому можно восстановить все остальные. Было выделено 3 базовых координаты смысла, по которым все остальные можно предсказать достаточно точно: сильный - слабый, активный - пассивный и хороший - плохой. С другой стороны, выявились огромные различия между культурами, например, у японцев и американцев очень многие вещи имеют существенно разные смысловые характеристики.

Существуют различные способы выделения основных признаков (базовых координат), например, метод главных компонент, факторный анализ и др. В данной работе используются нейросетевые методы. Разработка технологии сокращения описания и извлечения знаний из данных с помощью обучаемых и разреживаемых нейронных сетей началась в 90-е годы XX века (см., например, [2-4]) и к настоящему времени созданы библиотеки нейросетевых программ даже для PC, позволяющие строить полуэмпирические теории в различных областях [5-7].

В данной работе с помощью нейроимитатора исследовались индивидуальные смысловые пространства. Был создан вопросник, в котором определяются координаты (от Ц10 до 10) 40 слов по 27 параметрам и были проведены эксперименты на нескольких людях.

Слова:

43.  Папа

44.  Мама

45.  Болезнь

46.  Детский сад

47.  Школа

48.  Собака

49.  Кот

50.  Воробей

51.  Ворона

52.  Апельсин

53.  Яблоко

54.  Дед Мороз

55.  Дерево

56.  Змея

57.  Еда

58.  Тортик

59.  Горшок

60.  Брат

61.  Сестра

62.  Работа

63.  Деньги

64.  Квартира

65.  Муж (жена)

66.  Дедушка

67.  Бабушка

68.  Музыка

69.  Президент

70.  Парламент

71.  Политика

72.  Наука

73.  Политик

74.  ченый

75.  Теорема

76.  Выборы

77.  Коммунизм

78.  Доказательство

79.  Россия

80.  Америка

81.  Китай

82.  Израиль

83.  Религия

84.  Бог

Параметры:

28.  Плотный - рыхлый

29.  Молодой - старый

30.  Светлый - темный

31.  Разумный - неразумный

32.  Холодный - горячий

33.  Быстрый - медленный

34.  Близкий - далекий

35.  Пугливый - бесстрашный

36.  Страшный - не страшный

37.  Спокойный - беспокойный

38.  Веселый - грустный

39.  добный - неудобный

40.  Красивый - некрасивый

41.  Опасный - безопасный

42.  Приятный - неприятный

43.  Ручной - дикий

44.  тонченный - грубый

45.  мный - глупый

46.  Шумный - тихий

47.  Ласковый - грубый

48.  Большой - маленький

49.  Дружественный - враждебный

50.  Мягкий - твердый

51.  Добрый - злой

52.  Активный - пассивный

53.  Хороший - плохой

54.  Сильный - слабый

В экспериментах отыскивался минимальный набор координат смысла, по которому можно восстановить все остальные с точностью до тенденции (т.е. с точностью до 3 баллов). Это делалось при помощи нейросетевого имитатора NeuroPro [5]. Следует отметить, что предсказание с точностью до 3 баллов фактически соответствует переходу от 21-балльных шкал (от Ц10 до 10) к традиционным 7-балльным (от Ц3 до 3).

С помощью NeuroPro возможно получение показателей значимости входных сигналов для принятия нейросетью решения, показателей чувствительности выходного сигнала сети к изменению входных сигналов, показателей значимости и чувствительности по отдельным примерам выборки.

За начальную архитектуру была взята слоистая нейронная сеть, состоящая из трех слоев по 10 нейронов в каждом. Далее проводились последовательно следующие операции.

3)      Обучение нейронной сети с максимальной допустимой ошибкой обучения 0.49 балла (такая ошибка приводит к тому, что после округления ошибка обучения фактически равна 0). Как показал опыт, такой ошибки обучения чаще всего достаточно для предсказаний с требуемой точностью, то есть для ошибки обобщения, меньшей 3 баллов.

4)      Из входных сигналов выбирался наименее значимый и исключался, после чего проводилось повторное обучение нейросети с новыми входными сигналами и прежней ошибкой обучения.

Эта процедура проводилась до тех пор, пока нейросеть могла обучиться. В результате этих операций были получены минимальные определяющие наборы признаков (т.е. наборы входных сигналов, оставшиеся после сокращения их числа).

Для разных людей получены очень разные результаты (первые результаты представлены в [8]), совсем непохожие на результаты Осгуда. Вот типичные примеры:

Определяющий набор признаков 1-го человека (размерность 7):

Умный - глупый, шумный - тихий, разумный - неразумный, плотный - рыхлый, дружественный - враждебный, страшный - не страшный, опасный - безопасный.

2-го человека: сильный - слабый, приятный - неприятный, опасный - безопасный, страшный - не страшный, дружественный - враждебный, добный - неудобный (размерность 6).

3-го человека: приятный - неприятный, опасный - безопасный (размерность 2).

Представляет интерес, что Осгудовские признаки почти не представлены в большинстве наборов. В связи с этим было решено проверить, можно ли предсказать значения произвольно выбранных признаков при помощи набора Осгуда (ошибка обучения в экспериментах допускалась
0.49 балла). Практически во всех случаях нейронные сети обучались с приемлемой ошибкой обучения, но ошибка обобщения в экспериментах со скользящим контролем (нейронные сети обучались по всем словам, кроме 2-х - 3-х, потом тестировались на этих словах) часто была недопустимо велика (5-9 баллов).

После этого проводились следующие эксперименты: нейронная сеть обучалась предсказывать значения параметров по же определенному минимальному набору признаков на одной половине слов, далее она тестировалась на словах из другой половины. При этом для большинства слов нейронные сети давали довлетворительные прогнозы по всем параметрам (с точностью до 3 баллов), но почти во всех случаях обнаруживались одно - два слова, для которых сразу по нескольким признакам ошибка нейронных сетей была очень велика.

Итак, для каждого человека обнаруживается многообразие сравнительно малой размерности, в небольшой окрестности которого лежат почти все слова.

При осмыслении этого возникает гипотеза, связанная с тем, что отношение человека к большинству вещей, событий и т.д. не индивидуально, сформировано культурой, в которой этот человек рос, его окружением и поэтому зависит от сравнительно небольшого числа признаков. В связи с этим и могли появиться многообразия малой размерности, в небольшой окрестности которых лежат почти все слова. Назовем их манЦмногообразиями (от немецкого неопределенного местоимения man (некто)). Вероятно, для каждой определенной культуры имеется небольшое количество различных ман-многообразий, специфичных для нее. В ходе воспитания человек присваивает одно из типичных манЦмногообразий. Например, определяющий набор признаков 3-го человека представляется основным набором признаков и для животных: опасность и приятность имеют прямой химический аналог и соответствуют ровню адреналина, эндорфинов и энкефалинов.

Обнаружено, что у большинства людей есть слова, которые неожиданно "выпадают" из ман-многообразий, ‑ отстоят от них довольно далеко. Вероятно, это слова, с которыми у человека связаны какие-либо сильные переживания, ощущения, что приводит к появлению "индивидуальности" оценки или же слова, свое истинное отношение к которым человек пытается скрыть. Есть еще один тип таких точек, специфичных для каждой отдельной культуры (или субкультуры), особое отношение к которым сформировано самой культурой (например, в России - Великая Отечественная, в мусульманских странах - бог). Интерпретация "индивидуальных точек" может дать полезную психодиагностическую информацию, анализ особенных точек культуры - культурологическую. Возможно проведение культурологических исследований путем сравнения особенностей и закономерностей для различных культур.

Уже первые опыты показывают, что набор индивидуальных точек дает яркий и знаваемый портрет личности, общекультурные особенности пока не были изучены, так как требуют более масштабных исследований.

В перспективе результаты работы могут быть использованы во многих областях, где требуется информация о психологии и психическом здоровье человека, могут быть применены для создания компьютерных психодиагностических методик, выявляющих и анализирующих индивидуальные особенности и скрытые напряжения и т.п.

Литература

1.       Language, meaning and culture: the selected papers of C. E. Osgood / ed. by Charles. E. Osgood and Oliver C. S. Tzeng. New York (etc.) : Praeger, 1990 X, 402 S.

2.       Горбань А.Н. Обучение нейронных сетей. М.: изд. Р-США СП "ParaGraph", 1990. - 160с. (English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, рp.1-134).

3.       Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage / Advances in Neural Information Processing Systems 2. - Morgan Kaufmann, 1990. - pp.598-605.

4.       McMillan C., Mozer M.C., Smolensky P. The Connectionist Scientist Game: Rule Extraction and Refinement in a Neural Network / Proc. X Annual Conf. of the Cognitive Science Society, Hillsdale, NJ, USA, 1991. Erlbaum Press, 1991.

5.       Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искуственных нейронных сетей // Методы нейроинформатики. Красноярск: Изд-во КГТУ, 1998.

6.       Gorban A.N., Mirkes Ye.M., Tsaregorodtsev V.G. Generation of explicit knowledge from empirical data through pruning of trainable neural networks / Int. Joint Conf. on Neural Networks, Washington, DC, USA, 1.

7.       Tsaregorodtsev V.G., Nazimova D.I., Nozhenkova L.F. Neural Identification of the Zonal Classes and Siberian Forest Formations Based on Climatic Parameters / Proc. Int. Symposium "Biodiversity and Dynamics of Ecosystems in North Eurasia", Novosibirsk, Aug. 2. Vol.4. Part 1. - pp.37-39.

8.      Горбань П.А. Нейросетевая реализация метода семантического дифференциал и анализ выборов американских президентов, основанный на технологии производства явных знаний из данных // Материалы VII Международной научной студенческой конференции "Cтудент и научно-технический прогресс": Информационные технологии. Новосибирск, НГУ, 1

Горбань Павел Александрович (1982 г.р.) Ц

Студент 4 курса математического факультета КрасГУ.

Область научных интересов: нейроинформатика, теория групп.