Технология извлечения знаний из нейронных сетей: апробация, проектирование ПО, использование в психо...
Реферат - Компьютеры, программирование
Другие рефераты по предмету Компьютеры, программирование
?тавим, как движение по графу: в каждой его вершине производится вычисление простой функции (рис. а).
Вычисление градиента (для оптимизации) представляется обратным движением (рис. б).
Рис. а. Прохождение вершины в прямом направлении.
Рис. б. Прохождение вершины в обратном направлении.
Схематическое представление вычисления сложной функции одного переменного и ее производных.
ЗАДАЧА ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННОЙ СЕТИ
вырезание "всего лишнего"
нейросеть логически прозрачная нейросеть
данные неявные знания явные знания
Нейросеть в ходе обучения формирует неявные знания, в ходе упрощения сети достигается логически прозрачная структура сети, удовлетворяющая некоторым заданным требованиям, и по ней сети возможно записать правила принятия решения в явном виде.
Результатом процесса извлечения знаний должен являться набор правил, который с заданной точностью решает заданное число примеров обучающей выборки
ЗНАЧИМОСТЬ И УПРОЩЕНИЕ
Показатели значимости оценки изменения значения штрафной функции после некоторой модификации нейросети.
Показатели значимости нулевого порядка, основаны на рассмотрении абсолютной величины веса синапса.
Показатели значимости первого порядка оценивают по линейному приближению изменение значения штрафной функции после модификации.
Показатели значимости второго порядка используют второе тейлоровское приближение изменения штрафной функции после модификации.
КРИТЕРИИ ЛОГИЧЕСКОЙ ПРОЗРАЧНОСТИ
- Чем меньше слоев нейронов в сети, тем сеть более логически прозрачна. В более сложных случаях: чем меньше нейронов в каждом из имеющихся путей прохождения сигналов в сети от входа к выходу, тем лучше.
- Чем меньше число нейронов в каждом слое сети, тем лучше.
- Чем меньше входных сигналов сети, тем лучше.
- Чем меньше число приходящих на нейрон сигналов, тем лучше.
- Чем меньше общее число синапсов в сети, тем лучше.
- Необходимо приведение значений настраиваемых параметров сети к конечному набору выделенных значений.
Упрощение (контрастирование) нейронной сети строится как последовательный процесс исключения из сети наименее значимого элемента, уменьшающий нужный показатель, и дальнейшего подучивания сети. Если после шага упрощения невозможно доучивание сети до требуемой точности, то возвращаемся к сети, полученной на предыдущем шаге, и завершаем процесс упрощения.
МЕТОД СЕМАНТИЧЕСКОГО ДИФФЕРЕНЦИАЛА
Слова осмысляются человеком не через "толковый словарь", а через ощущения, переживания. Определить смысл слова значит выделить этот комплекс переживаний. Путь к смыслу через качественные признаки понятия.
ГИПОТЕЗА ОСГУДА
СУЩЕСТВУЮТ КООРДИНАТЫ СМЫСЛА:
все существенные свойства понятия определяются на основании небольшого числа базисных свойств
Cлово
Основной базис Осгуда:
Оценка (Хороший-Плохой),
Сила (Сильный-Слабый),
Активность (Активный-Пассивный)
ОТЛИЧИЕ НАШЕЙ ПОСТАНОВКИ
ОТ ЗАДАЧИ ОСГУДА
У ОсгудаУ насИщется базис для всех носителей языка (Средний базис).Ищется базис для индивидуального носителя языка (Базис индивидуальных смыслов).Ищутся линейные связи. Ищутся нелинейные связи (параметр, характеризующий регулярность связи число нейронов).У Осгуда признаки, не восстанавливаемые по базисным, выбрасываются, как незначимые.У нас объекты, признаки которых не удается восстановить, рассматриваются как особые, характеризующие индивидуальные отклонения (психоаналитические).
ОТЛИЧИЕ НАШИХ РЕЗУЛЬТАТОВ
ОТ РЕЗУЛЬТАТОВ ОСГУДА
У ОсгудаУ насПространство смыслов трехмерно, ошибка предсказания свойств велика.Размерность пространства смыслов индивидуальна, само пространство есть объединение типового MAN-многообразия с небольшим числом точек психоаналитических больших отклонений. Именно их наличие не позволяет дать точное трехмерное (среднекультурное) предсказание.КООРДИНАТЫ И ОСОБЫЕ ТОЧКИ ИНДИВИДУАЛЬНЫХ СМЫСЛОВЫХ ПРОСТРАНСТВ
Определяющий набор признаков 1-го человека (размерность 7):
Умный глупый
Шумный тихий
Разумный неразумный
Плотный рыхлый
Дружественныйвраждебный
Страшный не страшный
Опасный безопасный.
Исключения: горшок, теорема, наука, деньги
2-го человека (размерность 6):
Сильный слабый
Приятный неприятный
Опасный безопасный
Страшный не страшный
Дружественныйвраждебный
Удобный неудобный.
Исключения: работа, жена, наука, деньги, тортик
3-го человека (размерность 2):
Приятный неприятный
Опасный безопасный.
Исключения: нет
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ,
ПОЛУЧЕННЫЕ ЛИЧНО АВТОРОМ