Перед тем, как начинать процесс обучения нейронной сети, необходимо присвоить весам начальные значения. Цель здесь, очевидно, должна состоять в том, чтобы найти как можно более хорошее на-чальное приближение к решению и таким образом сэкономить время обучения и улучшить сходимость. Конечно, можно положить начальные веса во всей сети равными нулю, но тогда частные производные от невязки по всем весам будут одинаковыми, и изменения весов не будут должным образом структурированы. В результате нельзя будет надеяться на то, что сеть вообще когда-нибудь сможет решить задачу. Нужно искать способы уйти от такой симметрии.
Классический подход к проблеме выбора начальных значений весов состоит в следующем: случайным образом выбрать малые величины весов, чтобы быть уверенным, что ни один из сигмоидных элементов не насыщен (и значения всех производных очень малы). Например, если сигмоидный элемент имеет наибольшую производную в интервале [-3,3], подходящим выбором для начального веса будет
случайное число, расположенное в интервале [-3 / yfN,3 / y[N], где NЧ число входов нейрона. Из-за малости величины начального веса последующие его изменения также будут небольшими, так как при этом учитывается абсолютная величина веса. Таким образом, нужно найти компромисс между существенными изменениями в значениях сигмоидов и малостью абсолютных величин.
Подобные правила рассчитаны на то, чтобы сеть начинала свою работу в линейном режиме и притом не на плоской части поверхности невязок. Однако нет гарантии, что такое начальное приближение приведет к глобальному минимуму или уменьшит время сходимости. Были разработаны другие методы, дающие еще более хорошее начальное приближение с точки зрения уменьшения времени обуче-ния и обладающие большей устойчивостью в смысле локальных минимумов. Так, Дено и Ланжель разработали метод инициализации весов по прототипам, полученным из обучающего множества [87]. Усовершенствованный классический метод выбора начальных значений использует данные анализа главных компонент, но для этого, безусловно, требуется меньше скрытых элементов, чем имеется входов [292]. При использовании обучающих алгоритмов типа ВР выбор начального приближения очень важен. Уже на этом шаге нужно позаботиться о том, чтобы не попасть в локальный минимум.
|
- ОБЩЕГОСУДАРСТВЕННОЕ ПЛАНИРОВАНИЕ
способностью к саморегулирова нию на основе рыночных цен, соотношения спроса и предложе ния, конкуренции. Однако во многих сферах саморегулирование действует недостаточно, например, в сфере природопользования и охраны окружающей среды. Так, рынок может вызвать рост эко логически грязных производств, если они являются прибыльны ми. Рыночная система обеспечить комплексное развитие эконо мики всех
- ГОСУДАРСТВЕННОЕ РЕГУЛИРОВАНИЕ ОТНОШЕНИЙ СОБСТВЕННОСТИ И ПРЕДПРИНИМАТЕЛЬСТВА
способы распределения, обмена, потребления мате риальных благ, положение определенных групп, классов. При ча стной собственности отношения строятся на обособленном при своении, при общественной - на совместном присвоении. Предприятия частного сектора экономики различаются в за-висимости от того, сколько (одно или несколько) лиц являются владельцами предприятия, от ответственности за деятельность
- ГОСУДАРСТВЕННОЕ РЕГУЛИРОВАНИЕ ИНВЕСТИЦИЙ И СТРУКТУРНАЯ ПОЛИТИКА
способности продукции. Определяющей особенностью пе редачи результатов научных исследований для их освоения в про изводстве является создание и развитие системы коммерческих форм взаимодействия науки и производства. Сложившийся уровень спроса на внешнем и внутреннем рын ках на продукцию отраслей промышленности будет определять и перспективу их развития, и структурные изменения основных про
- ГОСУДАРСТВЕННОЕ РЕГУЛИРОВАНИЕ ВНЕШНЕЭКОНОМИЧЕСКИХ СВЯЗЕЙ
способность своей продукции (снижать затра ты, повышать качество, расширять ассортимент и др.). В услови ях формирования и развития рыночных отношений роль импор та резко возрастает. Полезность экспорта для страны проявляется по следующим направлениям: экспорт расширяет рынок сбыта продукции и та ким образом создаются возможности увеличения масштабов про изводства в стране, т.е. это фактор
- 2.4 Средство платежа
способны обслуживать не только движение товара, но и движение капитала. Поэтому средство платежа - это высшая из всех известных функций денег, соответствующая периоду зрелого капитализма. Функция средства платежа наиболее полно воплощается в кредитных деньгах, но это воплощение становится возможным благодаря тому, что она прежде уже существовала и постепенно набирала силу в эпоху натуральных
- 8.2. ГЛОБАЛЬНЫЙ МАРКЕТИНГ КАК ОТРАЖЕНИЕ СОВРЕМЕННЫХ ГЛОБАЛЬНЫХ ПРОБЛЕМ
способствует международной специализации и кооперированию производства, торговле, обмену научно-исследовательскими идеями, информацией. Глобализация экономических процессов превратилась, по существу, в самостоятельную силу, усиливающуюся под воздействием активных факторов - политических, экономических, социально-демографических, психологических и технологических. Для многих международных
- 3.8. ЭТАПЫ СОЗДАНИЯ БАЗЫ И БАНКА ДАННЫХ
способ создания баз данных весьма эффективен. Технология ввода данных в базу допускает использование таблицы и формы, через которые обеспечивается работа только с одной строкой таблицы. Ввод с помощью формы позволяет располагать поля в нужном порядке, удобном для пользователя. Создание форм может выполнять пользователь сам или с помощью Мастера. Этапы создания формы включают выбор полей,
- 9.3. Оперативное планирование
способов расчета основ-ных планово-организационных показателей, необходимых для регу-лирования хода процесса производства и потребления товаров и ус-луг с целью достижения запланированных рыночных результатов при минимальных затратах экономических ресурсов и рабочего времени. К основным характеристикам любой системы оперативного планирования относятся: методы комплектования календарных за-даний
- 11.1. Инновационная деятельность предприятия
способных предприятий и организаций изменили механизм управления научно-техническим прогрессом, повлияли на темпы и характер научно-исследовательских, опытно-конструкторских и проектно-изыскательских работ, на разработку и внедрение ново-введений (инноваций) как основы экономического роста, повыше-ния конкурентоспособности организаций и экономики в целом. В этих условиях инновационной
- 11.2. Инвестиционная деятельность предприятия
способности, увеличение объемов продаж, расширение рынков сбыта, социальный эффект; по способам финансово-денежных расчетов с инвестором: сотрудничество с другой компанией или с инвестиционным фондом, заем денег в банке под определенный процент; по масштабам: малые инвестиционные проекты, краткосроч ные монопроекты, мультипроекты, мегапроекты и междуна родные проекты. Рассмотрим особенности
|
Финансы