Авторефераты по всем темам >>
Авторефераты по биологии
На правах рукописи
ТКАЧЕНКО Ольга Николаевна
ФИЗИОЛОГИЧЕСКИЕ ПОКАЗАТЕЛИ ДРЕМОТНОГО СОСТОЯНИЯ ПРИ ВЫПОЛНЕНИИ МОНОТОННОЙ ОПЕРАТОРСКОЙ ДЕЯТЕЛЬНОСТИ
03.03.01 - физиология
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата биологических наук
Москва - 2012
Работа выполнена в лаборатории нейробиологии сна и бодрствования (заведующий лабораторией - доктор биологических наук Дорохов Владимир Борисович) Федерального государственного бюджетного учреждения науки Институт Высшей Нервной Деятельности и Нейрофизиологии РАН (директор - член-корреспондент РАН, доктор биологических наук, профессор Павел Милославович Балабан)
Научные руководители:
доктор биологических наук Владимир Борисович Дорохов
доктор биологических наук, профессор Александр Алексеевич Фролов
Официальные оппоненты:
доктор медицинских наук, профессор Юрий Викторович Урываев
кандидат биологических наук Андрей Васильевич Курганский
Ведущая организация: Биологический факультет МГУ им. М.В. Ломоносова
Защита состоится л30 мая 2012 г. в 16.00 часов на заседании Диссертационного совета Д.002.044.01 при Федеральном государственном бюджетном учреждении науки Институт Высшей Нервной Деятельности и Нейрофизиологии РАН по адресу:
117485, Москва, ул. Бутлерова, д. 5а
С диссертацией можно ознакомиться в библиотеке Федерального государственного бюджетного учреждения науки Институт Высшей Нервной Деятельности и Нейрофизиологии РАН
Автореферат разослан л20апреля 2012 года
Учёный секретарь диссертационного совета
доктор биологических наук, профессор В.В. Раевский
ВВЕДЕНИЕ
В настоящее время операторская деятельность широко востребована в самых различных областях человеческой деятельности. Частично автоматизированные производства, управление транспортными средствами, работа диспетчеров - только несколько примеров, по которым, однако, можно оценить её распространённость. Уровень развития техники в настоящее время не позволяет полностью автоматизировать большинство сфер жизни, поскольку для адекватного управления ими требуется гибкость и адаптивность. В системе оператор-техническое устройство необходимый уровень адаптивности устройства обеспечивает человек. Однако очевидно, что в такой системе человеческий фактор является слабым звеном. Состояние оператора не является постоянным: на него влияет множество факторов, начиная от физического состояния самого оператора и заканчивая сигналами, поступающими из окружающей среды. Это приводит к изменениям таких важных для успешной операторской деятельности показателей, как уровень внимания и время реакции. Одним из самых известных негативных факторов, снижающих уровень внимания оператора, является депривация сна. Для операторской деятельности часто характерна монотонность, которая также негативно влияет на уровень внимания и время реакции. Было неоднократно показано [kerstedt, Gillberg, 1990; Ingre at al., 2006], что субъективная оценка оператором собственного состояния не может служить объективным критерием работоспособности оператора. В то же время цена ошибки или даже промедления оператора (например, в случае управления транспортным средством) может оказаться очень высокой. В связи с этим оказывается актуальной разработка автоматизированных систем контроля состояния оператора, которые могли бы заблаговременно оповещать о потенциально опасном снижении уровня бодрствования.
Электроэнцефалограмма (ЭЭГ) является одним из наиболее привлекательных физиологических показателей для создания такого рода систем [Kaplan F., 1998); Lal, Craig, 2000; Baumgarten, Karrer, Briest, 2005], поскольку, в отличие от других физиологических параметров, таких, как электрокардиограмма (ЭКГ), электромиограмма (ЭМГ), кожно-гальваническая реакция (КГР) и так далее, отражает непосредственно активность мозга в реальном времени с высоким временным разрешением. В то же время регистрация ЭЭГ не требует сложных и дорогостоящих установок. Распространение беспроводных электродов делает ЭЭГ ещё более перспективным показателем, поскольку такие электроды не ограничивают оператора в движении.
Недостатком ЭЭГ является её большая индивидуальная вариабельность, что может быть преодолено только индивидуальной настройкой классификатора под конкретного оператора. Однако в математической статистике уже давно существуют методы общего характера, позволяющие разделять классы измерений на основе обучающих выборок [Fukunaga, 1990]. Такие классификаторы позволяют автоматически определять, по каким признакам должна производиться классификация, непосредственно из сравниваемых выборок и, таким образом, являются гораздо более гибкими и адаптивными, чем параметрические классификаторы. Широкое распространение всё более сложных вычислительных систем позволяет надеяться, что использование таких методов, более сложных, чем обычные пороговые параметрические классификаторы, в обозримом будущем может стать доступным для широкого внедрения.
Целью данной работы являлось исследование возможности эффективного распознавания сниженного уровня бодрствования по физиологическим показателям оператора статистическими методами, позволяющими распознавать состояние оператора по индивидуальным критериям, и сравнение их с простым параметрическим классификатором на основе анализа альфа-активности, уже применявшимся в этой области ранее [Tietze, 2000].
Задачи работы:
1. Оценить межиндивидуальную вариабельность ЭЭГ операторов при сниженном уровне бодрствования.
2. Сопоставить результаты распознавания сниженного уровня бодрствования по ЭЭГ испытуемого универсальными методами и методами, основанными на индивидуальных особенностях ЭЭГ испытуемого.
3. Сопоставить результаты распознавания сонливости двумя различными методами, основанными на индивидуальных особенностях ЭЭГ испытуемого.
4. Проанализировать вклад электрической активности различных областей мозга в распознавание сниженного уровня бодрствования по ЭЭГ.
5. Сопоставить результаты распознавания сниженного уровня бодрствования для одних и тех же испытуемых, по двум различным физиологическим показателям: 1) ЭЭГ и 2) движениям глаз (методика видеотрекинга).
Научная новизна работы:
1. Проведено сравнение ранее применявшегося для распознавания дремотного состояния метода Титце с ранее не применявшимися в этой области методами общих пространственных паттернов (Common Spatial Patterns, CSP) и Байеса (классификатор, основанный на ковариационных матрицах). Показана более высокая эффективность методов Common Spatial Patterns (CSP) и Байеса, учитывающих индивидуальные характеристики ЭЭГ испытуемых.
2. Проанализирована корреляция экспертной оценки, усреднённой по минутному интервалу, с классификациями соответствующими методами. Показана более низкая корреляция с экспертной оценкой классификатора, полученного методом Титце, по сравнению с методами CSP и Байеса.
3. Проанализирована эффективность выявления дремотного состояния методами CSP, Байеса, спектральной энтропии Шеннона, а также вариабельности сердечного ритма. Показано, что корреляция с экспертной оценкой является достаточно высокой для методов Байеса, значительно ниже - у спектральной энтропии Шеннона и ниже всего - у вариабельности сердечного ритма.
4. Пространственный анализ ЭЭГ показал, что в распознавание дремотного состояния наибольший вклад вносит электрическая активность фронтальных областей мозга.
5. Проанализирована возможность распознавания уровня бодрствования оператора по различным параметрам движения глаз: средний радиус фиксации, среднее время фиксации, средняя длина саккады, средний диаметр зрачка, расфокусировка взгляда. Показано, что корреляцию с состоянием дремоты имели показатели средней длины саккады и расфокусировки взгляда. Показано, что эффективность распознавания дремоты по этим показателям движения глаз несколько ниже, чем у методов CSP и Байеса по показателям ЭЭГ
Научно-теоретическое и практическое значение работы:
Полученные результаты могут представлять интерес для понимания механизмов возникновения состояния со сниженным уровнем бодрствования у операторов. Большое значение, как нам представляются, имеют данные о значительной межиндивидуальной вариабельности физиологических параметров и динамики их изменения при снижении уровня бодрствования. Представляет интерес тот факт, что наибольший вклад в распознавание снижения уровня бодрствования вносит ЭЭГ, регистрируемая фронтальными электродами, а следовательно, наиболее заметные изменения в мозговой активности при снижении уровня бодрствования происходят во фронтальных областях. Это может свидетельствовать о том, что существенный вклад в общую картину снижения уровня бодрствования вносит снижение внимания.
Анализ изменений, происходящих в спектре ЭЭГ при снижении уровня бодрствования, демонстрирует тенденцию к усилению низкочастотного альфа-ритма и снижению высокочастотного альфа-ритма. Это может свидетельствовать о том, что различные ритмы альфа-семейства имеют разную этимологию и по-разному реагируют на снижении уровня бодрствования. Данный факт может быть использован как для создания систем онлайн-контроля состояния оператора, так и для понимания механизмов возникновения дремотного состояния.
Для разработчиков систем, контролирующих состояние оператора, может представлять интерес сравнительный анализ методов CSP и Байеса, а также параметров движений глаз оператора. Показано, что метод Байеса при достаточной длине обучающей выборки превосходит по эффективности метод CSP, а исследованные параметры движений глаз уступают по эффективности распознаванию состояния оператора по ЭЭГ.
Анализ параметров движений глаз показывает, что при изменении состояния оператора изменяются некоторые проанализированные параметры - средняя длина саккады и расфокусировка взгляда. Остальные проанализированные параметры не показывают существенных изменений при снижении уровня бодрствования. Эти факты также может быть интересны разработчикам систем онлайн-контроля состояния оператора.
Полученные результаты хорошо согласуются с имеющимися научными данными.
Положения, выносимые на защиту:
Автором защищаются следующие положения:
1. Применение математических методов CSP и Байеса для анализа индивидуальных характеристик ЭЭГ испытуемого, показывают лучший результат при распознавании дремотного состояния, чем основанный на выявлении альфа-веретён в ЭЭГ метод Титце.
2. По совокупности критериев метод Байеса является потенциально более эффективным для распознавания дремотного состояния, чем метод CSP.
3. Из исследованных параметров движений глаз только расфокусировка взгляда и средняя длина саккады потенциально могут быть рекомендованы для распознавания дремотного состояния, однако они показывают меньшую эффективность, чем анализ ЭЭГ, основанный на методах CSP и Байеса.
4. Наибольший вклад в распознавание состояния испытуемого методом CSP вносит электрическая активность фронтальных областей головного мозга.
5. Все исследованные параметры демонстрируют существенную межиндивидуальную вариабельность, что свидетельствует о необходимости создания гибких методов контроля состояния оператора, учитывающих индивидуальные особенности.
Апробация работы:
Отдельные результаты и работа в целом доложены на III и IV международной конференции по когнитивным наукам в 2008 и 2010 годах (Москва, 2008 г.; Томск, 2010 г.); на международном молодёжном научном форуме Ломоносов (Москва, 2008, 2010 г.г.); на конференциях молодых учёных в ИВНД и НФ РАН (Москва, 2008-2009 г.г.); на 6-й Российской (с международным участием) молодежной школе-конференции Сон - окно в мир бодрствования (Москва, 2011 г.).
Публикации:
По теме диссертации опубликовано 3 статьи.
Структура и объём работы:
Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложения. Основное содержание изложено на 106 страницах. Диссертация содержит 8 рисунков, 7 таблиц и список литературы на 10 страницах из 108 наименований.
МЕТОДИКА
Общий экспериментальный подход
Экспериментальный подход состоял в том, что испытуемые в состоянии частичной депривации сна (не более 4 часов сна в ночь перед экспериментом по договорённости с экспериментатором) управляли компьютерным симулятором автомобиля посредством игрового руля. Испытуемым давалось указание придерживаться центра дороги, который был помечен белой пунктирной линией. Периодически на руль подавались случайные возмущения, отклоняющие автомобиль от центра дороги, которые испытуемый должен был своевременно корректировать. В силу монотонной деятельности и предшествующей депривации сна у них снижался уровень бодрствования и наблюдались эпизоды микросна: кратковременной, но полной утраты бдительности. Во время таких эпизодов испытуемые не могли успешно скорректировать положение руля и отклонялись от центра дороги.
На протяжении всего эксперимента производилась видеозапись лица испытуемого. Впоследствии видеозапись независимо друг от друга просматривали три эксперта и согласно инструкции определяли состояние испытуемого по визуальным признакам (инструкция экспертам приведена в Приложении) с временным разрешением, равным одной секунде. Оценки затем суммировались и служили основным критерием состояния испытуемого на протяжении эксперимента.
Также на протяжении эксперимента регистрировался ряд параметров автомобильного симулятора, в том числе отклонение автомобиля от центра дороги, которое служило дополнительным критерием состояния испытуемого. Поскольку возмущения на руль подавались нечасто (приблизительно раз в минуту), этот параметр имел достаточно медленную динамику изменений, а также непрогнозируемое запаздывание реакции после возникновения эпизода микросна: проснувшийся испытуемый не может вернуться к центру дороги мгновенно. Эти соображения не позволили нам выбрать отклонение от центра дороги основной характеристикой состояния испытуемого.
Подсистема для эмуляции вождения состояла из игрового руля, закреплённого на столе перед испытуемым, и специально разработанной для эмуляции вождения программы Car Simulator (автор Прокопенко Р.А.). Программа определяет ориентацию и положение автомобиля относительно дороги, осуществляя, соответственно, интегрирование и двойное интегрирование отклонения руля от среднего положения, и отображает результат на мониторе. Также программа производит запись на диск данных о текущем положении руля, ориентации и положении автомобиля на дороге.
Руль подключён к USB-порту компьютера через USB-порт.
Также на протяжении эксперимента регистрировались ЭЭГ и различные физиологические параметры. Подробно принципиальные схемы экспериментальных установок рассмотрены в разделах, посвящённых первой и второй сериям экспериментов.
Выбор испытуемых
Снижение уровня бодрствования за рулем определяется многими внутренними и внешними факторами: индивидуальный циркадный ритм, длительность ночного сна, качество сна, длительность и качество предшествующей работы, прием медицинских препаратов, возраст, опыт вождения, монотонность дороги, индивидуальные типологические характеристики и т.д. Кроме того, увеличение сонливости за рулем не является монотонным пассивным процессом, водители активно борются с сонливостью с помощью различных неосознаваемых индивидуальных приемов. При этом периоды сонливости сменяются периодами бодрствования и увеличение сонливости наблюдается лишь в виде некоторого статистического тренда. Соответственно проявления сонливости в ЭЭГ также очень индивидуальны и для классификации проявлений ЭЭГ в зависимости от индивидуальных особенностей требуется очень большая статистика испытуемых с разделением на группы по многим показателям, включая возраст, время проведения эксперимента, продолжительность сна перед экспериментом. В наиболее авторитетных исследованиях число испытуемых достигает нескольких сотен [Caldwell, Wesensten, 2005], что требует многолетних экспериментов.
Мы ограничились единственной возрастной группой испытуемых в возрасте от 18 до 35 лет (средний возраст 264), имея в виду, что операторы именно этого возраста наиболее подвержены влиянию депривации сна [Knipling, Wierwille, 1994]. Мы ограничились двумя состояниями: без депривации сна - нормальный ночной сон накануне эксперимента и с частичной депривацией сна - сон не более четырёх часов. Соответственно, каждый испытуемый тестировался на симуляторе вождения дважды. Длительность одного эксперимента составляла 2 часа в первой серии и 1.5 часа во второй.
Перед началом каждого эксперимента с вождением испытуемые тестировались на выраженность и реактивность альфа-ритма. Для этого проводилась регистрация ЭЭГ в сериях с открытыми, закрытыми и произвольно открываемыми и закрываемыми глазами. Длительность записи в каждом из этих состояний составляла одну минуту. Во второй серии экспериментов к этому также были добавлена регистрация морганий и движения глаз для последующего удаления глазодвигательных артефактов.
Всего в экспериментах первой серии участвовало двадцать испытуемых (тринадцать мужчин и семь женщин). В экспериментах второй серии приняли участие десять испытуемых в возрасте от 20 до 35 лет, из них четыре женщины и шестеро мужчин. Испытуемые были информированы о процедуре эксперимента и подписывали письменное согласие на участие в нём
Первая серия экспериментов
Принципиальная схема экспериментальной установки в первой серии экспериментов представлена на рис. 1 . Она состоит из трёх подсистем:
- система регистрации ЭЭГ,
- система записи видеоизображения лица испытуемого,
- компьютерный эмулятор вождения.
Все три подсистемы работают в среде Windows XP на одном персональном компьютере, оснащённом двумя мониторами, первый из которых используется для эмуляции вождения, а второй - как консоль управления экспериментом.
Подсистема регистрации ЭЭГ построена на основе компьютерной системы сбора данных NBL140/DigiScope производства фирмы НейроБиоЛаб, которая представляет собой прибор, совмещающий в себе 4-канальный АЦП с малошумящими универсальными усилителями на входе и многоканальный стимулятор для электрической стимуляции и управления внешним оборудованием. Специальное устройство входных каскадов усилителей позволяет проводить регистрацию ЭЭГ в неэкранированном помещении. NBL140 подключается к компьютеру через USB-порт. ЭЭГ регистрируется при помощи программы DigiScope, которая обеспечивает управление аппаратурой, визуализацию ЭЭГ на мониторе в реальном времени и запись данных на диск. Также эта подсистема используется для синхронизации, как описано ниже.
Регистрация ЭЭГ осуществлялась по 4 каналам с частотой дискретизации 200 Гц. Два электрода были установлены симметрично относительно центральной линии головы на затылке и два - на темени. Референтный электрод был установлен на левом ухе. Сохранение файлов производилось в формате EDF.
Для записи видеоизображения лица испытуемого использовалась компьютерная камера низкого разрешения с USB-интерфейсом фирмы Creative. Запись производилась со скоростью 10 или 15 кадров в секунду.
Подсистема для эмуляции вождения состояла из игрового руля, закреплённого на столе перед испытуемым, и программы Car Simulator.
Перед началом каждого эксперимента с вождением испытуемые тестировались на выраженность и реактивность альфа-ритма. Для этого перед основным экспериментом проводилась регистрация фоновой ЭЭГ с открытыми, закрытыми глазами и закрываемыми и открываемыми по команде экспериментатора глазами. Длительность фоновой записи для каждого из состояний составляла одну минуту.
Рис. 1. Принципиальная схема организации первой серии экспериментов. В нижней части представлено аппаратное обеспечение, в средней - программное обеспечение, вверху - выходные данные. Остальные пояснения в тексте.
Вторая серия экспериментов
Во второй серии экспериментов регистрация ЭЭГ производилась посредством многоканального полисомнографа и программного обеспечения LEONARDO BRAINMAP EEG and Sleeplab PC Software производства фирмы SAGURA.
Регистрация осуществлялась по стандартной системе 10-20 с частотой дискретизации 200 Гц. Для регистрации использовалась шапочка Electro-Cap Surgical>
Помимо ЭЭГ, во второй серии экспериментов регистрировались ЭОГ от одного горизонтального и одного вертикального отведений, а также ЭКГ от электрода, расположенного на левой части грудной клетки испытуемого, с частотой опроса 200 Гц.
Для записи видеоизображения лица испытуемого в течение эксперимента использовалась компьютерная камера низкого разрешения с USB-интерфейсом Logitech quickcam pro 9000. Запись производилась со скоростью 10-15 кадров в секунду.
Также во второй серии экспериментов была задействована бесконтактная видеосистема, осуществляющая регистрацию движения глаз испытуемого (Eyegaze Development System, LC Technologies, USA), основанная на отражении инфракрасного света от роговицы глаза и позволяющая определять координаты направления взора. Система EyeGaze позволяет зарегистрировать направление взгляда испытуемого на монитор и радиус зрачка испытуемого. Частота опроса системы EyeGaze составляет 120 Гц.
Во время эксперимента испытуемый находился в звукоизолирующей камере, перед компьютером, на котором были установлены программа эмуляции вождения и система определения направления взгляда. Запись видео и электрофизиологических показателей при этом производилась на компьютере, установленном в соседней комнате.
Длительность основного опыта во второй серии экспериментов составляла полтора часа. В начале и конце каждой экспериментальной сессии также записывалась ЭЭГ во время функциональных проб. Пробы включали: фоновую запись с открытыми глазами в течение одной минуты, фоновую запись с закрытыми глазами в течение одной минуты, запись морганий с частотой приблизительно один раз в секунду в течение тридцати секунд, а также запись движений глаз вверх, вниз, влево и вправо по командам экспериментатора - три серии по двадцать секунд. Записи с морганиями и движениями глаз в дальнейшем использовались для удаления из ЭЭГ глазодвигательных артефактов.
Рис. 2. Принципиальная схема организации второй серии экспериментов. Внизу представлено аппаратное обеспечение, в средней части рисунка - программное обеспечение, в верхней - выходные данные.
Обработка данных
Данные ЭЭГ второй серии очищались от артефактов глазодвигательных движений методом линейной регрессии. Для этой процедуры использовались записи глазодвигательных движений в начале опыта и каналы отведения ЭОГ. Для данных первой серии процедура очистки от глазодвигательных артефактов не производилась по причине отсутствия данных ЭОГ. Также на этом этапе помечались участки с артефактами записи, которые впоследствии исключались из анализа.
Затем производилась фильтрация данных ЭЭГ в диапазоне 7-15 Гц для первой серии экспериментов и 3-40 Гц - для второй серии экспериментов.
Полученные данные синхронизировались посредством специально разработанного программного обеспечения, написанного в программной среде Matlab 7.3. В синхронизированные данные входила также усреднённая экспертная оценка всех трёх экспертов.
Для классификаторов, требующих обучающей выборки, в качестве обучающих выбирались интервалы, идентифицированные всеми экспертами как состояние с нормальным (2 по пятибалльной шкале) и существенно сниженным (4 по пятибалльной шкале) уровнем бодрствования, соответственно. Участки, оцененные хотя бы одним экспертом как заметное движение (1) или засыпание (5), исключались из анализа (см. Приложение).
Длительность интервалов, по которым вычислялись все параметры, выбиралась в диапазоне 5-120 секунд для испытуемых с хорошо выраженной мимикой и высоким уровнем соответствия поведенческого критерия (отклонение автомобиля от центра дороги) и экспертной оценки. Критерием оптимальной длительности интервала являлось наилучшая (в среднем) корреляция поведения классификаторов и экспертной оценки. Для четырёхэлектродных записей первой серии экспериментов удовлетворительная классификация стала возможна на двухминутном интервале, для многоэлектродных записей второй серии этот интервал составил 15 секунд.
На последнем этапе обработки все показатели уровня бодрствования усреднялись на последовательно следующих друг за другом интервалах соответствующей длительности (2 минуты в первой серии и 15 секунд во второй серии) и сравнивались с экспертной оценкой, усреднённой по тем же интервалам, на всём протяжении опыта.
МАТЕМАТИЧЕСКИЕ МЕТОДЫ
Метод Байеса
Методы Байеса [Fukunaga, 1990] являются оптимальными с точки зрения минимизации ошибки классификации. Однако для их успешной работы необходимо знание условных функций плотности вероятности для каждого класса событий. В большинстве практических приложений эти функции нужно установить, исходя из конечного набора измерений. Процедуры, позволяющие сделать это с достаточной строгостью, сложны и трудоёмки, а также требуют большого количества измерений.
Даже если функции, описывающие плотности вероятностей, удастся получить, при попытке применить правило Байеса в исходной формулировке они могут оказаться очень ресурсоёмкими для классификации каждого последующего измерения. Поэтому зачастую целесообразно определить, к примеру, математический вид правила классификации и оптимизировать его параметры. Однако нужно помнить, что по самому определению строгого правила Байеса ни один параметрический классификатор не сможет превзойти по эффективности [Fukunaga, 1990].
В данной работе использовался основанный на ковариационных матрицах линейный классификатор, который предполагает, что обе вероятностных функции имеют нормальное распределение.
Метод общих пространственных паттернов (Common Spatial Patterns, CSP)
Метод CSP [Fukunaga, 1990] - метод анализа данных, разделённых на два класса (состояния).
CSP-анализ успешно применяется для разделения ментальных состояний, характеризующихся вызванной синхронизацией либо десинхронизацией ЭЭГ [Koles, 1991]. Исходный сигнал умножается на матрицу, полученную из ковариационных матриц обучающих выборок. Для последующего анализа выбираются одна или несколько компонент полученной таким образом матрицы. Мы использовали классификацию по последней, главной компоненте, значения вариации которой в различных состояниях должны различаться сильнее всего. Итоговые значения классификатора на каждом анализируемом отрезке вычислялись как вариация компоненты на соответствующем интервале
Модифицированный метод Титце (Tietze)
В оригинальной работе Титце [Tietze, 2000] учитывались два параметра - продолжительность эпизода повышенной альфа-активности и расстояние между ними. В настоящей работе используются ещё два параметра - средняя мощность альфа-ритма на выделенном интервале и его средняя частота. Для некоторых испытуемых это помогает существенно улучшить качество распознавания.
Таким образом, усовершенствованный метод Титце представляет собой линейный параметрический классификатор, входными параметрами для которого являются четыре вышеуказанных величины - продолжительность эпизода повышенной активности в альфа-диапазоне, расстояние до предыдущего такого эпизода, средняя амплитуда сигнала на рассматриваемом интервале и средняя частота. Впоследствии эти величины усредняются на анализируемом промежутке времени. Для них определяются статистические веса, обеспечивающие оптимальное распознавание, и выходной параметр, использованный для классификации состояний сна и бодрствования, представляет собой сумму этих величин с соответствующими стат. весами.
Спектральная энтропия Шеннона
Спектральная энтропия является мерой, которая из общих соображений должна увеличиваться при десинхронизации рассматриваемого сигнала и уменьшаться при его синхронизации [Papadelis, 2007]. Она вычисляется по спектральным мощностям сигнала в различных частотных диапазонах. В данной работе для вычисления спектральной энтропии по ЭЭГ использовались следующие частотные диапазоны: тета (5-7 Гц), альфа (8-14 Гц), нижний бета (15-20 Гц), верхний бета (21-30 Гц) и гамма (31-40 Гц). Таким образом, можно было бы ожидать значимых изменений этого показателя, если выполнено предположение, что при снижении уровня бодрствования происходит синхронизация ЭЭГ на некоторой частоте.
Методы анализа данных о движениях глаз
Система EyeGaze позволяет регистрировать направление взгляда испытуемого, а также радиус его зрачка с частотой опроса 120 Гц. Ниже изложены способы получения из этих данных параметров, использованных в нашей работе для определения состояния испытуемого. Из записей предварительно удалялись артефакты, соответствующие морганиям и закрытию глаз, во время которых система не может определить направление взгляда испытуемого.
Фиксации взгляда испытуемого определялись как периоды, во время которых координаты взгляда испытуемого находились внутри круга заданного радиуса, не меньше заданного промежутка времени, а скорость не превышала заданной величины. Размер круга и предельная скорость определялись индивидуально для каждого испытуемого, исходя из распределений этих параметров в течение эксперимента.
Саккада определялась как участок, на котором скорость смещения взгляда испытуемого хотя бы в одной точке превышала пороговую. Начало и конец саккады определялись как моменты, соответственно, увеличения скорости движения взгляда до 10% от максимальной скорости на участке и снижения скорости движения взгляда до 10% от максимальной скорости на участке.
По найденным фиксациям и саккадам для каждого из анализируемых 15-секундных интервалов вычислялись: средний радиус фиксации на анализируемом интервале (R фиксации); среднее время фиксации на анализируемом интервале (T фиксации); средняя длина саккады на анализируемом интервале (L саккады). Также по данным системы EyeGaze о радиусе зрачка испытуемого вычислялся средний радиус зрачка на рассматриваемом интервале.
Параметр расфокусировки взгляда определялся следующим образом. Поскольку система EyeGaze регистрирует попеременно направления взгляда каждого глаза (частота опроса, соответственно, составляет 60 Гц для каждого глаза), мы рассматривали участки фиксаций взгляда, во время которых скорость смещения направления взгляда была мала, и вычисляли для них разность между координатами соседних точек, или направлениями взгляда левого и правого глаза испытуемого. Эта величина впоследствии усреднялась для каждого из анализируемых 15-секундных интервалов.
Вариабельность сердечного ритма
Некоторые исследователи указывают на связь наступления состояния микросна и изменения вариабельности сердечного ритма. Во второй серии эксперимента мы регистрировали ЭКГ и вычисляли вариабельность сердечного ритма на её основе.
В ЭКГ посредством программного обеспечения, написанного в среде Matlab 7.3, выделялась характерный паттерн сердечного сокращения, после чего в нём идентифицировался пиковый момент R-зубца. Для каждого такого момента времени, кроме первого, вычислялось время, отделяющее его от пика предыдущего R-зубца (в секундах). Вариабельность сердечного ритма на каждом из анализируемых временных интервалов вычислялась как вариация множества значений этой величины на анализируемом интервале.
Критерии оценки качества классификации
Очевидно, что для оценки эффективности классификатора требуются независимые критерии. Подчеркнём, что ни один из них в отдельности не является однозначным индикатором состояния оператора, поскольку потеря внимания и наступление дремотного состояния являются сложными, комплексными процессами, затрагивающими состояние испытуемого в целом. Утомление оператора, колебания уровня внимательности, имеющие место даже без предварительной депривации сна, и, наконец, переход из бодрствующего состояния в дремотное в комплексе вносят независимый вклад в понижение эффективности выполнения поставленной задачи. Также индивидуальной является реакция испытуемого на изменение собственного состояния в процессе эксперимента: известно, что некоторая часть операторов меняет стратегию выполнения задания, основываясь на субъективно отслеживаемых изменениях собственного состояния (Belz, Robinson, Casali, 2004). В особенности это касается людей, чьи профессиональные навыки связаны с долгосрочной операторской деятельностью, в частности, водителей с большим стажем. В связи с этим ни один из критериев независимой оценки не может считаться полностью релевантным, и все они должны рассматриваться в комплексе.
Физиологических параметров, подходящих на роль не зависящих от электрической активности мозга оценок состояния испытуемых, довольно много (см. обзор литературы). Однако их эффективность, за исключением окуломоторных критериев, до сих пор однозначно не подтверждена.
В данной работе использовались следующие методы оценки состояния испытуемых:
1. Экспертная оценка состояния по видеозаписи. В течение всего эксперимента производилась видеозапись лица испытуемого. Впоследствии производился её анализ тремя независимыми экспертами, которые для каждой секунды видеозаписи определяли состояние испытуемого в баллах от 1 до 5.
Участки, оцененные хотя бы одним экспертом как состояние 1 или 5, исключались из анализа, а оценки экспертов в состояниях 2-4 впоследствии суммировались. Итогом такого анализа являлась ломаная линия, которая использовалась в качестве независимой экспертной оценки.
Для определения параметров классификатора впоследствии используется не вся продолжительность экспериментальной записи, а только состояния, оцененные хотя бы двумя из трёх экспертов как спокойное бодрствование и наивысший уровень сонливости, соответственно, что обеспечивает более чёткую кластеризацию состояний в пространстве измерений. Далее с учётом полученных параметров вычисляются классификаторы на протяжении всего эксперимента и оценивается уровень их соответствия экспертной оценке.
2. Абсолютное значение отклонения виртуального автомобиля от центра дороги. Каким бы многообещающим ни казался этот критерий, напрямую связанный с операторской ошибкой, он гораздо хуже коррелирует с уровнем внимания испытуемого, чем предыдущий критерий. Отчасти это связано с уже упомянутым феноменом изменения испытуемыми стратегии выполнения задания при снижении уровня бодрствования. С другой стороны, не всякое, даже значительное отвлечение внимания от выполняемой задачи приводит к грубым ошибкам, даже если оно объективно имеет место. Также, если испытуемый временно утратил контроль за дорогой, а затем решил исправить совершённую ошибку, уровень отклонения автомобиля от центра дороги ещё некоторое время будет указывать на ошибку, хотя уровень внимания уже вернулся к типичному для бодрствования. Исходя из этого, целесообразно определить временное смещение этого вида оценки относительно экспертной, при котором корреляция между ними максимальна, и проводить сравнение с учётом этого временного лага. Несмотря на перечисленные трудности, для части испытуемых (но не для всех) абсолютное отклонение от центра дороги хорошо коррелирует с экспертной оценкой состояния по видеозаписи.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ
Спектральные характеристики ЭЭГ испытуемых
Для оценки индивидуальной вариабельности паттернов ЭЭГ были исследованы спектральные характеристики ЭЭГ испытуемых первой серии.
В первой серии экспериментов участвовало для каждого испытуемого был произведён анализ спектральных мощностей ЭЭГ в экспериментах без депривации сна и с депривацией сна в тета-, альфа-, нижнем бета-, верхнем бета- и гамма-диапазонах. Частотные диапазоны ЭЭГ определялись, соответственно, как 5-7 Гц, 8-14 Гц, 15-20 Гц, 21-30 Гц и 31-40 Гц.
Результаты демонстрируют высокую индивидуальную вариабельность изменений спектральных мощностей ЭЭГ на депривацию сна. Это дополнительно свидетельствует о необходимости индивидуального подхода к анализу ЭЭГ в данном контексте. Чувствительность к депривации сна в основном демонстрируют тета-, альфа- и верхний бета-диапазоны ЭЭГ, в то время как нижний бета- и гамма-диапазоны практически не чувствительны к ней. Это находится в соответствии с литературными данными.
Эпизоды выраженной сонливости и эпизоды микросна в опытах с депривацией сна наблюдались у семи испытуемых: 3, 5, 8, 9, 11, 12, 13, 17. Можно заметить, что данная группа также не демонстрирует единого паттерна изменения спектрального состава ЭЭГ в состоянии с нормальным уровнем бодрствования после депривации сна по отношению к контрольному опыту без депривации сна. Это согласуется с широко известным фактом о большой индивидуальной вариабельности сравнительных спектральных мощностей ЭЭГ и дополнительно свидетельствует о необходимости индивидуального подхода к анализу ЭЭГ.
Перечисленные восемь испытуемых были отобраны для дальнейшего детального анализа изменений ЭЭГ при переходных от бодрствования ко сну состояниях.
Также был произведён анализ спектра ЭЭГ в альфа-диапазоне при открытых и закрытых глазах, а также при депривации сна. Эта часть исследования связана с тем, что исследователи выделяют различные ритмы альфа-диапазона, которые по-разному реагируют на изменение состояния испытуемого (Klimesch, 2006). у большинства испытуемых в спектре действительно чётко выделяется несколько максимумов альфа-ритма, что соответствует современным представлениям о ряде различных ритмов альфа-семейства. Однако единообразия в изменении пиковой частоты альфа-ритма после депривации сна не наблюдается. В целом в пробах с закрытыми глазами, как и следовало ожидать, наблюдается синхронизация ритмов альфа-диапазона: мелкие пики сглаживаются и их количество уменьшается. Мы полагаем, что спектральный анализ обучающих выборок в альфа-диапазоне может быть полезен для более тонкой настройки классификатора под конкретного испытуемого - выбора оптимального диапазона фильтрации и, возможно, выраженной депривации сна, особенно у тех операторов, у которых чётко выражены два максимума в альфа-диапазоне, отстоящие друг от друга. Можно предположить, что в группе испытуемых, у которых выраженный пик аль-фа-активности один и смещается незначительно, различные семейства альфа-ритмов близки по частоте (или один из них имеет гораздо большую амплитуду) и они маскируют друг друга.
В нашей работе мы подробно не останавливались на индивидуальной классификации, поскольку всего меньше половины испытуемых демонстрировали сильное снижение уровня бодрствования в процессе опыта, чего недостаточно для получения статистически значимых результатов для различных групп. Однако тонкий частотный анализ ритмов в альфа диапазоне, как мы считаем, может послужить основой для индивидуальной настройки классификатора под конкретного испытуемого.
У большинства испытуемых при снижении уровня бодрствования более чётко выделяются пики различных семейств альфа-активности, что проявляется в увеличении количества наблюдаемых экстремумов спектральной мощности. Мы не можем дать однозначной интерпретации этому факту, но предполагаем, что это может быть связано с чередованием периодов расслабления, где доминирует нижний альфа-ритм, и моментов, когда испытуемый пытается восстановить высокий уровень алертности и сосредоточиться, что может приводить к кратковременному увеличению верхнего альфа-ритма (Kopruner, Pfurtscheller, Auer, 1984).
Распознавание состояния испытуемых по ЭЭГ. Первая серия
В разделе приведены результаты распознавания сниженного уровня бодрствования по ЭЭГ методами Титце, CSP и Байеса.
Испытуемый | Метод Титце | Метод CSP | Метод Байеса | |||
С | % | С | % | С | % | |
3 | 0.16 | 78 | 0.41 | 85 | 0.06 | 83 |
5 | 0.15 | 72 | 0.81 | 71 | 0.52 | 87 |
8 | 0.10 | 88 | 0.24 | 91 | 0.23 | 96 |
9 | 0.39 | 72 | 0.39 | 73 | 0.50 | 89 |
12 | 0.32 | 86 | 0.62 | 82 | 0.15 | 65 |
13 | 0.21 | 90 | 0.42 | 85 | 0.12 | 56 |
17 | 0.05 | 75 | 0.56 | 86 | 0.70 | 72 |
Среднее | 0.200.12 | 807.7 | 0.490.18 | 827.2 | 0.320.24 | 7814 |
Таблица 1. Сравнительная эффективность классификаторов, полученных различными методами, при усреднении по двухминутному интервалу. Для каждого метода представлены эффективность в процентах (%) и корреляция с экспертной оценкой (С).
В табл. 1 представлены результаты распознавания сниженного уровня бодрствования испытуемых, проявивших в первой серии опытов, согласно экспертной оценке, высокий уровень сонливости на протяжении опыта. ЭЭГ отфильтрована в альфа-диапазоне. Нумерация испытуемых совпадает с предыдущими таблицами. Все показатели вычислялись для двухминутных интервалов. В качестве обучающих выборок использовались состояния с достоверно низким (по оценке двух экспертов из трёх) и достоверно высоким (по оценке двух экспертов из трёх) уровнями бодрствования. Соответствующий показатель затем вычислялся для всего хода эксперимента.
В связи с неоднозначностью сравнения ступенчатой функции, которой, по сути, является даже усреднённая по минутному интервалу экспертная оценка, мы рассматривали разные критерии эффективности. Первый из них - бинаризация значений классификатора в сравнении с бинаризованной точно таким же образом экспертной оценкой. Для метода Байеса порог равен нулю, а классификатором является разность вероятностей отношения состояния к тому или иному классу. Данные по эффективности классификаторов при таком сравнении приведены в столбцах, озаглавленных л%. Легко видеть, что вероятность правильной классификации, вычисленная по этому критерию, достаточно высока, и выше для метода CSP, чем для метода Байеса. Метод Байеса даёт довольно низкие значения распознавания для двух испытуемых. Это может быть связано с его большей чувствительностью к обучающей выборке - для этих испытуемых была набрана недостаточная статистика нахождения в одном из состояний.
В качестве второго показателя эффективности классификации была выбрана корреляция между не бинаризованной экспертной оценкой и значением классификатора. Этот показатель приведён в столбцах, озаглавленных С. Можно видеть, что для метода Титце он существенно ниже, чем для методов Байеса и CSP.
Показатели существенно варьируют от испытуемого к испытуемому, что может быть вызвано в том числе неточностью экспертной оценки по видеозаписи даже при задействовании трёх экспертов, поскольку сама по себе мимика испытуемого несёт недостаточно информации о состоянии испытуемого.
| Испытуемый | Сравнительные спектральные мощности (,,1,2,), % | Пики в -диапазоне (О1 О2) | Отклонение от центра дороги и экспертная оценка | |
С3 С4 | О1 О2 | Корреляция (С) | ||
3 | 39 22 20 15 4 31 42 17 9 2 | 43 24 22 9 2 25 57 12 5 1 | 11.6 11.6 11.2 | 0.39 |
5 | 35 19 16 23 7 13 21 21 35 10 | 53 20 10 13 3 22 36 15 21 6 | 10.0 10.6 9.2 10 10.7 | 0.52 |
8 | 52 12 12 20 5 49 20 13 14 4 | 62 14 11 11 2 37 43 11 7 1 | 10.0 9.7 10.7 | -0.14 |
9 | 82 6 3 6 2 81 5 5 7 2 | 82 8 4 5 1 73 14 7 6 1 | 10.0 11.1 12.5 | 0.27 |
12 | 72 12 6 8 3 67 18 6 7 2 | 74 14 5 5 2 52 36 5 5 2 | 10.0 10.0 10.5 | 0.29 |
13 | 28 42 11 14 5 21 59 10 8 2 | 29 52 10 7 2 16 72 8 4а1 | 8.7 10.7 8.1 9.1 10.2 | 0.00 |
17 | 66 23 7 3 1 45 43 8 3 1 | 63 26 8 2 1 33 56 7 2 1 | 8.6 9.9 8.6 9.9 10.8 | 0.37 |
Таблица 2. Различные показатели уровня бодрствования для испытуемых, показавших в опыте эпизоды микросна, пояснения в тексте.
В табл. 2 представлены те же испытуемые, продемонстрировавшие в течение опыта эпизоды микросна, что и в предыдущей таблице. В первых двух столбцах приведены сравнительные спектральные мощности в тета-, альфа-, бета1, бета2- и гамма-диапазонах для состояний, классифицированных экспертами как высокий (первая строчка) и низкий (вторая строчка) уровни бодрствования на протяжении одного и того же опыта. В третьем столбце представлены результаты спектрального анализа - выраженные пики в альфа-диапазоне в спектре, усреднённом по двум затылочным электродам. В последней колонке сравниваются такие показатели засыпания, как отклонение автомобиля от центра дороги и градуальная экспертная оценка, усреднённые по двухминутному интервалу.
Можно видеть, что выборка испытуемых, продемонстрировавших выраженный уровень сонливости в ходе эксперимента, не демонстрирует общих тенденций в изменении спектральных мощностей ЭЭГ от теменных электродов при снижении уровня бодрствования. Более определённая картина наблюдается на затылочных электродах: во всей выборке в состоянии, определённом экспертами как сниженный уровень бодрствования, существенно повышается альфа-ритм и уменьшается тета-ритм. Ритмы более высоких частот не демонстрируют единой для всех испытуемых динамики, хотя у испытуемого 3 наблюдается значительное снижение мощности в бета1-диапазоне, а у 5 - напротив, повышение мощности бета1- и бета2-диапазона.
В таблице также приведена корреляция между градуальной экспертной оценкой по видеозаписи и отклонением виртуального автомобиля от центра дороги. Легко видеть, что они имеют не слишком значительное сходство. Интересен испытуемый 13, водитель с достаточно большим стажем, у которого эти показатели вообще не коррелируют. Это объясняет тот факт, что в основном при анализе данных мы опирались на экспертную оценку, и также демонстрирует, что показатель операторской ошибки далеко не всегда связан с уровнем бодрствования. Уже упомянутый испытуемый 13 демонстрировал явное изменение стратегии вождения при снижении уровня бодрствования, что также находится в согласии со статистическими данными о гораздо меньшем проценте уровня аварий с летальным исходом, связанных с засыпанием, связанных с водителями, имеющими стаж от 10 лет.
Таким образом, из результатов данного раздела мы можем сделать вывод, что показатели качества выполнения задания и экспертная оценка по видеозаписи в данном дизайне эксперимента не являются однозначно скоррелированными. Также мы можем заключить, что метод Титце оказался менее чувствительным к изменениям состояния испытуемых, чем методы CSP и Байеса (средняя корреляция соответствующего классификатора с экспертной оценкой оказалась ниже, чем у двух других методов).
Распознавание состояния испытуемых по ЭЭГ. Вторая серия
Во второй серии экспериментов использовался тот же симулятор вождения, что и в первой серии. Регистрировались 19-канальная ЭЭГ по системе 10-20, ЭОГ от двух электродов (горизонтального и вертикального), ЭКГ, а также данные о движении глаз испытуемых посредством бесконтактной системы EyeGaze. Перед началом анализа из ЭЭГ, предварительно очищенной от артефактов движения посредством визуального анализа записи, удалялись артефакты движений глаз. Удаление артефактов производилось методом линейной регрессии. Очищенные от артефактов данные фильтровались в диапазоне 3-40 Гц. Производилось сравнение методов CSP, Байеса, спектральной энтропии Шеннона, а также вариабельности сердечного ритма с градуальной экспертной оценкой. Основные результаты представлены в табл. 3 и на рис. 3.
В табл. 3 приведены оценки эффективности классификации различных состояний по сравнению с экспертной оценкой для метода CSP, метода Байеса, спектральной энтропии Шеннона, а также вариабельности сердечного ритма. Для каждого метода приведена его эффективность при оптимальном выборе порога (%), а также коэффициент корреляции этого показателя с экспертной оценкой.
В табл. 3 звёздочкой помечены испытуемые с бедной мимикой и, следовательно, слабо выраженными различиями между состояниями с нормальным и сниженным уровнем бодрствования на видео. Мы полагаем, что для них экспертная оценка могла неадекватно отражать их действительное состояние. Высокий уровень распознавания объясняется тем, что для этих испытуемых количество эпизодов, определённых как существенно сниженный уровень сонливости, было незначительным.
| Испытуемый | Метод CSP | Метод Байеса | Спектральная энтропия Шеннона | ЭКГ | ||||
% | C | % | C | % | C | % | C | |
1 | 100 | -0.04 | 85 | 0.30 | 80 | 0.32 | 68 | -0.3 |
2* | 95 | 0.05 | 90 | 0.05 | 75 | 0.27 | 75 | 0.07 |
3 | 83 | 0 | 89 | 0.45 | 82 | -0.54 | 60 | 0.16 |
4 | 96 | 0.20 | 97 | 0.35 | 87 | 0.32 | 82 | 0.19 |
5* | 100 | 0.17 | 80 | -0.06 | 100 | 0.17 | 81 | 0.06 |
6* | 100 | 0 | 75 | -0.30 | 100 | 0.27 | 71 | 0.35 |
7 | 89 | 0.34 | 87 | 0.35 | 78 | -0.03 | 60 | 0.43 |
8 | 85 | 0.21 | 85 | 0.59 | 85 | 0.28 | 77 | 0.47 |
9 | 81 | 0.44 | 77 | 0.27 | 73 | 0.25 | 82 | -0.15 |
10 | 89 | 0.52 | 90 | 0.45 | 85 | 0.16 | 77 | 0.04 |
Среднее | 927 | 0.190.19 | 867 | 0.2427 | 849 | 0.1426 | 738 | 0.130.24 |
Среднее без * | 897 | 0.240.21 | 876 | 0.390.11 | 815 | 0.110.31 | 7210 | 0.120.28 |
Таблица 3. Эффективность классификации различными методами для второй серии испытуемых. Для каждого метода представлены эффективность распознавания состояния (%) и корреляция классификатора с экспертной оценкой (С) при усреднении по 15-секундным интервалам.
При сравнении с первой серией опытов заметно, что регистрация многоканальной ЭЭГ даёт лучшее согласие с экспертной оценкой, чем при отведении от чётырёх электродов. По нашему мнению, это связано с гибкостью данных методов и их способностью адаптироваться к индивидуальным особенностям разделяемых классов состояний.
Мы полагаем, что по совокупности признаков метод Байеса позволяет достичь наиболее согласующегося с экспертной оценкой по видеозаписи распознавания сниженного уровня бодрствования. Метод CSP показывает близкую к нему эффективность, но меньшую корреляцию с градуальной экспертной оценкой. Спектральная энтропия Шеннона оказалась ещё менее эффективным показателем. И, наконец, распознавание по вариабельности сердечного ритма было наименее эффективно, и также этот показатель не демонстрировал заметной корреляции с градуальной экспертной оценкой.
Рис. 3. На рисунке (снизу вверх) представлены усреднённые для каждого 15-секундного сегмента: экспертная оценка для каждого 15-секундного сегмента, отклонение автомобиля от центра дороги, классификация состояния методом CSP, классификация состояния методом Байеса, спектральная энтропия Шеннона и вариабельность сердечного ритма. Данные получены в эксперименте с участием испытуемого 8.
Вклад электрической активности различных областей головного мозга в распознавание состояния испытуемого
В практическом применении методики для онлайн-контроля состояния оператора предпочтительно меньшее количество электродов. В связи с этим интересен вопрос об их наилучшем расположении. Он может иметь и теоретическое значение для лучшего понимания механизмов снижения уровня бодрствования. Поскольку метод CSP при вычислении классификатора автоматически распределяет статистические веса между отведениями ЭЭГ, мы можем проанализировать их сравнительный вклад в распознавание уровня бодрствования испытуемого.
Чтобы проверить, электрическая активность какой области вносит наибольший вклад в разделение состояний с нормальным и сниженным уровнем бодрствования, мы усреднили по всем испытуемым второй серии экспериментов сравнительные веса электродов, полученные методом CSP. Результаты представлены на рис. 4.
Рис. 4. Вклад различных электродов в показатель состояния оператора, полученный методом CSP, усреднённый по всем испытуемым второй серии. Цветом указана величина вклада соответствующего электрода в компоненту, используемую для разделения состояний (%).
Рис. 4 позволяет сделать следующие выводы:
1. Снижение уровня бодрствования не имеет чётко определённой локализации (вклады электродов в компоненту, разделяющую состояния с нормальным и сниженным уровнем бодрствования, варьируются от двух до семи процентов), что находится в соответствии с литературными данными (Cvetkovic, Cosic, 2011).
2. Отличия ЭЭГ в состояниях с нормальным и сниженным уровнями бодрствования в большей степени выражено во фронтальной зоне, на электродах Fp1, Fp2, F3, F4. Это находится в соответствии с представлениями о том, что именно во фронтальной зоне происходят изменения ритмов альфа-семейства, связанных с сосредоточением или отвлечением внимания.
3. Можно также заметить асимметрию в теменной и затылочной зонах. Возможно, она связана с тем, что среди испытуемых было больше правшей, чем левшей.
Мы, однако, полагаем, что для проверки и интерпретации этих данных требуется гораздо большее количество испытуемых, чем 10 человек, участвовавших во второй серии экспериментов.
Распознавание состояния испытуемых по показателям движения глаз. Вторая серия
Методы наблюдения за состоянием испытуемого по показателям движения глаз в наших экспериментах включали в себя различные параметры движения глаз испытуемого, а также диаметр его зрачка, записанные при помощи системы EyeGaze.
Для выявления параметров, коррелирующих со снижением уровня бодрствования, мы проанализировали следующие величины (способы вычисления параметров описаны в разделе Методика): средний радиус фиксации на анализируемом интервале (R фиксации); среднее время фиксации на анализируемом интервале (T фиксации); средняя длина саккады на анализируемом интервале (L саккады); средний диаметр зрачка в единицу времени на анализируемом интервале (радиус зрачка); среднее расстояние между направлениями взгляда левого и правого глаза на экране монитора на протяжении фиксаций (расфокусировка взгляда). Основные результаты для этих параметров представлены в табл. 4 и 5.
Различия параметров в табл. 4 и 5 не являются статистически значимыми. Тем не менее, обращает на себя внимание тот факт, что в различных состояниях существенно различаются средняя длина саккады и расфокусировка взгляда. У большинства испытуемых эти показатели уменьшаются в состоянии со сниженным уровнем бодрствования. У испытуемого 8 наблюдается даже увеличение средней длины саккады. Это может говорить как об индивидуальной вариабельности показателей, так и о недостатках экспертной оценки в этих случаях, поскольку испытуемые 2, 5 и 6 имеют недостаточно выразительную мимику.
Испытуемый | R фиксации | T фиксации | Радиус зрачка |
Среднее | Среднее | Среднее | |
1 | 13.5 (12) | 60 (60) | 123 (133) |
2* | 11 (11) | 61 (64) | 128 (134) |
3 | 12 (12) | 62 (61) | 141 (136) |
4 | 16 (15) | 64 (64) | 128 (122) |
5* | 11 (12) | 74 (70) | 140 (130) |
6* | 18 (19) | 60 (59) | 200 (213) |
7 | 11 (13) | 105 (101) | 192 (185) |
8 | 11 (12) | 80 (82) | 210 (210) |
9 | 10 (12) | 68 (62) | 195 (200) |
10 | 11 (13) | 70 (68) | 162 (175) |
Среднее | 133 (132) | 7014 (6913) | 16234 (16436) |
Таблица 4. Средние значения в состояниях с нормальным и сниженным (в скобках) уровнем бодрствования радиуса фиксации (R), продолжительности фиксации (T) и радиуса зрачка для испытуемых во второй серии экспериментов.
Испытуемый | L саккады | Расфокусировка взгляда | ||
% | Среднее | % | Среднее | |
1 | 72 | 37 (31) | 62 | 50 (44) |
2* | 84 | 79 (39) | 82 | 44 (44) |
3 | 81 | 111 (60) | 72 | 52 (50) |
4 | 81 | 80 (76) | 88 | 80 (63) |
5* | 84 | 50 (44) | 94 | 45 (51) |
6* | 67 | 59 (57) | 68 | 33 (42) |
7 | 94 | 149 (105) | 88 | 20 (33) |
8 | 90 | 64 (81) | 89 | 28 (30) |
9 | 73 | 92 (62) | 73 | 31 (43) |
10 | 83 | 84 (72) | 75 | 41 (47) |
Среднее | 80 | 8032 (6322) | 79 | 4217 (459) |
Таблица 5. Эффективность (%) распознавания снижения уровня бодрствования по средней длине саккады и расфокусировке взгляда на протяжении фиксаций. Помимо эффективности распознавания, представлены средние значения параметров в состоянии с нормальным и сниженным (в скобках) уровнем бодрствования.
Эффективность распознавания сниженного уровня бодрствования по уменьшению длины саккады и расфокусировке взгляда составляет в среднем порядка 80%. Это не настолько высокие результаты, как в случае распознавания по ЭЭГ, к тому же они демонстрируют больший разброс эффективности распознавания, чем методы CSP и Байеса. Однако мы полагаем, что средняя длина саккады и расфокусировка взгляда могут служить дополнительными критериями снижения уровня бодрствования в дальнейших исследованиях.
Остальные показатели почти не изменяются в зависимости от уровня бодрствования, определённого по экспертной оценке, поэтому, исходя из наших данных, мы полагаем их использование для определения состояния испытуемого нецелесообразным.
ОБСУЖДЕНИЕ
Полученные нами экспериментальные данные свидетельствуют, что как сама ЭЭГ, так и её изменения при снижении уровня бодрствования демонстрируют большую индивидуальную вариабельность, и потому не следует ожидать большой эффективности от лунифицированных методов анализа с фиксированными параметрами при распознавании уровня бодрствования.
При выборе оптимальной длины минимального участка для анализа наилучшая корреляция с экспертной оценкой достигалась для двухминутного интервала в первой серии экспериментов (четыре электрода) и на пятнадцатисекундном интервале для второй серии экспериментов (регистрация ЭЭГ от 19 электродов по системе 10-20). Это может свидетельствовать как о недостаточности четырёх электродов для эффективного распознавания уровня бодрствования испытуемого, так и о том, что регистрация от теменных и затылочных электродов не является оптимальной для данной задачи, поскольку наибольшие изменения при снижении уровня внимания происходят во фронтальных областях коры [Klimesch, 1999].
Интервал, который оказался оптимальным для распознавания уровня бодрствования по 19 электродам, составляет 15 секунд. Это находится в соответствии с данными о 18-секундном периоде колебаний уровня бодрствования [Makeig, 2000] и не подтверждает возможности распознавания уровня бодрствования по интервалам порядка нескольких секунд, которая постулируется в ряде работ, например, в [Caldwell, Wesensten, 2005].
Анализ ритмов альфа-семейства у испытуемых первой серии показал их большую индивидуальную вариабельность. У части испытуемых были выявлены несколько пиков спектральной мощности в альфа-диапазоне, причём эти пики по-разному реагировали на закрытие глаз и депривацию сна. Это находится в соответствии с разделением ритмов альфа-семейства на нижний и верхний альфа-ритм, которые имеют различную этимологию и по-разному реагируют на снижение уровня внимания испытуемого [Klimesch, 1997; Klimesch, 1999; Klimesch et al., 1999; Klimesch et al., 2001; Klimesch et al., 2003]. В части случаев различные ритмы альфа-диапазона реагируют на закрытие глаз по-разному. Мы полагаем, что, как минимум, для части операторов этот факт может быть использован для более точной индивидуальной настройки классификатора, распознающего уровень бодрствования.
Некоторые из испытуемых не имеют ни выраженных пиков, ни характерных изменений спектра мощности в альфа-диапазоне при закрытии глаз и при депривации сна. По нашему мнению, это также свидетельствует о необходимости настройки классификатора на индивидуальные изменения ЭЭГ при снижении уровня бодрствования. Для некоторых испытуемых показано изменение стратегии вождения при снижении уровня бодрствования. Для одного из испытуемых поведенческий критерий уровня бодрствования (отклонение автомобиля от центра дороги) имеет отрицательную корреляцию с экспертной оценкой состояния испытуемого по видеозаписи. Это позволяет заключить, что критерии, основанные на качестве выполнения задания, не всегда могут служить эффективным показателем состояния испытуемого.
Эффективность распознавания уровня бодрствования по ЭЭГ методом Титце, основанным на параметрическом разделении состояний по увеличению активности в альфа-диапазоне, уступает по эффективности распознаванию уровня бодрствования методами CSP и Байеса. Это также согласуется с общепринятыми представлениями о значительной индивидуальной вариабельности ЭЭГ и её реакций на изменение состояния испытуемого.
Метод спектральной энтропии Шеннона по сравнению с методами CSP и Байеса менее адекватно отражает динамику снижения уровня бодрствования испытуемого. Мы полагаем, что это может быть связано с фиксированным разделением спектра ЭЭГ на диапазоны, не учитывающим индивидуальных особенностей ЭЭГ испытуемого. Тем не менее, спектральная энтропия Шеннона обнаруживает существенную корреляцию с экспертной оценкой и достаточно неплохую вероятность распознавания состояния испытуемого по сравнению, например, с ЭКГ, что соответствует данным, приведённым в [Papadelis et al., 2007].
Возможность распознавания уровня бодрствования испытуемого по вариабельности сердечного ритма, описанная в [Atsuo, Yasutaka, 2008], не подтверждается нашими данными.
Применительно к данной задаче метод Байеса демонстрирует большую согласованность с градуальной экспертной оценкой, чем метод CSP, по критерию корреляции с экспертной оценкой. Также классификатор, полученный методом Байеса, в отличие от метода CSP, имеет фиксированный порог. В силу этого мы полагаем, что данный метод является потенциально более эффективным, чем метод CSP. Однако следует помнить, что он также является более чувствительным к количеству и качеству данных в обучающих выборках, поскольку основан на сравнении вероятностей принадлежности экспериментальных точек к каждому из классов точек из обучающих выборок.
Метод CSP позволяет проанализировать вклад различных отведений ЭЭГ в итоговый классификатор. Данные второй серии показывают, что при усреднении по всем испытуемым вклад в распознавание состояния испытуемого отведений от фронтальных областей скальпа оказывается выше, чем вклад остальных областей. Это также согласуется с общепринятыми представлениями о том, что наиболее существенные изменения при снижении уровня сосредоточенности испытуемого на задаче происходят во фронтальных областях коры головного мозга. Также данный факт может иметь практическую ценность при создании устройств, распознающих уровень бодрствования по ЭЭГ, с ограниченным количеством электродов.
Из исследованных в работе окуломоторных показателей лишь средняя длина саккады и расфокусировка взгляда имели значения, существенно различавшиеся в зависимости от состояния испытуемого. Распознавание состояния испытуемого по этим критериям было не слишком эффективным, однако мы полагаем, что эти величины можно использовать в качестве дополнительных показателей для оценки состояния испытуемого. Остальные рассмотренные параметры саккад и фиксаций, а также размер зрачка не показали существенной корреляции с экспертной оценкой.
Данная работа демонстрирует эффективность более сложных статистических методов, позволяющих учесть индивидуальные особенности испытуемых, при анализе ЭЭГ, по сравнению с методами, основанными на формальном разделении по значению универсальных параметров. Можно надеяться, что эти методы при современных темпах развития техники и её широкого внедрения смогут значительно улучшить распознавание по ЭЭГ различных состояний активности мозга и будут использованы при создании приборов, которые позволят контролировать состояние оператора в режиме реального времени, основываясь на его индивидуальных особенностях. Это, в свою очередь, предотвратило бы многие ошибки операторской деятельности, которые часто могут привести к серьёзным, нередко фатальным последствиям, часть из которых освещена в литературном обзоре. Практическая ценность решения этой задачи несомненна, о чём свидетельствует и всё возрастающее количество работ, связанных с мониторингом состояния оператора в режиме реального времени.
ВЫВОДЫ
1. Показано, что учёт индивидуальной специфики испытуемых новыми для данной области методами анализа (Байеса и CSP) позволяет добиться лучшего распознавания состояний, чем применение универсального и вычисляющегося одинаково для всех испытуемых метода Титце.
2. Проанализирована возможность выявления дремотного состояния испытуемого по параметрам движения глаз с помощью системы для бесконтактной регистрации движения глаз. Показана корреляция с дремотным состоянием таких параметров, как средняя длина саккады, количество фиксаций и саккад в единицу времени, средний размер области фиксации, а также расфокусировка взгляда, хотя эти параметры менее чувствительны к состоянию испытуемого, чем методы Байеса и CSP. Также показана индивидуальная вариабельность окуломоторных реакций.
3. Проанализирован вклад различных областей коры мозга в классификацию состояний. Показано, что при классификации состояний методом CSP электроды на фронтальной зоне коры вносят больший вклад, хотя процесс появления дремоты и не имеет чёткой локализации.
4. Получены данные, свидетельствующие о том, что метод Байеса обеспечивает наилучшее соответствие экспертной оценке состояния испытуемого из всех методов, рассмотренных в работе.
СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ
Статьи
- Тарасов Б. А., Ткаченко О. Н., Фролов А. А., Шмелев А. С., Фролов А. А. Распознавание дремотного состояния при выполнении монотонной операторской деятельности по мощности альфа-ритма Нейрокомпьютеры: разработка, применение №5-6, 2008 г., С.60-70
- ебедева Н.Н., Вехов А.В, Коноплёв С.П., Ткаченко О.Н. Коррекция функционального состояния человека-оператора с помощью низкоинтенсивного сложномодулированного электромагнитного излучения. Биомедицинская радиоэлектроника, 2009, №12, С.12-17
- Дорохов В.Б., Арсеньев Г.Н., Захарченко Д.В., Лаврова Т.П., Ткаченко О.Н., Дементиенко В.В. Психомоторный тест для исследования зрительно-моторной координации при выполнении монотонной деятельности по прослеживанию цели. Журн.высш.нервн.деят. 2011, т. 61, № 4, С.1-9
Тезисы
- ЭЭГ-корреляты дремотного состояния при выполнении монотонной операторской деятельности (Ткаченко О. Н.). Материалы XV Международной конференции студентов, аспирантов и молодых ученых Ломоносов, секция Биология, подсекция Нейрофизиология и физиология ВНД. МГУ. 2008. С. 25
- Электроэнцефалографические показатели дремотного состояния при выполнении монотонной операторской деятельности (Ткаченко О.Н., Фролов А.А.). Научный журнал Труды МФТИ, №2(6). МФТИ. 2010. С. 41-45
- Электрофизиологические показатели дремотного состояния при монотонной операторской деятельности (Ткаченко О.Н., Фролов А.А., Дорохов В.Б.). Материалы 6-ой российской (с международным участием) конференции Сон - окно в мир бодрствования. Москва. 2011. С. 104-105
- Методика экспресс-диагностики сниженной работоспособности по характеристикам зрительно-моторной координации (В. Б. Дорохов, Г. Н. Арсеньев, Д. В. Захарченко, Т. П. Лаврова, О. Н. Ткаченко, А. Н. Пучкова, В. В. Дементиенко). Материалы Четвертой международной конференция по когнитивной науке. 2010 г., Томск, Тезисы докладов. Т.1, С.241-242
- Eye-hand coordination errors during monotonous activity. (Dorokhov V.B.; Arsenyev G.N.; Tkachenko O.N.; Zakharchenko D.V.; Dementienko V.V). Abstracts of the 15th European Conference on Eye Movements. 2009. University of Southampton. UK. P. 159
- Evaluation of mental fatigue by eye and hand movement parameters. (Puchkova A.N., Tkachenko O.N., Dorokhov V.B., Dementienko V.V.) Abstracts of the 16th European Conference on Eye Movements. Marseilles. France. 2011, P. 172
Авторефераты по всем темам >>
Авторефераты по биологии