Разработка способа визуального сопровождения звукового ряда с целью расширения адаптационных возможностей слабослышащих людей

Вид материала

Содержание

Сущность предлагаемой разработки.
Целевая аудитория
Сегмент 1 - глухие и слабослышащие люди
Сегмент 2 - люди без нарушений слуха

Подобный материал:

1 2 3 4 5

Сущность предлагаемой разработки.

В то время как слабослышащие люди могут воспринимать музыку в определенной степени, глухие люди воспринимают музыку только лишь через вибрации стен, пола, воздуха. Однако всего этого не достаточно, чтобы четко уловить ритм, почувствовать характер мелодии. При этом в России не существует предприятий, занимающихся разработками, расширяющими адаптационные возможности слабослышащих и глухих людей. Именно для решения данной проблемы впервые реализован инновационный способ визуальной реализации музыкального произведения. Разработка позволяет получать однозначную идентификацию звукового ряда по визуальному сопровождению в реальном времени, обеспечивая более качественное восприятие музыки.

В основе инновационного способа визуализации музыки лежит система соответствия нот цветам, удовлетворяющая принципу индивидуальности каждого музыкального произведения, вследствие чего разработка способствует повышению качества восприятия музыки, позволяет воспринимать музыку глухим и слабослышащим посредством визуального ряда.

Разработка предназначена для использования в целях расширения адаптационных возможностей слабослышащих людей, поскольку является наиболее эффективным способом восприятия музыки глухими людьми и людьми с дефектами слуха.

Проект может быть также использован при организации развлекательных мероприятий, в медицине (аудиовизуальные методы коррекции функционального состояния человека, воздействие на психофизиологическое и эмоциональное состояние человека), при обучении в музыкальных школах.

Потенциальные заказчики: специализированные учреждения и ночные клубы для глухих и слабослышащих людей, образовательные учреждения, медицинские учреждения, фирмы-организаторы развлекательных мероприятий и ночные клубы.

Разработано несколько версий программного обеспечения, реализующих инновационный способ визуальной реализации музыки. Идея разработки защищена двумя патентами, а эффективность разработанного способа доказана в ходе экспериментальных исследований на ряде установок:

электроэнцефалограф (“Нейрон-Спектр”),
электрокардиограф («Полиспектр 8/12»),
установка для регистрации дыхательных движений и сердечных сокращений (СВЧ-автодин на диоде Ганна),
установка для мониторинга скорости распространения пульсовой волны (СРПВ).

Продукт может быть реализован в виде:

а) непосредственно программного обеспечения на DVD-диске (основной вариант);

б) выполненного на заказ DVD-диска с заданным треклистом и его визуальным решением;

в) полного комплекса оборудования и программного обеспечения для визуализации
музыки (hardware + software);

г) продажи неисключительной лицензии на программное обеспечение под процент от
продаж лицензиата.

Целевая аудитория

Целевая аудитория проекта подразделяется на два сегмента: глухие и слабослышащие люди, основной сегмент, и люди без нарушений слуха, которые любят музыку и хотели бы воспринимать ее более полно, с необычной точки зрения. В планах компании активное развитие бизнеса за рубежом.

• Сегмент 1 - глухие и слабослышащие люди

Несмотря на полное или частичное отсутствие слуха, глухие люди ходят на концерты, играют на музыкальных инструментах и танцуют. Они воспринимают музыку через вибрацию стен и пола, через движения танцующих - но ощутить ритм мелодии, тембр, характер музыки в полной мере они не могут.

Разработанная технология визуализации музыки поможет в определенной степени восполнить этот недостаток - люди смогут «воспринимать» мелодию глазами: различать высоту тона, ритм и настроение мелодии.

Полученный продукт открывает для глухих и слабослышащих людей сразу множество возможностей. Во-первых, это облегчение социализации - становится возможным посещать музыкальные концерты и представления вместе с другими людьми, танцевать в клубах, брать уроки музыки и танцев. Во-вторых, открытие для себя нового пласта культуры (изучение музыки через изображение). В-третьих, «просмотр» музыки может стать еще одним хобби, приятным времяпрепровождением - люди интересуются авангардным искусством, увлекаются странным сюрреалистическим кино - точно также можно полюбить «смотреть» музыку.

• Сегмент 2 - люди без нарушений слуха

Изображение, которое получается в результате визуализации музыки с помощью разработанной программы, зрелищно и эффектно, поэтому продукт представляет интерес и для людей без нарушений слуха - его можно использовать при организации культурно-развлекательных мероприятий. Многочисленные исследования показали, что музыка воспринимается слушателями гораздо ярче, производит на них большее впечатление, если одновременно с мелодией они видят ее визуальное решение на экране.

Использование предложенного изобретения для визуализации музыки на концертах, в клубах, на выступлениях и фестивалях может иметь двойное значение. С одной стороны, это будет эффектно и оригинально, музыка воздействует на слушателя сильнее, вызывает в нем больше откликов и переживаний; с другой стороны, это делает возможным интерес к таким мероприятиям глухих людей - которые могут наслаждаться происходящим со всеми остальными. Таким образом, разработка имеет важное социальное значение для общества.

Оборудование, необходимое для полноценного использования программы включает в себя компьютер, звуковоспроизводящую систему и систему воспроизведения изображения.

Музыка, поступающая от источника звука, проходит через компьютер, трансформируется с помощью разработанного ПО и выводится в виде изображения на экран. Изображение музыкального ряда может проецироваться на экран с помощью проектора (в клубах, на концертах и т.д.), отображаться на телеэкранах (на крупных площадках, массовых шоу), а также на монитор компьютера (в домашних условиях).

В клубах и на концертных площадках может быть также использовано специализированное цветомузыкальное оборудование – световые сканеры или приборы типа «Moving head». Это световые приборы, визуализирующие музыку с помощью направленного луча, изменяющего цвет и направление.

Эффект, достигаемый подобной технологией визуализации музыки, может быть действительно впечатляющим – все зависит только от фантазии покупателей. Например, если речь идет о ночном клубе: экраны с синхронным изображением могут быть размещены по периметру помещения, проектор может проецировать изображение прямо на танцпол и, соответственно, на танцующих людей, несколько световых приборов могут быть использованы отдельно или вместе с экранами – все это поможет создать зрительное ощущение музыки, визуально передать ее характер и позволит глухим и слабослышащим людям чувствовать темп/ритм, а следовательно, и характер мелодии.

Для разных целей можно использовать различные версии программы, например:

Вариант для использования на концертах и оперных выступлениях. На подобных мероприятиях важна не только музыка, но и текст, который поют исполнители. Поэтому здесь предполагается совместить визуальное изображение музыки с возможностью добавления текста – так, чтобы зритель мог сопоставлять слова песни с мелодией. Возможно, также трансформировать появляющийся ряд фигур на экране таким образом, чтобы это было более наиболее зрелищно (задавать форму фигур по желанию пользователя: сердце, снежинка, месяц, звезда и т.д.).
Вариант для использования во время обучения музыке. Более сложная программа, специально адаптированная для этих целей. Например, с возможностями запоминания и воспроизведения сыгранной мелодии, загрузки партитуры в программу и т.д.
Вариант для использования на танцевальных конкурсах и фестивалях, а также для обучения танцам. В танцах главное – ритм музыки, поэтому здесь возможен упрощенный вариант визуального ряда с акцентом на ритмической составляющей.
Вариант для домашнего использования.

Нами были проведены экспериментальные исследования повышения степени влияния фоностимуляции при условии визуального сопровождения на тонус регуляторных систем, деятельность сердечнососудистой системы и биоэлектрическую активность мозга. В результате исследований электроэнцефалограммы (ЭЭГ) человека в ходе фоностимуляции, визуальной и аудиовизуальной стимуляций с помощью установки “Нейрон-Спектр” были выявлены достоверные изменения в биоэлектрической активности мозга человека, изменения спектральной мощности альфа-ритма. Мощность в левом и правом полушарии в затылочных областях до воздействия в среднем составила соответственно 99,5±21,4 мкВ² и 119,7±23,3 мкВ², в теменных областях мощность альфа-ритма составила в среднем 39±10,7 мкВ² и 46,8±11,7 мкВ². После ВС мощность альфа-ритма в затылочных областях соcтавила в среднем: до 95,4±18,6 мкВ² в левом и 117,8±22,1 мкВ² в правом полушарии, в теменных — до 33,7±8,8 мкВ² и 42,9±7,4 мкВ², после фоностимуляции: мощность альфа-ритма в затылочных областях соcтавила в среднем: до 91,9±15,7 мкВ² в левом и 115,9±21,5 мкВ² в правом полушарии, в теменных — до 31,4±6,8 мкВ² и 39,7±8,8 мкВ². После АВС мощность альфа-ритма оказалась сниженной в затылочных областях: до 85,5±18,9 мкВ² в левом и 113,6±21,9 мкВ² в правом полушарии, в теменных — до 25,4±7,4 мкВ² и 35±6,9 мкВ². При этом после фоностимуляции и АВС была также выявлена нарастания бета-активность.

График зависимости амплитуды альфа-ритма в правом полушарии, нормированной к фону, от времени для одного пациента в ходе: фоностимуляции (верхняя кривая), ВС (средняя кривая) и АВС (нижняя кривая)

График зависимости амплитуды альфа-ритма в левом полушарии, нормированной к фону, от времени для одного пациента в ходе: фоностимуляции (верхняя кривая), ВС (средняя кривая) и АВС (нижняя кривая)

Распределение частотной спектральной мощности ЭЭГ для одного обследуемого после ВС, АС и АВС представлено на рис. 1.

Рис. 1. Распределение частотной спектральной мощности ЭЭГ для одного обследуемого после ВС, АС и АВС

Т.о. в результате проведенных исследований по параметрам ЭЭГ реакции было установлено, что визуального воздействие оказывало наименьшее влияние на параметры ЭЭГ испытуемых по сравнению с воздействием звука и аудиовизуальным воздействием, при этом эффект от воздействия звуком и цветом одновременно превышал эффект от воздействия данных стимулов в отдельности, что позволяет сделать вывод о возможности применения визуального сопровождения звукового ряда с целью повышения качества восприятия звука.

В ходе экспериментальных исследований влияния визуально-звукового воздействия на параметры сердечнососудистой системы человека при помощи электрокардиографа «Полиспектр 8/12» (Рис. 2) фиксировались формы электрокардиосигнала и его спектр, индексы Баевского до и в момент воздействия.

Рис. 2. Установка для диагностики сердечнососудистой деятельности: 1 – электроды ЭКГ; 2 – пневматическая манжетка; 3 – нагнетатель; 4 – пневматический датчик; 5 – усилитель; 6 – преобразователь; 7 – блок ЭКГ «Полиспектр»; 8 – компьютер

На рис. 3 представлены ЭКГ до и в ходе АС, ВС и АВС. Как видно из рис. 3, формы электрокардиограмм, зафиксированных для пациентов во время АВС, отличаются от аналогичных ЭКГ в ходе АС, ВС и без воздействия. В частности, у обследуемых пики R-R кардиоинтервалов наблюдаются значительно чаще во время АВС, чем у R-R кардиоинтервалов в ходе ВС и без воздействия. Для всех пациентов во время визуально-звукового воздействия было зафиксировано уменьшение времени между S-T-экстремумами. Изменялась также и форма самого кардиосигнала, что свидетельствует об измененном характере формирования электрических биопотенциалов в сердечной мышце.

Рис. 3. ЭКГ: а – в отсутствии воздействия, б –в ходе ВС, в- в ходе АС, г – в ходе АВС для I, II, III, aVR, aVL, aVF - отведений

Спектрограммы для одного обследуемого в ходе ВС, АС и АВС

Ритмограммы для одного обследуемого в ходе ВС, АС и АВС

Для регистрации активности нервной вегетативной регуляции, проявляющейся в изменении показателей временных параметров электрокардиосигнала, т.е. в изменении длительности R-R интервалов, определялись индексы Баевского до и во время визуально-звукового воздействия. В таблице 1 представлены усредненные индексы Баевского для пациентов, подвергавшихся цветомузыкальному воздействию и в его отсутствии.

Таблица 1. Усредненные индексы Баевского для пациентов в ходе АВС и в отсутствии визуально-звукового воздействия

в отсутствии воздействия	в ходе АВС
Параметр	Значение	Параметр	Значение
ЧСС, уд./мин.	67,5	ЧСС, уд./мин.	76,7
М, с	0,955	М, с	0,808
СК, с²	0,0642	СК, с²	0,0505
Мо, с	0,967	Мо, с	0,814
АМо, %	36,7	АМо, %	33,3
Ме, с	0,914	Ме, с	0,806
ВР, с	0,301	ВР, с	0,235
ИВР, у.е.	122	ИВР, у.е.	142
ПАПР, у.е.	37,9	ПАПР, у.е.	41
ВПР, у.е.	3,43	ВПР, у.е.	5,22
ИН, у.е.	63	ИН, у.е.	86,9

В таблице 1 использованы следующие обозначения:

ЧСС – средняя частота сердечных сокращений;

М – математическое ожидание (М), которое отражает конечный результат всех регуляторных влияний на сердце и систему кровоснабжения в целом. Этот показатель связан со средней частотой сердечных сокращений (ЧСС) и обладает наименьшей изменчивостью среди всех медико-статических показателей, и его отклонение от индивидуальной нормы обычно сигнализирует об увеличении нагрузки на аппарат кровообращения или о наличии патологических отклонений;

СК – среднее отклонение продолжительности интервала R-R;

Мо – мода– наиболее часто встречающееся значение R-R-интервалов, указывающее на доминирующий уровень функционирования синусового узла. При симпатикотонии (преобладание симпатической нервной системы в регуляции тонуса сосудов) М0 меньше, при ваготонии (преобладание парасимпатической нервной системы в регуляции тонуса сосудов) – больше;

ВР – вариационный размах, который вычисляется как разница между максимальным и минимальным значениями R-R. Он отражает степень вариабельности или размах колебаний значений кардиоинтервалов;

АМо – амплитуда моды–число кардиоинтервалов (в %), соответствующих диапазону моды, отражающее меру мобилизирующего влияния симпатического отдела;

Ме – медианное значение продолжительности интервала R-R;

ИВР – индекс вегетативного равновесия, который указывает на соотношение между активностью симпатического и парасимпатического отделов;

ПАПР – показатель адекватности процессов регуляции, который отражает соответствие между активностью симпатического отдела ВНС и ведущим уровнем функционирования синусового узла;

ВПР – вегетатиный показатель ритма, который позволяет судить о парасимпатических сдвигах вегетативного баланса. Чем меньше ВПР, тем больше вегетативный баланс смещен в парасимпатическую сторону;

ИН – индекс напряжения регуляторных систем, который отражает степень централизации управления сердечным ритмом.

Известно, что в ответ на любой раздражитель эндогенной или экзогенной природы в живом организме возникают реакции, являющиеся по своей сути защитно-приспособительными (адаптационными). Характер таких реакций определяется, прежде всего, изменениями нервной и гуморальной регуляции кровообращения, которые предшествуют энергетическим сдвигам. Наиболее доступным для регистрации защитно-приспособительных реакций физиологическим параметром, отражающим процессы вегетативной регуляции в сердечнососудистой системе и организме в целом, является ритм сердечных сокращений. Изменение вариабельности ритма сердца, по мнению авторов, может быть связано с интенсивностью процессов активации отделов вегетативной нервной системы по отношению к сердечнососудистой системе и позволяет судить о степени адаптационной реакции организма на то или иное воздействие в целом. При этом главная функция вегетативной нервной системы заключается в поддержании постоянства внутренней среды (или гомеостаза), при различных воздействиях на организм. На основе функциональных различий в вегетативной нервной системе выделяют два отдела — симпатический и парасимпатический. При повышении тонуса симпатической нервной системы в ответ на внешний раздражитель усиливаются сердечные сокращения и учащается их ритм.

Из данных, приведенных в таблице 1, следует, что во время визуально-звукового воздействия средняя частота сердечных сокращений (ЧСС, ударов/минуту) у пациентов значительно увеличивается. Значение индекса М до и во время АВС для пациентов составило соответственно 0,955 и 0,808. Индекс Мо при визуально-звуковом воздействии для пациентов уменьшается со значения 0,967 до 0,814. Такое изменение данных параметров позволяет говорить об активации парасимпатической нервной системы. Другие индексы же, например, ВР, ИВР, ПАПР, ВПР напротив, свидетельствуют о смещении вегетативного баланса в симпатическую сторону, тогда как АМо также свидетельствует о смещении вегетативного баланса в парасимпатическую сторону.

В таблице 2 приведены значения параметров, характеризующих сердечнососудистую деятельность, для одного обследуемого в ходе АВС и в ее отсутствии, при ВС и АС.

Таблица 2. Значения параметров, характеризующих сердечнососудистую деятельность, для одного обследуемого в ходе ВС, АС, АВС и в отсутствии воздействия

	ЧСС, уд./мин.	R-R макс., мс	R-R мин., мс	R-R ср., мс	P, мс	P-R (P-Q), мс	QRS, мс	QT, мс	QTc, мс	Ось QRS, °
в отсутствии воздействия	70	880	838	860	103	151	100	366	395	81
ВС	72	860	784	830	105	150	102	364	400	83
АС	73	892	752	826	92	126	86	374	412	85
АВС	77	828	738	782	93	126	86	372	421	86

В таблице 3 представлены результаты регистрации ЧСС для 30 пациентов после ВС, АС и АВС.

Таблица 3. Значения параметра ЧСС для 10 пациентов для 30 пациентов в отсутствие воздействия, после АС, ВС и АВС

пациент	ЧСС(отсутствие воздействия), уд./мин.	ЧСС (ВС), уд./мин.	ЧСС (АС), уд./мин.	ЧСС (АВС), уд./мин.
1	73	73	78	83
2	68	69	75	78
3	61	61	61	65
4	63	64	66	70
5	71	71	75	78
6	67	70	81	86
7	68	70	72	77
8	70	72	76	81
9	71	73	75	79
10	72	74	79	85
11	71	75	75	79
12	64	66	69	73
13	62	61	64	69
14	64	63	68	72
15	70	74	75	78
16	69	68	74	79
17	66	66	69	73
18	71	72	77	81
19	65	68	72	75
20	70	72	77	80
21	68	67	74	75
22	69	69	74	79
23	64	65	68	73
24	63	63	67	70
25	70	68	77	79
26	64	68	70	74
27	68	70	74	78
28	71	73	76	80
29	70	73	76	79
30	62	67	68	73

При прослушивании музыки или наблюдении визуального решения регистрировалось изменение (увеличение за редким исключение для ВС и увеличение для АС) ЧСС на 1-2 уд./мин. и на 4-5 уд./мин. соответственно, при АС и ВС одновременно ЧСС увеличивалась в среднем на 8-9 уд./мин. Таким образом, нами было установлено, что при визуально-звуковой стимуляции на пациента наблюдаются изменения характера электрокардиограммы (ЭКГ) и ее спектра, проявляющиеся в изменении длительности соответствующих участков электрокардиограммы и их амплитудных значений, а также амплитуды шумовой составляющей ЭКГ, при этом визуально-звуковая стимуляция приводит к увеличению уровня тонуса симпатической и парасимпатической нервной системы в регуляции сердечной активности и одновременно к увеличению шумовых составляющих спектра ЭКГ, а также к значительному сдвигу частоты сердцебиения. Эффект от визуально-звукового воздействия на ЭКГ существенно превышал суммарный эффект от воздействия звуком и цветом в отдельности. Полученные результаты позволяют сделать вывод о возможности использования описанного способа визуализации музыкального произведения с целью повышения качества восприятия музыки.

В ходе экспериментальных исследований влияния визуально-звукового воздействия на скорость распространения пульсовой волны (СРПВ) было зарегистрировано наиболее значительное увеличение СРПВ в случае воздействия звуком и цветом одновременно – при визуально-звуковой стимуляции, при этом эффект от визуально-звукового воздействия существенно превышал даже суммарный эффект от воздействия звуком и цветом в отдельности: среднее значение скорости распространения пульсовой волны для пациентов ≈100 см/с, после визуального воздействия: значение СРПВ не изменилось, после звукового воздействия оно составило ≈103 см/с., после визуально-звукового воздействия: 108 см/с. Т.о. в ходе АВС наблюдается наибольшее увеличение СРПВ, что может быть обусловлено общим увеличением тонуса под действием стимула. Результаты, полученные в ходе регистрации СРПВ, подтверждают эффект повышения качества восприятия/степени влияния музыки/звукового ряда по средством визуального сопровождения.

Графическое представление сигнала ЭКГ и осциллограммы в отсутствие воздействия, после цветовой стимуляции, после звуковой стимуляции и после АВС представлено на рис. 4.

Рис. 4. Графическое представление сигнала ЭКГ и осциллограммы в отсутствие воздействия, после ВС, АС и АВС

Тот же эффект был выявлен и в ходе биометрического мониторинга физиологических параметров человека: периодических смещений грудной клетки, характеризующих движения человека, связанные с дыханием и сердцебиением скорости (дыхательные движения и сердечные сокращения), с использованием СВЧ-автодина на диоде Ганна при визуальной, звуковой и визуально-звуковой стимуляциях (Рис. 5). Частота дыхательных движений

без воздействия составила в среднем: 10,99 взд./мин., амплитуда дыхательных движений

4,96 мм, при визуальном воздействии:

15,56 взд./мин. и

3,9 мм, при звуковом:

21,97 взд./мин и

2,69 мм, при цветомузыкальном:

29,3 взд./мин. и

2 мм. Таким образом, было выявлено, что эффект от аудиовизуального воздействия на дыхательные движения превышает эффект от раздельного воздействия на данные параметры звуком и цветом, при этом интересно отметить, что наибольший отклик на регистрируемые параметры контроля имела композиция с наиболее выраженной ритмической составляющей, эффект от аудиовизуального воздействия на сердечные сокращения превышал суммарный эффект от раздельного воздействия звуком и цветом.


а	б	в

Рис. 5. Зависимость автодинного сигнала от времени при движении грудной клетки вследствие сердечных сокращений и его спектральное представление при визуальном (а), звуковом (б) и визуально-звуковом воздействиях (в)

На графике изображена лепестковая диаграмма, которая подтверждает наибольшее изменение параметров, характеризующих физиологической состояние человека при визуально-звуковом воздействии, при этом изменения всех параметров за исключением спектральной мощности альфа-ритма в правом полушарии при визуально-звуковом воздействии превышают алгебраическую сумму изменений данных параметров при визуальном и звуковом воздействиях. Мелким пунктиром (100%) обозначены значения СМ альфа-ритма в левом и правом полушариях, ЧСС, ЧД, СРПВ до воздействия; пунктиром с двумя точками – при визуальном воздействии, пунктиром с точкой – при звуковом воздействии, размытой сплошной линией – результат суммирования визуального и звукового воздействий, сплошной линией - при визуально-звуковом воздействии.

Рисунок 9. График изменения параметров спектральной мощности альфа-ритма (СМ), ЧСС, частоты дыхания (ЧД), СРПВ при визуальном воздействии, при звуковом воздействии, при суммарном визуальном и звуковом воздействии и при визуально-звуковом воздействии

Т.о. результаты всех проведенных исследований подтверждают эффективность применения разработанного способа с целью повышения качества восприятия музыки с помощью визуального сопровождения звукового ряда.

Blog

Разработка способа визуального сопровождения звукового ряда с целью расширения адаптационных возможностей слабослышащих людей

Содержание