Комплекс комп’ютерних інформаційних технологій підтримки інклюзивного навчання дітей з особливими потребами львів 2010

Вид материала

Реферат

Содержание Наукова новизна роботи Практична значимість роботи.

Подобный материал:

• М. В. Остроградського Індивідуальне навчання учнів з особливими освітніми потребами, 2769.41kb.
• Вінницький національний технічний університет Центр підвищення кваліфікації з сучасних, 57.96kb.
• Останніми десятиліттями в усьому світі відбуваються докорінні зміни у розумінні, 2150.69kb.
• Програма, методичні вказівки та контрольні завдання з дисципліни «охорона праці в галузі», 339.25kb.
• Ди освіти повинні знаходити шляхи, які б забезпечували успішне навчання всіх дітей,, 96.21kb.
• «комп’ютерні та інформаційні технології», 114.46kb.
• Використання інформаційно-комунікаційних технологій у проблемному навчанні на уроках, 72.79kb.
• Овими політичними, економічними, соціально-культурними умовами, в яких відбувається, 101.71kb.
• Використання інтерактивного навчання І комп'ютерних технологій на уроках трудового, 339.47kb.
• Тема: Використання інформаційно-комп’ютерних технологій під час уроків, 181.73kb.

Міністерство освіти і науки України

Національний університет «Львівська політехніка»


Давидов М.В., Лозицький О.А., Пасічник О.В.


РЕФЕРАТ РОБОТИ

поданої на здобуття щорічної премії Президента України для молодих вчених


КОМПЛЕКС КОМП’ЮТЕРНИХ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ ПІДТРИМКИ ІНКЛЮЗИВНОГО НАВЧАННЯ ДІТЕЙ З ОСОБЛИВИМИ ПОТРЕБАМИ


Львів - 2010


Мета роботи — розроблення комп’ютерних інформаційних технологій підтримки інклюзивного навчання дітей з особливими потребами, а саме дітей з вадами слуху, зору та дітей, які не можуть з різних причин відвідувати заняття.

Наукова новизна роботи полягає в удосконаленні методів розпізнавання жестів з відео реального часу або веб-камери, розробленні методів контролю за виконанням жестів, у тому числі у процесі навчання, розробленні нових методів подання інформації та контролю знань дітей при віддаленому навчанні, розробленні методів перетворення інформації при створенні аудіо підручників у DAISY форматі.

Практична значимість роботи. Розроблений комплекс комп’ютерних інформаційних технологій підтримки інклюзивного навчання складається з трьох компонентів: комп’ютерного тренажера української жестової мови, розподіленого web-середовища дистанційного навчання, засобів створення аудіо-підручників.

Комп’ютерний «Тренажер української жестової мови» призначений для вивчення жестів української жестової мови. Тренажер може використовуватися у школі при груповому навчанні та вдома при самостійному вивченні та відпрацювання жестів.

Розроблене програмне забезпечення комп’ютерного «Тренажера української жестової мови» дає змогу у зручній формі користуватися словником жестів, а також навчатися жестам. Від аналогів тренажер вигідно відрізняється тим, що контролює правильність виконання жестів учнем. Для цього у тренажері реалізовано алгоритми визначення положення долоней та ідентифікації форми кисті руки. Якщо учень неправильно ставить руки, відтворення жесту призупиняється доти, доки учень не поставить руки правильно. Для користування тренажером достатньо персонального комп’ютера з операційною системою Windows XP/Vista/7. Вимоги до апаратного забезпечення — процесор із частотою від 1,7 ГГц, 512 МБ оперативної пам’яті. Для контролю за виконанням жестів необхідно підключити до комп’ютера веб-камеру. Зазвичай, заклади освіти вже мають необхідне апаратне забезпечення для користування «Тренажером української жестової мови».

Тренажер працює із відеозаписами жестів «Українського тематичного відео-словника жестової мови», розробленого Н. Іванюшевою та Є. Зуєвою. Для користувача тренажер надає можливість швидкого пошуку відеозаписів жестів у словнику, покадрового перегляду, роботи з веб-камерою, синхронізації жестів користувача та жестів зі словника. При синхронізації тренажер очікує, доки користувач правильно поставить руки і лише після цього продовжує виконання жесту зі словника. Такий підхід добре придатний для навчання, оскільки користувач може роздивитися кожну стадію виконання жесту, порівняти положення своїх рук та рук вчителя з відеозапису, поставити руки правильно. Коли користувач навчається швидше виконувати жест, тренажер так само пришвидшує відтворення відеозапису жесту.

Розпізнавання та синхронізація жестів із використанням лише однієї веб-камери як сенсора без використання маркерів або рукавиць є складною проблемою комп’ютерного зору. Іноземні аналоги розробленого тренажера жестової мови існують лише у вигляді дослідницьких прототипів і вимагають використання дорогого обладнання або спеціальних умов освітлення для забезпечення зворотного зв’язку з учнем. Відомих відкритих програмних продуктів із подібною функціональністю немає.

Для вирішення завдання розпізнавання кисті руки та жестів розроблено низку методів розпізнавання із використанням нейромережевої класифікації, інвертованої моделі освітлення Фонга, моделі псевдодвовимірної деформації зображення, прихованих моделей Маркова. Відповідні методи детально розглянуті у дисертації Давидова М.В. «Математичне та програмне забезпечення комп’ютерної системи ідентифікації елементів української жестової мови». Покладені у роботу тренажера алгоритми показали ступінь помилок розпізнавання форми кисті руки у реальному часі 6%, а помилок розпізнання жестів – 9% на базі з 85 жестів. Ці результати кращі за відомі результати розпізнавання жестової мови іноземними дослідниками, отриманими в умовах неоднорідного тла та освітлення. Отриманий час ідентифікації форми 55 мс на комп’ютері із процесором Celeron 1,7 ГГц забезпечує роботу системи у реальному часі.

Важливим етапом для забезпечення якісної роботи тренажера є налаштування тренажера до використаного обладнання та умов освітлення. Розроблений інтерактивний метод навчання нейронних мереж з відеоданих, який дає змогу швидко виконати процес налаштування системи. Зокрема, для визначення ділянок зображення із кольором долоней та обличчя, необхідно вказати на зображенні, яке отримане з веб-камери, декілька точок, які належать до відповідних ділянок. При налаштуванні методу опрацювання зображення за допомогою нейронних мереж оператор може змінювати і параметри вибору даних та навчання нейромережі. Через те, що колір шкіри користувачів різний, умови освітлення змінюються протягом доби, налаштування системи із навчанням нейромережі здійснюється перед кожним сеансом роботи користувача.

На сьогодні тренажер жестової мови не має аналогів в Україні, які забезпечують зворотний зв’язок у процесі виконання жестів учнем. Проте, в Україні ведеться розроблення комп’ютерних словників жестової мови. Моделювання жестової мови за допомогою тривимірної моделі вивчається в Інституті кібернетики імені В. М. Глушкова НАН України та Київському національному університеті ім. Т. Г. Шевченка відомими вітчизняними вченими: Ю.В. Краком, Ю.Г. Криво­носом, О.В. Бармаком, А.С. Терновим, Б.А. Троценком. Для цього використовуються технології скелетної анімації, лінійно-вагового скінінґу та морфінґу.

Відомі іноземні програмні тренажери жестової мови, такі як Sign Genius Pro, забезпечують лише контроль розуміння учнем жестів, але не перевіряють, чи правильно учень виконує жест. Програмне забезпечення, яке може перевіряти правильність виконання жестів та розпізнавати жести, розробляють у провідних іноземних лабораторіях. Відомими керівниками таких досліджень є проф. Л. Акарун (університет Богазічі, Туреччина), проф. Г. Ней, проф. Дж. Цірен (університет м. Аахен, Німеччина), проф. А. Фітцґіббон (університет м. Оксфорд, Великобританія), проф. Ц. Омлін (університет Вестерн Кейп), проф. Дж. Лоу (університет PETRONAS, Малазія), Дж. Уоч (університет Бен Гуріон, Ізраїль), Г. Стерн (Каліфорнійський університет, США), Л. Гуі (політехнічний університет м. Лозан, Швейцарія), проф. Т. Куган (університет м. Дублін, Ірландія), Г. Бірк (університет м. Аальборг), проф. Ф. Ле-Жен (лабораторія комп’ютерного зору CvLav, Швейцарія), проф. Н. Ліу (університет Квінсланд, Австралія) та інші.

Розроблений «Тренажер української жестової мови» впроваджено у Львівському дитячому дистанційному навчально-консультаційному центрі для дітей з особливими потребами на базі НВК "Школа-гімназія "Сихівська", Львівській спеціальній загальноосвітній школі-інтернаті Марії Покрови для глухих дітей та Навчально-методичному центрі освіти м. Львова.

Впроваджена система отримала позитивні відгуки вчителів та учнів шкіл. Інтерактивний процес навчання жестам значно цікавіший за звичайний, та надає можливість учням самостійно практикуватися у вивчені жестів, що особливо важливо для дистанційного навчання. Для вчителів тренажер жес­тової мови дозволяє швидко обирати необхідні жести для навчання та керувати відображенням жестів, що підвищує ефективність проведення занять із жестової мови, порівняно з використанням відеоматеріалів на касетах або DVD.

За результатами впровадження зроблено ряд удосконалень тренажера, зокрема, спрощено процедуру налаштування тренажера та збільшено базу жестів тренажера. Відзначимо позитивне ставлення студентів і школярів до вивчення та використання жестової мови для спілкування зі своїми колегами, які не чують.

Подальше вдосконалення розроблених технологій може внести значний внесок у вирішення проблеми інтеґрації людей, що не чують, у суспільство, зокрема, навчання їх у вищих навчальний закладах.

Для супроводу, методичної та психолого-педагогічної підтримки дітей шкільного віку, які об'єктивно за станом здоров'я протягом тривалого періоду, а в окремих випадах постійно, не мають змоги відвідувати традиційні освітні заклади та прагнуть при цьому продовжувати своє навчання в ритмі звичайної загальноосвітньої школи розроблене web-середовище дистанційного навчання.

Мережеве середовище дистанційного навчання складається з програмно-технологічного комплексу серверного осередку та контент-ресурсу з розробленими дистанційними курсами.

Розгортання та налагодження програмно-технологічних компонентів серверного комплексу дитячого дистанційного навчально-консультаційного центру здійснено з використанням системи керування навчальним процесом Moodle (Modular Object-Oriented Dynamic Learning Environment). Система спрямована на створення ефективних рішень для електронного навчання і дистанційних курсів, розповсюджується безкоштовно як Open Source-проект.

Система "Moodle" має такі основні риси:

1. придатна як для дистанційного, так і для очного навчання;
   
2. має компонентну (модульну) організацію;
   
3. містить ефективні засоби планування навчального процесу (календар, дошка оголошень, розклад навчального процесу);
   
4. має "легкий", ефективний, сумісний локалізований web-інтерфейс;
   
5. підтримує різні типи контенту – від простого тексту до мультимедіа та математичних формул;
   
6. має ефективні засоби організації контролю знань (підтримка 9 типів тестів, адаптивні тести);
   
7. має інструменти аналізу статистики діяльності школярів (активності, опитування і т.ін.);
   
8. містить засоби організації інтерактивної взаємодії, спілкування та зворотного зв’язку (форуми, чати, ел. пошта і т.ін.);
   
9. має ефективні засоби адміністрування та безпеки;
   
10. просте встановлення на будь-яку платформу, що підтримує РНР, для роботи необхідна тільки одна база даних;
    
11. підтримує такі сучасні бази даних: MySQL, PostgreSQL, MSSQL, Oracle, Interbase, Foxpro, Access, ADO, Sybase, DB2 і ODBC;
    
12. підтримує освітні стандарти (AICC (Aviation Industry CBT Committee) та SCORM (Sharable Content Object Reference Model) - v1.1, v1.2, v1.3)
    

За допомогою системи "Moodle" можна забезпечити також адаптацію до вимог, які на основі Болонської декларації передбачені впровадженням європейської кредитно-трансферної та акумуляційної системи (ECTS).

Для системи забезпечено україномовний контекст та розроблені дистанційні курси для предметів “Основи інформаційних технологій”, “Алгоритмізація та програмування. Мова Паскаль”, “Англійська мова”, “Історія України”, “Українська мова”, “Лінійна алґебра”.

Процес підготовлення зазначених курсів складався з таких кроків:

1. пошук і збирання інформації для підготовки навчального матеріалу дистанційних курсів з базових шкільних предметів;
   
2. пошук і збирання інформації для підготовки контрольних і тестових завдань дистанційних курсів із базових шкільних предметів;
   
3. відбір та систематизація навчального матеріалу дистанційних курсів з базових шкільних предметів;
   
4. адаптація дидактичної методики формування навчального матеріалу й контрольних і тестових завдань для дистанційних курсів з базових шкільних предметів;
   
5. укладання плану навчання (розклад) дистанційних курсів з базових шкільних предметів;
   
6. розроблення анкет для формування бази даних з інформацією про учнів;
   
7. розроблення анкет для визначення початкових знань учнів дистанційних курсів із базових шкільних предметів;
   
8. розроблення глосаріїв дистанційних курсів з базових шкільних предметів;
   
9. підготовка додаткових матеріалів для формування віртуальних дистанційних курсів із базових шкільних предметів;
   
10. підготовка типових сценаріїв для організації взаємодії та зворотного зв'язку дистанційних курсів з базових шкільних предметів;
    
11. перевірка та тестування сформованих дистанційних курсів із базових шкільних предметів.
    

Додатково підготовлено та розміщено віртуальну бібліотеку з додатковими навчально-інформаційними матеріалами з базових шкільних предметів для школярів Львівської області з особливими потребами.

Розроблені дистанційні курси з базових шкільних предметів протестовано на аудиторії у кількості 98 учнів. Пілотне навчання у Дитячому дистанційному навчально-консультаційному центрі здійснюють з лютого 2007 року 5 неповносправних учнів, використовуючи домашні комп’ютери.

Інклюзивне навчання дітей з вадами зору вимагає розроблення навчальних і тестових матеріалів у спеціальній формі, придатній до розуміння за допомогою тактильного відчуття або слуху. Стандартами у цій галузі є запис за допомогою абетки Брайля й аудіокниги у DAISY форматі.

Комп’ютерні програми для використання школярами, які не бачать, повинні підтримувати роботу у спеціальному режимі, коли всі дії, які можна виконати, доступні у текстовому меню та подані у послідовній формі. Так само, розроблення Інтернет сторінок вимагає використання підписів до кожної дії та спрощення фреймової структури сторінки для того, щоб користувач міг пересуватися між усіма елементами за допомогою стрілок клавіатури.

У ході розроблення комп’ютерних інформаційних технологій для навчання дітей з вадами зору подано у DAISY форматі підручники „Основи веб-дизайну” (О.Г. Пасічник, О.В. Пасічник, І.В. Стеценко: Навч. посібник – К.: Вид. група BHV. – 2008.), „Основи візуального програмування” (І.О. Завадський, Р.І. Заболотний: Навч. посібник – К.: Вид. група BHV. – 2009) та „Основи Інтернету” (О.М. Левченко, І.О. Завадський, Н.С. Прокопенко: Навч. посібник – К.: Вид. група BHV. – 2009). Начитування книг відбувалося у спеціальній студії запису на пристосованому високоякісному обладнанні, з використанням відповідного програмного забезпечення.

Основний акцент зроблено на створенні інформаційної бази аудіо-матеріалів та навчально-методичних засобів для дистанційного навчання незрячих користувачів, школярів та студентів. Проект реалізовано за підтримки Шведського інституту співробітництва (м. Стокгольм) колективами Свефі-Академії (м. Хапаранда) та Львівського навчально-виховного комплексу „Школа-гімназія „Сихівська”. У рамках проекту проведені тренінґи з навчання незрячих людей основам роботи з комп’ютером та оволодіння ними основними техніками роботи в Internet-середовищі. Виконана робота з формування контенту освітнього веб-порталу для незрячих людей, які в дистанційному режимі мали б змогу поглиблювати свої професійні знання та вміння і одержувати освіту бодай перших кваліфікаційних рівнів у галузі інформаційних технологій.

Робота над аудіо-книгами у форматі DAISY починалася з етапу підготовки програмного середовища та налаштування спеціалізованих технічних засобів для аудіо запису. Наступним кроком був власне процес начитування. Книги формувалися протягом тривалого часу, що визначався з врахуванням їхнього розбиття на структурні розділи. Після запису надиктованого тексту сформовано інформаційні таблиці зі змістом книг. Створені інформаційні таблиці є навіґаційними картами книг, за якими незрячий користувач має змогу активно пересуватися від розділу до розділу, від сторінки до сторінки.

Перспективним впровадженням інформаційних технологій дистанційного навчання людей з вадами зору стало створення спеціалізованого освітнього веб-порталу. Цей портал містить основні матеріали для навчання незрячих користувачів у сфері інформаційних технологій (ІТ). Основний акцент зроблено на створенні ефективної повномасштабної профільної інформаційної бази аудіо-матеріалів та підручників для дистанційного навчання людей з вадами зору.

Впровадження такого роду проектів зі створення навчальних посібників у аудіо-форматі значною мірою покращує стан забезпечення людей, які не мають можливості працювати з друкованими матеріалами. Це дозволяє їм реалізовуватися у навчанні і відчувати себе повноцінним школярем.

Створення і розвиток цифрових аудіо-фондів бібліотек, навчальних закладів та дистанційних центрів освіти навчання людей з вадами зору вимагає об’єднання творчих зусиль і розроблення програми взаємодії вчених-дослідників цієї проблеми. Забезпечення незрячих спеціальною технікою та засобами, реалізація особливих інформаційних процесів і технологій суттєво залежить від загального розуміння сприйняття суспільством проблем неповносправних, і зокрема, з особливими потребами людей з вадами зору.

У повному обсязі комплекс комп’ютерних інформаційних технологій підтримки інклюзивного навчання дітей з особливими потребами впроваджено у Львівському дитячому дистанційному навчально-консультаційному центрі для дітей з особливими потребами на базі НВК "Школа-гімназія "Сихівська" та Навчально-методичному центрі освіти м. Львова.

За темою роботи опубліковано 10 статей у фахових виданнях та зроблено 20 виступів на міжнародних конференціях із публікацією тез доповідей.

Роботу презентовано на міжнародних комп’ютерних виставках ЦеБІТ (м. Ганновер, Німеччина) у 2006, 2007, 2008 рр. у рамках стенду Міністерства освіти і науки України.

Наукові й практичні результати роботи доповідалися та обговорювалися на: Першій центральноєвропейській студентській конференції з лінгвістики (м. Будапешт, Угорщина, 2006), сьомій міжнародній конференції «Інтелектуальний аналіз інформації ІАІ-2007» (м. Київ, 2007), міжнародній науковій конференції «Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту (ISDMCI’2009)» (м. Євпаторія, 2009).