Аннотация 3
Abstract 4
Введение 5
1. Введение в изучение и распознавание языка жестов 6
1.1. Обзор существующих систем для изучения жестового языка 6
1.2. Основные подходы в задаче распознавания языка жестов 7
1.3. Основные наборы данных для распознавания русского языка жестов 11
1.3.1. RSL 12
1.3.2. TheRuSLan 12
1.3.3. FluentSigners-50 13
1.3.4. K-RSL 14
1.3.5. Slovo 14
2. Разработка веб-приложения 16
2.1. Разработка функциональной части системы 16
2.2. Разработка пользовательского интерфейса 19
3. Тестирование системы 32
3.1. Модульное тестирование системы 32
3.1.1. Настройка окружения для тестирования 32
3.1.2. Тестирование представлений 32
3.2. Ручное тестирование системы 34
Заключение 36
Список литературы 37
Приложение 39
В данной магистерской работе рассматривается задача разработки системы обучения навыкам языка жестов для глухонемых с использованием нейронной сети. Основной целью исследования является создание веб-приложения, которое не только предоставляет теоретические материалы, но и включает в себя разнообразные игры для практического закрепления знаний. Важным элементом системы является возможность взаимодействия с пользователем в реальном времени, что достигается благодаря интеграции нейронной сети. Это позволяет адаптировать процесс обучения под индивидуальные потребности и способности каждого пользователя, обеспечивая более эффективное освоение материала.
Веб-приложение, разработанное в рамках данной работы, реализовано с использованием современных инструментов программирования и веб-разработки. Язык программирования Python был выбран за его гибкость и мощные библиотеки для работы с нейронными сетями. Фреймворк Django использовался для создания надежной серверной части приложения, обеспечивая быстрый и безопасный доступ к данным. Язык разметки HTML и каскадные таблицы стилей CSS были использованы для создания удобного и интуитивно понятного интерфейса пользователя.
В то время как современный мир стремительно развивается с появлением передовых технологий, некоторые части общества остаются за пределами их досягаемости. Одной из таких частей является сообщество слабослышащих, которое всё еще испытывает трудности во многих ситуациях и в некоторых крайних случаях могут быть неправильно поняты. Например, в некоторых больницах до сих пор нет в штате сурдопереводчика. Поэтому взаимодействие слабослышащих людей с медицинскими работниками является сложным, что не позволяет оказать своевременную помощь. Аналогичная проблема существует в таких структурах, как банки, государственные учреждения, аэропорты, общественные места и другие, существенно усложняя их повседневную жизнь. Более того, многие последствия глухоты, такие как социальная изоляция, пробелы в образовании со слышащим населением, трудности с трудоустройством - также негативно влияют на жизнь этого сообщества. На фоне этих проблем появляется необходимость в разработке эффективных решений, которые помогут улучшить качество жизни глухонемых людей и облегчить их интеграцию в общество.
Целью данной магистерской диссертации является разработка системы обучения навыкам языка жестов для глухонемых с использованием нейронной сети. Разработка такой системы поможет не только улучшить коммуникационные навыки глухонемых людей, но и повысить их уверенность в повседневной жизни, а также облегчит взаимодействие с окружающими.
Для достижения поставленной цели сформулированы следующие задачи:
- провести анализ предметной области;
- обзор существующих аналогов и решений;
- изучить имеющиеся модели для распознавания русского языка жестов;
- разработать функциональную часть и пользовательский интерфейс системы;
- внедрение нейронной сети в игровую часть системы;
- провести тестирование.
Войти
в кабинет
в кабинет
Пролистайте материалы и убедитесь в качестве
Разработка системы обучения навыкам языка жестов для глухонемых с использованием нейронной сети #9106825
Артикул: 9106825
- Предмет: Программирование
- Уникальность: 75% (Антиплагиат.ВУЗ)
- Разместил(-а): 185 Рамиль в 2024 году
- Количество страниц: 62
- Формат файла: docx
2 500p.
1. Русский жестовый язык [Электронный ресурс]: Санкт-Петербургская Благотворительная Просветительская Общественная Организация инвалидов по слуху «Ковчег». СПБ : Ark Media, 2024. URL : https://surdo.me/ (дата обращения: 28.12.2023)
2. Русский жестовый язык [Электронный ресурс]: razeeman. URL : https://community-courses.memrise.com/community/course/1379220/ (дата
обращения: 30.03.2024)
3. StartASL [Электронный ресурс]: Free Online ASL 1 Course. USA: StartASL, 2008. URL : https: //www. startasl. com/ (дата обращения: 25.08.2023)
4. Li, D., Yu, X., Xu, C., Petersson, L., & Li, H. Transferring cross-domain knowledge for video sign language recognition. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 6204-6213, 2020
5. Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action recognition. In AAAI, 2018
6. Hezhen Hu, Weichao Zhao, Wengang Zhou, Yuechen Wang, and Houqiang Li. Signbert: pre-training of hand-modelaware representation for sign language recognition. In ICCV,2021
7. Coster, M. D., Herreweghe, M. V., & Dambre, J. Isolated sign recognition from rgb video using pose flow and self-attention. CVPR, 2021.
8. Набор данных Slovo - Russian Sign Language Dataset [Электронный ресурс]. — 2023. — URL: https://github.com/hukenovs/slovo?tab=readme-ov-file (дата обращения 15.02.2024)
9. Yanghao, L. MViTv2: Improved Multiscale Vision Transformers for Classification and Detection / W. Chao-Yuan, F. Haoqi, M. Karttikeya, B. Xiong, M. Jitendra, F. Christoph // 1Facebook AI Research
10. Kapitanov, A. Slovo: Russian Sign Language Dataset / K. Kvanchiani, A. Nagaev, E. Petrova // arXiv:2305.14527 — 2023
11. TSM: Temporal Shift Module for Efficient Video Understanding [Электронный ресурс]: ICCV. Ji Lin, Chuang Gan, Song Han, 2019. URL : https://arxiv.org/pdf/1811.08383 (дата обращения: 17.02.2024)
12. Novopoltsev, M. Fine-tuning of sign language recognition models: a technical report / L. Verkhovtsev, R. Murtazin, D. Milevich, I. Zemtsova // SBER AI, Moscow, Russia — 2023
13. Github [Электронный ресурс]: RSL-Dataset. Blockbattle, 2022. URL : https://github.com/Blockbattle/RSL-Dataset (дата обращения: 12.04.2024)
14. Ildar Kagirov, Denis Ivanko, Dmitry Ryumin, Alexander Axyonov, and Alexey Karpov. 2020. TheRuSLan: Database of Russian Sign Language. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pages 6079-6085, Marseille, France. European Language Resources Association.
15. Medet Mukushev,Aidyn Ubingazhibov,Aigerim Kydyrbekova,Alfarabi Imashev,Vadim Kimmelman,Anara Sandygulova FluentSigners-50: A signer independent benchmark dataset for sign language processing, 2022 - 18 c.
16. A Dataset for Linguistic Understanding, Visual Evaluation, and Recognition of Sign Languages: The K-RSL / Alfarabi Imashev, Medet Mukushev, Vadim Kimmelman, Anara Sandygulova // Proceedings of the 24th Conference on Computational Natural Language Learning
17. Форсье Д., Django. Разработка веб приложений на Python: книга для программиста /Джефф Форсье, Пол Биссекс, Уэсли Чан. — М.: СимволПлюс, 2010. — 456 с.
18. CRUD. Операции с моделями. [Электронный ресурс] - metanit.com - Режим доступа: https://metanit.com/python/django/5.3.php (дата обращения 21.01.2022) (дата обращения 14.05.2024)
19. Дронов В., Django. Практика создания веб-сайтов на Python: книга для программиста / Владимир Дронов — М.: БХВ-Петербург, 2016 — 530 с.
20. Психология цветов в веб-дизайне [Электронный ресурс] - Режим доступа: URL: https://depix.ru/articles/psihologiya_tsveta_i_web_dizayn (дата обращения 03.05.2024)
21. Жестовый язык с Ириной Жиренковой [Электронный ресурс] - Ирина Жиренкова, 2021. URL : https://www.youtube.com/@daktil (дата обращения 24.11.2023)
2. Русский жестовый язык [Электронный ресурс]: razeeman. URL : https://community-courses.memrise.com/community/course/1379220/ (дата
обращения: 30.03.2024)
3. StartASL [Электронный ресурс]: Free Online ASL 1 Course. USA: StartASL, 2008. URL : https: //www. startasl. com/ (дата обращения: 25.08.2023)
4. Li, D., Yu, X., Xu, C., Petersson, L., & Li, H. Transferring cross-domain knowledge for video sign language recognition. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 6204-6213, 2020
5. Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action recognition. In AAAI, 2018
6. Hezhen Hu, Weichao Zhao, Wengang Zhou, Yuechen Wang, and Houqiang Li. Signbert: pre-training of hand-modelaware representation for sign language recognition. In ICCV,2021
7. Coster, M. D., Herreweghe, M. V., & Dambre, J. Isolated sign recognition from rgb video using pose flow and self-attention. CVPR, 2021.
8. Набор данных Slovo - Russian Sign Language Dataset [Электронный ресурс]. — 2023. — URL: https://github.com/hukenovs/slovo?tab=readme-ov-file (дата обращения 15.02.2024)
9. Yanghao, L. MViTv2: Improved Multiscale Vision Transformers for Classification and Detection / W. Chao-Yuan, F. Haoqi, M. Karttikeya, B. Xiong, M. Jitendra, F. Christoph // 1Facebook AI Research
10. Kapitanov, A. Slovo: Russian Sign Language Dataset / K. Kvanchiani, A. Nagaev, E. Petrova // arXiv:2305.14527 — 2023
11. TSM: Temporal Shift Module for Efficient Video Understanding [Электронный ресурс]: ICCV. Ji Lin, Chuang Gan, Song Han, 2019. URL : https://arxiv.org/pdf/1811.08383 (дата обращения: 17.02.2024)
12. Novopoltsev, M. Fine-tuning of sign language recognition models: a technical report / L. Verkhovtsev, R. Murtazin, D. Milevich, I. Zemtsova // SBER AI, Moscow, Russia — 2023
13. Github [Электронный ресурс]: RSL-Dataset. Blockbattle, 2022. URL : https://github.com/Blockbattle/RSL-Dataset (дата обращения: 12.04.2024)
14. Ildar Kagirov, Denis Ivanko, Dmitry Ryumin, Alexander Axyonov, and Alexey Karpov. 2020. TheRuSLan: Database of Russian Sign Language. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pages 6079-6085, Marseille, France. European Language Resources Association.
15. Medet Mukushev,Aidyn Ubingazhibov,Aigerim Kydyrbekova,Alfarabi Imashev,Vadim Kimmelman,Anara Sandygulova FluentSigners-50: A signer independent benchmark dataset for sign language processing, 2022 - 18 c.
16. A Dataset for Linguistic Understanding, Visual Evaluation, and Recognition of Sign Languages: The K-RSL / Alfarabi Imashev, Medet Mukushev, Vadim Kimmelman, Anara Sandygulova // Proceedings of the 24th Conference on Computational Natural Language Learning
17. Форсье Д., Django. Разработка веб приложений на Python: книга для программиста /Джефф Форсье, Пол Биссекс, Уэсли Чан. — М.: СимволПлюс, 2010. — 456 с.
18. CRUD. Операции с моделями. [Электронный ресурс] - metanit.com - Режим доступа: https://metanit.com/python/django/5.3.php (дата обращения 21.01.2022) (дата обращения 14.05.2024)
19. Дронов В., Django. Практика создания веб-сайтов на Python: книга для программиста / Владимир Дронов — М.: БХВ-Петербург, 2016 — 530 с.
20. Психология цветов в веб-дизайне [Электронный ресурс] - Режим доступа: URL: https://depix.ru/articles/psihologiya_tsveta_i_web_dizayn (дата обращения 03.05.2024)
21. Жестовый язык с Ириной Жиренковой [Электронный ресурс] - Ирина Жиренкова, 2021. URL : https://www.youtube.com/@daktil (дата обращения 24.11.2023)
Материалы, размещаемые в каталоге, с согласия автора, могут использоваться только в качестве дополнительного инструмента для решения имеющихся у вас задач,
сбора информации и источников, содержащих стороннее мнение по вопросу, его оценку, но не являются готовым решением.
Пользователь вправе по собственному усмотрению перерабатывать материалы, создавать производные произведения,
соглашаться или не соглашаться с выводами, предложенными автором, с его позицией.
| Тема: | Разработка системы обучения навыкам языка жестов для глухонемых с использованием нейронной сети |
| Артикул: | 9106825 |
| Дата написания: | 23.06.2024 |
| Тип работы: | Магистерская диссертация |
| Предмет: | Программирование |
| Оригинальность: | Антиплагиат.ВУЗ — 75% |
| Количество страниц: | 62 |
Скрин проверки АП.ВУЗ приложен на последней странице.
В работе представлены только пояснительная записка и листинг программы. Самой программы нет
В работе представлены только пояснительная записка и листинг программы. Самой программы нет
Файлы артикула: Разработка системы обучения навыкам языка жестов для глухонемых с использованием нейронной сети по предмету программирование
Пролистайте "Разработка системы обучения навыкам языка жестов для глухонемых с использованием нейронной сети" и убедитесь в качестве
После покупки артикул автоматически будет удален с сайта до 22.01.2025
Посмотреть остальные страницы ▼
Честный антиплагиат!
Уникальность работы — 75% (оригинальный текст + цитирования, без учета списка литературы и приложений), приведена по системе Антиплагиат.ВУЗ на момент её написания и могла со временем снизиться. Мы понимаем, что это важно для вас, поэтому сразу после оплаты вы сможете бесплатно поднять её. При этом текст и форматирование в работе останутся прежними.
Гарантируем возврат денег!
Качество каждой готовой работы, представленной в каталоге, проверено и соответствует описанию. В случае обоснованных претензий мы гарантируем возврат денег в течение 24 часов.
Утром сдавать, а работа еще не написана?
Через 30 секунд после оплаты вы скачаете эту работу!
Сегодня уже купили 23 работы. Успей и ты забрать свою пока это не сделал кто-то другой!
ПРЕДЫДУЩАЯ РАБОТА
Система управления проектами и задачами с элементами защиты информации
СЛЕДУЮЩАЯ РАБОТА
Разработка интерактивного 3D Web-приложения для визуального просмотра анатомии различных частей человеческого тела и повседневных объектов