Введение 2
1. Литературный обзор 3
1.1 Обогащение данных пользователей. Методы веб-скреппинга для получения данных из социальных сетей 3
1.1.1 Получение веб-страниц с использованием библиотеки urllib 5
1.1.2 Разбор HTML и извлечение информации из веб-страниц (Web scraping) 6
1.1.3 Разбор HTML-страниц с помощью регулярных выражений 7
1.1.4 Разбор HTML-страниц с помощью библиотеки BeautifulSoup 9
1.2 Методы data mining для анализа данных в социальных сетях 11
2.1 Общие сведения о СУБД MongoDB 22
2.2 Алгоритм сбора данных и написание скрэппера с помощью BeautifulSoup . 23 3. Разработка рекомендательной системы 31
3.1 Постановка задачи и обзор проблематики 31
3.2 Описание разработанного модуля 33
4. Построение модуля рекомендательной системы 38
4.1 Выбор метода построения рекомендательной системы 39
4.2 Реализация модуля рекомендаций 40
Заключение 44
Список литературы 45
Основной целью магистерской работы является разработка рекомендательной системы, которая, обрабатывая данные из страницы
пользователя в социальной сети, могла бы с высокой точностью выделять основные предпочтения и давать рекомендации. Идея такой системы заключается в подборе персонализированного списка товаров, которые можно было бы подарить анализируемому пользователю и которые бы отвечали его вкусам и потребностям.
Разработка такой рекомендательной системы требует решения ряда задач. На первом этапе основной акцент построения рекомендательной системы был сделан на исследованиях технологий извлечения, обработки и анализа данных в социальных сетях, а также алгоритмов построения рекомендаций.
Второй этап был посвящен разработке модулей сбора и обработки данных из интернет источников, а также сбору базы данных пользователей и их желаний.
На третьем этапе написания работы были решены задачи разбиения желаний пользователей (большинство из которых являются уникальными) на категории, а самих пользователей – на группы.
На четвертом этапе был разработан модуль рекомендаций, включающий в себя сбор и обработку информации о новом пользователе, а также построение рекомендаций с использованием алгоритма групповых рекомендаций.
Войти
в кабинет
в кабинет
Пролистайте материалы и убедитесь в качестве
Разработка рекомендательной системы на основе анализа данных социальных сетей #9101459
Артикул: 9101459
- Предмет: Программирование
- Уникальность: 81% (Антиплагиат.ВУЗ)
- Разместил(-а): 185 Рамиль в 2019 году
- Количество страниц: 47
- Формат файла: docx
- Последняя покупка: 29.03.2024
1 200p.
I. Специальная литература:
1. Горчинская, Ольга. Анализ данных социальных сетей,Открытые системы. СУБД [Электронный ресурс] / Горчинская, Ольга, Ривкин, Андрей.
– науч.-метод. журн. – 2015.— № 03. – Режим доступа www.osp.ru. – (Дата обращения: 01.11.2017).
2. Кириченко К.М. Обзор методов кластеризации текстовой информации [Электронный ресурс]/ Кириченко К.М, Герасимов М.Б. - электрон. текст. дан. - Режим доступа http://www.dialog- 21.ru/digest/2001/articles/kirichenko/. - (Дата обращения: 01.10.2018)
3. Коршунов, Антон. Анализ социальных сетей: методы и приложения
/ Антон Коршунов, Иван Белобородов, Назар Бузун, Валерий Аванесов, Роман Пастухов, КириллЧихрадзе[и др.]. - электрон. текст. дан. - Режим доступа http://www.ispras.ru/proceedings/docs/2014/26/1/isp_26_2014_1_439.pdf. - (Дата обращения: 10.10.2017)
4. Коршунов, Антон.Определение демографических атрибутов пользователей микроблогов / Антон Коршунов, Иван Белобородов, Андрей Гомзин, Кристина Чуприна [и др.]. - электрон. текст. дан. - Режим доступа
https://cyberleninka.ru/article/v/opredelenie-demograficheskih-atributov- polzovateley-mikroblogov. - (Дата обращения: 10.10.2017)
II. Интернет-ресурсы:
1. Северенс, Чарльз. Лекция «Введение в программирование на Python», Интуит , национальный открытый университет / Чарльз Северенс. - электрон. текст. дан. - Режим доступа https://www.intuit.ru/studies/courses/12179/1172/lecture/23887?page=4 – (Дата обращения 21.02.2018)
2. Чубукова, Ирина. Курс «Datamining», Интуит, национальный открытый университет/ Ирина Чубукова. - электрон. текст. дан. - Режим доступа https://www.intuit.ru/studies/courses/6/6/lecture/162?page=2– (Дата обращения 25.03.2018)
3. Обзор алгоритмов кластеризации данных / andreycha / - электрон. текст. дан. - Режим доступа https://habr.com/ru/post/101338/ – (Дата обращения 16.11.2018)
4. Документация scikit-learn // - электрон. текст. дан. - Режим доступаhttps://scikit-learn.org/stable/ – (Дата обращения 03.12.2018)
5. Кантор, Виктор. Кластеризация текстов по теме / Виктор Кантор, Евгений Рябенко, Евгений Соколов, EmeliDral, Константин Воронцов /- электрон. текст. дан. - Режим доступаhttps://www.coursera.org/lecture/unsupervised-learning/primier- klastierizatsiia-tiekstov-po-tiemie-bVVzw – (Дата обращения 15.11.2018)
6. Рекомендательная система: введение в проблему холодного старта
/ vleskin / - электрон. текст. дан. - Режим доступаhttps://habr.com/ru/company/surfingbird/blog/168733/ – (Дата обращения 16.11.2018)
7. WebScraping с помощью python/ miptgirl / - электрон. текст. дан. - Режим доступа https://habr.com/ru/post/280238/ – (Дата обращения 16.11.2018)
8. Документация NLTK // - электрон. текст. дан. - Режим доступаhttps://www.nltk.org/ – (Дата обращения 03.12.2018)
1. Горчинская, Ольга. Анализ данных социальных сетей,Открытые системы. СУБД [Электронный ресурс] / Горчинская, Ольга, Ривкин, Андрей.
– науч.-метод. журн. – 2015.— № 03. – Режим доступа www.osp.ru. – (Дата обращения: 01.11.2017).
2. Кириченко К.М. Обзор методов кластеризации текстовой информации [Электронный ресурс]/ Кириченко К.М, Герасимов М.Б. - электрон. текст. дан. - Режим доступа http://www.dialog- 21.ru/digest/2001/articles/kirichenko/. - (Дата обращения: 01.10.2018)
3. Коршунов, Антон. Анализ социальных сетей: методы и приложения
/ Антон Коршунов, Иван Белобородов, Назар Бузун, Валерий Аванесов, Роман Пастухов, КириллЧихрадзе[и др.]. - электрон. текст. дан. - Режим доступа http://www.ispras.ru/proceedings/docs/2014/26/1/isp_26_2014_1_439.pdf. - (Дата обращения: 10.10.2017)
4. Коршунов, Антон.Определение демографических атрибутов пользователей микроблогов / Антон Коршунов, Иван Белобородов, Андрей Гомзин, Кристина Чуприна [и др.]. - электрон. текст. дан. - Режим доступа
https://cyberleninka.ru/article/v/opredelenie-demograficheskih-atributov- polzovateley-mikroblogov. - (Дата обращения: 10.10.2017)
II. Интернет-ресурсы:
1. Северенс, Чарльз. Лекция «Введение в программирование на Python», Интуит , национальный открытый университет / Чарльз Северенс. - электрон. текст. дан. - Режим доступа https://www.intuit.ru/studies/courses/12179/1172/lecture/23887?page=4 – (Дата обращения 21.02.2018)
2. Чубукова, Ирина. Курс «Datamining», Интуит, национальный открытый университет/ Ирина Чубукова. - электрон. текст. дан. - Режим доступа https://www.intuit.ru/studies/courses/6/6/lecture/162?page=2– (Дата обращения 25.03.2018)
3. Обзор алгоритмов кластеризации данных / andreycha / - электрон. текст. дан. - Режим доступа https://habr.com/ru/post/101338/ – (Дата обращения 16.11.2018)
4. Документация scikit-learn // - электрон. текст. дан. - Режим доступаhttps://scikit-learn.org/stable/ – (Дата обращения 03.12.2018)
5. Кантор, Виктор. Кластеризация текстов по теме / Виктор Кантор, Евгений Рябенко, Евгений Соколов, EmeliDral, Константин Воронцов /- электрон. текст. дан. - Режим доступаhttps://www.coursera.org/lecture/unsupervised-learning/primier- klastierizatsiia-tiekstov-po-tiemie-bVVzw – (Дата обращения 15.11.2018)
6. Рекомендательная система: введение в проблему холодного старта
/ vleskin / - электрон. текст. дан. - Режим доступаhttps://habr.com/ru/company/surfingbird/blog/168733/ – (Дата обращения 16.11.2018)
7. WebScraping с помощью python/ miptgirl / - электрон. текст. дан. - Режим доступа https://habr.com/ru/post/280238/ – (Дата обращения 16.11.2018)
8. Документация NLTK // - электрон. текст. дан. - Режим доступаhttps://www.nltk.org/ – (Дата обращения 03.12.2018)
Материалы, размещаемые в каталоге, с согласия автора, могут использоваться только в качестве дополнительного инструмента для решения имеющихся у вас задач,
сбора информации и источников, содержащих стороннее мнение по вопросу, его оценку, но не являются готовым решением.
Пользователь вправе по собственному усмотрению перерабатывать материалы, создавать производные произведения,
соглашаться или не соглашаться с выводами, предложенными автором, с его позицией.
| Тема: | Разработка рекомендательной системы на основе анализа данных социальных сетей |
| Артикул: | 9101459 |
| Дата написания: | 14.07.2019 |
| Тип работы: | Магистерская диссертация |
| Предмет: | Программирование |
| Оригинальность: | Антиплагиат.ВУЗ — 81% |
| Количество страниц: | 47 |
Скрин проверки АП.ВУЗ приложен на последней странице.
В работе самой программы нет
В работе самой программы нет
Файлы артикула: Разработка рекомендательной системы на основе анализа данных социальных сетей по предмету программирование
Пролистайте "Разработка рекомендательной системы на основе анализа данных социальных сетей" и убедитесь в качестве
После покупки артикул автоматически будет удален с сайта до 18.01.2025
Посмотреть остальные страницы ▼
Честный антиплагиат!
Уникальность работы — 81% (оригинальный текст + цитирования, без учета списка литературы и приложений), приведена по системе Антиплагиат.ВУЗ на момент её написания и могла со временем снизиться. Мы понимаем, что это важно для вас, поэтому сразу после оплаты вы сможете бесплатно поднять её. При этом текст и форматирование в работе останутся прежними.
Гарантируем возврат денег!
Качество каждой готовой работы, представленной в каталоге, проверено и соответствует описанию. В случае обоснованных претензий мы гарантируем возврат денег в течение 24 часов.
Утром сдавать, а работа еще не написана?
Через 30 секунд после оплаты вы скачаете эту работу!
Сегодня уже купили 6 работ. Успей и ты забрать свою пока это не сделал кто-то другой!
ПРЕДЫДУЩАЯ РАБОТА
Прогнозирование заказов такси с использованием данных заказов
СЛЕДУЮЩАЯ РАБОТА
Разработка дизайна мобильного приложения «Справочник КФУ» на базе операционной системы Android