学位论文 > 优秀研究生学位论文题录展示
基于Mahout框架的协同过滤推荐引擎的研究与实现
作 者: 杨思吉
导 师: 高英; 徐国明
学 校: 华南理工大学
专 业: 软件工程
关键词: 推荐引擎 协同过滤 Hadoop Mahout
分类号: TP391.3
类 型: 硕士论文
年 份: 2013年
下 载: 94次
引 用: 0次
阅 读: 论文下载
内容摘要
当今互联网应用的快速扩张给广大用户带来了大量的数据信息,很好地满足了用户在信息时代对信息的需求,特别是Web2.0的迅速发展以及移动互联网的崛起,用户自创和分享内容变得越来越容易,用户生成内容随即大量产生。现有的信息检索技术(如搜索引擎)一定程度上解决了激化的矛盾,但是并不能完全满足社会的需求,当用户自身无法给出有效的关键词,又或者用户没有明确需求时,搜索引擎被动驱动的缺点暴露无遗。这时推荐系统作为信息检索领域新兴技术应运而生。它依靠其智能挖掘用户需求、主动推送精准信息,很快得到了研究者和市场的关注。本文的项目目标在于探索构建一个基于Hadoop平台的协同过滤推荐引擎,利用开源框架Mahout实现传统协同过滤算法到MapReduce编程模型的移植。本文首先介绍了推荐引擎的研究背景、选题意义、国内外研究现状,阐述了推荐引擎的理论知识和协同过滤算法;其次,详细叙述了本推荐引擎的总体架构和推荐引擎的算法设计,随后,重点阐述了本推荐引擎的具体实现过程,最后给出了推荐引擎的实验结果及在现实中的初步应用。本论文的主要贡献包括:1)设计并实现了基于Hadoop的协同过滤推荐引擎,实现了传统协同过滤算法从单机到MapReduce框架下的移植。2)设计并实现了Web管理系统管理Hadoop平台上的推荐引擎,支持多策略多任务执行推荐作业。
|
全文目录
摘要 5-6 ABSTRACT 6-10 第一章 绪论 10-14 1.1 研究背景及选题意义 10 1.2 国内外研究现状 10-12 1.3 主要研究工作 12 1.4 论文的组织结构 12-14 第二章 推荐引擎概述及相关技术简介 14-26 2.1 推荐引擎概述 14-15 2.1.1 什么是推荐引擎 14 2.1.2 推荐引擎的工作原理 14-15 2.2 推荐引擎的分类 15-17 2.3 协同过滤技术简介 17-23 2.3.1 用户喜好数据 17-19 2.3.2 相似度计算方法 19-21 2.3.3 计算推荐方法 21-22 2.3.4 应用场景及优势比较 22-23 2.4 Hadoop 平台及计算框架的介绍 23-25 2.4.1 HDFS 基本架构 23-24 2.4.2 MapReduce 计算框架 24-25 2.5 本章小结 25-26 第三章 推荐引擎分析与设计 26-43 3.1 系统目标 26 3.2 系统需求分析 26-29 3.2.1 系统架构 26-28 3.2.2 系统工作流程 28-29 3.3 推荐引擎的总体设计 29-34 3.3.1 Mahout 框架 30-31 3.3.2 推荐引擎的结构设计 31-32 3.3.3 推荐器的工作流程设计 32-34 3.4 推荐引擎的核心算法设计 34-41 3.4.1 推荐器的核心算法计算过程 34-37 3.4.2 基于用户的算法设计 37-39 3.4.3 基于物品的算法设计 39-41 3.5 本章小结 41-43 第四章 推荐引擎的实现 43-65 4.1 两种推荐引擎的实现 43-55 4.1.1 Item-based CF 推荐引擎的具体实现 43-50 4.1.2 User-based CF 推荐引擎的具体实现 50-55 4.2 推荐引擎的运行结果 55-57 4.3 数据库的设计与实现 57-61 4.3.1 数据库的设计 58-60 4.3.2 数据库交互的实现 60-61 4.4 Web 管理系统页面实现 61-64 4.4.1 用户管理 61-62 4.4.2 任务管理 62-63 4.4.3 系统设置管理 63-64 4.5 本章小结 64-65 第五章 推荐引擎评测 65-69 5.1 实验环境与实验数据集 65 5.1.1 实验运行环境 65 5.1.2 实验数据集 65 5.2 实验方案设计 65-66 5.3 实验结果分析 66-67 5.4 推荐引擎的应用展示 67-68 5.5 本章小结 68-69 第六章 总结与展望 69-70 6.1 总结的内容 69 6.2 展望的内容 69-70 参考文献 70-72 致谢 72-73 附件 73
|
相似论文
- 基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
- 基于自然遗忘的个性化推荐算法研究,TP311.52
- 基于大众标注的个性化推荐系统研究,TP393.09
- 电子商务个性化推荐系统的研究,F713.36
- Web数据挖掘在网上书店个性化推荐系统中的应用研究,TP391.3
- 基于协同过滤的酒店推荐系统研究与实现,TP391.3
- 基于协同过滤的电子商务个性化推荐系统的研究与实现,TP311.52
- 云计算平台上的增量学习研究,TP311.13
- 基于网络结构的个性化推荐系统的研究,TP391.3
- 基于多核CPU的任务级数据处理研究及其在集群平台下的性能测试,TP274
- 基于社会化标签体系的个性化推荐引擎技术研究,TP391.3
- 面向海量数据的云存储系统实现与应用研究,TP333
- 基于云计算的海量视频转换平台的设计与实现,TP311.52
- MapReduce FairScheduler的高性能优化及超大规模集群模拟器设计及实现,TP311.13
- 协同过滤推荐系统中的冷启动问题研究,TP391.3
- 基于用户兴趣和浏览行为的个性化推荐技术研究,TP391.3
- 基于增量更新的自适应协同过滤算法研究,TP391.3
- 结构相似度及其在推荐系统中的应用研究,TP391.3
- 基于粗糙集的协同推荐模型研究,TP18
- 跨系统个性化服务中隐私保持问题研究,TP393.08
- 基于双信息源的协同过滤算法及其应用研究,TP301.6
中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理(信息加工) > 检索机
© 2012 www.xueweilunwen.com
|