学位论文 > 优秀研究生学位论文题录展示

基于Mahout框架的协同过滤推荐引擎的研究与实现

作 者: 杨思吉
导 师: 高英; 徐国明
学 校: 华南理工大学
专 业: 软件工程
关键词: 推荐引擎 协同过滤 Hadoop Mahout
分类号: TP391.3
类 型: 硕士论文
年 份: 2013年
下 载: 94次
引 用: 0次
阅 读: 论文下载
 

内容摘要


当今互联网应用的快速扩张给广大用户带来了大量的数据信息,很好地满足了用户在信息时代对信息的需求,特别是Web2.0的迅速发展以及移动互联网的崛起,用户自创和分享内容变得越来越容易,用户生成内容随即大量产生。现有的信息检索技术(如搜索引擎)一定程度上解决了激化的矛盾,但是并不能完全满足社会的需求,当用户自身无法给出有效的关键词,又或者用户没有明确需求时,搜索引擎被动驱动的缺点暴露无遗。这时推荐系统作为信息检索领域新兴技术应运而生。它依靠其智能挖掘用户需求、主动推送精准信息,很快得到了研究者和市场的关注。本文的项目目标在于探索构建一个基于Hadoop平台的协同过滤推荐引擎,利用开源框架Mahout实现传统协同过滤算法到MapReduce编程模型的移植。本文首先介绍了推荐引擎的研究背景、选题意义、国内外研究现状,阐述了推荐引擎的理论知识和协同过滤算法;其次,详细叙述了本推荐引擎的总体架构和推荐引擎的算法设计,随后,重点阐述了本推荐引擎的具体实现过程,最后给出了推荐引擎的实验结果及在现实中的初步应用。本论文的主要贡献包括:1)设计并实现了基于Hadoop的协同过滤推荐引擎,实现了传统协同过滤算法从单机到MapReduce框架下的移植。2)设计并实现了Web管理系统管理Hadoop平台上的推荐引擎,支持多策略多任务执行推荐作业。

全文目录


摘要  5-6
ABSTRACT  6-10
第一章 绪论  10-14
  1.1 研究背景及选题意义  10
  1.2 国内外研究现状  10-12
  1.3 主要研究工作  12
  1.4 论文的组织结构  12-14
第二章 推荐引擎概述及相关技术简介  14-26
  2.1 推荐引擎概述  14-15
    2.1.1 什么是推荐引擎  14
    2.1.2 推荐引擎的工作原理  14-15
  2.2 推荐引擎的分类  15-17
  2.3 协同过滤技术简介  17-23
    2.3.1 用户喜好数据  17-19
    2.3.2 相似度计算方法  19-21
    2.3.3 计算推荐方法  21-22
    2.3.4 应用场景及优势比较  22-23
  2.4 Hadoop 平台及计算框架的介绍  23-25
    2.4.1 HDFS 基本架构  23-24
    2.4.2 MapReduce 计算框架  24-25
  2.5 本章小结  25-26
第三章 推荐引擎分析与设计  26-43
  3.1 系统目标  26
  3.2 系统需求分析  26-29
    3.2.1 系统架构  26-28
    3.2.2 系统工作流程  28-29
  3.3 推荐引擎的总体设计  29-34
    3.3.1 Mahout 框架  30-31
    3.3.2 推荐引擎的结构设计  31-32
    3.3.3 推荐器的工作流程设计  32-34
  3.4 推荐引擎的核心算法设计  34-41
    3.4.1 推荐器的核心算法计算过程  34-37
    3.4.2 基于用户的算法设计  37-39
    3.4.3 基于物品的算法设计  39-41
  3.5 本章小结  41-43
第四章 推荐引擎的实现  43-65
  4.1 两种推荐引擎的实现  43-55
    4.1.1 Item-based CF 推荐引擎的具体实现  43-50
    4.1.2 User-based CF 推荐引擎的具体实现  50-55
  4.2 推荐引擎的运行结果  55-57
  4.3 数据库的设计与实现  57-61
    4.3.1 数据库的设计  58-60
    4.3.2 数据库交互的实现  60-61
  4.4 Web 管理系统页面实现  61-64
    4.4.1 用户管理  61-62
    4.4.2 任务管理  62-63
    4.4.3 系统设置管理  63-64
  4.5 本章小结  64-65
第五章 推荐引擎评测  65-69
  5.1 实验环境与实验数据集  65
    5.1.1 实验运行环境  65
    5.1.2 实验数据集  65
  5.2 实验方案设计  65-66
  5.3 实验结果分析  66-67
  5.4 推荐引擎的应用展示  67-68
  5.5 本章小结  68-69
第六章 总结与展望  69-70
  6.1 总结的内容  69
  6.2 展望的内容  69-70
参考文献  70-72
致谢  72-73
附件  73

相似论文

  1. 基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
  2. 基于自然遗忘的个性化推荐算法研究,TP311.52
  3. 基于大众标注的个性化推荐系统研究,TP393.09
  4. 电子商务个性化推荐系统的研究,F713.36
  5. Web数据挖掘在网上书店个性化推荐系统中的应用研究,TP391.3
  6. 基于协同过滤的酒店推荐系统研究与实现,TP391.3
  7. 基于协同过滤的电子商务个性化推荐系统的研究与实现,TP311.52
  8. 云计算平台上的增量学习研究,TP311.13
  9. 基于网络结构的个性化推荐系统的研究,TP391.3
  10. 基于多核CPU的任务级数据处理研究及其在集群平台下的性能测试,TP274
  11. 基于社会化标签体系的个性化推荐引擎技术研究,TP391.3
  12. 面向海量数据的云存储系统实现与应用研究,TP333
  13. 基于云计算的海量视频转换平台的设计与实现,TP311.52
  14. MapReduce FairScheduler的高性能优化及超大规模集群模拟器设计及实现,TP311.13
  15. 协同过滤推荐系统中的冷启动问题研究,TP391.3
  16. 基于用户兴趣和浏览行为的个性化推荐技术研究,TP391.3
  17. 基于增量更新的自适应协同过滤算法研究,TP391.3
  18. 结构相似度及其在推荐系统中的应用研究,TP391.3
  19. 基于粗糙集的协同推荐模型研究,TP18
  20. 跨系统个性化服务中隐私保持问题研究,TP393.08
  21. 基于双信息源的协同过滤算法及其应用研究,TP301.6

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理(信息加工) > 检索机
© 2012 www.xueweilunwen.com