学位论文 > 优秀研究生学位论文题录展示

推荐系统关键技术研究

作　者: 任磊
导　师: 顾君忠
学　校: 华东师范大学
专　业: 系统分析与集成
关键词: 推荐系统基于项目的协作推荐混合推荐用户建模稀疏性概念漂移
分类号: TP391.3
类　型: 博士论文
年　份: 2012年
下　载: 2345次
引　用: 3次
阅　读: 论文下载

内容摘要

随着互联网的高速发展,信息技术已经从专业领域应用扩展到了人类工作和生活的各领域。形式多样的互联网信息服务和应用已渗透到人们生活的方方面面,人类社会原有的物理活动正逐渐向互联网虚拟空间活动演变。特别是社交网络、云计算和P2P应用等技术和服务形式的迅速普及,传统互联网一对多的应用模式正在过渡到多对多的web2.0应用模式,用户不仅是信息内容的使用者,同时也成为信息内容的制造者和传播者。伴随互联网信息资源规模的迅猛增长,用户要在海量信息空间中获得符合自己需求的信息也越发困难,形成了信息过载问题。学术界和业界对信息过载问题表现出了广泛的关注,开展了大量的研究和实践工作,提出了多种形式的信息个性化解决方案,以期为互联网信息服务用户提供符合其自身需求的信息。推荐系统作为一种智能个性化信息服务系统,其可借助用户建模技术对用户的长期信息需求进行描述,并根据用户模型通过一定的智能推荐策略实现有针对性的个性化信息定制。鉴于推荐系统具有用户需求驱动、主动服务和信息个性化程度高等优点,推荐系统在电子商务、在线学习和数字图书馆等领域得到了广泛应用,并已成为公认最有前途的信息个性化技术发展方向。虽然推荐系统的研究和应用已经取得了一定的成果,但随着近几年网络用户与信息资源规模进一步增长,传统推荐算法中存在的问题逐渐暴露和放大,特别是推荐系统的稀疏性问题和概念漂移问题已成为影响推荐系统准确性的主要问题,妨碍了推荐系统的进一步推广和应用。为了适应互联网信息服务的发展趋势,进一步提高推荐系统及其算法的推荐准确性,本文以减少稀疏性问题和概念漂移问题对推荐算法的影响为目标,对以下八个方面的内容进行了研究和讨论：(1)对互联网信息服务的发展现状进行分析,简要回顾了推荐系统的发展历史,概括总结了推荐系统研究和应用的现状,并详细分析现有推荐算法中存在的问题。(2)对信息过载问题进行了问题定义和成因分析,在对传统信息检索和信息过滤技术进行对比研究的基础上,从用户建模、推荐策略、算法分类和算法评估等方面,对推荐系统进行全面分析和讨论。(3)分析稀疏性问题的主要成因和表现,总结稀疏性问题直接和间接影响推荐系统的主要途径,结合现有针对稀疏性问题所进行的算法改进,给出了解决稀疏性问题的主要方法和策略。(4)传统项目间相似度计算方法存在对公共评分的过度依赖,稀疏性问题会引起公共评分数量的明显减少,而基于少量公共评分的相似度计算将难以保证计算结果的准确性和可信度。针对稀疏性问题对相似度计算的影响,结合传统相似度计算的上述缺陷,提出了一种基于加权相似度的协作推荐算法WSBCF,该算法通过在相似度计算中引入评分重合因子,实现了对相似度计算的修正,从而提高了推荐在稀疏评分环境下的准确性。(5)传统协作推荐的评分预测过程是一种建立在非稀疏评分矩阵上的理想化决策过程。在稀疏评分环境中,过度依赖个性化评分将引起推荐的整体准确性下降。针对稀疏性问题对评分预测过程的这一影响,结合人类在推荐服务中所表现出的从众心理,提出了一种基于平衡评分预测机制的协作推荐算法IBCFBP,该算法综合考虑个性化评分和全局评分在评分预测中的决策支持作用,通过动态调整个性化评分和全局评分在评分预测中的作用,从而完善和改进了传统评分预测过程。(6)协作推荐算法的各执行过程都依赖于评分矩阵实现相应功能,评分矩阵的稀疏性将对整个协作推荐产生全方位的影响。针对评分矩阵稀疏性对协作推荐的影响,在推荐对象内容可解析的应用环境中,结合基于内容推荐算法对稀疏性问题的不敏感性,提出了一种基于评分填充的混合推荐算法HRRF,该算法通过采用基于内容的推荐算法,实现了对稀疏评分矩阵的个性化评分填充,提高了评分矩阵的数据密度,从而缓解了稀疏性问题的影响。(7)分析概念漂移问题的主要成因和表现,总结概念漂移问题影响推荐算法的主要途径,结合机器学习和推荐系统领域的现有改进算法,给出了解决概念漂移问题的主要策略。(8)针对概念漂移问题对协作推荐系统的影响,结合评分重要性随时间指数形式衰减的性质,提出了一种利用评分时间特性的协作推荐算法TIBCF,该算法利用评分时间权重同时实现了对相似度计算和评分预测两个计算过程的修正,从而缓解了概念漂移问题对协作推荐的干扰作用。本文通过对上述研究内容的讨论,阐明了信息过载问题的产生原因和影响,全面分析了影响推荐系统发展的相关问题,特别针对稀疏性问题和概念漂移问题对协作推荐算法的影响,通过对协作推荐算法各执行过程的完善和改进,提出了相应的改进算法,并实验证明了所提算法在提高协作推荐预测准确性方面的有效性。本文的主要贡献包括：(1)从互联网信息服务的视角阐述了信息过载问题的产生原因和影响。(2)分析了个性化信息服务的需求,对个性化信息服务进行了形式化定义。(3)归纳总结了推荐系统的组成结构和工作原理,分析和讨论了推荐系统涉及的用户建模、推荐算法和算法评价等内容。(4)讨论了稀疏性问题和概念漂移问题的主要成因,以及二者影响推荐系统的途径,对比分析了现有解决方法,概括了解决二者的主要策略。(5)针对稀疏性问题对协作推荐的影响,通过完善相似度计算、改进评分预测机制和提高评分数据密度,缓解了稀疏性问题的影响,分别提出了WSBCF、IBCFBP和HRRF算法,并通过实验证明了上述三种算法,在提高推荐准确性方面的有效性。(6)针对概念漂移问题对协作推荐的影响,通过时间权重改进了相似度计算和评分预测过程,相应提出了TIBCF算法,并实验证明了该算法在解决概念漂移问题以及提高推荐准确性方面的有效性。

全文目录

摘要  6-9
ABSTRACT  9-17
第1章绪论  17-34
  1.1 研究背景  17-20
  1.2 推荐系统研究的历史和现状  20-27
  1.3 推荐系统面临的问题  27-30
  1.4 论文主要研究内容  30-32
  1.5 论文组织结构  32-34
第2章信息过载及其传统解决方法  34-48
  2.1 信息过载问题  34-37
  2.2 信息检索与信息过滤  37-44
    2.2.1 信息检索  38-42
      2.2.1.1 特征选择  39-40
      2.2.1.2 信息内容描述模型  40-42
    2.2.2 信息过滤  42-44
  2.3 信息服务的个性化  44-48
第3章推荐系统及相关技术综述  48-76
  3.1 个性化推荐系统  48-51
  3.2 用户建模  51-58
    3.2.1 用户识别  52-53
    3.2.2 用户信息收集  53-56
    3.2.3 用户模型  56-58
  3.3 推荐算法及其分类  58-70
    3.3.1 基于内容过滤的推荐  59-60
    3.3.2 协作过滤推荐  60-68
      3.3.2.1 基于内存的协作推荐  61-66
      3.3.2.2 基于模型的协作推荐  66-67
      3.3.2.3 协作推荐中存在的问题  67-68
    3.3.3 混合推荐  68-70
  3.4 推荐算法的评价  70-76
    3.4.1 推荐算法的实验数据集  71-72
    3.4.2 推荐算法的准确性评价  72-76
      3.4.2.1 预测准确性  73-74
      3.4.2.2 分类准确性  74-76
第4章基于加权相似度的协作推荐算法  76-95
  4.1 稀疏性问题及其主要成因  76-77
  4.2 稀疏性问题影响协作推荐的途径  77-79
  4.3 稀疏性问题的解决办法  79-83
    4.3.1 通过评分矩阵处理的稀疏性问题解决办法  79-81
    4.3.2 通过推荐过程修正的稀疏性问题解决办法  81-83
  4.4 稀疏性问题对传统相似度计算的影响  83-85
  4.5 基于加权相似度的协作推荐算法  85-89
  4.6 算法评价与结果分析  89-93
  4.7 本章小结  93-95
第5章基于平衡评分预测机制的协作推荐算法  95-109
  5.1 稀疏性问题对评分预测的影响  95-97
  5.2 全局评分在协作推荐中的应用  97-98
  5.3 基于平衡评分预测机制的协作推荐算法  98-103
  5.4 算法评价与结果分析  103-107
  5.5 本章小结  107-109
第6章基于评分填充的混合推荐算法  109-125
  6.1 评分矩阵稀疏性对协作推荐的影响  109-110
  6.2 混合推荐在解决稀疏性问题中的应用  110-112
  6.3 基于评分填充的混合推荐算法  112-119
  6.4 算法评价与结果分析  119-123
  6.5 本章小结  123-125
第7章利用评分时间特性的协作推荐算法  125-143
  7.1 推荐系统的概念漂移问题  125-128
  7.2 概念漂移问题的现有解决办法  128-131
  7.3 利用评分时间特性的协作推荐算法  131-136
  7.4 算法评价与结果分析  136-141
  7.5 本章小结  141-143
第8章总结与展望  143-148
  8.1 研究总结  143-144
  8.2 主要创新点  144-147
  8.3 未来研究工作展望  147-148
附录  148-151
  附录Ⅰ 作者攻读博士学位期间发表的学术论文  148-149
  附录Ⅱ 作者攻读博士学位期间参加的科研项目  149
  附录Ⅲ 作者攻读博士学位期间专利申请情况  149-150
  附录Ⅳ 作者攻读博士学位期间所获软件著作权登记  150-151
参考文献  151-165
后记  165

推荐系统关键技术研究

内容摘要

全文目录

相似论文