学位论文 > 优秀研究生学位论文题录展示

电子商务海量数据的获取、存储以及检索

作　者: 袁建军
导　师: 胡伟
学　校: 北京化工大学
专　业: 计算机应用技术
关键词: 电子商务 数据存储 海量数据 全文检索 实时数据查询 sphinx
分类号: TP274
类　型: 硕士论文
年　份: 2011年
下　载: 148次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着互联网的快速发展,电子商务在人们的生活中占据着越来越重要的地位。在电子商务的整个环节中,数据处于最为核心的位置,处理好数据之间的关系,直接影响着电子商务商城的稳定性。本课题基于电子商务商城的建设过程,研究并实现了一系列数据处理的方法。首先,为了获取商城需要展示的数据,需要从多种途径获取数据源,合理的安排好数据处理任务之间的关系,可以保证数据的稳定性以及时效性,课题经过实践完成了一套完整的数据任务分发机制以及数据运行状态的监控体系,在上百种任务并行运行的情况下,可以保证服务器的正常运行以及数据任务处理的稳定,从而保证了数据的有效性。其次,在处理好数据获取任务的基础之上,需要针对海量的数据进行存储。海量数据的存储需要解决可扩展性的问题,即在不修改基础结构的前提下,快速的介入其他的商城的数据；同时需要处理好过期数据删除之后表空间利用的问题；最后存储系统需要容纳海量的数据,随着时间的延长,数据量急剧增加,数据存储系统需要具备海量的存储能力。基于以上问题,本课题通过两种存储方式的实践进行总结,完成了一套可扩展性的存储方案,在每天几十G数据进行更新的前提下,系统运行稳定并且拥有很好的普遍适用性。最后,在解决了数据的获取以及数据的存储之后,数据的检索系统直接影响着用户的体验,检索系统的优劣直接影响着用户的选择。检索系统需要解决检索数据的有效性、准确性以及检索的效率。本课题通过sphinx检索引擎的研究,结合数据库共同实现平台的检索系统,可以为用户提供关键字以及属性的筛选,在海量数据存储的前提下,可以实现毫秒级数据的精确检索。通过以上的数据获取、存储以及检索一系列的数据处理方案,构建了线上运行的产品：淘宝服务平台、dell在线销售计划以及百度网盟数据推广等项目。实践证明上述方法具有很强的可扩展性以及稳定性,较好地解决了海量数据的处理。

全文目录


摘要  4-6
ABSTRACT  6-14
第一章 绪论  14-18
  1.1 课题的来源与意义  14
  1.2 国内外研究现况综述  14-15
  1.3 课题主要研究内容  15
  1.4 本文的章节安排  15-16
  1.5 本章小结  16-18
第二章 平台数据获取系统的设计研究  18-32
  2.1 平台数据获取方案  18-20
    2.1.1 API数据获取  18-19
    2.1.2 网页wget方式获取  19-20
  2.2 Gearman任务管理系统应用  20-22
  2.3 Mongodb数据库的应用实现  22-23
  2.4 平台数据处理分布式任务的实现  23-26
    2.4.1 平台数据的任务概况  23
    2.4.2 平台分布式任务的实现  23-26
  2.5 平台数据监控系统的实现  26-29
    2.5.1 监控系统的实现  26-28
    2.5.2 独立任务的处理  28
    2.5.3 依赖任务的处理  28-29
    2.5.4 出错任务的处理  29
  2.6 本章小结  29-32
第三章 平台数据存储方案的研究  32-42
  3.1 数据存储简介  32-33
  3.2 数据库设计方式概要  33-35
    3.2.1 横向切分  34
    3.2.2 纵向切分  34-35
  3.3 系统数据存储的实现  35-39
    3.3.1 Hash函数的构造  35-36
    3.3.2 系统数据横向存储实现  36-37
    3.3.3 系统数据纵向存储实现  37-39
    3.3.4 系统数据存储总结  39
  3.4 本章小结  39-42
第四章 平台数据检索的方法以及实现  42-56
  4.1 数据检索方案概要  42-45
    4.1.1 数据库检索  42-43
    4.1.2 第三方检索引擎  43
    4.1.3 平台检索方案  43-45
  4.2 平台检索系统的实现  45-46
  4.3 平台数据查询方式实现  46-49
    4.3.1 关键字查询匹配  47-48
    4.3.2 按照属性筛选  48-49
  4.4 平台可扩展性的研究  49-50
    4.4.1 数据存储可扩展性  49-50
    4.4.2 检索系统的扩展性  50
  4.5 平台的实现以及结果  50-54
    4.5.1 系统相关部分介绍  51
    4.5.2 系统实现界面  51-53
    4.5.3 系统优缺点  53-54
  4.6 本章小结  54-56
第五章 实验结果分析  56-62
  5.1 系统检索效率分析  56-58
  5.2 系统稳定性分析  58-59
  5.3 本章小结  59-62
第六章 结束语  62-64
  6.1 本文的主要工作  62
  6.2 进一步的工作  62-64
参考文献  64-68
致谢  68-70
攻读学位期间发表的学术论文  70-72
作者和导师简介  72-73
硕士研究生学位论文答辩委员会决议书  73-74

相似论文

  1. 海量数据压缩、操作和处理方法的研究,TP311.13
  2. 互联网上旅游评论的情感分析及其有用性研究,TP391.1
  3. 基于BAP的数据压缩、操作与查询处理系统的实现,TP311.13
  4. 医疗信息集成平台中HL7消息解析和存储的设计与实现,TP311.52
  5. 服装网络营销顾客忠诚度的实证研究,F274
  6. 中等职业学校语文课业设计的思考与实践,G633.3
  7. 论《联合国国际货物销售合同公约》在适用范围上的新发展,D997.1
  8. B2C市场中价格和价格离散的实证研究,F724.6
  9. 基于Hadoop的在线购物原型系统的设计与实现,TP311.52
  10. 山东邮政电子商务发展战略研究,F616
  11. 几个电子现金支付方案的分析与改进,TP393.08
  12. 关于设立上海电子商务银行的可行性研究,F832.2
  13. 电子贸易全球化背景下的税收征管研究,F812.42
  14. 电子商务系统开发运用法律问题探讨,D923.6
  15. 在线相册冲印系统的设计与实现,TP311.52
  16. 龙城电子商城购物系统的设计与实现,TP311.52
  17. 基于Google平台促销模块与商品模块的设计与实现,TP311.52
  18. 支持精细化营销的B2C平台的设计与开发,TP311.52
  19. 基于WEB平台的家电类产品智能导购系统的研究,TP311.52
  20. 网络音像交易平台设计与实现,TP393.09
  21. 电子商务技术扩散水平影响因素实证研究,F224

中图分类: > 工业技术 > 自动化技术、计算机技术 > 自动化技术及设备 > 自动化系统 > 数据处理、数据处理系统
© 2012 www.xueweilunwen.com