学位论文 > 优秀研究生学位论文题录展示

HTTP缓存系统设计与实现

作　者: 张全明
导　师: 张新有
学　校: 西南交通大学
专　业: 计算机应用技术
关键词: 缓存会话劫持访问延时重定向镜像监听
分类号: TP333
类　型: 硕士论文
年　份: 2013年
下　载: 34次
引　用: 0次
阅　读: 论文下载

内容摘要

随着上网用户数量剧增,互联网应用种类的不断增加,大量的数据流量吞噬了网络带宽,导致网络拥堵现象增多、数据传输速度下降。为此,网络缓存技术已经成为众多网络应用研究的热门领域。本文对现有的主流缓存技术进行分类与分析,发现如Squid、Apache等著名的WWW缓存代理服务器运行时,对于缓存未命中的用户请求,系统的拦截转发式监听过程都会额外的增加用户访问延时。针对这一问题,本文提出基于旁路镜像式监听的缓存技术。该技术采用旁路端口镜像方式监听用户Internet通信流量,根据用户访问的倾向,将频繁访问的Web资源本地缓存。当缓存系统监听到用户请求Web资源且请求资源已缓存时,系统采用会话劫持技术引导用户去内网缓存服务器获取所需资源,因此用户无需再与远程Web服务器进行连接。所以基于旁路镜像式监听的缓存技术不仅达到了减少网络出口流量、节省带宽资费、加快用户访问速度和传输速度的效果,同时解决了拦截转发式缓存技术影响用户访问延时的问题。本文在Windows平台下设计实现了旁路镜像式HTTP缓存系统。系统应用WinPcap工具捕获镜像流量中的原始数据包,经过网络协议解析和过滤,获取用户资源请求信息,实现镜像监听功能；对于用户频繁访问的Web资源,系统应用套接字网络编程实现将其从外网下载且磁盘缓存；系统通过IIS建立内部网HTTP服务器,实现对磁盘缓存资源的发布和管理；引导用户获取缓存资源过程是通过封装含有缓存所在地址的响应包,冒充Web服务器欺骗用户内网获取资源来实现的；系统应用Microsoft SQL server实现日志显示内网用户资源请求状况。与此同时,为了提高系统查找磁盘缓存的效率,本文实现了用来存储和组织用户请求资源信息的哈希表结构,采用哈希查询算法来缩短系统处理延时,并且系统采用缓存资源替换和过期检测方法提高缓存系统的命中率和资源一致性。最后本文对HTTP缓存系统的功能和性能进行测试,结果表明了本文设计的旁路镜像式缓存系统达到了镜像监听用户访问Internet通信数据、对用户请求劫持重定向、内网缓存加速、减少用户访问延时、SQL server数据库记录显示内网用户资源请求状况的目的。从而验证了基于旁路镜像式监听的HTTP缓存系统的实用性和可行性。

全文目录

摘要  6-7
ABSTRACT  7-12
第1章绪论  12-18
  1.1 选题背景  12-13
  1.2 国内外研究现状  13-14
  1.3 研究目的和意义  14-15
  1.4 本文研究内容  15-16
  1.5 论文章节安排  16-18
第2章 HTTP缓存技术介绍  18-27
  2.1 WWW访问与缓存服务器工作过程  18-19
    2.1.1 WWW传统访问  18
    2.1.2 WWW缓存服务器工作过程  18-19
  2.2 性能指标  19-21
    2.2.1 命中率  19-20
    2.2.2 访问延时  20
    2.2.3 空间利用率  20-21
  2.3 缓存服务器分类  21-27
    2.3.1 主动缓存与被动缓存  21
    2.3.2 正向加速与反向加速  21-23
    2.3.3 传统代理缓存与透明代理缓存  23-25
    2.3.4 一种新的缓存加速技术  25-27
第3章旁路镜像式缓存关键技术研究  27-41
  3.1 数据包捕获技术原理  27-28
  3.2 协议分析技术原理  28-32
    3.2.1 以太网数据帧的封装  28-29
    3.2.2 以太网数据帧的解包  29-30
    3.2.3 协议分析处理模型  30
    3.2.4 HTTP层协议分析  30-32
  3.3 HTTP会话重定向原理  32-37
    3.3.1 HTTP会话劫持  33-34
    3.3.2 响应报文的构造分析  34-36
    3.3.3 RST欺骗和FIN欺骗  36
    3.3.4 RST报文构造分析  36-37
  3.4 数据库访问技术  37-38
  3.5 基于套接字的网络编程  38-40
  3.6 IIS网络信息服务技术  40-41
第4章系统需求分析与概要设计  41-48
  4.1 系统需求分析  41-42
    4.1.1 HTTP访问加速需求  41
    4.1.2 服务器负载均衡需求  41
    4.1.3 用户控制管理需求  41-42
    4.1.4 网络安全需求  42
  4.2 系统基本功能  42-43
    4.2.1 网络缓存加速  42
    4.2.2 旁路镜像式监听  42-43
    4.2.3 用户权限管理与网络安全控制  43
    4.2.4 用户访问活动日志  43
  4.3 系统概要设计  43-48
    4.3.1 网络监听模块  44
    4.3.2 系统调度模块  44-45
    4.3.3 重定向处理模块  45-46
    4.3.4 缓存管理模块  46
    4.3.5 数据库日志模块  46-48
第5章系统的详细设计与实现  48-66
  5.1 系统运行与开发环境  48
  5.2 网络监听模块的设计  48-51
    5.2.1 请求信息数据结构  48-49
    5.2.2 数据包捕获分析实现  49-51
  5.3 系统调度模块的设计  51-57
    5.3.1 缓存资源信息结构  51-52
    5.3.2 哈希表组织结构实现  52-54
    5.3.3 资源替换算法的实现  54-56
    5.3.4 过期检测机制实现  56-57
  5.4 重定向处理模块设计  57-60
  5.5 缓存管理模块的设计  60-62
    5.5.1 资源缓存实现  60-61
    5.5.2 响应信息数据结构  61-62
  5.6 数据库日志模块的设计  62-63
  5.7 系统资源缓存加速过程  63-66
第6章系统测试及性能分析  66-73
  6.1 系统测试环境  66
  6.2 重定向与缓存加速测试  66-71
  6.3 Web资源的延时测试  71
  6.4 镜像监听和SQL数据库日志测试  71-73
总结与展望  73-74
致谢  74-75
参考文献  75-78
攻读硕士学位期间发表的论文  78

相似论文

CMOS星敏感器图像采集系统研究,V448.2
可靠组播协议及其缓存管理研究,TP393.04
基于实际用户行为分析的缓存研究,TP301.6
地理空间数据组织及调度的研究与实现,P208
全景摄像机硬件系统设计与开发,TN948.41
传感器网络中目标跟踪算法研究,TN929.5
基于H.264的移动视频监控系统的设计与实现,TN919.81
一种提高固态硬盘随机写性能的cache策略,TP333
瓦记录磁盘驱动器的数据组织技术研究及其实现,TP333.35
三维人体运动重定向技术研究,TP391.41
面向飞行活动模式的实时大规模地形数据调度服务算法研究,TP391.41
高密度无线环境下基于瘦AP架构的接入认证技术研究,TN925.93
MIMO-OFDM系统发射机关键技术研究与实现,TN830
三维GIS中基于ACE的多级缓存的研究与实现,P208
面向异构骨架的动画角色运动融合研究,TP391.41
基于DM642的嵌入式林区火焰监控系统研究,TP277
基于JMS与Web Service的分布式异构数据库同步的研究,TP311.13
基于OPENGL的场景动态效果模拟的研究与实现,TP391.41
川西重复压裂气井应力场研究,TE357
动态Web信息监测相关技术研究,TP393.09
分组交换网仿真技术与算法研究,TN915.09