学位论文 > 优秀研究生学位论文题录展示
网络安全扫描器中网络爬虫的设计与实现
作 者: 申布琦
导 师: 谭运猛
学 校: 华中科技大学
专 业: 通信与信息系统
关键词: 网络安全 网络扫描 网络爬虫
分类号: TP393.08
类 型: 硕士论文
年 份: 2009年
下 载: 71次
引 用: 0次
阅 读: 论文下载
内容摘要
本文的研究目的在于设计和实现网络爬虫,该模块是Web应用程序漏洞评估工具的重要组成部分,设计和开发Web应用程序漏洞评估工具目的在于扫描网站、识别安全漏洞并且给出扫描评估报告。网络爬虫同样被称为搜寻器或机器人,是一种自动从网站上下载WEB页面的程序。设计网络爬虫的主要目的在于恢复WEB页面。爬虫的主要目标在于下载一系列重要的页面,刷新已下载的页面,发现新的页面和保证页面拥有一个合适的展现。网络爬虫同样被用在信息提取上,例如提取商业情报,一个公司可以利用网络爬虫从WEB网站上提取关于他们竞争对手的信息。网络爬虫的其他应用在于监测WEB页面和搜索引擎。爬虫使得通过WEB页面中的超链接自动提取网页中的信息来实现上述功应用变得可能。一般来说,爬虫开始都是从一个初始的页面中提取超链接,然后从这些超链接中得到更多的页面信息,直到页面数量达到一定的规模或者已经实现某些较高的目标。在这个简单的叙述下面有更多复杂的研究点,例如可以利用的资源就包括带宽使用、硬盘空间、网络连接、爬虫陷阱、URLs分类、HTML和动态页面内容的分析。WEB的动态特性给网络爬虫的实现带来了挑战,如果WEB页面是静态的,爬虫只需要做少量的工作,因为爬虫可以维持一个它已经获得的页面列表信息,但是爬虫必须处理页面更新和删除问题。
|
全文目录
摘要 4-5 ABSTRACT 5-8 LIST OF FIGURES 8-9 LIST OF TABLES 9-10 1 INTRODUCTION 10-13 1.1 BACKGROUND 10-11 1.2 MOTIVATION 11 1.3 PURPOSE 11 1.4 THESIS ORGANIZATION 11-12 1.5 CHAPTER SUMMARY 12-13 2 LITERATURE 13-17 2.1 SPIDERING OVERVIEW 13 2.2 SPIDERING METHODS 13-14 2.3 SPIDERING ALGORITHMS 14-15 2.4 SPIDERING POLICIES 15-16 2.5 CHAPTER SUMMARY 16-17 3 DESCRIPTION OF THE SPIDERING 17-23 3.1 WEB SCANNING 17 3.2 WAVA OVERVIEW 17-19 3.3 SPIDERING DESIGN CONSIDERATIONS 19-20 3.4 SPIDERING ARCHITECTURE 20-21 3.5 FLOW OF THE SPIDERING PROCESS 21-22 3.6 CHAPTER SUMMARY 22-23 4 SPIDERING 23-33 4.1 PROGRAMMING ENVIRONMENT AND DEPENDENCIES 23 4.2 PROGRAM MODULES 23-32 4.3 CHAPTER SUMMARY 32-33 5 EXPERIMENT 33-40 5.1 SPIDERING CONFIGURATION 33-34 5.2 SPIDER PROCESS 34-38 5.3 SPIDERING RESULTS 38-39 5.4 CHAPTER SUMMARY 39-40 6 CONCLUSION 40-42 6.1 SUMMARY OF WORK 40 6.2 FUTURE WORK 40-42 ACKNOWLEDGEMENTS 42-43 REFERENCES 43-46
|
相似论文
- 基于比对技术的非法网站探测系统的实现与研究,TP393.08
- 基于区域的无线传感器网络密钥管理方案研究,TP212.9
- 我国保险公司保险网络营销研究,F724.6
- 基于TCP/IP的无轴胶印机远程监控系统的设计,TP277
- 中国移动EPON网络的全业务接入方案及安全性研究,TN929.5
- 基于网络流隐蔽通信技术研究,TP393.08
- 城市供水网络安全评价技术与实践,TU991.33
- 多源日志安全信息的融合技术研究,TP393.08
- 基于J2EE技术的网上商城系统设计,TP311.52
- GPRS组网的技术研究,TN929.5
- 网络环境下异构日志信息获取和预处理研究,TP393.092
- 基于NetFlow的网络安全事件获取技术,TP393.08
- 面向NSSA的异构数据规范化处理与集成,TP393.08
- 基于LEACH的安全建簇无线传感器网络路由协议研究,TP212.9
- 基于功能节点的无线传感器网络多对密钥管理协议研究,TP212.9
- 部队通信单位的网络安全防护研究,TP393.08
- 基于量子遗传算法优化BP网络的入侵检测研究,TP393.08
- 数据融合技术在入侵检测系统中的应用研究,TP393.08
- TrojanUrlDetector:一种基于统计分析的木马URL检测系统,TP393.08
- 基于模式匹配的入侵检测系统研究,TP393.08
- 计算机网络信息安全及应对策略研究,TP393.08
中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 计算机网络 > 一般性问题 > 计算机网络安全
© 2012 www.xueweilunwen.com
|