学位论文 > 优秀研究生学位论文题录展示
面向海量规则的产生式系统研究与实现
作 者: 史建伟
导 师: 董天阳; 熊丽荣
学 校: 浙江工业大学
专 业: 计算机软件与理论
关键词: 分布式规则匹配 MapReduce Rete算法 多重规则触发
分类号: TP182
类 型: 硕士论文
年 份: 2011年
下 载: 5次
引 用: 0次
阅 读: 论文下载
内容摘要
基于产生式规则发展而来的业务规则和产生式系统产品化的成果——规则引擎,正被越来越多的企业用来描述和维护业务知识、构建企业级系统。规则引擎技术能够实现企业级系统业务逻辑和业务规则的分离,从而将业务规则的频繁变更与信息系统解耦,增强了专家系统、企业级信息系统等应用系统的智能性、健壮性和适应性。随着所要解决的领域问题范围和复杂度的扩大,专家系统知识库和企业应用系统规则库中的知识规模急剧增长、结构日趋复杂,亟待具有更高效处理能力的产生式系统,即规则引擎来应对这种挑战。为了应对这种海量知识所对应海量规则的处理挑战,要求产生式系统能够提供更快速更精确的匹配和处理能力。采用分布式计算、并行计算的思想来构建更有效的产生式系统架构,并结合更高效的算法来加快模式匹配,是实现对海量规则高效处理的一种必然趋势。本文通过对现有产生式系统中海量规则处理方法的研究分析,提出了基于MapReduce编程模型和改进Rete算法的海量规则分布式匹配方法,实现了基于干扰分析的多重规则触发方法,并开发了面向海量规则的产生式系统原型。本文的主要工作包括以下几个方面的内容:1.提出了Alpha网络二重哈希过滤方法,并结合Beta节点索引技术来改进Rete算法,以加快集群环境中每个计算节点的模式匹配过程。该方法将FactType节点引入Rete网络,在Root节点构建“事实类型-FactType节点”的映射,在FactType节点建立“属性约束-Alpha节点”的映射,利用这样的二重哈希过滤机制来加快事实集在Alpha网络中的过滤。同时,还在Beta节点的输入内存中以加入的事实对象为参数计算得到的索引来建立哈希表,以避免Beta节点连接操作中不必要的迭代。2.提出了基于MapReduce的分布式规则匹配方法,以应对海量规则的匹配需求。本文在分析产生式规则的结构和面向集群的规则分解原则基础上,基于规则条件部分的模式元素将规则分解为子规则;在考虑Worker机负载的情况下,将子规则集分配给集群中的Worker机,并采用改进的Rete算法来构建Map Worker的Rete网络;将工作内存的改变封装为Token,并基于规则分解信息将这些Token集进行有效分发;然后在Map过程中进行Token集与子规则集的匹配,并在Reduce过程中归并和汇总子规则的匹配情况。3.提出了基于干扰分析的多重规则触发方法,以解决传统冲突解决策略所造成产生式推理归结阶段的性能瓶颈。针对这种多重规则触发方法引发的工作内存不一致问题,本文首先在详细分析规则间依赖关系的基础上,给出了规则间干扰关系的形式化定义;接着基于访问请求控制的方法,通过访问请求入列和兼容规则触发的过程,选择出更大容量的兼容规则集。在保证并行规则集能够串行化的基础上,该方法提升了产生式系统归结阶段并行性。4.在上述关键技术研究的基础上,构建了面向海量规则的产生式系统总体架构,并开发了相应的原型系统。本文还对该系统进行性能测试实验,实验结果表明并行匹配和多重触发的方法能够提高产生式系统的规则处理能力,能够在一定程度上应对海量规则的处理需求。
|
全文目录
摘要 5-7 ABSTRACT 7-11 第1章 绪论 11-19 1.1 选题背景 11-12 1.2 论文研究意义 12 1.3 国内外研究现状 12-15 1.4 本文主要研究内容 15-17 1.5 论文组织结构 17-19 第2章 产生式系统与Rete算法概述 19-30 2.1 产生式系统概述 19-25 2.1.1 产生式系统的应用背景 19-20 2.1.2 产生式系统的优点 20 2.1.3 产生式系统的知识表示 20-23 2.1.4 产生式系统的架构 23-24 2.1.5 产生式系统的冲突解决策略 24-25 2.2 Rete模式匹配算法概述 25-30 2.2.1 Rete算法的思路 25-27 2.2.2 Rete算法的匹配网络 27-30 第3章 Rete模式匹配算法改进研究 30-40 3.1 Rete算法改进研究现状 30-31 3.2 本文对Rete算法的改进 31-35 3.2.1 Alpha网络二重哈希过滤机制 31-33 3.2.2 Beta节点索引技术 33-35 3.3 改进Rete算法的应用 35-40 第4章 基于MapReduce的分布式规则匹配研究 40-52 4.1 分布式产生式系统研究现状 40-43 4.1.1 基于专用机的分布式架构 40-41 4.1.2 基于集群的分布式架构 41-43 4.2 规则的预处理和分配 43-47 4.2.1 规则的分解 43-45 4.2.2 规则的分配 45-47 4.3 Token的预处理和分配 47-49 4.4 Map任务 49-50 4.5 Reduce任务 50-52 第5章 基于干扰分析的多重规则触发与执行 52-67 5.1 规则间干扰关系概述 52-55 5.2 多重规则触发研究现状 55-56 5.3 基于访问请求控制的多重规则触发算法 56-63 5.3.1 算法基本思路 56-58 5.3.2 相关数据结构 58-59 5.3.3 算法请求阶段 59-60 5.3.4 算法触发阶段 60-62 5.3.5 串行化验证 62-63 5.4 多重规则触发方法的并行性比较 63-66 5.5 多重规则的执行 66-67 第6章 分布式产生式系统实现及其性能测试 67-91 6.1 系统总体架构 67-71 6.1.1 分布式产生式系统架构 67-69 6.1.2 分布式产生式系统应用环境 69-70 6.1.3 面向海量规则的产生式系统架构 70-71 6.2 分布式产生式系统的实现 71-84 6.2.1 Master机实现 71-75 6.2.2 Worker机实现 75-76 6.2.3 系统I/O实现 76-78 6.2.4 规则编译模块实现 78-82 6.2.5 规则执行模块实现 82-84 6.3 产生式系统辅助使用工具的实现 84-87 6.3.1 规则管理工具的实现 84-85 6.3.2 规则管理工具的实现 85-87 6.4 性能测试及分析 87-91 6.4.1 给定事实数量的测试 87-89 6.4.2 给定规则数量的测试 89-91 第7章 总结与展望 91-93 7.1 本文研究总结 91-92 7.2 未来工作展望 92-93 参考文献 93-96 附录 96-97 致谢 97-98 攻读学位期间参加的科研项目和成果 98
|
相似论文
- 基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
- 高速网络环境下的入侵检测系统的研究,TP393.08
- 基于Hadoop的文本分类研究,TP391.1
- 基于Hadoop的分布式服务注册中心研究和实现,TP393.09
- 基于多核CPU的任务级数据处理研究及其在集群平台下的性能测试,TP274
- 数据中心Hadoop部署与追踪系统研究,TP308
- 云环境下MapReduce容错技术的研究,TP302.8
- 一个可扩展的MapReduce原型设计与实现,TP311.52
- 基于MapReduce的分布式文本数据过滤技术研究与系统实现,TP391.1
- 基于段落指纹的大规模近似网页检测算法研究,TP393.092
- MapReduce FairScheduler的高性能优化及超大规模集群模拟器设计及实现,TP311.13
- 基于列存储的RFID数据的管理技术的研究与应用,TP315
- 高性能计算体系结构下的海量数据处理分析与优化,TP338
- 分布式系统中的信息流控制模型的研究,TP316.4
- 数据密集型计算系统中的作业调度技术研究,TP311.13
- 基于IaaS云计算的Web应用技术研究,TP393.09
- 云计算中MapReduce性能优化及应用,TP3
- 基于MapReduce的聚类算法的并行化研究,TP311.13
- 落料加工入库管理系统规则引擎的研究与实现,TP311.52
- MapReduce集群多用户作业调度方法的研究与实现,TP311.13
- 基于时空折衷算法的Word文档破解研究,TP391.12
中图分类: > 工业技术 > 自动化技术、计算机技术 > 自动化基础理论 > 人工智能理论 > 专家系统、知识工程
© 2012 www.xueweilunwen.com
|