学位论文 > 优秀研究生学位论文题录展示

贝叶斯非参数统计中的先验的估计

作　者: 杨磊
导　师: 吴贤毅
学　校: 华东师范大学
专　业: 概率论与数理统计
关键词: 非参数贝叶斯统计 Dirichlet过程先验 Polya tree先验 tail-free先验多元tail-free先验多元Polya tree先验经验贝叶斯单调缺失数据条件密度估计极大似然估计矩估计可识别性可数无穷混合良序集一致收敛
分类号: O212.8
类　型: 博士论文
年　份: 2014年
下　载: 92次
引　用: 0次
阅　读: 论文下载

内容摘要

贝叶斯非参数统计是一个新兴的但发展迅速的统计研究领域,不但其理论成果非常丰富,其实际应用范围也十分广泛。然而,贝叶斯非参数统计的传统研究着眼于一种纯贝叶斯的多层先验结构,其中需要事先确定先验分布。一旦不能事先容易地确定先验,特别是因为贝叶斯非参数统计通常要求一个复杂的过程先验,那么这一多层先验结构将会受到挑战和质疑。传统的贝叶斯非参数统计分析的这一缺陷促使我们采用一种更加灵活,更加稳健的统计框架—经验贝叶斯分析—来实施统计推断和统计建模。这是因为在进行经验贝叶斯分析时,人们通常基于观测数据来估计先验参数,而不是事先主观地给定。另外,众所周知,如果可识别性不成立,那么基于观测值来估计参数将会变得毫无意义,而且,可识别性也是证明参数估计或者后验分布的渐近收敛性质的前提条件之一。许多统计学家试图找出可识别性成立的条件,但据我们所知,确实存在许多关于有限混合可识别性的理论成果；但可数无穷混合的可识别性仍然很少被研究到,因此也是一个开放的问题。例如,Ferguson(1983)指出Dirichlet过程先验的混合模型,作为一个可数无穷混合的特例,其可识别性尚未解决。为了解决贝叶斯非参数统计中这些问题和挑战,基于经验贝叶斯的框架和几种不同的数据结构：一元数据,多元数据和单调缺失数据,我们尝试分别对几类过程先验中的参数进行估计。另外,对可数无穷混合的可识别性问题,我们试图提出某些更加方便验证的充分条件。本博士论文的主要内容如下所述。首先,在第一章中,我们对贝叶斯非参数统计进行一个全面的回顾,包括：人们为什么使用贝叶斯非参数统计,其简要的历史发展,其丰富的理论成果和实际应用。我们以回顾一系列文献的方式,阐述了贝叶斯非参数统计中的计算问题、未来的研究方向和可能面临的挑战。在此之后,我们引入了人们所熟知的经验贝叶斯假定和几种数据结构。这些数据结构非常普遍且颇具代表性,因而能够表达对多种实际数据进行统计建模的设想。在第二章,通过引入分布集上的良序和序列的一致收敛,我们提出了一个可数无穷混合可识别性成立的充分条件,并且相信此充分条件比Tallis(1969)所提出的无穷维矩阵条件更加容易验证。然后我们运用此充分条件去重新验证了已知可识别性成立的几个例子,进而考查了几个新分布族的可数无穷混合的可识别性,其中包括：正态分布,伽玛分布,柯西分布,非中心卡方分布和广义逻辑斯蒂分布。第三章涉及单调缺失数据机制下Dirichlet过程先验中的先验参数估计问题。我们试图基于经验贝叶斯框架下的部分观测数据,来估计DP(α,α)中的未知精度参数α和未知概率测度a。我们发现,在Dirichlet过程先验的假定下,数据的缺失不影响精度参数α的估计,因其可以通过极大化某个似然函数来有效地估计。然而,对假定密度函数存在的概率测度a而言,我们必须借助于处理缺失数据的非参数密度估计方法来对其进行估计。精度参数α的估计的强相合性和渐近正态性在非常一般的条件下得到了证明,同时我们也证明了a的密度估计的L1收敛性。另外基于二维单调缺失数据,通过最小化渐近积分均方误差,我们提出了此密度估计的最优窗宽选取方法,并且发现此密度估计优于单调缺失数据下其他已有的方法。第四章涉及一元数据下Polya tree先验中的先验参数估计问题,也就是说,在事先确定好分划(?)的情况下,我们试图基于数据来估计PT(π,(?))中参数集合(?)中的参数。首先,我们回顾了Polya tree先验的基本模型和理论性质,然后定义了几类Polya tree先验,并给出了使得它们取绝对连续分布集作为支撑的充分条件。之后,我们提出了Polya tree先验中的先验参数的两种估计：矩估计和极大似然估计,并讨论了相应的理论性质,其中包括该模型与beta-binomial分布之间的联系。最后,我们提供了各种估计的数值模拟来验证各自的理论表现。在第五章中,基于经验贝叶斯框架下的多元观测数据,我们进行了多元Polya tree先验的参数估计。这一节可以视为上述一元Polya tree先验的参数估计问题的一个多元推广,而且此处的经验贝叶斯分析确实类似于一元情形下的相应的分析。首先我们给出多元Polya tree先验的定义和理论性质,然后提出相应的数据结构和模型假设。接下来,我们给出多元Polya tree先验中的先验参数的矩估计和极大似然估计,并讨论了该模型与Dirichlet-multinomial分布之间的联系。最后,我们进行了数值模拟,并通过相应的图表来说明我们所提出的经验贝叶斯估计的理论性质。

全文目录

摘要  6-8
Abstract  8-17
1 Introduction  17-35
  1.1 Bayesian Nonparametrics  17-29
    1.1.1 Why Bayesian nonparametrics  18-19
    1.1.2 A brief history of Bayesian nonparametrics and related theory fruits  19-24
    1.1.3 Computation issues  24-25
    1.1.4 Application directions  25-28
    1.1.5 Further research topics and challenges  28-29
  1.2 Model Assumption and Empirical Bayes Method  29-32
  1.3 Our Main Contributions and Conclusions  32-35
2 A New Sufficient Condition for Identifiability of Countably Infinite Mix-tures  35-47
  2.1 Introduction  35-36
  2.2 Definitions and Notations  36-37
  2.3 Sufficient Condition for Identifiability  37-39
  2.4 Applications  39-42
  2.5 Conclusion  42
  Appendix  42-47
3 Estimation of Dirichlet Process Priors with Monotone Missing Data  47-73
  3.1 Introduction  47-49
  3.2 Model  49-51
  3.3 Estimation of Precision Parameter α  51-53
  3.4 Estimation of Probability Measure α  53-60
    3.4.1 Conditional kernel density estimation  55-56
    3.4.2 Asymptotic properties  56-59
    3.4.3 Performance of the estimate  59-60
  3.5 Simulation  60-62
  3.6 Conclusion  62-65
  Appendix  65-73
4 On Parameter Estimation of Polya Tree Priors with Multigroup Data  73-99
  4.1 Introduction  73-74
  4.2 Polya Tree Priors and Data Structure  74-83
    4.2.1 Tail-Free and Polya tree priors revisited  75-80
    4.2.2 Data structure  80-83
  4.3 Empirical Estimation of Polya Tree Priors  83-89
    4.3.1 Maximum likelihood estimation  84-85
    4.3.2 Estimability  85-87
    4.3.3 Moment estimation  87-89
  4.4 Simulations  89-93
    4.4.1 An example of general Polya tree prior  90-91
    4.4.2 An example of canonical Polya tree prior  91-93
  4.5 Discussion  93-95
  Appendix  95-99
5 On Parameter Estimation of Multivariate Polya Tree Priors with Mult-group Data  99-121
  5.1 Introduction  99-100
  5.2 Multivariate Polya Tree Prior and Model Assumption  100-106
    5.2.1 Multivariate Polya tree priors  100-104
    5.2.2 Data structure  104-106
  5.3 Empirical Estimation of Multivariate Polya Tree Priors  106-112
    5.3.1 Maximum likelihood estimate of multivariate Polya tree prior  107-109
    5.3.2 Relationships with Dirichlet-multinomial distribution  109-110
    5.3.3 Moment estimation  110-112
  5.4 Simulations  112-114
  5.5 Discussion  114-116
  Appendix  116-121
Bibliography  121-139
List of Papers  139-141
Acknowledgement  141-143

贝叶斯非参数统计中的先验的估计

内容摘要

全文目录

相似论文