首页 > 程序开发 > 综合编程 > 其他综合 >

相关向量机RVM

2017-03-23

相关向量机RVM:1 SVM 基于结构风险最小化原则构建学习机,RVM基于贝叶斯框架构建学习机。

相关向量机RVM:1. SVM 基于结构风险最小化原则构建学习机,RVM基于贝叶斯框架构建学习机。

2. 与SVM相比,RVM不仅获得二值输出,而且获得概率输出

3. 在核函数的选择上,不受梅西定理的限制,可以构建任意的核函数

4. 不需对惩罚因子做出设置。在SVM中惩罚因子是平衡经验风险和置信区间的一个常数,实验结果对该数据十分敏感,设置不当会引起过学习等问题。但是在RVM中参数自动赋值

5. 与SVM相比,RVM更稀疏,从而测试时间更短,更适用于在线检测。众所周知,SVM的支持向量的个数随着训练样本的增大成线性增长,当训练样本很大的时候,显然是不合适的。虽然RVM的相关向量也随着训练样本的增加而增加,但是增长速度相对SVM却慢了很多。

6. 学习机有一个很重要的能力是泛化能力,也就是对于没有训练过的样本的测试能力。文章表明,RVM的泛化能力好于SVM。

7. 无论是在回归问题上还是分类问题上,RVM的准确率都不亚于SVM。

8. 但是RVM训练时间长

二、RVM原理步骤

RVM通过最大化后验概率(MAP)求解相关向量的权重。对于给定的训练样本集{tn,xn},类似于SVM , RVM 的模型输出定义为

y(x;w)=∑Ni=1wiK(X,Xi)+w0

其中wi为权重, K(X,Xi)为核函。因此对于, tn=y(xn,w)+εn,假设噪声εn 服从均值为0 , 方差为σ2 的高斯分布,则p ( tn | ω,σ2 ) = N ( y ( xi ,ωi ) ,σ2 ) ,设tn 独立同分布,则整个训练样本的似然函数可以表示出来。

对w 与σ2的求解如果直接使用最大似然法,结果通常使w 中的元素大部分都不是0,从而导致过学习。在RVM 中我们想要避免这个现像,因此我们为w 加上先决条件:它们的机率分布是落在0 周围的正态分布: p(wi|αi) = N(wi|0, α?1i ),于是对w的求解转化为对α的求解,当α趋于无穷大的时候,w趋于0.

相关文章
最新文章
热点推荐