blending和bagging都是 aggregation的方式。将许多不同的g组合成新的G.

 

首先引入几种aggregation的方式

selection的方法是从备选中挑出最好的模型，aggregation的方法则希望能够将多个weaker的模型融合一起变强。

 

适当的aggregation可能起到特征转化与正则的作用，得到更好的效果。

 

blending 混合

uniform blending在分类上，就是投票。

在多分类问题上，对预测的x，选取投票最多的类别

 

uniform blending在回归上，就是求均值。

aggretation的效果要好，一个很重要的前提是g_t之间要有差别 (diverse)，不能过于相似。

 

以下证明了在平方误差下，G的Eout要比g的Eout小。

 

然后给出了 expected performance of A 演算法的平均表现的概念

假设一个演算法T个在size为N的data上得到各个g_t，另T趋近无限大，得到g平均

将g平均代换掉G

左侧称为演算法表现的期望，右边第一项是 g_t与共识的差别，第二项是共识的表现。

uniform blending求平均其实就是减少variance的过程。

 

linear blending 

投票的权重不一样。alpha的求解同样是最小化Ein的过程。

左边的linear blending for regression的问题可以看做是 对特征的transform后再做LR的过程。

在二分类中alpha>0的条件可以忽略，因为对于不好的g，取反可能更好。

 

上面讲到的alpha的求解，是最小化Ein，其实也是增加了模型的vc维，所以最好使用minEval来求解alpha.

 

any blending（stacking）

在train set上得到的多个了 g-，将样本点表示为，相当于把训练出来的每个g-(x)看做特征，再丢到linear model(linear blending)或者其他model里面进行训练（数据集换成validation set)。

一个blending的例子。单模型-stacking

 

blending首先需要一堆g，这些g最好是diverse的。那一般是怎么得到的呢？

可以从不同模型中学到不同的g

可以对算法使用不同的参数学到不同的g

或者利用算法的随机性，比如PLA初始w不同最后的结果也不一样

或者资料具有随机性，比如cv后，每次的g-会不一样

下面介绍的bagging就是通过data的随机性来得到多个g的方法。

bagging ( bootstrap aggregation)

bootstrapping是一个re-sample的过程，在size N的样本中每次有放回地抽取 N’个样本，用这些样本去训练得到g。

重复这个过程T次，那么就能得到T个g的平均。

如果算法对数据敏感的时候，得到的g可能就会很不一样，那么aggregation的表现可能就会很好。