求助关于bias和variance的计算

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我最近再看bias-variance 这个概念。看了下bioshop上公式，还是不是很理解。用这个链接上公式做例子吧。

链接:http://www.inf.ed.ac.uk/teaching ... e4/BiasVariance.pdf

假设有x={1,2,3},相对应的t={7,8,9} ，假设f(x)训练得到的结果是y={5,6,7}
那么MSE = [（7-5)的平方 + （8-6)的平方 + （9-7)的平方] /3  =4

之后，下一步 他要求E(MSE]求 期望值 ，然后开始一路推导，最后推导到给出bias 和variance 公式
E{(fi -yi)的平方} = E{(fi-E(yi)^2} + E{(E{yi) - yi)^2} = bias + variance

E(yi)的解法是 (5+6+7)/3= 6;
(fi-E(yi)^2  =>  (7-6)^2+(8-6)^2+(9-6)^2 =  1+4+9=14; 所以E(fi-E(yi)^2) = 14/3;
(E{yi) - yi)^2 => (6-5)^2+(6-6)^2+(7-6)^2 = 1+0+1=2；所以E(E(yi)-yi)^2) = 2/3;

你看这样解释解法对吗。 但是E(MSE)= 4/3 不等于14/3+2/3, 我这里expectation是不是用错方法了。求指教谢谢

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：variance varian ance NCE IAS

E{(fi-E(yi)^2}=[fi-E(yi)]^2=bias^2即外面的E可以去掉，因为fi是确定的,E(yi)也是确定的
yi是一个随机变量，它的期望不是你那么求，比如你举得例子5 6 7 ，拿5来说，我可能的取值是{5.2,5,4.8,5.4,4.6}等等，只是现在预测的是5，它的期望不是（5+6+7）/3，你的理解不对。
f是（统计模型）解析解，t是（test set）观测解，y是model预测解

文档中用的是E{yi}，指的可能不是yi的期望，而是每个yi的期望？

请问这个问题最后解决了吗？我也碰到了一样的疑惑

理论上MSE可以分解为三项：variance+squared bias+noise，理论推导中认为E(t)=f，即假设模型扰动项的期望为零，但是在数值模拟设定扰动项之后，生成的数据量不足够大时，E(t)不等于f，最后两项也不能互相抵消，所以不能得到MSE=VARIANCE+BIAS的结果。可以自己做个例子检验一下，很好算，如果假设扰动项均值为0的话noise算出来不是特别大