我最近再看bias-variance 这个概念。看了下bioshop上公式,还是不是很理解。用这个链接上公式做例子吧。
链接:http://www.inf.ed.ac.uk/teaching ... e4/BiasVariance.pdf
假设有x={1,2,3},相对应的t={7,8,9} ,假设f(x)训练得到的结果是y={5,6,7}
那么MSE = [(7-5)的平方 + (8-6)的平方 + (9-7)的平方] /3 =4
之后,下一步 他要求E(MSE]求 期望值 ,然后开始一路推导,最后推导到给出bias 和variance 公式
E{(fi -yi)的平方} = E{(fi-E(yi)^2} + E{(E{yi) - yi)^2} = bias + variance
E(yi)的解法是 (5+6+7)/3= 6;
(fi-E(yi)^2 => (7-6)^2+(8-6)^2+(9-6)^2 = 1+4+9=14; 所以E(fi-E(yi)^2) = 14/3;
(E{yi) - yi)^2 => (6-5)^2+(6-6)^2+(7-6)^2 = 1+0+1=2;所以E(E(yi)-yi)^2) = 2/3;
你看这样解释解法对吗。 但是E(MSE)= 4/3 不等于14/3+2/3, 我这里expectation是不是用错方法了。求指教谢谢