求助：关于惩罚最小二乘法

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

请教各位大侠：什么是惩罚最小二乘法？和我们常用的普通最小二乘，或者广义最小二乘等有什么区别？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：最小二乘法 最小二乘 广义最小二乘 各位大侠 求助 最小二乘法

新名词 第一次听说过惩罚性最小二乘 请楼主给出出处 我们也好学习啊

ttyang_xiamen 发表于 2010-3-27 14:21
请教各位大侠：什么是惩罚最小二乘法？和我们常用的普通最小二乘，或者广义最小二乘等有什么区别？

They differ in the definition of objective functions. OLS minimizes the sum of error squares. The penalized least square minimizes the sum of error squares + other penalized factors. One good example is the ridge regression.

bobguy 发表于 2010-3-28 09:49

ttyang_xiamen 发表于 2010-3-27 14:21
请教各位大侠：什么是惩罚最小二乘法？和我们常用的普通最小二乘，或者广义最小二乘等有什么区别？

They differ in the definition of objective functions. OLS minimizes the sum of error squares. The penalized least square minimizes the sum of error squares + other penalized factors. One good example is the ridge regression.

这个惩罚因子是确定的吗？还是根据具体问题而定？

ttyang_xiamen 发表于 2010-3-28 16:23

bobguy 发表于 2010-3-28 09:49

ttyang_xiamen 发表于 2010-3-27 14:21
请教各位大侠：什么是惩罚最小二乘法？和我们常用的普通最小二乘，或者广义最小二乘等有什么区别？

They differ in the definition of objective functions. OLS minimizes the sum of error squares. The penalized least square minimizes the sum of error squares + other penalized factors. One good example is the ridge regression.

这个惩罚因子是确定的吗？还是根据具体问题而定？

It may have different forms that is motivated by different focused perspectives.

应该是加一个任意的常数 当然大于零 然后再求 个人理解

bobguy 发表于 2010-3-28 20:59
They differ in the definition of objective functions. OLS minimizes the sum of error squares. The penalized least square minimizes the sum of error squares + other penalized factors. One good example is the ridge regression.

It may have different forms that is motivated by different focused perspectives.

看上去是一种 Lagrangian 形式的目标函数。即当一个最小二乘表达的误差函数 leastSquare 还要满足一些绝对值为零的约束条件时，g(i) -> 0, 则目标函数可以表达为，
   R = leastSquare + sum(lambda(i)*g(i)))

关于惩罚函数中的参数,可用一些预先选定的准则来确定.一般情况下,是用格子点的方法来做.

嗯。大概了解了，谢谢各位！

学习了