〖素质笔记〗三大非参数估计方法——核估计（R实现）

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

昨天跟着fantuanxiaot师兄—— [原创]基于R语言的核回归(Kernal Regression)与最近邻回归(NNBR) 的帖子学习了以下，觉得核回归的方式比较原来的必须服从某些假定的回归方法好很多，在网上找了找相关的内容，把找到的内容，分享给坛友~

   用于函数估计的非参数方法大致上有三种：核方法、局部多项式方法、样条方法。非参的函数估计的优点在于稳健，对模型没有什么特定的假设，只是认为函数光滑，避免了模型选择带来的风险；但是，表达式复杂，难以解释，计算量大是非参的一个很大的毛病。所以说使用非参有风险，选择需谨慎。


[size=17.3333339691162px]    核方法常见的有Nadaraya-Watson核估计与Gasser-Muller核估计方法。


    核密度估计的原理其实是很简单的。在我们对某一事物的概率分布的情况下。如果某一个数在观察中出现了，我们可以认为这个数的概率密度很大，和这个数比较近的数的概率密度也会比较大，而那些离这个数远的数的概率密度会比较小。


    基于这种想法，针对观察中的第一个数，我们都可以f(x-xi)去拟合我们想象中的那个远小近大概率密度。当然其实也可以用其他对称的函数。针对每一个观察中出现的数拟合出多个概率密度分布函数之后，取平均。如果某些数是比较重要，某些数反之，则可以取加权平均。

    NW核估计形式为：

    GM核估计形式为：

1. #  定义x.y.bw（窗宽）
   
2. x <- seq(-1, 1, length = 40)
   
3. y <- 5 * x * cos(5 * pi * x)
   
4. h <- 0.055

复制代码

1. #  核估计法一：NW method核估计
   
2. fx.hat <- function(z, h) {
   
3.     dnorm((z - x)/h)/h
   
4. }
   
5. NWSMOOTH <- function(h, y, x) {
   
6.     n <- length(y)
   
7.     s.hat <- rep(0, n)
   
8.     for (i in 1:n) {
   
9.         a <- fx.hat(x[i], h)
   
10.         s.hat[i] <- sum(y * a/sum(a))
    
11.     }
    
12.     return(s.hat)
    
13. }
    
14. 
    
15. NWsmooth.val <- NWSMOOTH(h, y, x)
    
16. 
    
17. plot(x, y, xlab = "Predictor", ylab = "Response", col = 1)
    
18. f <- function(x) 5 * x * cos(5 * pi * x)
    
19. curve(f, -1, 1, ylim = c(-15.5, 15.5), lty = 1, add = T, col = 1)
    
20. lines(x, NWsmooth.val, lty = 2, col = 2)
    
21. A <- data.frame(x = seq(-1, 1, length = 1000))
    
22. model.linear <- lm(y ~ poly(x, 9))
    
23. lines(seq(-1, 1, length = 1000), predict(model.linear, A), lty = 3, col = 3)
    
24. letters <- c("NW method", "orignal model", "9 order poly-reg")
    
25. legend("bottomright", legend = letters, lty = c(2, 1, 3), col = c(2, 1, 3),
    
26.     cex = 0.5)

复制代码

1. #  核估计法二：GMSMOOTH估计
   
2. GMSMOOTH <- function(y, x, h) {
   
3. n <- length(y)
   
4. s <- c(-Inf, 0.5 * (x[-n] + x[-1]), Inf)
   
5. s.hat <- rep(0, n)
   
6. 
   
7. for (i in 1:n) {
   
8. fx.hat <- function(z, h, x) {
   
9. dnorm((x - z)/h)/h
   
10. }
    
11. a<- y * integrate(fx.hat, s, s[i + 1], h =
    
12. h, x = x)$value
    
13. s.hat <- sum(a)
    
14. 
    
15. }return(s.hat)
    
16. }
    
17. 
    
18. GMsmooth.val <- GMSMOOTH(y, x, h)
    
19. plot(x, y, xlab = "Predictor", ylab = "Response", col =1)
    
20. 
    
21. f <- function(x) 5 * x * cos(5 * pi * x)
    
22. curve(f, -1, 1, ylim = c(-15.5, 15.5), lty = 1, add = T,col = 1)
    
23. lines(x, GMsmooth.val, lty = 2, col = 2)
    
24. A <- data.frame(x = seq(-1, 1, length = 1000))
    
25. model.linear <- lm(y ~ poly(x, 9))
    
26. lines(seq(-1, 1, length = 1000), predict(model.linear,A), lty = 3, col = 3)
    
27. letters <- c("GM method", "orignal model", "9 order polyreg")
    
28. legend("bottomright", legend = letters, lty = c(2, 1, 3),col = c(2, 1, 3),cex = 0.5)

复制代码

本帖隐藏的内容

1. #  两估计方法对比
   
2. fx.hat <- function(z, h) {
   
3.   dnorm((z - x)/h)/h
   
4. }
   
5. NWSMOOTH <- function(h, y, x) {
   
6.   n <- length(y)
   
7.   s.hat <- rep(0, n)
   
8.   for (i in 1:n) {
   
9.     a <- fx.hat(x, h)
   
10.     s.hat <- sum(y * a/sum(a))
    
11.   }
    
12.   return(s.hat)
    
13. }
    
14. 
    
15. NWsmooth.val <- NWSMOOTH(h, y, x)
    
16. 
    
17. GMSMOOTH <- function(y, x, h) {
    
18.   n <- length(y)
    
19.   s <- c(-Inf, 0.5 * (x[-n] + x[-1]), Inf)
    
20.   s.hat <- rep(0, n)
    
21.   for (i in 1:n) {
    
22.     fx.hat <- function(z, h, x) {
    
23.       dnorm((x - z)/h)/h
    
24.     }
    
25.     a <- y * integrate(fx.hat, s, s[i + 1], h = h, x = x)$value
    
26.     s.hat <- sum(a)
    
27.   }
    
28.   return(s.hat)
    
29. }
    
30. 
    
31. GMsmooth.val <- GMSMOOTH(y, x, h)
    
32. 
    
33. plot(x, y, xlab = "Predictor", ylab = "Response", col = 1)
    
34. f <- function(x) 5 * x * cos(5 * pi * x)
    
35. curve(f, -1, 1, ylim = c(-15.5, 15.5), lty = 1, add = T, col = 1)
    
36. lines(x, NWsmooth.val, lty = 2, col = 2)
    
37. lines(x, GMsmooth.val, lty = 3, col = 3)
    
38. letters <- c("orignal model", "NW method", "GM method")
    
39. legend("bottomright", legend = letters, lty = 1:3, col = 1:3, cex = 0.5)

复制代码

    从图中可以看到NW估计的方差似乎小些，事实也确实如此，GM估计的渐进方差约为NW估计的1.5倍。但是GM估计解决了一些计算的难题。


学习于：yujunbeta老师博客,http://blog.csdn.net/yujunbeta/article/details/26058533
小亮老师博客，http://blog.sina.com.cn/s/blog_62b37bfe0101homb.html

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享2 收藏73 回帖

关键词：非参数估计 参数估计 核估计 非参数 R实现 表达式 多项式 模型 网上

顶！
顶！
就是喜欢这类帖子！

很好的帖子

好帖，谢谢分享。

good~分享之

在牛A与牛C之间的路上越走越远了。

素质笔记 我看行

就此帖请教一个问题：已知我获得一组数据（全整数型），按频率画出其直方图。现在我想得到此数据的概率密度函数来拟合一下它的直方图上所体现出的数据分布。经典的做法是在直方图上添加一个正态分布曲线，然而是否有办法直接拟合出数据本身的分布曲线来和正态分布曲线作出对比？
此文提到的核估计适用于解决此问题吗？

诸葛山下 发表于 2015-8-30 10:22
就此帖请教一个问题：已知我获得一组数据（全整数型），按频率画出其直方图。现在我想得到此数据的概率密度 ...

用直方图来估计密度函数的缺点是：即使随机变量是连续的，直方图得到的是不连续的阶梯函数，即不光滑的密度估计，而核密度则有效克服了直方图不光滑的缺点。

很好的帖子