Weka如何处理分类时测试样本属性缺失问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

本文主要分析我Weka中J48在分类时处理缺失值的问题.在J48中,如果在当前节点上该样本的属性为空,它会按照一个当前节点上该属性的分布情况得到一个分布表,即如果该节点的训练样本的属性值分布为 [2,3,5] (样本量为10),则此时该样本按照[0.2,0.3,0.5]的权重进入当前节点的子树中.

1. //WangYi 2007-10-7
   
2.   /*
   
3.    * 分类样本
   
4.    */
   
5.   public double classifyInstance(Instance instance)
   
6.     throws Exception {
   
7. 
   
8.     double maxProb = -1;
   
9.     double currentProb;
   
10.     int maxIndex = 0;
    
11.     int j;
    
12. 
    
13.     /*
    
14.      * 找到可能性最大的类别作为当前测试样本的类别
    
15.      */
    
16.     for (j = 0; j < instance.numClasses(); j++) {
    
17.       //对于类别j的可能性
    
18.       //wangyi 2008.4.1
    
19.     currentProb = getProbs(j, instance, 1);
    
20.       if (Utils.gr(currentProb,maxProb)) {
    
21.     maxIndex = j;
    
22.     maxProb = currentProb;
    
23.       }
    
24.     }
    
25. 
    
26.     return (double)maxIndex;
    
27.   }
    
28. 
    
29. 该函数在 weka.classifiers.trees.ClassifierTree类文件中.该函数实现了分类一个测试样本的功能.
    
30. 
    
31. /*
    
32.    * 在这里有DecisionTree处理未知值的解决办法
    
33.    */
    
34.   private double getProbs(int classIndex, Instance instance, double weight)
    
35.     throws Exception {
    
36.    
    
37.     double prob = 0;
    
38.    
    
39.     /*
    
40.      * 当前节点如果是叶子节点,返回instance在该classIndex下的可能性
    
41.      */
    
42.     if (m_isLeaf) {
    
43.       return weight * localModel().classProb(classIndex, instance, -1);
    
44.     } else {
    
45.            /*
    
46.             * 如果不是叶子节点则我们找该样本应该进入下一级哪一个子节点
    
47.             */
    
48.       int treeIndex = localModel().whichSubset(instance);
    
49.      
    
50.       /*
    
51.        * 当该样本的属性为?时,它将返回-1
    
52.        */
    
53.       if (treeIndex == -1) {
    
54.              /*
    
55.               * 计算当前节点上的属性值分布情况,得到权重数组
    
56.               */
    
57.        double[] weights = localModel().weights(instance);
    
58.        for (int i = 0; i < m_sons.length; i++) {
    
59.               /*
    
60.                * 按照权重数组进入下一级子节点
    
61.                */
    
62.          if (!son(i).m_isEmpty) {
    
63.            prob += son(i).getProbs(classIndex, instance,
    
64.                                 weights[i] * weight);
    
65.          }
    
66.        }
    
67.        return prob;
    
68.       } else {
    
69.              /*
    
70.               * 如果该样本的属性为空,进入特定子节点
    
71.               */
    
72.        if (son(treeIndex).m_isEmpty) {
    
73.          return weight * localModel().classProb(classIndex, instance,
    
74.                                            treeIndex);
    
75.        } else {
    
76.          return son(treeIndex).getProbs(classIndex, instance, weight);
    
77.        }
    
78.       }
    
79.     }
    
80.   }
    
81. 
    
82. 该函数也在weka.classifiers.trees.ClassifierTree中.
    
83. 
    
84. /*
    
85.    * C4.5Split中计算样本在当前节点 属性上的权重数值
    
86.    */
    
87.   public final double [] weights(Instance instance) {
    
88.    
    
89.     double [] weights;
    
90.     int i;
    
91.    
    
92.     if (instance.isMissing(m_attIndex)) {
    
93.       weights = new double [m_numSubsets];
    
94.       /*
    
95.        * 计算权重信息还是借助了 Split中保存的统计信息
    
96.        * (distribution),这个对象相信大家不会陌生
    
97.        */
    
98.       for (i=0;i<m_numSubsets;i++)
    
99.        weights [i] = m_distribution.perBag(i)/m_distribution.total();
    
100.       return weights;
     
101.     }else{
     
102.       return null;
     
103.     }
     
104.   }

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：WEKA distribution classifiers classifier exception wangyi public double return 可能性