聚类分析的验证

whtclement 发表于 2012-8-20 09:02
另外，对您说的数据挖掘只要不经过严格定量检验就属于拍脑袋决策，实在难以理解。
在公司实践中，往往是经 ...

还是支持楼上的观点。关于数据挖掘结果的实施，一般是要在理论检验的基础上，再到实践中检验，如果说，理论检验都无法通过，是很难到商业中检验的，否则风险、成本太大！

cdq3636 发表于 2012-8-28 22:39
还是支持楼上的观点。关于数据挖掘结果的实施，一般是要在理论检验的基础上，再到实践中检验，如果说，理 ...

正解

听过Silhouette吗？

http://en.wikipedia.org/wiki/Silhouette_(clustering)

做交叉表、方差分析、卡方检验等

Q型系统聚类分析结果可进行有效性与组数合理性检验。
其中有效性检验：有效性检验的假设是总体内各单位之间在某种标志下存在差异性，即聚类分析后，获得的各个类之间应具有显著的差异。然而如何进行检验目前尚没有成熟的办法，但在此总体模型的假设可具体化为分组后的各组之间的均值向量之间应该有显著的差异。为此，可借鉴均值向量相等的检验方法进行分组有效性的检验问题。

组数合理性检验：按照系统聚类的步骤并类后则可得到一张聚类谱系图。聚类谱系图只反映样品(或变量)之间的亲疏关系和程度，其本身并没有给出分类，这就需要对分类的类数进行选择并划定各组之间的界限，而且应进行相应的检验。
（a）聚类分析类数选择的一般方法和准则
⑴根据聚类谱系图确定分类个数的准则。⑵根据给定临界值(阀值)d确定分类多少。⑶根据数据点的散布图直观地确定类的个数。


（b）聚类分析类数检验的常用统计量
⑴ Rk方检验（2）半偏Rk方检验（3）伪F检验（4）伪t方检验

具体就不讲了，给楼主一些参考文献：
傅德印.Q型系统聚类分析中的统计检验问题[J].统计与信息论坛，2007.5.
傅德印.多元统计分析方法检验体系的构建[J].商业经济与管理，2009.2.
朱建平.应用多元统计分析[M].北京：科学出版社，2006.

刚看过的一篇文章，给你参考参考 Exploring business opportunities from mobile services data of customers An inter.pdf (1.01 MB, 需要: 2 个论坛币)

2013-5-13 16:54:01 上传

需要: 2 个论坛币  [购买]

感谢，正在纠结呢，希望最后能靠自己完成在R中的实现。