2020/01/22
《百面机器学习-算法工程师带你去面试》读书笔记
《No.21: p187~p197》第八章 采样
Q69 MCMC采样法如何得到相互独立的样本?
可同时运行多条马尔可夫链,不同链上的样本事独立的;或者在同一条马尔可夫链上每隔若干个样本才选取一个,可得到互相独立的样本。
Q70 如何对贝叶斯网络进行采样? 如何只需考虑一部份变量的边缘分布,如何采样? 如果网络中含有观测变量,又该如何采样?
1 如何对贝叶斯网络进行采样?
1.1 采用祖先采样
1.2 根具有项图的顺序,先对祖先节点进行采样,只有当某个节点的所有父节点都已完成采样,才对该节点进行采样。
2 只考虑一部份变量的边缘分布的采样?
2.1 先用祖先采样先对全部随机变量进行采样,然后直接忽视哪些不需要的变量的采样值即可。
2.2 如果要对边缘分布进行采样,先用祖先采样得到全部变量的一个样本,然后忽视无关变量即可。
3 如果网络中含有观测变量,如何采样?
3.1 参考重要性采样的思想,不再对观测变量进行采样,只对非观测变量采样。
3.2 亦可用MCMC采样法来进行采样。
Q71 对于二分类问题,当训练集中正负样本非常不均衡时,如何处理数据以更好地训练分类模型?
1 基于数据的方法
1.1 对数据进行重采样,使原本不均衡的样本变得均衡。
1.2 随机采样是最简单的方法
1.3 可采用Informed Undersampling来解决由于随机欠采样带来的数据丢失问题。
2 基于算法的方法
2.1 改变模型训练时的目标函数来矫正这种不平衡性。
2.2 当样本极不均衡时,可将问题转化为单类学习、异常检测。