Hessian矩阵求逆出现奇异时，可以用什么矩阵或是什么量来近似吗？

一、问题：Hessian矩阵求逆出现奇异时，可以用什么矩阵或是什么量来近似吗？

二、具体描述：
我在R语言中使用solve(Hessian)时会出现奇异错误，然后尝试使用了以下两种方法：
（1）岭回归的思想
当 Hessian矩阵奇异时，Hessian=Hessian+k*diag(1)
但是在进行重复实验时还是会出现“奇异”的报错

（2）广义逆
使用ginv(Hessian)
但是仍然会报错

三、请求支援
假设我的理论、公式以及程序都正确的情况下，请问还有什么方法可以解决奇异的问题吗？有没有什么矩阵或是什么量可以代替（近似）Hessian矩阵的吗？谢谢解答

如果 (A + alpha* I)还不能求逆，那说明这个A很特别了。直接调大alpha
如果最终目标是，降维可以尝试直接svd来弄，不管是不是可逆都成。

不过矩阵有这种特性，倒是要考虑LZ第三部提到的理论假设或者是实证数据数据是不是靠谱了。

加一个很小数乘以单位矩阵后再求逆

相关性都这么强了，直接降维

cauchym 发表于 2022-3-7 13:33
加一个很小数乘以单位矩阵后再求逆

这个我试过了，但是在重复循环时还是会出错，谢谢了

audien 发表于 2022-3-7 17:50
相关性都这么强了，直接降维

请问一下是对数据先降维再求解吗？但是我的最终目标就是降维，只是中间过程涉及到了对Hessian矩阵求逆，然后就进行不下去了，所以就想问一下有没有能够解决这一个问题的方法

abelus 发表于 2022-3-6 20:15
如果 (A + alpha* I)还不能求逆，那说明这个A很特别了。直接调大alpha
如果最终目标是，降维可以尝试直接 ...

好的谢谢了，还想再问一下，如果是理论或实例数据有问题的话，该从什么方向入手检查呢？比如说应该检查数据的相关性之类的设置或是理论中存在不可行的地方？还是公式推导有问题吗？

yyllllll 发表于 2022-3-11 16:59
好的谢谢了，还想再问一下，如果是理论或实例数据有问题的话，该从什么方向入手检查呢？比如说应该检查数 ...

公式推导没过具体过程，不知道到底啥问题。
不够根据LZ描述，就是个矩阵求逆不满足条件的事情。
而奇异矩阵（如果是协方差矩阵，有随机性，且变量不是特别多一般还是可以求逆的），一定要求逆，那么就QR之类的，如果不稳定，考虑SVD（这方法对非方阵也能用，协方差矩阵就是个对称实方阵，所以一般QR啥的就够了）。

如果理论模型一定要求硬求逆（哪怕是在这个矩阵已经相当接近奇异矩阵），那就用LZ提到的加主对角线上的元素，至于加多少，可以慢慢挑选几个数值多试一试，能圆回来就成。因为都是甩锅给随机性去。

abelus 发表于 2022-3-14 09:49
公式推导没过具体过程，不知道到底啥问题。
不够根据LZ描述，就是个矩阵求逆不满足条件的事情。
而奇异 ...

好的，谢谢啦