楼主: michael__liu
51125 19

[一般统计问题] 请教一个关于not concave的问题 [推广有奖]

11
gmyoung 在职认证  发表于 2016-9-27 14:19:20
arlionn 发表于 2009-11-27 08:36
尝试以下途径,看看是否能出来一些初步结果,然后在逐步找原因:
1. 各个解释变量的离群值是否得到了有效的 ...
连老师您好:我也遇到了同样的问题,离群值也经过了win处理,总样本回归没出现这样的问题,但区分国有和非国有企业后,样本容量小的480观测值的国有子样本出现了该问题,试了你的三种解决办法,仍然回归结果是不对的,部分解释变量没有z值和p值,且系数大的异常。请教您,这是怎么回事呢?

12
qqlt11 发表于 2017-12-8 17:49:55
ggyywho 发表于 2016-7-31 15:18
请问如果出现中间迭代的过程如图出现“not concave”但最终还是能出结果,那么这样的模型可以接受吗?
我也有相同的疑问,最近在做sfa模型,迭代到了16000次以后,最后出现了“not concave”但最终还是能出结果,那么这样的结果是否可以使用?

13
ggyywho 发表于 2017-12-13 09:33:50
qqlt11 发表于 2017-12-8 17:49
我也有相同的疑问,最近在做sfa模型,迭代到了16000次以后,最后出现了“not concave”但最终还是能出结果 ...
我是使用了的。你参考下“https://bbs.pinggu.org/thread-4738744-1-1.html”。说实话,这一块我也是一知半解

14
Owen0402 学生认证  发表于 2020-5-9 08:26:16
ggyywho 发表于 2016-7-31 15:18
请问如果出现中间迭代的过程如图出现“not concave”但最终还是能出结果,那么这样的模型可以接受吗?
同问 虽然出现not concave, 但人为中断还是有结果产生,这个结果是不是不可接受。

15
梁千弋 发表于 2021-2-1 17:05:35
ggyywho 发表于 2016-7-31 15:18
请问如果出现中间迭代的过程如图出现“not concave”但最终还是能出结果,那么这样的模型可以接受吗?
请问您的问题解决了么?我也遇到了相同的问题

16
学不玩了 发表于 2022-4-28 19:57:59
Owen0402 发表于 2020-5-9 08:26
同问 虽然出现not concave, 但人为中断还是有结果产生,这个结果是不是不可接受。
请问人为中断是break嚒

17
TyroLiu 学生认证  发表于 2022-9-7 17:19:09
解释变量间严重多重共线性导致该问题的可能性较大,仔细考察变量之间的相关性

18
季初初 发表于 2023-9-14 09:57:08
学不玩了 发表于 2022-4-28 19:57
请问人为中断是break嚒
不是,break是退出了,人为中断指的是不收敛时自己设定最大迭代次数,强制出结果,比如diff iterate(10)就是迭代10次后停止

19
JokerZhouS 发表于 2023-12-11 15:54:38
ggyywho 发表于 2016-7-31 15:18
请问如果出现中间迭代的过程如图出现“not concave”但最终还是能出结果,那么这样的模型可以接受吗?
我也遇到了同样的问题
请问您的解决了么

20
赵安豆 发表于 2024-6-9 18:37:44
在使用条件logistic回归时遇到“not concave”和收敛问题通常意味着目标函数(在这个情况下是似然函数)不是凹函数,这可能导致算法难以找到全局最优解。此外,“达到最大迭代次数后提示convergence not achieved”表明优化过程可能卡在一个局部最小值或鞍点上。

这个问题的常见原因包括:

1. **数据问题**:如果模型中包含高度共线性的特征,或者分类变量编码不当(例如,类别过多),这都可能导致似然函数变得复杂且非凹。
2. **参数初始化**:优化算法对初始参数敏感。糟糕的初始化可能会导致它陷入局部最优解。
3. **模型复杂度过高或过低**:如果模型过于复杂(如包含太多交互项)或太简单以至于无法捕捉数据中的模式,都可能引发此类问题。

解决策略包括:

1. **特征工程**:检查并处理高度相关的变量。考虑使用主成分分析(PCA)或其他降维技术来减少共线性。
2. **增加正则化**:通过L1或L2正则化惩罚较大的系数值,可以帮助模型更平滑且可能更容易收敛。
3. **调整优化算法**:尝试不同的优化器或者修改现有优化器的参数。例如,增加迭代次数、改变学习率或使用二阶方法如牛顿-拉夫逊法等。
4. **改进初始化**:如果你有先验知识关于模型系数的大致范围,可以用于指导初始值的选择。
5. **数据子集训练**:在处理大型数据集时,尝试在较小的随机样本上训练模型以减少复杂性。

最后,请确保你使用的软件或库支持你所采取的所有修改。有时候,特定的问题可能需要更专业的统计知识或者定制化的解决方案才能解决。如果问题持续存在,考虑咨询领域内的专家或使用专门的数据科学论坛寻求更具体的建议和帮助。

此文本由CAIE学术大模型生成,添加下方二维码,优先体验功能试用



您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注jltj
拉您入交流群
GMT+8, 2025-12-29 06:49