发帖
雷达卡
统计意义和p值再次遭受打击
今天早上我读了一篇有关康奈尔大学顶级食品研究人员的文章，该研究人员撤回了13项研究，请参见此处。它促使我写了这个博客。它与学术界的数据科学界人士和不道德的研究人员有关，他们使用一种众所周知的称为p- hacking的技巧再次破坏了p值的价值，以使其在顶级期刊上发表并获得资助或任期。这个问题不仅在学术界广泛存在，而且使人们质疑科学方法的有效性。它加剧了那些对科学失去信心的人的假“理论”。
诀窍包括重复进行多次实验，直到结论符合您的议程。或者通过挑选使用的数据，甚至丢弃被认为对结论有负面影响的观察结果。有时，因果关系和相关性是 故意混在一起的，或者会显示误导性的图表。有时，作者缺乏统计敏锐度。
通常，这些实验不可重复。由于以下原因，即使是顶级期刊有时也会接受这些文章：
同行评审过程差
激励措施发布轰动性材料
相比之下，旨在寻找真相的研究有时不使用p值，也不使用假设的经典检验。例如，我最近的文章比较两种类型的分布是否相同，并不依赖于这些技术。理论答案也是已知的，所以我会通过展示与我的直觉或直觉相称的结果来对自己说谎。在某些测试中，我明确指出样本量太小而无法得出结论。而且演示风格很简单，因此非专业人士可以理解。最后，我共享我的数据和所有计算。您可以在此处阅读该文章。我希望它能激发那些对声音分析感兴趣的人。
以下是我今天早上阅读的文章的摘录：
一些撤回的论文包括研究建议，那些杂货店饿的人购买更多的卡路里。预购午餐可以帮助您选择更健康的食物；用大碗服务人民，鼓励他们为自己服务更多。并不是说结论必然是错误的，而是因为这些研究是基于有问题的数据和对统计技术的滥用。以下是报告该问题的文章的摘录。
如果您对数据进行不同的排序或执行大量分析，则很难找到.05的P值。在掷硬币时，您会认为很少连续获得10个头。您可能会开始怀疑硬币的重量偏向正面，并且结果具有统计意义。 但是，如果您偶然偶然获得10个头（可能发生），然后突然决定完成掷硬币怎么办？如果继续前进，您将不再相信硬币的重量。
p值达到.05时停止实验是p骇客的一个例子。但是，还有其他方法可以做到这一点-例如收集有关大量结果的数据，但仅报告达到统计意义的结果。通过运行许多分析，您一定会偶然发现一个重要的发现。
有一群寻求纠正科学实践的科学家运动，例如被指控为Wansink的科学家。他们基本上共同呼吁了三个主要解决方案，这些解决方案正在蓬勃发展。
研究设计的预注册：这是防止p-hacking的巨大保障。预注册是指科学家在开始收集数据之前公开致力于实验的设计。这使得难以挑选结果。
开放数据共享：科学家越来越多地呼吁其同事将他们实验中的所有数据提供给任何人进行检查（当然，对于特别敏感的信息也有例外）。这样可以确保通过同行评审进行的伪劣研究仍然可以得到双重检查。
已注册的复制报告：科学家们渴望看到以前在学术文献中报告的发现是否受到更严格的审查的约束。为了进行严格的复制（准确或概念上）的研究结果，正在进行许多努力。
也有其他潜在的解决方法：一群科学家呼吁对统计意义上的意义进行 更严格的定义。其他人则认为，总是会争夺重要性的任意界限。越来越多的科学家转向其他形式的数学分析，例如贝叶斯统计，它提出了稍微不同的数据问题。（虽然p值问“这些数字有多少稀有？”贝叶斯方法问“我的假设是对我们找到的结果的最好解释的可能性是多少？”）
1
京公网安备 11010802022788号
