如何看待异常值及其对统计推断的影响，为何大样本下修改一个值差别这么大？

作为一个初学者，在统计推断时发现异常值对p值影响比想象中大很多。想按另一个变量b分类（0 1 分类），做t检验，比较在不同类别下一个变量a的均值大小差异是否显著。a的分布本身非常分散，0-1的有不少，50-300的也有，最大值262，当我出于验证的目的将对应此最大值的b值从0改为1，p值就从0.009变为0.2041。但又不能说这个值是异常值。这种情况如何处理呢？
样本量是400多

看得不太明白。能发一部分数据出来试试是最好的。