• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

MATLAB大数据剔除坏值

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

在用MATLAB进行数据分析的时候,坏点对正确结果的影响比较大,

因此,我么需要剔除野点,对于坏值的剔除,我们

利用  3σ准则 剔除无效数据;

3σ准则又称为拉依达准则,它是先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,

认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除。且3σ适用于有较多组数据的时候。

这种判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理,它是以测量次数充分大为前提的,
当测量次数较少的情形用准则剔除粗大误差是不够可靠的。因此,在测量次数较少的情况下,最好不要选用准则,而用其他准则。
在正态分布中σ代表标准差,μ代表均值。x=μ即为图像的对称轴
3σ原则为
数值分布在(μ-σ,μ+σ)中的概率为0.6826
数值分布在(μ-2σ,μ+2σ)中的概率为0.9544
数值分布在(μ-3σ,μ+3σ)中的概率为0.9974
可以认为,Y 的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%.
 
下面是对一组元素进行坏值剔除的方法:
>> ave = mean(P);%mean 求解平均值
>> u = std(P);%求解标准差
>> for i = 1:6349
if(abs(P(i)-ave)>3*u)%不符合 3σ准则 , 剔除这个元素
     P(i) = 0;
else
   continue;
 end
end
>> P_ans = P(P~=0);%获取所有非 0 元素 ,是剔除元素 的完整过程
>> len = length(P_ans);
>> len

len =

        6342

 

  如果是有多变量作用于一个因变量,那么需要他们几个变量的值都满足    3σ准则;

运用逻辑运算符号 && 且 , 如果几个变量都满足法则 , 继续向下遍历 ,否则,就让这些变量全都赋值一个合理的剔除标志数 X。

遍历结束后 , 对于 所有变量进行剔除 X 操作 Ans = a(a~=X); Ans 就是 a 里面所有不为 X 的数重新组成的新数列 , 正确处理后, 几个变量数列剔除元素后长度相同 , 并且相对应的关系没有改变。


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap