基于大数据的数据清洗研究

收稿日期：２０１８－０５－１６；修订日期：２０１８－０６－１３作者简介：康鲲鹏（１９７６－），男，副教授，硕士，主要研究方向：智能计算、大数据。基金项目：河南省科技攻关项目（Ｎｏ．１８２１０２２１０４８６）；河南省高等学校重点科研项目（Ｎｏ．１８Ａ５２０００８）。第３６卷　第４期２０１８年８月江　　西　　科　　学ＪＩＡＮＧＸＩ　ＳＣＩＥＮＣＥＶｏｌ．３６Ｎｏ．４Ａｕｇ．２０１８　　ｄｏｉ：１０．１３９９０／ｊ．ｉｓｓｎ１００１－３６７９．２０１８．０４．０２４基于大数据的数据清洗研究康　鲲　鹏（商丘师范学院信息技术学院，４７６０００，河南，商丘）摘要：大数据具有体量大、来源和格式多样、增长速度快、价值密度低和处理难度大的特点，即使通过合理设计参数对某段数据进行点估计的结果可能相当令人满意，但通过应用标准统计程序对整个数据体进行精度估计得到的结果，却是差强人意，从而误导人们。目的旨在分析影响大数据清洗的主要因素有哪些，首先回顾了数据获取对时间序列的依赖性并构造了一个大数据模型，然后在列出数据估计时所用的一些属性后，给出了数据清洗时的回归分析，同时探讨回归系数估计的可能影响。最后给出了大数据处理中误差累积的通用表示方法，提出了与时间序列理论中短程和长程依赖之间的区别大致相同的问题。关键词：数据清洗；方差分量；大数据；长程依赖；多级模型；时间序列中图分类号：ＴＰ３０１．６　　　　文献标识码：Ａ　　　　文章编号：１００１－３６７９（２０１８）０４－６５４－０４ＲｅｓｅａｒｃｈｏｎＤａｔａＣｌｅａｎｉｎｇＢａｓｅｄｏｎＢｉｇＤａｔａＫＡＮＧＫｕｎｐｅｎｇ（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＳｈａｎｇｑｉｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，４７６０００，Ｓｈａｎｇｑｉｕ，Ｈｅｎａｎ，ＰＲＣ）Ａｂｓｔｒａｃｔ：Ｂｉｇｄａｔａｈａｓｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｌａｒｇｅｖｏｌｕｍｅ，ｄｉｖｅｒｓｅｓｏｕｒｃｅｓａｎｄｆｏｒｍａｔｓ，ｒａｐｉｄｇｒｏｗｔｈ，ｌｏｗｖａｌｕｅｄｅｎｓｉｔｙａｎｄｄｉｆｆｉｃｕｌｔｐｒｏｃｅｓｓｉｎｇ．Ｅｖｅｎｉｆｔｈｅｒｅｓｕｌｔｏｆａｐｏｉｎｔｅｓｔｉｍａｔｉｏｎｏｆａｐｉｅｃｅｏｆｄａｔａｗｉｔｈａｒｅａｓｏｎａｂｌｅｄｅｓｉｇｎｐａｒａｍｅｔｅｒｍａｙｂｅｑｕｉｔｅｓａｔｉｓｆａｃｔｏｒｙ，ｂｕｔｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｅｎｔｉｒｅｄａｔａｂｏｄｙｔｈｒｏｕｇｈｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｓｔａｎｄａｒｄｓｔａｔｉｓｔｉｃａｌｐｒｏｃｅｄｕｒｅｓｔｏｅｓｔｉｍａｔｅｔｈｅｒｅｓｕｌｔｓｍａｙｓｔｉｌｌｂｅｕｎｓａｔｉｓｆａｃｔｏｒｙ，ｔｈｕｓｍｉｓｌｅａｄｉｎｇｐｅｏｐｌｅ．Ｔｈｅｐｕｒｐｏｓｅｏｆｔｈｉｓｐａｐｅｒｉｓｔｏａｎａｌｙｚｅｔｈｅｍａｉｎｆａｃｔｏｒｓａｆｆｅｃｔｉｎｇｂｉｇｄａｔａｃｌｅａｎｉｎｇ．Ｔｈｅａｒｔｉｃｌｅｆｉｒｓｔｒｅｖｉｅｗｓｔｈｅｄｅｐｅｎｄｅｎｃｅｏｆｄａｔａａｃｑｕｉｓｉｔｉｏｎｏｎｔｉｍｅｓｅｒｉｅｓａｎｄｃｏｎｓｔｒｕｃｔｓａｂｉｇｄａｔａｍｏｄｅｌ．Ｔｈｅｎ，ｔｈｅｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓｏｆｄａｔａｃｌｅａｎｉｎｇｉｓｇｉｖｅｎａｆｔｅｒｓｏｍｅｐｒｏｐｅｒｔｉｅｓｏｆｄａｔａｅｓｔｉｍａｔｉｏｎａｒｅｌｉｓｔｅｄ．Ｔｈｅｐｏｓｓｉｂｌｅｉｎｆｌｕｅｎｃｅｏｆｒｅｇｒｅｓｓｉｏｎｃｏｅｆｆｉｃｉｅｎｔｅｓｔｉｍａｔｉｏｎｉｓａｌｓｏｄｉｓｃｕｓｓｅｄ．Ｉｎｔｈｅｅｎｄ，ｔｈｅｇｅｎｅｒａｌｒｅｐｒｅｓｅｎｔａｔｉｏｎｍｅｔｈｏｄｏｆｅｒｒｏｒａｃｃｕｍｕｌａｔｉｏｎｉｎｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇｉｓｇｉｖｅｎａｎｄｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｄｉｆｆｅｒｅｎｃｅｂｅｔｗｅｅｎｓｈｏｒｔｒａｎｇｅａｎｄｌｏｎｇｒａｎｇｅｄｅｐｅｎｄｅｎｃｅｉｎｔｉｍｅｓｅｒｉｅｓｔｈｅｏｒｙｉｓｒｏｕｇｈｌｙｔｈｅｓａｍｅｉｓｐｒｏｐｏｓｅｄ．Ｋｅｙｗｏｒｄｓ：ｄａｔａｃｌｅａｎｉｎｇ；ｖａｒｉａｎｃｅｃｏｍｐｏｎｅｎｔｓ；ｌａｒｇｅｄａｔａ；ｌｏｎｇｒａｎｇｅｄｅｐｅｎｄｅｎｃｅ；ｍｕｌｔｉｌｅｖｅｌｍｏｄｅｌ；ｔｉｍｅｓｅｒｉｅｓ０　介绍大数据提出了几个基本的统计学问题。会对数据质量和定义的标准化以及将数据纳入数据库的理由比较关注。同样重要的是，获得数据时对问题的２种调查方式是有所区别的，一种是调查的问题从一开始概念就被泛化；另一种是调查的问题需要进行广泛搜索并关注所有与之相关的信息［１］。这里集中于一个较小的目标。用非常大量的数据，直接使用包括基于模拟方法的标准统计方法，将会产生高精度估计结果［２］。具体大数据研究及应用中，可以用一种清晰的模型来表示变化的主要来源，这样可以有效产生改进的估计值和更精确的评估［３］，同时还概括出一些参数和公式，指明了一些误差会随数据体的增大而增大。本文的研究与长程和短程依赖时间序列分析和对比有很强的联系。因此，本文先简要回顾一下这２种区别。１　时间序列分析中的依赖性考虑在零均值连续时间中的平稳时间序列是｛Ｙ（ｔ）｝，而自相关和频谱密度函数分别是［４］：ρ（ｈ）＝ｃｏｒｒ｛Ｙ（ｔ），Ｙ（ｔ＋ｈ）｝，ｆ（ω）＝（２π）－１∫∝－∝ｅｘｐ（－ｉωｈ）ρ（ｈ）ｄｈ。如果∫∝０ρ（ｈ）ｄｈ是发散的或者ｆ（ω）的初始值是奇异的，则存在长程依赖关系［５］。更具体地说，自相关函数会根据比例，当ｈ值较大时，其在区间０＜α＜１上取值为ｈα－１，同样，对于频谱密度函数，如果ω较小时，ｆ（ω）取值为ω－α。后者还会产生长程依赖的替代名称，即１／ｆ噪声，ｆ替代ω表示频率。另一个重要的解释是数据段的均值或总和。令ＣＹ，ｍ（ｔ）＝∫ｔ＋ｍｔＹ（ｕ）ｄｕ为长度是ｍ的一个数据段的总和，ＣＹ，ｍ（ｔ）表示相应的均值，那么，当有长程依赖产生时，若ｍ取值较大，则ｖａｒ（ＣＹ，ｍ（ｔ））中参数ｍ为ｍα－１，其中０＜α＜１。同样，存在自相似的属性，即长度为ｍ的相邻数据段的平均值之间的相关性满足：ｃｏｒｒ｛ＣＹ，ｍ（ｔ），ＣＹ，ｍ（ｔ＋ｍ）｝＝２α－１。２　大数据模型现在用抽象和理想的形式表示数据变异性来源的增加，旨在有针对性地概括说明概率变异源的复杂模式对此类统计数据作为均值和回归系数的精度的影响［６］。具体到对个别应用程序的讨论需要明确识别数据变异源是什么。例如，患有特定慢性病症的患者的数据汇编可以从特定诊所的问诊记录开始，并扩展到其他医院、其它地区和其它国家。随着数据在时间和地理上的演变，与患者特征、测量过程的不完全标准化等相关的额外数据变异源都会加入到数据体中来［７］。大数据是在一种可能的概念时间框架内演化的［８］。在各种时间点上新的数据变异源进入数据体，致使能在越来越长的时间尺度上操作。不同时间尺度上的数据变异源被认为是统计独立的。考虑２种不同的可能性。首先，为了简单起见，考虑不同的变异源具有相同的基本结构，而在第２种情况下，它们在越来越长的时间尺度上操作。假设不同的数据变异源进入时间依赖泊松过程，通常在时间零处具有原子性以表示最初具有相对简单结构的系统。一旦数据变异源进入系统，它将永远作用在系统上，尽管也有其他可能性出现［９］。从每个时间ｔ的单个高斯观察开始，时间被认为是简单的标量。为了方便计算，认为数据是在连续时间状态下定义的。为了实现观察的数据相对独立性和分布的一致性，假设自相关为零，观察的总时间表示样本大小［１０］。对于非负数λ，令Ｂ（·；λ）是零均值的独立静态高斯过程，单位方差和ｌａｇ－ｈ自相关ρＢ（ｋｈ）为基本过程。对于前面提到的结构，令ｋ＝１，２，…，ｉ．ｅ．，所有的基本过程具有同样的结构。主要变化发生是κ＝λ时，于是自相关公式变成了ρＢ（λｈ）。认为Ｂ（·；λ）在时间λ之前对Ｙ（ｔ）贡献为零，其对Ｙ（ｔ）贡献的标准偏差由σＹ（λ）表示；用公式表示如下：Ｙ（ｔ）＝∫ｔ０Ｂ（ｔ；λ）σＹ（λ）ｄＮ（λ），其中Ｎ（·）是一个速率为υ（λ）的泊松过程，通常在λ＝０处具有原子分量。因此，Ｙ（ｔ）的方差ＶＹ（ｔ）为：ＶＹ（ｔ）＝∫ｔ０σ２Ｙ（λ）ｖ（λ）ｄλ＝∫ｔ０τＹ（λ）ｄλ（１）τＹ（ｔ）是时间ｔ内局部方差的增加率。同样，围绕过程的相关结构，当ｈ０时，有：ｃｏｖ｛Ｙ（ｔ），Ｙ（ｔ＋ｈ）｝＝∫ｔ０τＹ（λ）ρＢ（ｋｈ）ｄλ（２）如果ｋ＝１，则所有基本过程具有相同形式，·５５６·第４期　　　　　　康鲲鹏：基于大数据的数据清洗研究变为ρＢ（ｈ）ＶＹ（ｔ）。如果ｋ＝λ，ρＢ（ｈ）近似为ｋｈα－１，当ｈ取值较大时，式（２）右侧变为：ｋｈα－１∫ｔ０τＹ（λ）λα－１ｄλ在很多情况下，τＹ（·）的运算结果将确保积分是收敛的。３　用来对问题进行估计的一些属性下面一些讨论，假设ｋ＝１，从而使得这些基本过程是依赖于λ这个缩放因子的独立相同随机过程。将已知的均值视为零，并根据下面的公式估计时间ｔ之后的平均方差。Ｖ～（ｔ）＝ｔ－１∫ｔ０Ｙ２（ｚ）ｄｚ于是，结合式（１）有Ｅ｛Ｖ～（ｔ）｝＝１ｔ∫ｔ０ｄｕ∫ｕ０τＹ（λ）ｄλ＝Ｖ～Ｙ（ｔ），上式是区间（０，ｔ）上Ｙ（·）这个平均方差。现在，通过下式考虑对过程平均值的估计：Ｙ（ｔ０）＝１ｔ０∫ｔ００Ｙ（ｕ）ｄｕ＝ＣＹ（ｔ０）／ｔ０在写入ｖａｒ｛ＣＹ（ｔ０）｝＝ＶＣＹ（ｔ０）时，有ＶＣＹ（ｔ０）＝∫ｔ００ＶＹ（ｔ）ｄｔ＋２∫ｔ００ｄｔ１∫ｔ００ＶＹ（ｔ２）ρＢ（ｔ２－ｔ１）ｄｔ２＝∫ｔ００ＶＹ（ｔ）ｄｔ＋２∫ｔ００ＶＹ（ｔ１）ρＢ（ｔ０－ｔ１）ｄｔ１（３）上式中，基本过程的集成自相关性可以用下面的公式表示：ρＢ（ｔ）＝∫ｔ０ρＢ（ｚ）ｄｚ。现在考虑２个方面的问题，一个是ｔ０方差依赖的一般性质，另一个是给定较大取值的ｔ０方差与独立和相同分布观察的方差之间的特定比较。关于第一个方面的问题，引入拉普拉斯变换方便分析，例如，定义ＶＣ（Ｓ）＝∫∝０ｅｘｐ（－ｓｔ）ＶＣ（ｔ）ｄｔ，于是，在使用函数的拉普拉斯变换与其不定积分的拉普拉斯变换之间的关系之后，就可以得出结论如下：ＶＣＹ（ｓ）＝τ（Ｓ）Ｓ２｛１＋２ρＢ（Ｓ）｝。有大量的理论是讨论前式中参数和拉普拉斯变换中ｓ作用的。注意到，如果当ｔ取值较大时，如果０＜ａ＜１，其函数形式为ｋｔ－α，那么对于较小的取值ｓ，拉普拉斯变换近似为ｋＳα－１（１－α）。另一方面，如果ｔ的函数快速趋于零，同时ａ＞１或者呈现指数衰减，则拉普拉斯变换在ｓ＝０附近有界。需要逆陈述方式来研究ＶＣＹ（ｔ），同时要注意严格的声明涉及Ｔａｕｂｅｒｉａｎ理论所需的规律性条件。本质上讲，如果两式∫ｔ０τＹ（ｔ）和ρＢ（ｈ）或者其中一个的衰减速度分别比１／ｔ和１／ｈ快，那么，当０＜ａ＜１时，ｖａｒ｛ＣＹ（ｔ０）｝增为ｔ２－ａ０，这使得平均值的方差以速率ｔ－ａ０衰减比１／ｔ０更慢。第２个问题，与独立随机变量的观察进行比较，结果取决于（３）式中的第２项与第１项的比率。如果比率收敛于正值常数，可以称为简单过度离散，如果极值是负数，就有可能是欠离散了。但是，如果ρＢ（ｈ）衰减速度比１／ｈ慢，则平均值的方差和独立观察值的方差之间的比为无穷大。４　回归分析现在把讨论扩展到最小二乘回归。进行近似性分析，使得解释变量ｘ（ｔ）可以相对于其他解释变量完全正交化，这样所有底层基本进程可以同时正交化。因此，基于统计量考虑ｘ（ｔ）上ｙ（ｔ）的简单线性回归可用下式表示：ＣＸＹ（ｔ０）＝∫ｔ００Ｘ（ｔ）Ｙ（ｔ）ｄｔ（４）为了研究这一点，假设Ｘ（ｔ）的生成过程具有与Ｙ（ｔ）的生成过程类似的形式，也具有相同的潜在的泊松过程和下式Ｘ（ｔ）＝∫ｔ０Ａ（ｔ；λ）σＸ（λ）ｄＮ（λ）过程Ａ（·；·）的自相关结构由ρＡ（·）指定，而由下式表示的交叉相关性ρＢＡ（λ；ｈ）＝ＣＯＶ｛Ｂ（ｔ；λ），Ａ（ｔ－ｈ；λ）｝。假设对于所有的λ上式的表示方式相同，而且不同的λ过程独立。对应于该相关的回归系数是：βＢＡ（λ）＝ρＢＡ（λ；０）σＹ（λ）／σＸ（λ），而Ｅ｛ＣＸＹ（ｔ０）｝＝∫ｔ００（ｔ０－λ）τＸ（λ）βＢＡ（λ）ｄλ，回归系数分母的期望值可以表示为：∫ｔ００（ｔ０－λ）τＸ（λ）