房价大数据分析模型构建方法

龙源期刊网房价大数据分析模型构建方法作者：陆红来源：《数字技术与应用》2017年第03期摘要：大数据分析有很多方法，由于大数据的特点、数据量大、非结构化、属性不确定等特点，建立大数据分析模型比较困难，本文通过房价大数据分析案例，介绍如何通过机器学习构建大数据分析模型的途径和方法，文章重点介绍了如何准备大数据分析模型的训练数据方法，介绍了房价大数据分析模型机器学习算法、机器学习路径，大数据分析模型构建方法等，为从事大数据分析的研究人员提供一些可借鉴的经验和方法。关键词：大数据；分析模型；房价中图分类号：TP399文献标识码：A文章编号：1007-9416（2017）03-0137-021引言大数据分析首先要建立一个分析模型，分析模型是大数据分析的基石，只有先建立了模型才能对大数据进行分析。构建大数据分析模型传统的方法很难实现，大数据非结构化、属性很难预知，通过数学、统计学等方法构建大数据分析模型都比较困难，机器学习是构建大数据分析模型最有效的方法之一。机器学习通过不断地学习优化、不断地迭代逼近所要的模型。2训练数据准备机器学习构建大数据分析模型的方法是通过训练数据将模型训练出来。从要研究的大数据对象中找出训练集。机器学习分为监督学习和非监督学习，监督学习需要教师，监督机器学习的结果，事先设定好学习目标，期望的结果。非监督学习的数据一般都无标签，学习结果事先也无法预知，通过数据可视化等方法观察学习结果。房价大数据分析模型机器学习属于监督学习，期望预测值极大地逼近真实值。首先需要采集房价数据作为训练数据，然后设计房价大数据分析模型机器学习算法，计算机通过机器学习算法和学习路径学习训练数据，学习目标是预测的结果极大地逼近真实数据，通过反复迭代，不断地接近目标，训练出所希望的模型。3数据清洗清洗后的训练数据如下：间数（x1）x12x12x13x13x13x13x12x12x12x13x13x13x12x12x11x13x13x13x13x11x12x12x12x12x12x13x12x13x12x12x13x12x12x13x13x13x12x13x12x11x12x12x12x12龙源期刊网面积（x2）x2126x299x2134x2137x2135x2138x2104x299x2105x2126x2112x2116x288x290x279x2120x2155x2158x2161x266x2108x288x2111x2103x2104x2131x2105x2130x2102x2105x2148x298x2100x2128x2110x2101x2121x2127x2103x267x278x271x281x277价格（y1）y1460y1425y1515y1580y1630y1600y1425y1439y1435y1608y1460y1460y1410y1380y1340y1520y1685y1680y1630y1328y1532y1405y1495y1470y1480y1690y1480y1690y1462y1495y1540y1440y1510y1599y1395y1450y1455y1595y1403y1295y1315y1345y1355y13354房价大数据分析模型机器学习算法机器学习首先要设计机器学习学习算法，设计机器学习学习路径，机器学习解决的问题通常可分为预测和分类两类问题。首先我们分析一下要解决的问题是属于预测问题还是分类问题，然后选择相应的学习算法，设计学习路径，通过训练数据训练和机器学习构建大数据分析模型。模型通过训练数据训练出来以后，对模型进行检验，然后不断进行优化，以达到我们所期望的精度。以下是梯度下降机器学习算法和学习路径：首先建立一个估值函数（模型）如下：x为自变量（特征参数），h（x）为应变量（房价的估值），希望求出此函数的系数θ0、θ1，构成一个完整的函数，此函数就是我们要构建的大数据分析模型。我们建立一个成本函数，希望预测值与真实值的差趋近于0，也就是成本函数值趋近于0。J（Θ0，Θ1）=其中：X（I）表示向量X中的第i个元素；Y（I）表示向量Y中的第i个元素；表示已知的假设函数；m为训练集的数量；GradientDescent梯度下降方法机器学习步骤：龙源期刊网（1）先随机选定一个初始点；（2）确定梯度下降方向；（3）通过实验确定下降步伐，学习率Learningrate；（4）通过不断地递归，收敛到极小值；通过梯度下降法使成本函数趋于0，在此条件下求得自变量的系数θ0和θ1，将此θ0和θ1带入到函数中得到我们要的模型。下面是介绍如何运用梯度下降法，经过反复迭代求出θ0和θ1：梯度下降是通过不停的迭代，最后沿梯度下降到最低点，收敛到一个我们满意的数据，误差趋近于0时迭代结束，此时的θ0和θ1正是我们要求的函数自变量的系数，有了θ0和θ1，这个假设的函数就建立起来了，这个函数就是我们要建的大数据分析模型。梯度下降法分为批量梯度下降法和随机梯度下降法，批量梯度下降法速度较慢，每次迭代都要所有训练数据参与；随机梯度下降精度差一些，容易在极值周围震荡；房价大数据分析模型采用的是实时数据梯度下降法（RealTimeOnlineGradientDescent），可以随着房价的变化随时修正模型的参数。5构建房价大数据分析模型通过数据可视化，我们可以看到房价数据趋于线性，所以我们采用线性回归构建房价大数据分析模型。采用监督学习，先给定一个训练集，根据这个训练集学习出一个线性函数，然后检验这个函数训练的好坏，即此函数是否足够拟合训练集数据，不断优化模型减少残差，最大限度地接近真实值。假设房价大数据分析模型：y=aX1+bX2通过梯度下降法，不断递归，最后使假设值与实际值之差趋近于0，求得此时的模型变量系数a、b，构建线性函数（房价大数据分析模型）。模型通过回归诊断、交叉验证不断进行优化，直到误差达到要求。以下是采用机器学习算法构建的房价大数据分析模型，用R语言编写房价大数据分析模型程序如下：令：a=q1；b=q2；龙源期刊网将训练数据以数据框的形式存储。pricedatax1x2y构造梯度下降算法函数，初始点q1=0、q2=0；下降速率d=0.0001。grd2q1=0；q2=0；d=0.0001；i=0；m=9；plot（y～x1+x2，data=pricedata，pch=16，col='red'）；通过反复迭代得出估值函数系数q1、q2。while（i{i=i+1；q1=q1-d/m*（q1*x1+q2*x2-y）*x1；q2=q2-d/m*（q1*x1+q2*x2-y）*x2；}return（q1）；return（q2）；龙源期刊网}grd2（）；model2summary（model2）；通过summary（model2）汇总出模型变量系数。plot（model2）；通过数据可视化检验拟合情况，不断优化房价大数据分析模型。