如何用统计学来发现规律

如何用统计学来发现规律，发明指标实际样例面对浩瀚的数据，你可能无从下手，不知道如何来研究发现总结符合客观实际的规律呢？这里我简单用一个统计学方法来介绍，如何总结归纳并发明指标，来预测大盘，希望对大家有所启发！突然奇想，我想了解大盘每天的涨家数量与跌家数量与大盘每天实际收盘之间的关系，是否存在客观规律呢？是否可以按照规律来发明指标来指导操作呢？带着这个想法，开始工作。1、第一步，采集历史真实的样本数据，我采集了比较多的数据，2000-1-5至2012-11-23交易日的实际数据，共计3117个样本。类似如下表，其中close为当天收盘价，zs为当天的涨家数量,ds为当天的跌家数量。2、第二步，引入变量跌涨比zdb，表示为ds/zs3、第三步，考察各变量间是否存在某种线性系发现：收盘分别与涨家数、跌家数、关跌涨比之间没有太大的线性关联性。那就没有办法用这些变量直接来预测收盘，再想想，有没有其他好方法。。。。4、第四步，引进新变量，如果今天的收盘价高于昨天的收盘价，那么变量zdbvalue为1，反之为0，白话一点就是如果今天涨了，变量为1，如果跌了，变量值为0.这个变量标记每天的涨跌，然后来考察与跌涨比的关系。由此联想到了二元logistic模型来做分析，看每天的涨跌与跌涨比之间有何关系。得到大盘涨跌的模型（根据统计学原则，这个模型拟合得非常好，这里省去证明过程）：zdvalue=1.70510-1.26517*zdb，根据模型，我们来做预测值，列在excel表中与真实值进行比较分析发现根据跌涨比来预测当天的大盘收盘是涨还是跌，结果实际预测值为0.64或其他一些数据，这不坑爹嘛。。。。。不要急，还要进行再次数据拟合处理，要让那些小数点的预测值形成1或0，且拟合的数据最大限度符合样本历史的大盘实际涨跌的数据，损失最小。5、第五步，处理阀值alpha，让产生的预测值与实际值拟合最好。发现，当alpha=0.37时，预测出现错误的次数最少，为357次，即错误率=357/3117=11.4%，即用此方法，有将近90%的准确率。从上面看，predict_alpha即为预测值，与实际值是一样的。我们再看看最近的实际值与我做的模型的预测值，完全一致，这就是统计学模型的威力!也就是说，涨跌家数之比与大盘的涨跌之间存在着不以人意志为转移的客观规律，这个规律并不是肉眼能看出来的，而是必须要用统计学来总结的，并且是可靠的。6、第6步，规律找到了，但规律与大盘涨跌是个线性关系，且同步，因此如何预测仍然是个问题，因此需要继续设计算法，可进行超前预测的算法。对跌涨比原始数据进行EXPMA均值滑动处理，参数分别设置为P1=3,P2=5,P3=8.同时根据模型，1.70510-1.26517*zdb0.37，可以计算出来zdb1.055273时，大盘为涨，反之为跌。因此作图可见：符合内在统计学规律的自创指标新鲜出炉了！这就是整个指标创立的过程，魔师所有的指标的来源全部是一步步这么来得，没有臆断，只有统计学的支撑！