5深入浅出复合事件处理

TailLastCOMPLEXEVENTPROCESSING支付宝技术部蔡学镛避免发生资金损失发现老公可能外遇察觉威胁消除隐患进行系统动态校验正确预测股票涨跌了解总督系统独到之处其实你每天都在做CEP只是你不知道而已…这就是人肉CEP感知判断行动基础事件1：皮肤感觉温度下降基础事件2：鼻子感觉湿气很重基础事件3：耳朵听到远方雷声基础事件4：眼睛看到乌云、闪电复合事件：即将下雨因应之道：出门要带伞基础事件1：看到员工经常有一堆事没做完基础事件2：看到员工经常上班时偷菜复合事件:该员工不适任因应之道:FIRE他基础事件：老公老说要加班基础事件：我感觉他在外面洗过澡基础事件：衣服上沾粘长头发基础事件：对我性趣缺缺哪有公司这么常加班的？还说没有，明明就有肥皂味！我的头发可没这么长！我都打扮成兽兽了耶！复合事件：老公有外遇他包二奶了啦！提醒:别急著下毒手,误报警率可能很高冤枉呀！因应之道:雇用「捉猴」侦探跟踪他看了这么多比喻应该能体会CEP了吧！事件捕获事件分析事件因应困难度困难度困难度其实你每天都能做CEP只是你不知道而已…这是一个IT事件爆发的时代ERPCRMPeopleSoftCloudComputingWebOracleSAPBAMSCMIBMB2BB2CRFIDE-MailMicrosoftIM每个系统都会产生大量的事件但我们一股脑儿把事件全扔了！事件盲（Event-Blind）：对事件视而不见承认吧！现况就是如此！我发誓要改变现状，开始重视复合事件。简单！参加总督CEP系统的监控就行了！总督CEP：减少延迟，增加价值潜在的业务价值时间每一段延迟都会造成业务价值的急遽下降。总督CEP可帮你减少延迟，增加价值！CEP应用领域业界应用商业活动监控群众智能网络攻击犯罪预防系统动态校验支付宝使用CEP对内外：防止资损银行、商户、用户错帐；内部错帐对内：业务状况监控趋势因应、营销决策、风险规避对外，防止犯罪网络诈欺、网络攻击、洗钱防治商业CEP产品难得有微软没做的领域？微软即将推出StreamInsightCEP关键技术CEP关键字•Streaming–连续不间断–实时处理•Base–资料量大–数据库•Insight–有用的信息–智能CEP关键过程格式化预处理模式侦测事件发派报警CEP关键模块事件接入模块预处理模块CEP规则引擎数据模型模块规则管理模块EPL解析器事件发派模块行动模块12345678CEP辅助工具规则制作工具报表输出工具实时仪表板EPL解析器事件接入模块预处理模块CEP规则引擎数据模型模块规则管理模块EPL解析器事件发派模块行动模块EPL（事件处理语言）EPL解析器EPL规则内部规则EPL解析器CEP-EPLSQL/LINQ命令、函数、Trigger理論上：实际上：市面上CEP-EPL都是扩展自SQLSQLSELECTFROMWHEREGROUPBYHAVINGORDERBYINSERTINTO…CEP-EPLRETAINMATCHINGOUTPUT…CEP无误报警，但漏网之鱼很多…有误报警，但无漏网之鱼有误报警，漏网之鱼很少无误报警，无漏网之鱼…YA!预处理模块事件接入模块预处理模块CEP规则引擎数据模型模块规则管理模块EPL解析器事件发派模块行动模块预处理模块采管线架构设计字段过滤字段填入事件过滤事件分流事件合流字段填入事件过滤好处是…前后随你接事件分流引擎与数据模型事件接入模块预处理模块CEP规则引擎数据模型模块规则管理模块EPL解析器事件发派模块行动模块事件流会先被放进数据库表中输入事件输出事件扫描比对输入事件输出事件扫描比对输入事件输出事件把输出当输入输入事件输出事件把输出当输入输入事件输出事件继续扫描输入事件输出事件也可以多个表输入，一个表输出ABCDE复合事件的阶级规则分解成上下游许多片段规则片段规则1片段规则2片段规则3片段规则4有些CEP允许事件逆流而上扫描方式：滑动与跳跃滑动式扫描跳跃式扫描扫描区间：定量与定时定量区间定时区间1000个事件1分钟OutputInputInputMgrIBMAmitCEPArchitectureInputAdapterInputAdapterDefinitionMgrRoutingMgrActionMgrOutputMgrPlug-inPlug-inUserDBRecoveryDBPersistenceDBContextandModelBasedRuleEngineListenerListener【小品】哥做的不是后督是总督孔宣大人我是正牌总督我是孔宣（软件工程师）升堂威武...传犯人孔宣本府为朝廷任命之正牌总督，但最近本府听说你自封为总督，你可知罪？冤枉呀！总督大人。小的是负责软件开发的，原本要开发一套后督系统，以进行资损的监控，但因为此系统功能相当弹性而强大，可以督的事情不只资金的部份，所以小的随口将「后督」改名为「总督」罢了哦！是这样嘛？那这套总督系统可以做那些事呢？基本上，BI（商业智能）、BAM（商业活动监控）、系统监控、网络攻击侦测、洗钱预防…等任务，大部分「总督系统」都能做到！这么强大？不会只是宣传噱头吧？冤枉呀！大人。总督系统通过状态机引擎运行监控规则，只要编写各式各样的总督规则，就可做各种不同的监控。而这总督规则就是程序，可以做任何的事，任何数学计算与逻辑运算都难不倒它。这么强大，给本府一套玩玩。大人你有所不知，因为小的编程能力有限，所以系统现在还有很多BUG，不太稳定。加上人力短缺，开发进度一直快不起来，估计最快还要两三季才能完善整个系统。大胆刁民，藉口这么多，来人呀！拖出去斩了！后督EDA数据库CEP状态机CEP总督Viceroy支付宝总督系统数据库引擎他牌CEP状态机引擎支付宝总督总督采用不同于其他CEP系统的设计他牌CEP：笨重、庞大、僵化1.他牌CEP无法（或难以）描述相当复杂的复合事件。2.他牌CEP事件格式受到数据库表schema的限制，无法自由扩展。3.他牌CEP需要大量的存储。总督CEP：轻巧、敏捷、灵活等待创建交易等待付款等待送货S1S2S3交易进行中S4S5S6S7S8S9S10T1T2T3R1R2总督CEP状态机的好处事件不放数据库，所以格式不受限制。状态机相当灵活，描述能力很强。只需记录当前状态，相当节省存储。总督支持两种模式模式反模式总督有自己的DSL，并可使用任何编程语言总督状态机协作关系：父子模式S1S2S3S4S1S2S3S4总督状态机协作关系：瀑布模式S1S2S3S4S1S2S3S4总督状态机协作关系：嵌套模式S1S2S3S4S1S2S3S4总督状态机协作关系：通知模式S1S2S3S4S1S2S3S4总督状态机协作关系：同步模式S1S2S3S4S1S2S3S4CEP系统的三大难题海量事件，处理压力太大返乡人口众多，请耐心等待！网络或系统延迟，事件乱序遵守交通次序，请勿超车！存在误报警的可能小心误触警铃，严格求证真相！CEP的未来令人期待…2010年的CEP若干年后…