上午1-金融科技-董国兴-科技在金融业的应用

金融业银行证券保险基金期货信托……金融业的组成新技术突飞猛进，科技推动业务发展与创新基础平台软件应用业务分析IT技术—业务领域渗透，高度融合。科技与金融的深度融合(FinTech)大数据技术高性能交易技术量化交易技术区块链与人工智能AI技术合规与风险……主题大数据技术大数据核心技术数据平台•Hadoop流计算平台•Storm•Spark•Flink消息队列•KafkaStorm•单线程•计算资源占用高Spark•不支持窗口内增量计算•不支持逐笔消息处理Flink•支持逐笔计算、窗口增量计算•高可用、低延时、高吞吐•对SQL支持好核心技术实时计算业务应用数据资源层采集接入系统大数据平台批量实时实时计算网络服务器基础设施数据挖掘……数据清洗查询统计数据服务中间件预警监测数据服务存储HDFS安全管理离线计算HiveImpalaSparkKuduHBaseOozieHueRediskafkaSparkStreaming结构化数据非结构化数据……风险管理历史数据查询用户画像异常交易分析…………sqoop整体技术架构业务DB业务日志业务服务CDC数据库变更收集FLUME日志收集Kafka消息队列SparkStreaming流式计算ODSRawDataRawDataRawDataRawDataDW维度表dim基础层事实快照聚合层聚合汇总聚合DM主题_YY主题_XX应用标签/人群SQLonHadoopHBaseSOLR查询中心引擎ImpalaSparkSQLKylineHive业务服务安全管控安全LDAPSentryKDCNavigator数据科学数据探索机器学习数据挖掘数据分析师数据科学家数据开发平台调度系统任务依赖关系管理调度执行状态监控配置中心ETL日志管理流式计算ETL开发资源管理数据治理数据管控数据开发者数据平台建设模式业务场景客户营销异常监控智能运维征信业务……大数据应用业务场景转化分期类型客制化标签分期偏好广告行为属性分期金额点击浏览基金贵金属人口属性位置收入性别年龄贷款债券人群定向分期频率客户营销与用户画像系统架构数据管理数据采集数据整合标签管理标签规则标签算法标签体系标签版本人群分类个体管理群体管理业务应用数据查询画像应用接口支持渠道应用建设步骤高买低卖利益传送预警长期闲置账户频繁异动大量委托查询请求频繁交易国债、企业债频繁利用债券T+0交易正常交易日无交易z账户资金划转3次以上无交易账户资金每天划转一次，且连续3天以上多个账户发送大量无效的委托或者查询请求异常交易监控流入事件大数据平台分析参数调整模式匹配消息流TopicATopicBTopicC流出事件存储事件处理服务NoSQLSearchServingLayer规则引擎处理ImpalaMRSpark3rdParty事件处理报警,数据转换,业务规则大数据平台模型训练和部署,自动化告警,存储,接口服务,模式匹配,探索和分析模型SpeedLayerBatchLayerSpark,Impala,Hive事件管理KafkaHBaseSolrHDFS告警仪表盘异常交易监控架构分类算法聚类算法回归算法GBDTSVM…推荐算法自然语言频繁模式数据处理数据分析K-meansDBScan…LinearRegressionLassoRegressionRegressionTree…User-basedCFItem-basedCFAlternatingLeastSquares…LDAWord2Vec…FPGrowthBIDEApriori…SamplingVectorizationNormalization…DistributionAnalyzeCorrelationAnalyze…主要数据挖掘算法大数据平台技术数据分析技术业务分析技术？业务？IT人员的机会在哪里？量化交易技术策略开发量化开发交易平台量化交易的工作范畴利用数学、统计学、金融工程等知识设计交易模型将交易模型转换为计算机语言，并高效执行执行各类交易策略，并提供完善的管理功能传统交易•基于行为、过度自信、谨慎保守、贪婪、恐惧•受情绪影响大、时间投入多、响应速度慢、回报不稳定量化交易•客观、理性、受情绪影响小，时间投入少、长期总投入低、响应速度快、自动预警交易、回报相对稳定量化交易自动化交易程序化交易算法交易数量化投资高频交易量化交易的特点通用平台类•Apama•Horizon•Esper•Tradestation•Multicharts•……定制开源类•Kongfu（功夫）•Vnpy•……专业机构具有开发能力的个人或者私募机构量化交易平台交易策略行情数据订单生成系统内存数据库风控系统监控维护订单执行系统交易所柜台交易系统量化交易平台架构交易是一种紧约束事务，交易状态不允许使用缓存机制，对于提升交易性能的技术要求较高。内存数据库、非数据库机制内存技术闪存存储设备、闪存一体机闪存技术FPGA芯片技术Infiniband、底层网络协议网络技术•海量普通客户横向支撑•复杂交易机构客户纵向支撑量化交易更多的是需要纵向支撑高性能交易技术线程•单线程（策略）•多线程（交易）（行情）存储•内存映射（同步）•持久化到磁盘（异步）通信•内存映射•网络低延时通信CPU内存网络高性能交易关键技术环节延时对比•C++、Python、Java、Matlib、R等策略回测•C++、Java等交易•C++、Java等行情深度编程能力系统优化能力统计分析能力理解市场的能力金融知识等IT人员的机会在哪里？合规与风险金融业是一个特许行业，需要持牌经营。合规是底线•守住底线风险管理是能力•提升能力利用科技进步提升风险防范能力异常交易非法配资风险监控……合规与风险管理（RegTech）学习业务规则与监管制度一行三会的法律、规则制度、管理办法等事无许可皆不为对IT人员的建议