电力大数据关键技术与应用研究V11-精简版-092395

电力大数据关键技术及应用研究精简版南瑞埃森哲21.大数据关键技术研究2.基于大数据的短期符合预测3.基于大数据的供电可靠性分析4.基于大数据的低电压分析5.基于大数据的重过载分析6.基于大数据的变电设备故障预测7.基于大数据的二次设备风险评估8.基于大数据的红外图像分析及故障识别9.基于大数据的输电线路在线监测10.基于大数据的客户管理全面监测11.基于大数据的智能用电应用12.基于大数据的客户全面感知分析13.基于电网可靠性的配网投资策略研究大规模数据上多维索引和即时查询独特的并发控制机制完善的多数据兼容和应用平滑迁移工具独特的运行时优化支持OracleSQL的自动化映射平台功能3核心技术创新点提高原有存储过程型应用向云平台的迁移效率，降低实现成本动态选择SQL在Hadoop环境下的最优并行方案根据集群资源状态，自适应调配存储粒度，进一步提升应用的并发水平突破Hadoop只支持K-V查询的技术局限，大幅提升了大数据查询效率实现大文件读取与随机改写效率的综合调优，有效提高了存储过程复杂分析语句的运行性能基于查询重写的SQL到Hadoop映射技术I/O敏感代价模型驱动的并行方案优选技术集群资源感知的自适应分区技术基于混合多维索引的大数据查询技术基于组合存储的并行读写优化技术提供Hadoop环境中的DML语言支持能力，提高存储过程中Update、Insert、Delete等语句的运行效率优化多任务并发状态下的计算和IO资源利用率，有效提升分析计算任务的综合执行效率为准实时的多数据源之间的数据一致性保障提供技术支撑根据数据更新规模，动态调整ETL任务并发度，实现资源的集约化利用基于改进多版本机制的DML增强技术基于装箱模型的并发计算任务工作流的智能规划技术基于交叉Hash校验的数据一致性保障技术负载敏感的数据ETL并发度按需调节技术开源Hadoop平台无法直接应用于智能电网的复杂业务需求，需要结合业务实际，进行大量实用化研发和优化完善工作。4性能验证采用浙江公司用采业务真实数据，主要涉及29张数据表，共189.91亿条记录，选取了三个计算和四个查询任务场景，对比大数据平台和Oracle关系数据库处理性能情况。三个计算任务涉及表和记录数：1)公变数据完整率之今日电量计算（2.47亿）2）低压数据完整率计算（116.1亿）3)低压用户电量计算（143.7亿）上报公变数据主表333390公变用户计量点228991停电统计表24151795上报公变电量数据153193115公变终端测量点250975终端资产2600453统计公变数据完整率明细66257003公变任务表112821系统单位代码1320数据完整率明细临时表9071统计终端用户表838885低压任务表1903834低压测量点表17954341统计低压数据完整率4134600916低压表记表18476053低压用户表16224247系统单位代码1320上报低压数据主表22590221上报低压电量数据表7374570544停电统计表24151795终端资产2600453上报低压电量数据表7374570544上报低压数据主表22590221低压测量点表17954341低压用户表16224247低压表记表18476053终端资产2600453统计低压日电量6906656585低压测量点表17954341低压历史数据异常615803低压数据异常表854964性能验证51)采集覆盖情况明细2）采集数据质量检查3)批量抄表数据查询4)台区线损分析明细四个查询任务涉及表和记录数：1.57亿条台区线损统计62931052P码2645单位级别关系1351G_TG634564单位级别关系1351用户280480低压数据46741659终端资产2550507上报任务数据主表910439上报数据完整率明细69259714P码2645用户数280357用户明细表225288终端资产2547680上报任务数据主表910106用户明细表224140单位级别关系1351终端资产2315773P码2630用户数269803单位代码1320性能验证6低压用户电量计算：191min12min（实际运行23分钟）Oracle平台大数据平台143.7亿12min191min低压用户电量计算7采集质量检查明细查询：5.547s0.281sOracle平台大数据平台5.547s281ms采集质量检查明细查询8678719012.518120min50min100min150min200min250min数据完整率之公变今日电量低压数据完整率计算低压用户电量计算计算所消耗的时间计算性能对比Oracle计算任务验证对比大数据9101.1091.4853.5475.5470.3440.3280.2030.2810s1s2s3s4s5s6s采集覆盖明细查询台区线损分析明细查询批量抄表查询采集质量检查明细查询查询所用时间查询性能对比Oracle大数据查询任务验证对比111.大数据关键技术研究2.基于大数据的短期符合预测3.基于大数据的供电可靠性分析4.基于大数据的低电压分析5.基于大数据的重过载分析6.基于大数据的变电设备故障预测7.基于大数据的二次设备风险评估8.基于大数据的红外图像分析及故障识别9.基于大数据的输电线路在线监测10.基于大数据的客户管理全面监测11.基于大数据的智能用电应用12.基于大数据的客户全面感知分析13.基于电网可靠性的配网投资策略研究背景12•短期电力负荷预测主要是指预报未来几小时、1天至几天的电力负荷，短期负荷预测不但为电力系统的安全、经济运行提供保障，也是市场环境下编排调度计划、供电计划、交易计划的基础。•短期负荷预测精度已列为电网公司工作的一项重要考核指标。2009年，国家电网公司组织成立工作小组，制订了《电网短期负荷预测技术规范》，对短期负荷预测各项流程提出了基本技术要求与推荐技术方法。•随着电力生产和消费日益市场化，对负荷预测的准确性、实时性、可靠性和智能性提出了更高的要求，因短期负荷预测作用的大小主要取决于预测精度，因此如何提高预测精度是目前研究短期负荷预测理论和方法的重点。存在问题13•电网负荷是由众多用户负荷构成，不同用户的负荷受自身行业属性和生产特点影响，负荷规律也是千差万别，从总量上分析负荷变化规律忽略了用户的用电规律，因此分析结果必然存在一定的偏颇，更加无法精确定位负荷波动的源头：用户。分析层级不够细致•由于电网用户众多，因此负荷的影响因素太多、非线性极强，在总量负荷无法把握负荷变化内在规律前提下，对各种预测模型的使用必然会带来很大的局限性，而且目前没有哪一种模型能够很好的诠释所有日期的负荷走势。模型的应用不够精准•电网负荷受计划因素影响大，现有的负荷预测模型并未考虑地方电厂等因素影响，由于此部分信息多数是计划性的，可以部分或全部量化，而此类影响并未考虑到负荷预测的整体流程中，将会导致负荷预测的精度偏低。相关因素的考虑不够全面数据支撑14供电公司变电站馈线公变终端表计智能电表用电信息采集的数据结构如下图所示，负荷分为不同层级，层级之间是包涵关系。最底层是用户负荷，统调负荷=∑用户负荷+系统网损，此种数据架构为实现基于用户负荷的统调负荷预测提供了基础。即用户，本方案所需的主体数据即统调负荷，在通过下层累加时需考虑网损，但由于网损较小且固定，可通过历史网损统计得来累加整体技术方案15数据预处理负荷分析负荷预测误差统计批量修正异常数据辨识负荷特性分析负荷聚类用户分类专家系统法用户算法库自动批量预测误差统计误差来源数据存储数据查询负荷挖掘本技术方案是基于传统短期预测理论与成果基础上提出，其中负荷分析重点开展负荷聚类和用户分类分析；负荷预测中将负荷挖掘和专家系统与预测模型相结合；误差统计中开展误差来源分析。误差分析的结论将输送到负荷分析中以形成闭环的反馈。已有技术创新技术负荷聚类分析16123456789101112131415161718192021222324123456789101112131415161718192021222324稳定模式波动模式用户负荷数据之间存在关联性和相似性，用户的用电数据中隐藏着用户的用电行为习惯，对这些用电数据进行挖掘并研究用户类型，可以帮助电网了解用户的个性化，并为预测模型的选择提供数据支撑。根据负荷行业属性，将用户划分为：大工业、一般工商业、居民等类型；根据负荷波动特点，将用户划分为：稳定模式、波动模式、随机变化模式等类型。预测步骤17用户1用户2用户N…预测模型库时间序列线性回归相关因素智能算法并行计算用户1预测结果数据挖掘分类技术聚类技术关联分析…统调负荷预测结果用户2预测结果用户N预测结果…累加网损总结18电力系统负荷预测已经有多年的发展历史，目前短期负荷预测已经成为电力调度部门每日例行工作之一。负荷预测精度的高低对电网的安全、稳定运行及供电质量都有着直接的影响。在短期负荷预测当中，从用户层面确定统调负荷的变化是彻底改善预测精度的根本方法，也是响应调度精益化管理要求的体现，是实现调度部门全面掌握负荷构成的重要途径。基于用采数据的短期负荷预测，在负荷预测领域引入大数据技术的创新解决思路，融合了聚类分析、数据挖掘、专家系统法等前沿技术，给出了具体实现方案和流程，将有效的提高短期负荷预测的精度。191.大数据关键技术研究2.基于大数据的短期符合预测3.基于大数据的供电可靠性分析4.基于大数据的低电压分析5.基于大数据的重过载分析6.基于大数据的变电设备故障预测7.基于大数据的二次设备风险评估8.基于大数据的红外图像分析及故障识别9.基于大数据的输电线路在线监测10.基于大数据的客户管理全面监测11.基于大数据的智能用电应用12.基于大数据的客户全面感知分析13.基于电网可靠性的配网投资策略研究供电可靠性研究目的及解决思路20•由供电可靠率的公式可知，用户平均停电时间是供电可靠性的关键变量；•对用户平均停电时间进行层层分解，分析引起停电的各业务流程的主要因素；•基于历史数据计算各因素的影响程度，通过数据挖掘和量化计算的方法，进行深入分析，查找系统中可靠性的薄弱环节，提出有效的改进措施。供电可靠性研究的目的：•更好的指导未来时间内电网的规划、设计、运行和维修。•找出电网中可靠性薄弱环节，寻求提高系统可靠性的途径，降低停电频率、缩小停电范围、减小停电成本。总用户数（每次停电用户数）用户平均停电次数总用户数每次停电用户数）（每次停电持续时间用户平均停电时间%100）统计期间时间用户平均停电时间1（供电可靠率主要可靠性指标与计算公式供电可靠性的全面解决思路可靠性业务指标间的关联分析•关联分析是指如果两个或多个事物之间存在一定的关联，那么其中一个事物就能通过其他事物进行预测。它的目的是为了挖掘隐藏在数据间的相互关系。•从电网规模、电网结构适宜性、装备水平、电网运行方式、运检绩效、作业方式和需求侧管理等二十个方面选取代表性指标，运用关联分析法求出对供电可靠性影响最显著的数个指标。21连接数指标指标73主干线分段故障平均修复时间70绝缘化水平预安排停电时间45馈线平均用户数故障定位时间23电网容载比故障停电次数故障平均修复时间预安排停电时间故障停电次数故障定位时间主干线分段线路绝缘化水平馈线平均用户数电网容载比平均供电半径负控限电影响电量高低关联度输入关键业务指标:电网容载比线路跳闸率配网自动化水平……其他基础数据:业务指标波动值参数设置……输出分析模型约束条件算法神经网络多元回归其他模型供电可靠率约束用户平均停电时间约束用户平均停电次数约束可靠性评估结果可靠性预测结果构建供电可靠性分析模型，对关键业务指标进行分析，形成决策依据管理策略与建议22通过可靠性分析，对管理和技术层面问题的解决提供辅助决策支持23管理相关问题技术相关问题高低高低敏感性严重性人为破坏软件控制系统受攻击自然灾害长期投资未知风险技术人员缺乏/老龄化环保相关管制可再生能源规定缺乏可靠性操作强制执行标准树木生长引起停电可靠性分析工具缺乏系统保护检修天然气或其他能