华迪大数据可视化情报侦查系统

航天信息.华迪计算机集团有限公司2020年3月10日星期二大数据可视化情报侦查系统汇报交流大数据可视化情报侦查系统提纲现状分析产品介绍总体设计总结现状分析我们正处在大数据时代大数据时代大数据时代是一个数据为王的时代。大数据是一个海量异构数据集合，其大小超出了传统和现有工具的采集、访问、存储、管理与分析的能力，难以在限定时间内进行分析和应用。根据国际数据咨询(IDC)公司监测，全球数据量每两年翻一番，预计到2020年，全球将拥有35ZB的数据量，并且85%以上以非结构化或半结构化的形式存在。大数据时代给公安警务信息化和情报分析研判工作的发展提供了重大机遇，公安机关提出并正在推进的“情报主导警务”、“大情报”等战略发展都离不开大数据的应用。大数据时代的到来，即是挑战也是机遇。一方面，大数据使公安工作进入到一个针对密集型数据处理的时代；另一方面，大数据的产生也将为公安工作诸如新的活力，基于大数据的数据采集、数据挖掘、可视化分析、数据组织和情报研判等必将成为公安工作获取情报的主要方式。实践证明，大数据的应用将给公安工作带来革命性的变革。我们正处在大数据时代GOOGLE通过全美各地区搜索H1N1及流感相关关键字频率和分布，得出疫情爆发情报对冲基金通过Twitter用户每天关于情绪的关键字进行以亿为单位的数据分析，用以为买入和卖出股票做参考BOSTON爆炸案，第二天抓获嫌疑犯，制止再次作案，Googleglass和3D打印技术的发展，对于数据时代的贡献；沃尔玛如何做数据分析？大数据4V特征：•Volume：数据体量巨大•Variety：数据种类繁多•Velocity：流动速度快•Value：价值密度低大数据示例：大数据与侦查模式变革大数据时代大数据将使犯罪侦查模式发生根本性变革。大数据驱动的侦查模式是时代的必然选择，这不仅在于复杂的犯罪态势及其数据化生态，更在于大数据技术使得这种选择成为现实。在大数据时代，侦查要确立在线开放的理念、数据主导侦查理念、相关性理念、线上破案与线下证明相结合的理念。大数据驱动的侦查是一体性侦查、全景侦查、预测侦查和算法侦查。其机制主要有犯罪监控机制、犯罪侦破机制、犯罪预测机制。一、复杂的犯罪态势与大数据时代犯罪的数据化生态二、大数据驱动的侦查模式是时代的必然选择三、大数据驱动的侦查模式的理念变革四、大数据驱动的侦查模式的特点五、大数据驱动的侦查模式运行机制大数据与侦查模式变革大数据时代一、复杂的犯罪态势与大数据时代犯罪的数据化生态近二十多年来，中国犯罪率呈逐年上升趋势，刑事案件立案数平均每年增长22％以上，超过了全国GDP的增长。一是运用科学思维实施的犯罪；二是利用科学技术实施的犯罪三是犯罪时空的复杂性。现代科技的发展，使得犯罪时间非线性，犯罪空间缺席性，时空组合的多维、多样化和任意性四是案件因果联系复杂，现代社会是一个动态、复杂社会。在动态、复杂社会中，因果联系具有非线性、偶合性、多因性、断裂性，犯罪的因果联系往往难以确定。问题：狡猾的犯罪者能有例外而成为“数据隐士”吗?NO因此，在大数据时代，不要说数字化犯罪，即使传统手段的犯罪，都可以说落入了一种“天网恢恢，疏而不漏”的网络记录和存储体系，数据化就是当下犯罪的现实生态。大数据与侦查模式变革大数据时代二、大数据驱动的侦查模式是时代的必然选择业务信息主导侦查模式:其主要特征是：一是侦查部门依赖于公安平台所累积的结构化的数据库主要用于人、事、物的核查、比对，实时犯罪信息仍然主要依靠人工采集。二是信息提取依然困难。三是信息分析、研判仍然主要依靠侦查人员的经验。大数据驱动侦查模式:是建立在大数据和云计算平台的基础上，是大数据时代的信息主导侦查模式的升级换代。在大数据时代，大数据驱动的侦查模式是一种时代的必然选择，这不仅在于复杂的犯罪态势及其数据化生态，更在于大数据技术使得这种选择成为现实。首先，犯罪的数据化生态是大数据驱动侦查模式的现实基础。其次，在大数据时代，侦查所面对和所能处理的数据不再是小数据，而是大数据。有业务数据、用户原创数据、传感器感知数据；从数据表现形式看，有文字、图片、音频、视频、链接等；从犯罪案件构成角度看，有人及其关系、行为、物、时间、空间和主观意图数据。第三，大数据技术能从海量的数据中对犯罪信息进行提取、分析研判以及预测未来。大数据与侦查模式变革大数据时代三、大数据驱动的侦查模式的理念变革数据主导侦查的理念至少包括以下三个方面的内容：首先，有关犯罪的一切现象皆可数据化。凡事皆可量化，皆可数据化不仅与犯罪相关的有形之物如时间、空间、人的特征(生物识别特征、行为习惯等)、行为、手段、物等可以量化和数据化，那些与犯罪相关的无形之物如人的价值观念、态度、情绪等等也可以量化和数据化。其次，大数据是侦查的基础资源，是侦查的工具箱。侦查就是对数据开矿式的挖掘和分析，侦查能否成功某种程度上取决于对大数据资源的提取、分析能力；运用大数据各种分析技术，可以获得我们所需要的犯罪信息。最后，在大数据时代，数据居于侦查过程的核心地位，支配着侦查的运行。犯罪现场重建、侦查决策、侦查途径的选择、侦查分析、数据摸排、侦查预测等等无不围绕数据运行。通过相关关系，可以预测犯罪。大数据的核心价值是预测。通过收集具有相关关系的数据，建立大数据模型，我们可以从微观上预测什么时间、什么地点、什么人、什么类型等等的犯罪容易发生，也可以从宏观上预测犯罪趋势，这为我们防范和打击犯罪提供了更好的机会。大数据与侦查模式变革大数据时代四、大数据驱动的侦查模式的特点与传统侦查模式和业务信息主导的侦查模式相比，大数据驱动的侦查模式有如下特点：一体性侦查。侦查活动中以数据共享为机制，将分散的、不同层级的、不同区域的主体及其行为有机组织起来，形成一个整体的侦查模式。全景式侦查。采用海量的数据，甚至是相关的所有数据，对侦查案件进行全方位、多角度扫描、分析的侦查模式。大数据将改变过去的点线式侦查，是从面到点式侦查，即从时间、空间、人、物、案、事件等全景式数据比对碰撞和分析，实现向数据要线索，从而锁定犯罪嫌疑人。预测型侦查。侦查行为从回溯型侦查转向了主动型侦查。主动型侦查将侦查行为介入时间大大向前推进，甚至是侦查行为与犯罪行为时间同步，即侦查行为不仅指向已经发生的犯罪，还指向正在进行的犯罪。根据预测，我们可以制订计划，优化警力配置，采取行动。这样，对于犯罪侦查来说，过去的“犯罪发生——再反应”模式或将被改变为“预测——行动”模式。算法侦查。传统侦查模式主要依靠侦查员的人力、经验以及运气；业务信息主导的侦查模式是通过信息查询提高了侦查效率；而大数据驱动侦查模式的核心是数据运算，算法有汇总、分类、回归、聚类等等，而云计算是大数据最基本的支撑。大数据与侦查模式变革大数据时代五、大数据驱动的侦查模式运行机制大数据驱动的侦查模式运行机制主要有三个相互关联机制组成，即犯罪监控机制、犯罪侦破机制、犯罪预测机制。犯罪监控机制。监控(surveillance)的本意是密切注视、观察或监视所要监控的对象，包括人、事、物、场所等。在传统社会，监控是靠人的感官来完成的；而在现代社会中，监控依赖于各种各样的数据记录、存储设备以及分析、提取技术，是一种数据监视。大数据监视是一种“全景敞式监视”犯罪侦破机制。犯罪侦破机制是指案件发生后，侦查机关为达到侦查破案的目的所采用的手段、方式和过程。大数据时代的犯罪侦破机制大体分为四个阶段：数据准备-数据集成-数据挖掘-确定目标和验证阶段。预测机制。研究证明，人类的行为93％是可以预测的，成为“已发生的未来”。犯罪预测机制是通过大数据和“幂律分布”分析，较为准确预报犯罪类型、犯罪时间、犯罪场所、犯罪趋势的手段、方式和过程。我们认为，大数据仅仅是一种技术，再高端的技术也离不开人的驾驭。大数据不能排除人的经验、直觉在其中的作用。大数据驱动的侦查模式，是对传统侦查模式的超越，但其有效模式应是大数据、侦查直觉、经验的完美结合。公安行业数据现状当前在众多调查组织（例如警务、安全、情报等相关部门）被广泛采用的仍然是人工分析的手段，这种人工分析的方法针对目前信息处理的现状，面临很大的挑战针对当前数据分析的现状提出了全新的可视化分析调查的概念，其不同于传统数据分析方法之处在于，软件首先将大量的存在于组织内的各类数据以图形（Chart）的方式展现出来，通过图形的方式对数据和数据间的关联进行描述和展现，更进一步地，运用众多图形分析的方法（关联分析、网络分析、路径分析、时间序列分析、空间分析等）来发现和揭示数据中隐含的公共要素和关联。目前情报工作的弊端现状分析产品介绍总体设计总结总体设计大数据可视化情报侦查系统提纲系统总体设计目标提供一系列符合业务需求、功能丰富强大、使用方便快捷的情报信息分析处理、综合研判应用的工具和手段，为各级公安机关和各警种、各部门在侦查破案、反恐处突、重点人员管控、预警防范、领导决策等方面提供多方位、深层次、预替性的多种形式的情报信息支持。系统总体设计思路主要应用领域：情报分析大宗犯罪分析金融欺诈毒品相关犯罪反恐/国土安全特大事件商业损失侦测主要客户范围:警务、安全和情报政府银行系统总体设计思路借鉴i2技术的大数据可视化侦查系统•实战中解决的问题–串并案分析，通过各种关联关系进行串并–航班同机、同日、多目的地关联分析，查找嫌疑人及同伙–旅业同住关系分析，通过酒店与入住关系查找同住人–轨迹分析，通过航班、旅业、基站、QQ号IP地址等寻找轨迹–短信诈骗分析，通过电话及帐号关系进行串并案–盗车案件分析，通过基站地点、话单时序发现上下游团伙–话单关系分析（发现团伙），话单时序分析（时间间隔及方向发现同伙）–对于经常更换SIM卡及手机的团伙分析（基站及话单时序及关系分析）–洗钱分析，通过账单的关联关系找出资金流向，通过时序找出洗钱账户–类案分析，通过已抓获人员通讯录和话单发现跨团伙未抓获的嫌疑人–命案分析，通过对海量话单信息进行比对，快速生成否定库系统总体设计思路采用类似Palantir核心架构的大数据可视化侦查系统Palantir也被称为大数据行业的印钞机，它的客户包括美国国家安全局（NSA）、美国联邦调查局（FBI）、美国中央情报局（CIA）和很多其他的美国反恐和军事机构。PalantirGotham平台前端提供了一整套的集成工具，这套工具在语义分析、时间分析、地理空间分析、全文分析方面均做了优化。用户可以将数据对象在不同应用之间拖放以获得流畅、全面的分析经验。标准数据标准数据标准数据数图转换引擎关系抽取引擎Neo4j数据库（主要存储强关系）语义模型库用户权限库关系图谱分析地图数据检索对象资源分析多维数据检索实体信息查询查看历史版本工具（实体合并/拆关系、属性扩展实体/连接CRUD时间轴筛选图谱检测实体关系是否有更新数据检索活动热力图出行轨迹人群分布图数据检索活动规律分析(时间轮)团体影响力分析团体特征值分析全文检索分类检索（语义大类）终端UI交互数据传输规范（JSON）数据处理分析服务层（深度搜索，广度搜索，数据查询，聚集……）版本数据库库多源数据数据标准模型引擎（形成统一标准的数据模型）动态数据集动态数据集动态数据集…………实体关系检索通道实体信息查询通道管理工具权限管理语义模型管理标签库管理总体架构关系特征检索（节点—关系模式结构化数据文本数据语音数据视频图像数据聚类分析、SNA功能架构情报大数据情报分析云搜索平台大数据可视化侦查系统一体化情报分析展现平台模型驱动的大数据可视化侦查系统大数据可视化侦查系统可视化搜索搜“其他”大数据可视化侦查系统可视化分析PGIS分析模型控制搜“航班”搜“住宿”搜“人”其他工具动态实体各类选择各类查询时空分析热力图流动轨迹其他模型编辑模型新增情报分析关键词提取情感分析文本分类实体抽取各类分析各类布局摘要提取词频统计现状分析产品介绍总体设计总结产品介绍大数据可视化情报侦查系统提纲大数据可视化情报侦查系统大数据可视化情报侦查系统大数据可视化情报侦查系统大数据可视化情报侦查系统某时间范围内重点监控人员流动轨迹大数据可视化情报侦查系统模