第二讲-大数据时代的情报分析

化柏林  [e-mail]  北京⼤大学信息管理系  化柏林1/60⼤大数据时代的情报新形势情报分析转化理念与模型情报服务实践与需求获取数据时代的信息分析⽅方法1234时代标签² 互联⽹网时代  ² 信息时代  ² ⼤大数据时代竞争核⼼心的改变² 数据⽽而不是资本，正在成为整个社会最有价值的资产，未来的竞争是对于数据资产的竞争，⽽而不在于资本的竞争。  决策思维⽅方式的改变² IT时代改变了⼈人们⽣生活与⼯工作的模式  ² DT时代将要改变或正在改变⼈人们思维与决策的模式⼩小数据情报分析实例² 数据D1:  eleven  done  one  too  many  ² 信息IF1:  某间谍身上搜索到的⽕火柴盒上印有eleven  done  one  too  many字样² 知识K1（常识知识）：31是荷兰的国际电话区号² 知识K2（专家知识）：键上的首字母代替数字是加密⽅方式的⼀一种² 知识K3（专家知识）：英⽂文单词的拆分与组合也是加密⽅方式的⼀一种，如done=d+one,根据K2得出d是3，根据语⾔言知识库得出one是1，因此done  one对应着31  ² 策略1：用什么样的线索，分析目标是什么² 情报IT1：eleven  done  one  too  many的明⽂文⼀一个荷兰的⼀一个电话号码，  化柏林⼤大数据情报分析案例² 美国“棱镜”计划  ² 数据基础：Google、微软等用户数据  ² 分析：序列分析、模式分析  ² 结果：恐怖活动预测与监测、重点国家竞争数据来源数据类型⺫⽬目标任务² 恐怖主义和恐怖分⼦子的关系、活动、联络、意识形态  ² 宗教⽂文化变迁的战略影响  ² 中国与发展中国家的科学技术与军事转型  ² 能源和环境压⼒力对国家安全的影响  ² 战争发动投票支持的监控与拉拢  ² 国家和区域谈判合作支撑  ² 新兴经济增长点探寻  数据时代的情报分析流程任务分解与需求定义多源信息融合与清洗信息检索与数据采集信息分析与内容挖掘信息展现与情报提炼报告撰写与情报传递分析方法 分析⽅方法模式分析时序分析⽹网络分析关联分析演化分析对比分析异常分析⼤大数据时代下的情报特点分析为轴面向服务数据为基⼤大数据特点与分析理念数据量大类型繁多价值密度低处理速度快追求精确性追求效率注重因果分析注重相关分析抽样数据全体数据目标过程基础  单⼀一数据多源数据突出特点传统BIVS.⼤大数据时代的BI对比指标传统BI⼤大数据时代的BI数据类型结构化数据非结构化+结构化数据数据库类型关系型数据库集群数据规模TB以下PB以上数据存储⽅方式集中式，数据向计算靠近分布式，计算向数据靠近计算⽅方式批处理为主支持流式计算计算时效离线计算实时分析+离线计算分析⽅方法统计分析+数据挖掘统计分析+数据挖掘+深度学习分析结果报表展示智能决策结果应用看数据解读数据竞争情报流程新旧对⽐比规划定向信息搜集加工分析传播情报需求识别与定义信息检索与数据采集多源信息融合与清洗信息分析与内容挖掘结果解读与情报提炼报告撰写与情报传递传统的竞争情报流程大数据环境下的竞争情报流程棱镜计划中的多源融合² 通过Google的检索日志可以获取用户关注信息的兴趣点以及关注热点的变化，  ² 通过Facebook、paltalk等社交⽹网站可以了解用户的⼈人际⽹网络与活动动态，  ² 通过微软、yahoo可以掌握⼈人们联机⼯工作的时间、⽅方式以及内容等。  ² ⽽而把这些信息融合到⼀一起，可以较为全面地认识并掌握某个用户或某类群体的信息⾏行为特征科技情报的异构信息融合期刊论⽂文学位论⽂文专利信息著作信息项目信息会议信息多源数据竞争情报的多源信息融合多源数据购买合作数据企业自有数据公开信息源行业协会竞争对手政府机关新闻媒体ERP系统CRM系统财务系统人事系统专利数据库论文数据库标准数据库政策法规库产品市场库单源VS.多源² （1）单⼀一数据有失全面性，⽆无法全面刻画事物以及事物状态的变化；  ² （2）单⼀一数据的可靠性与真实性难以辨别，通过多源数据的交叉印证有助于对数据的真伪进⾏行辨别；  ² （3）从单⼀一数据源中所能发现的情报是非常单⼀一的，多源融合可以有更多发现，有助于发现新的情报。⼤大数据情报⼯工作新形势² 互联⽹网模式  ² 数据支撑  ² 多源融合  ² 全景扫描  ² 实时研判  化柏林1/60⼤大数据时代的情报新形势情报分析转化理念与模型情报服务实践与需求获取数据时代的信息分析⽅方法1234信息的类型数值型信息⽂文本型信息图形图像信息音频信息视频信息数值型信息² 数值型信息以数据库信息为主，如  ³ 科技统计数据、  ³ 经济统计数据、  ³ 调查问卷统计结果  ³ 其他数值数据数值型信息² 实例：根据⽂文章编号推算录用比例² 2007年1月11日投稿编号为2007-­‐0051，2007年5月11日投稿编号为2007-­‐0776  ² 也就是四个整月的时间编辑部收到725篇，月均180篇，² 2007年2-­‐5月共刊登83篇⽂文章，月均21篇² 由此可以推出《现代图书情报技术》的录用率在1：9左右。⽂文本型信息² ⽂文本型信息以⼈人类自然语⾔言为主要描述⽅方式，重点体现在图书⽂文献领域，属于非结构化的信息，例如期刊论⽂文、专利说明书、政府报告等。2.中国知⺴⽹网的招聘信息图形图像信息² 图形信息是由各种各样的符号组成的，图像信息是通过照相设备对客观事物外观的捕获所获得的平面反映，⼤大家常把图形与图像信息放在⼀一起，统称为图形图像信息。  ² 图像信息在医学、地理科学等领域应用较多  ⼤大庆油⽥田案例• 时间：1966年  • ⼈人物：日本情报专家  • 来源：1966年7月的某期《中国画报》  • 信息：关于王进喜的封面照片  • 情报：判定中国油田位置位于北纬46度⾄至48度的区域，即中国东北的北部寒冷地区。信息F1信息F2信息F3信息F4信息F5情报T1：位置油⽥田位于东北⼤大庆情报T2：规模油⽥田覆盖四百公⾥里情报T3：能⼒力⽇日炼油100万千升情报T4：机遇中国需要购买轻炼油设备知识K1知识K2知识K3知识K4⾳音频信息² 音频信息是随着时间变化连续记载的可以通过听觉感知的信息，在传媒、交通等领域应用较多。      中途岛战役² 美国海军情报局在与英国以及荷兰相关单位紧密的合作下，开始成功的解读日本海军主要通讯系统JN-­‐25的部分密码。  ² JN-­‐25让联军得悉‘AF⽅方位’将会是日本海军的下⼀一个攻击目标，‘AF⽅方位’何在?  ² 中途岛VS.阿留申群岛?    中途岛战役² ⼀一名年轻军官却想到的‘AF⽅方位’是不是中途岛的妙计。  ² 他要求中途岛海军基地的司令官以⽆无线电向珍珠港求救，说中途岛上的食⽔水供应站出现了问题，导致整个中途岛面临缺⽔水的危机。  ² 不久后，美国海军情报局便截夺到⼀一则JN-­‐25信息，内容果然提到了‘AF⽅方位’出现缺⽔水问题。  ² 结果‘AF⽅方位’便证实为中途岛，也就是日本海军的下⼀一个攻击目标。    视频信息² 视频信息是随着时间变化连续记载的可以通过听觉与视觉感知的信息，在传媒、交通等领域应用较多。  ² 中央电视台新闻联播举例      信息链的⾦金字塔结构数据信息知识情报激活了、活化了的知识，反映人们如何运用知识去解决实际问题。对信息进行加工、分析、提取、评价的结果，反映事物运动状态的规律及状态变化的规律有意义的数据，数据在媒介上的映射，反映事物运动的状态及状态的变化。数据是事实的数字化、编码化、序化化、结构化。?信息链的线性结构数据信息知识情报?数据、信息与情报的转化模型数据信息情报知识知识数据加⼯工信息分析科技情报⼯工作实例  期刊论⽂文会议论⽂文专利数据······数据情报研究快报研究报告······  检索某主题的数据集合分析信息检索知识分析知识从数据到信息的转化信息数据情  境  化  处  理有效  化  处  理归⼀一化  处  理细分  化  处  理精练化  处  理…归⼀一化加⼯工² 把“北⼤大”与“北京⼤大学”统⼀一为“北京⼤大学”，  ²   把“⽹网络蜘蛛”、“爬⾍虫”、“爬⾏行器”、“抓取器”等归⼀一为“爬⾏行器”  ² 把英⽂文、法⽂文、日⽂文等不同语种⽂文献资料翻译成中⽂文从信息到情报的转化情报信息去伪存真型差异对比型由此及彼型化零为整型见微知著型…对⽐比分析型² 情报的关键：知彼知⼰己、敌我对比  ² 情报的⽅方法：SWOT、定标比超等  ² 报告的形式：三段论  对⽐比分析型² 机构：美国中情局（CIA）  ² 时间：1986年3月  ² 报告：《苏联激光化学研究与应用》  ² 信源：苏联科学家发表在公开出版物上的⽂文献，  ² 结论：“我们确信苏联在激光化学领域的基础研究⽔水平与美国相当或超过美国”由此及彼型² 相关性分析  ³ 非相关⽂文献知识发现  ³ 空白点分析  ² 信息挪用：  ³ 由招聘信息分析研发计划  ³ 由投稿编号分析录用率  化零为整型² 信息综合与汇聚  ³ 啤酒与尿布，根据零散的销售记录统计汇总发现共被购买的规律  ³ 德国记者根据零散的新闻报道汇总敌军将领名单  ³ 评审专家名单汇聚  传统谍报⼈人员特质² 身体好，有独特⽓气质  ² 技术多面⼿手，如开锁、破译密码、截获信号  ² ⽅方法灵活多变，  ² ⼼心理素质过硬  ⼤大数据时代情报⼈人员的特质² 对信息⾼高度敏感  ² 具有专业检索技能  ² 善于综合运用多种分析⽅方法  ² 掌握系统的情报⼯工作流程与⽅方法  ² 知其情、报其告、防⽌止对⼿手先知道  情报分析⼈人员的三个愿望² 知晓⼀一切  ² 得到信任  ² 对政策施加积极影响如何应对⼤大数据？⼤大数据⼤大数据⼤大数据⼤大数据⼤大数据⽅方法⼯工具情报化柏林⼤大数据时代的情报新形势情报分析转化理念与模型情报服务实践与需求获取数据时代的信息分析⽅方法1234化柏林情报：情况之报告² 问：情报究竟为何物？  ² 答：情况之报告，是既有知识与新信息融合所形成的新认知。  从情报起源看情报本质² 《孙⼦子兵法》：“知彼知已，百战不殆”  ² 《辞海》(1915年版)：军中集种种报告，并预见之机兆，定敌情如何，⽽而报于上官者；  ² 《辞海》(1939年版)：战时关于敌情之报告，曰情报  ² 强调了三点，即情报的核⼼心是情况，情报的重点在于他⽅方，情报的形式是报告（并不限于纸版报告）。化柏林情报：情况之报告² 有哪些情况？  ² 如何获取这些情况：Input  ² 如何分析这些情况：Process  ² 如何报送这些情况：Output  化柏林情况之报告：空间维度² 从空间上讲分为本⽅方情况和他⽅方情况：  ² 对于国家情报机构：就对应着国内情况与国外情况；  ² 对于省级情报机构：还有本省与他省的区分  ² 对于企业情报机构：还有竞争对⼿手的情况  情况之报告：时间维度² 从时间上讲分为过去的情况，现在的情况和未来的情况。² 历史研究，如研究对象的发展历程、经验教训等。² 现状研究，如研究对象的当前⽔水平、最新动态、基本差距、基础数据等。² 未来研究，如研究对象的发展趋势、发展战略等。化柏林情况之报告本⽅方情况他⽅方情况过去情况现在情况将来情况总结与评价预测与预见监测与跟踪过去情况² 《CIA’s  Analysis  of  China  From  Nationalism  to  Mao（1948-­‐1976年）》、  ² 《中美科技关系三⼗十年——从冷战时期的科技外交到⽹网络化世界中的伙伴关系》、  ² 《英国情报学研究进展五⼗十年》梳理评价过去情况² 信源：期刊论⽂文信息、学位论⽂文信息、专利信息、著作信息、项目信息、访问日