大数据智能分析软件V10系统方案

大数据智能分析软件V1.0系统方案武汉云众科技有限公司2018年12月1，概述本次项目建设的大数据智能分析平台，其基于智能化集成数控平台技术架构，实现“大数据”的智能分析化管理。并充分利用现代网络信息技术和集成技术将各种海量数据予以有机的整合，通过高效的智能化分析让“大数据”变得易使用、易获得、高质量，为实现重点区域的信息数据处理提供多种智能、高效的分析管理功能，让“大数据”在各个阶段的应用更加广泛、稳定。2，说明在数字化时代，大数据智能化是核心要素。在如今这个快速发展的数字化时代，困扰应用者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点，但企业组织可以利用相关数据和智能分析降低成本、提高效率、开发新产品、做出更明智的业务决策等等。智能化分析系统通过在研究大量的数据的过程中寻找模式、相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。大数据智能分析系统对于海量数据的管理，一个很大的难点就在于如何快速并自动化的收集数据，因为没有数据源，大数据融合平台将只是一个空中楼阁。对于结构化事务型数据，采用Crab大数据集成引擎的ETL工具+Dodo分布式任务调度引擎可以通过设置收集策略实时或定时地将需要的数据类型自动抓取收集到大数据平台内，通过建立一套数据报表、数据智能分析、数据智能挖掘的报表工具。在报表工具背后可整合各独立系统的数据，多维度分析、挖掘和获取任何数据。规则运算后，通过多样化直观的报表输出，而这可靠性、准确性和速度也要远大于人力。3，设计原则3.1先进性系统开发的起点要高，采用的软件平台要尽可能是目前世界上公认较先进的技术平台。在此基础上，采用先进的模块化程序设计和先进的设计思想，最终使系统在技术上达到国内领先水平；3.2良好的开放性系统采用业界主流的硬件平台、操作系统平台、数据库平台以及标准的协议，保证系统的开放性；3.3高可靠性系统运行要建立在坚实的软件、硬件基础上，这是系统稳定可靠运行的前提。在此基础上，中心系统管理软件与操作系统及其他应用软件应有比较明确的接口规范。应用系统要经过反复测试，有较强的容错能力，确保可靠运行；3.4实用性软件开发依据大数据智能分析软件需求具体内容，必须达到相关功能、性能等需求；3.5易维护性系统硬件可以很方便的实现远程管理及维护；系统软件均采用模块化的设计，并提供友好的人机接口，确保系统的易维护性；3.6灵活的扩展性软件系统架构充分利用网络的扩展性强的特点，采用透明化大数据、集中管理的结构，使得系统可扩充性很强，有足够的扩展升级的余地；4，价值优势4.1价值大数据智能分析最核心的价值就是在于对于海量数据进行存储和智能分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。大数据智能化分析的价值也体现在以下几个方面：1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；2)做小而美模式的中长尾企业可以利用大数据做服务转型；3)面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值；4)及时解析故障、问题和缺陷的根源，每年可能为企业节省大量费用支出；5)分析所有SKU，以利润最大化为目标来定价和清理库存；6)根据客户的购买习惯，为其推送他可能感兴趣的优惠信息；7)使用点击流分析和数据挖掘来规避欺诈行为。4.2优势大数据智能化分析系统可以轻松运行处理海量数据，它主要有以下几个优势：1)高可靠性。存储海量数据和智能化分析处理需求数据的能力值得人们信赖。2)高扩展性。大数据智能多层次的分析数据视图，确保有效和透明的数据。3)高效性。数据分析获取过程直观、强大，运行效率快。4)高容错性。通过先进的软件技术、新算法设计与高性能计算研究处理各种数据。5，应用实例大数据智能化分析在各行业注重实际应用，从数据汇聚到智能化分析处理，能实实在在地为企业提供可行的解决方案。5.1大数据智能催收平台大数据智能催收平台依托大数据技术以及多维数据源，将大数据增值产品集成到智能催收管理系统中，为资产方、处置方在贷后个人不良资产管理运营中遇到的各类痛点提供高效的解决方案。同时将不断探索、尝试为提升金融行业整体运营管理水平而努力，最终打造一个法律风险以及征信体系的完善及法律法规合规“互联网+不良资产处置”的模式大数据智能催收平台。系统采用WEB/JAVA开发模式，整体框架采用优秀的SpringBoot和SpringCloud等系列成熟框架。团队使用Maven与Git等进行项目管理与协作开发。业务架构图系统功能对于平台上的业务出现逾期，可以依托该系统进行催收管理，同时也可以对外承接一些不良资产催收业务。系统主要实现系统管理、案件管理、催收管理、数据报表等功能，并呈现在PC和微信端。平台对接并依托大数据及人工智能等先进技术，建立债务人知识图谱及人物画像，精确勾勒债务人还款能力与意愿，对债务人的还款可能性进行综合评估，得出催收评分，从而进行不良资产风险定价。整合不良资产方和处置方，在平台上不良资产方可以发布债务信息，处置方可以挑选债务去处置。平台可以用最新式的“催收模型”对资产包进行拆分，再分派给合适的处置方，进行资源的深度优化配置。模块结构图系统管理模块结构图：案件管理模块结构图：催收管理模块结构图：数据报表管理模块结构图：5.2智慧医疗区域卫生数据交换平台通过本项目的建设，将构建千万人数据量级的自然人全大型健康队列、重大疾病临床生命组学数据库、多层次精准医疗知识库体系和生物医学大数据共享平台:探索准确的健康大数据的分析策略、建立大规模健康管理及疾病预警体系；突破新一代生命组学的分析技术，研发系列生物标志物、靶标和制剂;壮大医疗健康产业发展，不断提升优质医疗资源的共享和可及性。平台建设结构图：需求分析：平台设计采用SOA架构，数据传输保障将采用传统消息中间件模式，消息中间件将提供消息总线服务，消息传输的功能提供以消息服务方式与ESB总线进行交互。建设内容：（1）数据交换中心及资源服务:构建数据交换共享企业级服务总线ESB,基于ESB的数据中心数据资源交换共享服务。（2）数据交换接入前置系统:ESB总线前置实现需要交换的部门数据接入和服务接入。（3）交换管理监控系统，提供对共享交换平台的管理监控以及交换数据的统计功能。（4）数据交换传输保障：实现各接入节点与中心ESB之间的可靠传输保障。（5）数据交换标准规范:数据规范、管理规范、技术规范等管理;标准和制度。5.3社区大数据智能化管理平台项目背景：通过社区服务智能化管理体制机制的创新和实践，建立科学的分工协作机制、高效的工作运行机制、规范的监督考核机制，实现社区管理的扁平化、精细化、信息化，社区服务的全覆盖、全天候、零距离。社区服务智能化管理，主要是指一定的社区内部各种机构、团体或组织，为了维持社区的正常秩序，促进社区的发展和繁荣，满足社区居民物质和文化活动等特定需要而进行的一系列的自我管理或行政管理活动。通过社区服务智能化管理体制机制的创新和实践，建立科学的分工协作机制、高效的工作运行机制、规范的监督考核机制，实现社区管理的扁平化、精细化、信息化，社区服务的全覆盖、全天候、零距离。系统架构：社会管理网格化GIS系统由1个门户网站、1个网格化管理平台(含30多个子系统)、GIS地图、无线移动终端(Andriod)等4个整体框架构成建设，实现创新型社会管理服务体系的科学化和人性化。系统以先进的设备与强大的技术作为基础，通过的简单程序设计，为使用者展现了非常友好的控制界面，使用户能通过非常简单的操作来实现日常的管理和维护工作。系统采用模块化设计，减轻了工作人员排查故障的难度。模块之间相互独立，一个模块的故障不会影响到系统的正常使用。数据收集：数据流向：业务处理：功能模块：（1）人口管理；（2）特定人口管理；（3）单位法人管理；（4）社区单位管理；（5）商户管理；（6）民情上报；（7）警情上报；（8）自动考核；（9）自动统计；（10）自动通知；（11）流程定制；（12）事件定位；（13）人口定位；（14）事件流程跟踪；（15）分级管理；（16）老人和儿童管理；（17）公共安全管理；（18）邻里矛盾解决；（19）舆情监控；（20）社区环境监控；（21）黄赌毒及时发现；（22）邪教组织及时发现；（23）公共设施管理；（24）志愿者管理。6，安全方案6.1使用安全在大数据智能化平台系统建设的环节，系统安全主要通过制定系统资源访问限制策略，实现系统的数据访问安全。（1）账号管理系统中的权限必须通过角色才能分配给账号；账号、角色、权限管理符合最小化权限原则；程序账号不能人工使用，不能在程序中使用预设账号，程序用账号密码可修改；（2）系统安全配置完成数据库、操作系统、网络配置和网络设备的基线配置、补丁安装；平台访问采用加密的SSH或SSL方式，登录进行密码保护；能够在系统管理界面显示当前活动的TCP/UDP服务端口列表以及已建IP连接列表。（3）日志管理应用系统、操作系统、数据库、网络设备、防火墙等的操作有完整的日志记录；系统自身产生的运行日志和告警日志发至安全监控系统统一存储管理；应用系统本身提供友好的日志查询和统计界面，应用系统可保存短期日志；（4）系统管理在系统中存在很多应用服务器，对于关键应用服务器的系统本身和运行于其上的应用，应给予专门的保护，防止未授权用户的非法访问。系统建设之后达到以下效果：通过良好的口令管理、登录活动记录和报告、用户和网络活动的周期检查，防止未被授权使用系统的用户进入系统。对于需要登录系统访问的用户，通过产品提供的安全策略强制实现用户口令安全规则，如限制口令长度、限定口令修改时间间隔等，保证其身份的合法性。能够按照用户、组模式对操作系统的访问进行控制，防止已授权或未授权的用户存取相互的重要信息。不同部门或类型的用户只能访问相应的文件或应用，可以采取授权方式限定用户对主机的访问范围。能够防止恶意用户占用过多系统资源(CPU、内存、文件系统等)，从而防止因无系统资源导致系统对其他用户的不可用的事件发生。能够对主机的安全事件进行详细的记录，并根据需要随时进行查阅。提供完善的漏洞扫描手段，及时发现系统的安全隐患，并据此提供必要的解决方案。（5）应用安全应用安全主要通过对各用户访问系统功能限制和数据访问范围的合理配置来实现。（6）权限管理应用安全管理上把接触系统的所有人员分为决策人员、管理员、业务人员等类型来分别控制数据访问的权限。系统的数据访问方式有三种，分别为文件直接访问，数据库客户端访问，应用系统访问。1）文件直接访问：通过直接访问源系统传送过来的接口文件实现对系统数据的访问。2）数据库客户端访问：通过数据库客户端利用SQL访问系统中的数据。3）应用系统访问：通过系统提供的应用前端功能访问系统的数据。（7）决策人员可以通过应用系统访问的方式访问自己管理范围下的所有业务的数据。（8）管理员主机系统管理员，在获得口令的情况下，可以通过文件直接访问的方式访问本主机系统的所有存储设备包含的数据。应用系统管理员，在获得口令的情况下，可以通过应用系统访问的方式访问应用系统的所有的应用数据。数据库管理员，在获得口令的情况下，可以通过数据库客户端访问的方式访问数据库中所有的数据库数据。（9）业务人员只能够通过应用系统访问的方式访问自己管理范围内内的有关的应用数据。（10）应用权限分配系统能够对使用系统的各用户提供类型和权限设置，并能对各用户实现分组分级管理，实现集中的用户管理机制。◎系统提供角色与用户级联管理的功能；◎允许授权的用户添加、修改、删除角色；◎允许授权的用户定义角色的类型；◎允许授权的用户分配角色的权限；◎允许授权用户修改角色权限；对用户可以按不同的工作范围和角色来管理其享有的资源及访问的范围等。对允许登陆到系统和设备的IP地址范围进行设定。权限的颗粒度足够细，分为系统管理权限(账号管理、角色管理、权限管理、日志策略配置等)、功能权限(如可分为多维分析、数据挖掘等)、操作权限(如可分为查询操作权限、写操作权限等)、数据权限(如可按地区、按时限设置用户可以