spark日志分析需求文档

****基于日志分析软件需求规格说明书第1.1版2015年3月第2页/共20页版本历史日期版本作者说明2015年2月27日V0.1闻文创建2015年3月3日V0.8闻文核心需求章节基本编写完毕2015年3月6日V0.9闻文初稿完成本文档中的所有内容为上海复深蓝信息技术有限公司的机密和专属所有。未经上海复深蓝信息技术有限公司的明确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文档部分或全部内容。第3页/共20页目录1.引言...........................................................................................................................................41.1.编写目的...................................................................................................................41.2.项目背景...................................................................................................................41.3.系统现状说明...........................................................................................................41.4.术语和缩略语...........................................................................................................42.项目概述...................................................................................................................................52.1.项目目标...................................................................................................................52.2.项目范围...................................................................................................................52.3.业务流程图...............................................................................................................53.功能性需求...............................................................................................................................63.1.功能模块列表...........................................................................................................63.2.功能模块...................................................................................................................73.2.1.核心需求...........................................................................................................73.2.2.功能模块...........................................................................................................7第4页/共20页1.引言1.1.编写目的本需求文档为****基于日志分析系统需求参考编写的。为提高****信息化基础建设过程中，日志分析带来提高系统性能的价值依据。1.2.项目背景1.3.系统现状说明参考资料文件名称发布日期发布单位日志分析平台系统设计v0.2.docx2014年12月30日****日志系统需求2.doc2015年2月17日****graylog2-docs.pdf2015年2月26日graylog表1-1：参考资料列表1.4.术语和缩略语缩略语、术语解释消息输入项创建消息输入的一个项目消息流控制消息同类属性的为一个流向Dashboard消息监控报表的视图表1-2：术语和缩略语列表第5页/共20页2.项目概述2.1.项目目标提高****信息化建设综合问题的排除能力和分析能力。2.2.项目范围收集需要日志分析功能的所有软件系统。2.3.业务流程图HttpRandomKafkaSyslogtcpSyslogudp消息截获MessageIDIndexFieldTypeEmailCallbackHttpAlarmCallback...图2-1：业务流程图第6页/共20页3.功能性需求3.1.功能模块列表序号模块需求项编号优先级1日志查找日志查找001高报表显示002高3消息流消息流操作003高ShowMetriceson004低规则配置005高告警配置006高4DashboardsDashboard操作007高组件操作008高5资源资源操作009中6系统输入010高用户011中表3-1：功能模块列表第7页/共20页3.2.功能模块3.2.1.核心需求核心需求包括三点：报警、日志统计分析、异动检测。3.2.2.功能模块3.2.2.1.日志统计分析通过根据日志产生的时间相对一个固定的时间查询消息、根据日志产生的时间相对一个绝对的时间查询消息、根据基于特定语法的关键词查询消息。统计出日志结果的总数，在当前时间总数中分时间维度查看报表，当前结果字段可选择显示的方式。搜索类型类型解释Relative（相对的）相对于固定时间。在15分钟之前、30分钟之前、45分钟之前、1小时之前、2小时之前、3小时之前、1天之前、1个月之前、1年之前产生出来的消息记录。或者All所有的记录全部显示Absolute（绝对的）定义开始yyyy-MM-hhHH:mm:ss.SSS定义结束yyyy-MM-hhHH:mm:ss.SSSKeyword（关键字）基于特定搜索的语法的关键字查询表3-2：搜索功能类型表基于对消息Keyword（关键字）搜索，参考表格中“输入查找”的特定语法，得出查找消息的结果参照表格“语法解释”的内容。输入查找语法解译第8页/共20页表3-3：搜索功能语法表查询的消息记录结果，以报表柱状图的方式查看。以年、季度、月、周、天、小时、分钟七种时间维度进行查看报表。通过柱状图查看当前时间维度消息的总数，同时对应相应的消息总数的用占用的物理容量。对于每条已截获的消息流，可根据该流当中选择所有字段、默认字段、自选字段、不选字段进行查看每条字段当中的实际统计值。在单个字段有可操作的显示方式，其中统计、快速显示值参考以下表格中的内容。生成图表功能有选值查看功能：实际值（Mean）、最大值（Maximum）、最小值（Minimum）、求和（total）、总条数（Count）；报表查看类型：面积（Area）、条（Bar）、线（Line）、散点图（scatterplot）；分析视图方式：分钟（Minute）、小时（Hour）、天（Day）、周（Week）、月（Month）、季度（Quarter）、年（Year）。ssh消息中包含ssh的内容sshlogin消息中包含ssh或者login的内容“sshlogin”消息中完全匹配“sshlogin”的内容type:ssh消息中字段类型是ssh的内容type:(sshlogin)消息中字段类型是ssh或者login的内容type:“sshlogin”消息中字段类型完全匹配是“sshlogin”的内容_missing_:type消息中没有字段类型的内容_exists_:type消息中有字段类型的内容字段可操作的统计方式功能描述可操作统计（Statistics）统计消息总数、有效数、标准偏差、最小数、最大数、求和、方差、平方和AddDashBroad快速显示值（Quickvalues）统计当前字段的内容及重复AddDashBroad第9页/共20页表3-4：搜索结果字段统计类型表查询出的结果单个消息和柱状视图两个方式都可以加入DashBoard中，当前结果可以保存在本地文件当中，也可以作为结果集保存在服务器上。3.2.2.2.消息流消息流是对于消息输入项中，配置对消息的MessageID和Index两个参数相同的消息进行截获。填写消息流标题、消息流描述创建完成不带消息输入项的的空消息流。消息流列表当中显示消息流的名称、消息流描述、IO（messages/second）、配置规则数（展开所有配置规则清单可做删除、修改操作）、创建人、创建时间、删除当前消息流操作。表3-4：消息流配置表3.2.2.2.1.编辑消息流修改之前定义好消息流的名称，描述信息。的个数，所占总个数的百分比生成图表（Generatechart）按照当前字段生成图表，用不同的时间维度展示视图显示AddDashBroad消息流配置项配置的值Tittle创建消息流的标题Description创建消息流的描述第10页/共20页3.2.2.2.2.编辑规则一条消息流可添加多个规则，编辑完成的规则可修改、删除。3.2.2.2.3.快速添加规则在消息输入项消息获取过程当中，建立消息流的规则机制。自定义当前消息的规则检测消息输入项的异动情况，定义消息异动的阀值。定义的表达式可通过消息记录数量、字段名称，表达式定义丰富可完全匹配、表达式匹配、大于、小于、字段存在，以上条件可实现表达式的条件反转。表3-5：消息规则表达式类型表当前消息流进行规则限制。限制的规则为在当前消息流中某一个字段和消息总数值进行规则，输入限制规则的字段名称，选择该字段规则的类型完全匹配、正则表达式匹配、大于数值、小于数值、记录必须有当前字段的五种匹配方式之一。同一个消息流当中可以增加多个规则，对于已增加的规则可实现修改、删除等操作。流规则字段Filed选择需要加规则的字段Type选择需要加规则字段的规则类型Value规则类型的约束值Inverted约束值的条件反转规则类型规则描述Matchexactly完全匹配Matchregularexpression正则表达式匹配Greaterthan大于Smallerthan小于Fieldpresence字段存在第11页/共20页表3-5：消息流规则表单3.2.2.2.4.告警管理对于消息流在一段时间内截获的消息可定义报警表达式，定义邮件报警、发送Http消息头方式的报警事件。配置告警条件1.消息数量条件一段时间内定义消息流截获当前消息数量的阀值，灵活配置触发阀值启动项目，截获的当前消息记录次数可大于||小于||等于阀值时，触发报警动作。配置项目项目解释StartStopTime配置告警监控的起止时间MoreorLessorEqualto大于或者小于或者等于的选择Thresh