WOSS采集系统

1诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining电信宽带运营支撑系统2诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining计费信息IP网用户AAA配置信息Username&password计费Log文件/var/AAA/radwtmp用户管理计费管理NAS接入服务器用户：第1步：拨号第2步：输入用户名和密码第3步：用户名密码正确与否第4步：访问Internet5分钟第5步：停止访问InternetNAS服务器：第1步：建立电话连接第2步：请求AAA服务器验证第3步：授权接入或拒绝接入第4步：建立Internet连接5分钟第5步：断开Internet连接AAA(Authentication，Authorization，Accounting)：第1步：等待第2步：接受NAS请求验证用户名和密码第3步：应答不接入或接入并写计费Log起始记录第4步：等待5分钟第5步：写计费log终止记录请求应答/etc/passwd/etc/shadowIP拨号流程3诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTrainingWOSS总体流程AAAAAAAAA认证授权usersadminsproducts帐单detailUSERMONTHUSERYEARUSERDAYNASDAYNASMONTHNASYEAR整合帐务管理员营业员/etc/passwdrolesproductType采集4诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTrainingOSS采集系统AAAAAAAAA中央处理器采集系统JDBCT_Detail_xT_yearT_monthT_dayPL/SQLT_year_xT_month_xT_day_x整合系统T_UsersT_Adm验证验证删除修改查询添加删除修改查询添加T_user_services*1T_Pricing*1删除修改查询添加1*Web统计系统超级管理员IP网用户5诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining采集系统分析系统文件/var/AAA/radwtmp/etc/passwd/etc/shadow数据库表资料信息表：用户信息、管理员信息、资费信息、URL信息数据存储表：计费数据、故障数据、统计数据明细表、日表、月表、年表6诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining采集流程OpenLabOpenLabOpenLabOpenLabradwtmpradwtmpradwtmpradwtmpServer中央处理系统t_detail_xclientTcp/ipjavabidr结构7诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining采集/接收系统数据文件：bIDRLogin_namevarchar(10),Login_ipvarchar(32),login_datedate,logout_datedate,AAA_ipvarchar(32),Time_durationnumber(10)/*Minute*/数据文件：/var/AAA/radwtmp#boss|006:wKgAOA|7|1203522609|20.1.1.7#|006:wKgAOA|8|1203522824|20.1.1.7#boss|060:wKgAOA|7|1204044555|20.1.1.61#|060:wKgAOA|8|1204044644|20.1.1.61#boss|043:wKgAOA|7|1204291607|20.1.1.44#|043:wKgAOA|8|1204291612|20.1.1.44#boss|002:wKgAOA|7|1204291618|20.1.1.3#|002:wKgAOA|8|1204291624|20.1.1.38诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining如何解析此日志格式呢？用java直接解析性能的优劣可移植性比较可维护性比较9诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining模块关联信息serverT_DETAIL_XprocOpenlab1Openlab3Openlab6Openlab6client采集系统T_yearT_monthT_dayPL/SQLT_year_xT_month_xT_day_x整合系统10诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining功能定期采集（次/小时）原始计费Log（radwtmp)文件，整理成bIDR数据清单，并上传给中心处理系统。中心处理系统（接收系统）侦听并收集采集系统发送的数据信息bIDR，并将数据保存的数据库表detail。内部接口采集系统通过TCP/IP协议和接收系统接口；接收系统通过表detail和数据整合系统接口；开发语言java(IO,NET,THREAD,JDBC)功能定义11诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining细节思考讨论：1：如何采集radwtmp文件？方式一：直接操作方式二：先拷贝再操作方式三：先MOVE再操作2：读取出来的记录解析过程中用什么来存取？方式一：采用VECTOR/LIST来操作方式二：读一条记录就存到临时文件里。比较性能差异；12诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining定时调用程序的讨论定时程序的讨论：1：采用sleep函数，定时调用；2：采用系统调用crontab（）；Crontabunix系统命令$crontab–ltmp$cattmp103**0,4/etc/cron.d/logchecker12***[-x/usr/sbin/rtc]&&/usr/sbin/rtc-c/dev/null2&1303***[-x/usr/lib/gss/gsscred_clean]&&/usr/lib/gss/gsscred_clean3022**4/usr/lib/acct/dodisk0****/netct_oss/netct_client/dev/null13诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining采集系统所涉及数据文件系统文件：/etc/passwdLoginName:EncryptedPassword:UID:GID:GCOS:HomeDirectory:LoginShell•loginname:用户名称，必须唯一，不能超过8个字符;•EncryptedPassword:编码过的密码，为*号•UID:用户ID，唯一。习惯100以前被保留做为特殊的userid,而root总是0。•GID:用户组ID。•GCOS:在这里可以写上你的fullname、家中电话,住址等……爱写什么就写什么•HomeDirectory:用户的homedirectory•LoginShell:设定使用者所使用的shell,预设值是/bin/bash.14诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining采集系统所涉及数据文件系统文件：/etc/shadowusername:passwd:last:may:must:warn:expire:disable:reserved•username：使用者名称•passwd：编码密码•last：密码上次更动日期，以从1970年1月1日算起的天数代表•may：密码改变前天数•must：密码最常使用天数•warn：代表期限前几天就事先警告使用者•expire：超过密码过期天数後，就关闭该帐号•disable：帐号关闭，以从1970年1月1日算起的天数代表•reserved：预备栏位举例：oracle:kOvJdUhRw.s8I:12769::::::itnode:4je7ikbvDDqMk:12769::::::TonyChen:ZWzEZhWnac7hw:13011::::::tomcat:jh5DEBX1s3ILA:13040::::::15诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining采集系统所涉及数据库表数据库表：detailCREATETABLEchengx_detail{login_nameVARCHAR(10),login_ipVARCHAR(32),login_dateDATE,logout_dateDATE,AAA_ipVARCHAR(32),time_durationinteger(10)};CREATEINDEXi_detail_xONdetail(login_name);16诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTrainingAAAAAA采集系统模块划分及模块位置分配ClientServerAAA配置模块日志模块采集模块备份模块网络模块中央处理系统配置模块日志模块入库模块备份模块网络模块TCP/IPBIDR对象17诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining采集模块功能采集原始计费Log（radwtmp)文件，整理成BIDR类数据清单讨论存取方式的选择：方式一：采用Vector/ArrayList来操作方式二：读一条记录就存到临时文件里对各种原始记录情况的处理对跨时段原始记录情况的处理18诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining入库模块功能将BIDR类数据清单插入数据表detail讨论19诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining日志模块功能将系统运行过程信息记入日志文件，以备查验讨论实现方式：方式一：自行编码;方式二：借助第三方工具包(例如：Log4J);20诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining备份模块功能在网络或数据库发生异常的情况下将本次采集或接收到的BIDR数据清单持久存储；取出上次持久存储的BIDR数据清单讨论考虑备份模块在客户端(Client)和服务器端(Server)的不同21诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining网络模块功能将采集系统客户端采集形成的BIDR数据清单传输给位于中心处理系统的服务器端；调用入库模块插入数据讨论传输数据的方式方式一：作为字符串传输方式二：作为对象传输22诚信，专业，创新，合作Tel：021－55660810Fax：[phone]BriupTraining配置模块功能实例化其它模块，降低模块之间的耦合性讨论如何利用反射机制实例化对象;配置模块如何实例化;