超市CRM仓库和挖掘

1数据仓库系统应用案例-------以小型超市为例2uSMDW--SmallSuperMarketDataWarehouse,经营资本5000万元以下u数据仓库技术强调了“处理过程”而不是强调某一个软件或硬件产品。1SMDW数据仓库要点3u数据仓库是对原始的操作数据从历史的角度组织和储存数据的处理过程它把各个信息源中与决策支持有关的数据经过提取(Extract)、转换(Transform)、过滤和装载(Load)集成按主题存放起来供决策人员查询和分析从而作出科学性的和战略性的决策。开发重点和难点在ETL比喻：基本数据库（运行数据库）-----水泥，钢筋，砂数据集市----预制件（星型，雪花型）面向被被解决问题（主题），用预制件组装比用水泥，钢筋，砂临时浇铸快，好1SMDW数据仓库要点（续）4数据仓库、数据仓库管理系统(DWMS)和数据仓库工具。核心:数据仓库DWMS,由DBMS＋界面＋专用程序实现。主题:用DBMS中的一系列表实现。关系数据库在模拟多维数据时将多维结构划分为两类表事实表和维表。星型模式和雪花模式并存兼容的方式。三部分组成2SMDW组成5由于XBase系列在我国曾经大量使用并积累了大量的原始操作数据基于这一国情SMDWV1.0版允许XBase系列为数据源在升级版本中用ODBC连接SQLServerOracleAccess等以形成多数据源的数据仓库。2SMDW组成（续）63SMDW用户界面和主要功能73.1数据提取过滤集成从超市每日交易的详细数据中提取数据将不一致的字段长度、不一致的赋值、丢失的数据输入等经过清理过滤按照统一的编码、统一的格式整合集成然后装入数据仓库。3.2主题的选择和汇总SMDW是面向主题目前版本选取了超市最重要的两个主题商品和顾客。超市经理最关心问题：某某顾客经常购买哪些商品?哪些商品经常被顾客一起购买?3SMDW用户界面和主要功能8顾客主题汇总每个顾客每日购买的商品的购买量和购买额(未购买商品则无相应数据)。每个顾客每周、每月购买商品的购买量和购买额。商品主题汇总每种商品的日销量、日销售额及日利润。每周、每月的销量、销售额和利润及这三个数据的日平均、最大和最小值。3SMDW用户界面和主要功能9商品主题：每种商品的每日销量、销售额和利润每种商品的每周销量、销售额和利润及这三个数据的日平均、最大、最小值每种商品的每月销量、销售额和利润及这三个数据的日平均、最大、最小值结果可以表格和图形(直方图、圆饼图、折线图等)两种方式显示。分析出什么商品最畅销什么商品最赚钱用以指导超市的经营策略。查询功能10顾客主题可查询每个顾客每日的购买量和购买额每周的购买量和购买额每月的购买量和购买额查询结果可以表格和图形(直方图、圆饼图、折线图等)两种方式显示。查询结果可知顾客的购买力和购买行为如某顾客经常买高档商品则说明他的购买力强某顾客常常买中低档商品少有买高档商品则说明他的购买力一般超市从而可有针对性地培养顾客群。查询功能11l可分析超市日销售额、日利润月趋势周销售额、周利润年趋势月销售额、月利润年趋势并以表格和图形(直方图、折线图、圆饼图等)两种方式显示结果。l可作历史比较和趋势分析。可作关联规则挖掘“在购买面包和黄油的顾客中有90％的人同时也买了牛奶”（面包＋黄油→牛奶）。关联规则挖掘在给定支持度阈值后，使用Apriori算法分析哪些商品顾客最有可能一起购买从而预测顾客未来的购买行为以便为顾客提供更好的服务以吸引顾客扩大市场。数据挖掘分析12系统把用户分为超级用户和一般用户并拥有不同的权限和口令。一般用户只能见到常规数据无权查看敏感数据。SMDW的系统安全管理134SMDW体系结构DB1DBn数据提取数据过滤集成数据加载当前数据历史数据综合数据仓库管理元数据库用户查询工具用户分析工具14l源数据SMDW的数据来源于超市各分店每日交易数据即多个关系数据库。l提取转换l仓库管理元数据（数据结构、转换规划、仓库结构、控制信息）。仓库管理包括对数据的安全、归档、备份、维护、恢复等工作这些工作需要利用数据库管理系统(DBMS)的功能。l查询分析工具用于完成实际决策问题所需的查询检索工具、L数据挖掘分析工具等以实现决策支持系统的各种要求。4SMDW体系结构（续）15扩展的雪花模式有多个事实表的雪花模式。操作数据存储ODS简化SMDW的数据传输接口和SMDW管理数据的复杂度特殊技术16–雪花模式（在事实表周围放射出多层次的维表）维表商店id店名地址Tel事实表商店id商品id顾客id售货员id日期id售价数量金额维表顾客id顾客名称地区地址Tel维表商品id商品名称厂家id商品类别进货日期进价库存数维表日期id日月年维表售货员id姓名性别年龄地址Tel维表厂家id名称地址Tel维表商品类别类别名称档次维表地区省别维表商店id店名地址Tel维表周次日期段事实表1商店id商品id周次总销量最大最小平均事实表2商店id商品id周次销售总额最大最小平均事实表3商店id商品id周次总利润最大最小平均维表商品类别类别名称档次维表商品id商品名称厂家id商品类别进货日期进价库存数维表厂家id名称地址Tel17日总结采用简单堆积文件手动方式和自动方式。每日子夜时分设置好后机器可自动进行总结。周总结、月总结采用轮转综合文件。总结方式也有手动和自动两种。数据仓库维护18系统查询分析得到的部分结果19系统查询分析得到的部分结果20小型超市数据仓库系统SMDW立足于我国国情多数据源实现了基本框架和功能。数据仓库的建设是一项复杂的、循环往复不断完善的过程需要管理人员、开发人员等各方面的密切配合通力合作。SMDWV1.0版还不完善有些部分还需进一步研究开发比如“老化”数据的处理更加方便直观的查询分析工具。小结21进化阶段商业问题支持技术产品厂家产品特点数据搜集(60年代)“过去五年中我的总收入是多少？”计算机、磁带和磁盘IBM,CDC提供历史性的、静态的数据信息数据访问(80年代)“在新英格兰的分部去年三月的销售额是多少？”关系数据库（RDBMS），结构化查询语言（SQL），ODBCOracle、Sybase、Informix、IBM、Microsoft在记录级提供历史性的、动态数据信息数据仓库；决策支持(90年代)“在新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？”联机分析处理（OLAP）、多维数据库、数据仓库Pilot、Comshare、Arbor、Cognos、Microstrategy在各种层次上提供回溯的、动态的数据信息数据挖掘（正在流行）“下个月波士顿的销售会怎么样？为什么？”高级算法、多处理器计算机、海量数据库Pilot、Lockheed、IBM、SGI、其他初创公司提供预测性的信息