第7章数据挖掘在产品设计中的应用

第7章数据挖掘在产品设计中的应用7.3面向产品设计的数据挖掘模型随着企业信息化程度的不断提高，CAD/CAM/CAPP等先进设计、生产方法的运用，同时企业事务电子化的迅速普及，企业积累了大量的设计、生产数据资料；另一方面，企业需要在继承原有设计信息的基础上，设计出具有新功能、创新性的产品。因而如何更加充分利用己有设计数据信息成为企业设计人员关心的主要问题之一。毫无疑问，这些庞大的数据库及其中的海量资料是极其丰富的信息源，传统的信息检索机制和统计分析方法只能获得这些数据的表层信息，不能充分利用丰富的数据资源，远远满足不了人们对数据内部隐含的、有价值的信息和知识获得的需求。如何将这些数据资源的利用提高到更高阶段，达到数据资源利用过程和人的知识创新过程的有机结合。作为一种独立于应用的技术，数据挖掘方法的提出，让人们有能力最终认识数据资料的真正价值，即蕴藏在资料中隐含的、潜在有用的信息和知识，被产品设计的研究人员看作是一个越来越重要的研究课题。产品的研制过程，往往是在一定的信息资源基础上的知识创新。从原有的信息资源中挖掘知识，在一定程度上会给设计人员以启发和借鉴。能否充分合理地利用现有丰富的设计资源，是影响产品研制周期、产品设计质量以及产品创新性的重要因素，也是衡量设计人员水平的重要标准之一。把成熟的设计资源中蕴涵的知识应用到新产品的研制中，不仅可以缩短设计周期、降低成本，而且可以确保产品的设计质量。概念设计是产品设计的先导，又是产品构型设计的前提。在概念设计阶段，设计人员对产品的认识很多都是经验性知识，而这些经验性知识的获得，一方面是设计人员从大量的设计活动中积累的，另一方面是从前人的设计方案中继承来的。而拥有大量的、丰富的经验知识是很少的设计领域专家才具备的，并且设计专家的许多有价值的设计经验很难准确地表达出来。因此，将数据挖掘的研究从理论研究转向应用，从不同侧面、不同应用层次最大限度地利用企业积累的丰富信息资源中蕴涵的知识，是数据挖掘技术在工程实践领域的最终目标。将数据挖掘应用到产品概念设计中具有很强的现实意义，同时也可以加快概念设计的进展和应用。7.3.1数据挖掘过程前面已介绍过，数据挖掘过程是在设计者的主动参与下进行的知识发现过程，是在积累了大量的数据后，从中识别出有效的、新颖的、潜在的、最终可以理解并加以有目的运用的知识。因此，数据挖掘的主体是具有一定知识背景，知识结构和知识创新能力的数据集合。数据挖掘的结果是由设计者经过思考、选择和决策后，通过对信息（知识）进行关联和聚合，形成新的信息（知识），而不是通过简单继承或信息过滤得到的信息堆积。在产品概念设计过程中需要建立基于约束的，面向知识应用的数据挖掘模型，也就是用户根据功能需求和结构要求选择挖掘算法，选择预测实体和训练数据，建立适当的关系数据挖掘模型或联机分析处理（OLAP）数据挖掘模型，OLAP数据挖掘模型可以执行如概念描述、关联、分类、聚类、时间序列分析等多种数据挖掘任务。如图7-5所示为面向知识应用的OLAP数据挖掘模型结构。图7-5面向知识运用的OLAP数据挖掘模型结构由于概念设计的结果确定了产品的基本特征和主要结构，因此概念设计过程中需要数据挖掘工具的辅助推理与决策。在图7-5所示的数据挖掘模型结构中，数据抽取、过滤和集成是根据用户的数据挖掘请求，负责从相应的数据源中清理和提取的相关数据，也就是相关数据准备和预处理的过程。元知识库中存有领域知识，用于指导数据挖掘或评估结果模式的兴趣度。元数据库也称数据字典，用于存储元数据（元数据的相关概念可参考第1章）。这里，我们建立的元数据主要是描述产品设计原理和方法的基本专业术语及其定义，以及与数据仓库要求格式之间的转换规则，其中部分信息可从领域专家处获取。数据挖掘引擎是数据挖掘模型的基本部分，它由一组功能模块组成，用于特征化、关联、分类和聚类分析等。产品概念设计中的数据挖掘过程可以分为以下五个步骤：（1）相关数据的准备。（2）数据预处理。（3）建立挖掘模型（MiningModels，MM）。（4）用测试集对挖掘模型评估、预测。（5）挖掘模型应用。整个数据挖掘过程是交互的，与领域相关的，需要设计师特别是具有设计知识、经验的专家参与，它并不是一个全自动化过程。1．相关数据的准备通过对设计方案的知识表示和用粗糙集表示设计知识库中的基本概念，形成了数据挖掘的数据对象，包括以下三个方面：（1）训练数据集。在构建数据挖掘的初始模型时，要用到训练数据。该数据集也许会有一些偏差或额外的特性，但是它如实反映了用来进行数据挖掘的样本。（2）测试数据集。在对模型进行训练的过程中，训练数据集逐渐被矫正，并随之变成了测试数据集。测试数据的修正是一个反复的过程，直到对测试数据集所建立的模型能准确地反映真实的数据，令用户满意为止。（3）评估数据集。评估用数据集就是从同一个数据种群中抽取的作为测试用的数据集。它必须含有不同的记录，用它的属性值来检验由前两种数据所建立的数据挖掘模型的准确性。2．数据的预处理数据预处理阶段主要包括数据的理解，模式识别，属性选择，连续属性离散化，数据中的噪声、丢失值或空缺值的处理，实例（Case）选择，各种数据集的生成等。经过数据清理（消除噪声或不一致数据）、数据集成（多源数据的组合）后，就可以进行数据选择（从数据库中检索与分析任务相关的数据），将要设计的功能树上的某个结点的功能要求作为检索条件或规则，从已有产品实例库、机构数据库、知识库和规则库中挖掘出符合近似度条件的机构方案及其各种参数，然后从中选择或全部选择，生成测试数据集（即测试集）。3．建立挖掘模型数据挖掘建模是数据挖掘操作的核心步骤。挖掘建模包括学习算法的选择，算法参数的确定等。用户根据功能需求和结构要求选择合适挖掘算法、选择预测实例（Case）和训练数据，建立适当的数据挖掘模型。数据挖掘模型是在数据源中的实体中产生的，使用向导通过预先设定好的有限的几个步骤完成相应的建模任务。主要通过以下的步骤来创建模型：（1）选择数据源。可以创建一个新的数据源或者是从已经存在的数据源中进行选择。（2）选择实例表或者数据挖掘模型表。选择和已经选择的数据源相关联的表。（3）选择数据挖掘技术方法（算法）（此处选择决策树算法）。（4）选择实例关键列。为实例的关键列选择标识键，标识键的选择将对算法的输出产生极为重要的影响，因为挖掘引擎是靠该键来区分不同实例的。（5）选择输入和预测列。输入列用于训练挖掘模型的实际数据，至少应该有一个输入列。预测列用于存储挖掘模型的预测信息。（6）结束。接下来的就是处理浏览数据挖掘模型。在产品概念设计过程中，人们需要对相关数据和方法进行分类，找出各数据或方案间的联系，在此基础上创造新的功能和方案。决策树方法的数据挖掘模型可辅助设计师对历史的产品数据进行分析预测，寻找规律和关系。决策树方法就是利用信息论中的信息增益，寻找示例库中具有最大信息量的属性字段，建立决策树的一个结点，再根据该属性字段的不同取值建立树的分支，在每个分支再重复建立树的下一个结点和分支的过程。其基本原理如下：设E=F1×F2×…×Fn是n维有穷向量空间，其中，Fj是有穷离散符号集；E中的元素e={V1,V2,…,Vn}称为例子，其中，VjFj,j=1,2,…,n。设PE和NE分别为E的正例集和反例集：假设向量空间E中的正例集PE和反例集NE的大小分别为p，n，且假设：在向量空间E上的一棵正确决策树对任意例子的分类概率同E中正反例的概率一致。一棵决策树对一例子做出正确类别判断所需的信息量为：P如果以属性A作为决策树的根，A具有m个值{V1,V2,…,Vm}，它将E分成m个子集|E1,E2,…,Em|。假设Ei中含有Pi个正例和Ni个反例，那么子集Ei所需的期望信息是I(Pi,Ni)，以属性A为根所需的期望熵是：以A为根的信息增益是：Gain(A)=I(p,n)-E(A)该方法选择使Gain(A)最大（即E(A)最小）的属性A'作为根结点，对A'的不同取值对应的m个子集Ei递归调用上述过程生成A'的子结点B1,B2,…,Bm。本决策树方法是对结点上的每个属性都计算其增益，然后从中选取增益量最大者作为该结点上的属性。根据上述方法，在VC++里实现决策树的构造算法如下（局部程序）：创建决策树的根结点root=S;VoidTreeExpansion(root,Ad,Ac){if满足结束条件利用分类函数对该结点进行分类并退出/*变量初始化*/A'c.RemoveAll();forAc中的每个连续属性ai{对vij进行排序并构造边界bij;for属性ai的各边界bij{构造属性aij;A'c.AddTail(aij);}}fMinEntropy=AlargeNumber;/*计算离散属性的熵值*/forAd内的各离散属性ai{for属性ai的各属性值vij{选择估价函数并计算E(Sij);ifE(Sij)fMinEntropyMinEntropy=E(Sij);}}/*计算连续属性的熵值*/forA'c内的各离散属性aij{选择估价函数并计算E(ContSij)与E(_ContSij);ifE(ContSij)fMinEntropyfMinEntropy=E(ContSij);ifE(_ContSij)fMinEntropyfMinEntropy=E(_ContSij);};/*选择属性*/选择与fMinEntropy相对应的最佳属性ai或a'i;/*扩展当前结点/*if选择了离散属性ai{for熵值小于fMinEntropy×TL的各属性值Vij创建子结点ChildNode=Sij;创建子结点ChildNode=S-;/*更新所选属性的状态*/Ad.RemoveAt(i);}if选择了连续属性a'i{创建子结点ChildNode=ContSij创建子结点ChildNode=_ContSij/*更新所选属性的状态*/Ac.RemoveAt(i);}/*处理当前结点的子结点*/for当前结点的各子结点ChildNodeTreeExpansion(ChildNode,Ad,Ac)}如果数据挖掘模型为关系型数据挖掘模型，其结构在设计上与关系型数据库表类似。它也有包含列和一定数量行的表。这样就完全可以用VC++来建立自己的结点浏览器，使用类似于SQL的语句，可以用这些模型对检验数据进行预测。4．用测试集对挖掘模型评估、预测把测试集导入挖掘模型中，进行模型的训练和测试，对得到的挖掘模型进行评价，同时对测试集进行预测，根据支持度等阈值对各机构方案进行比较评价，选定最佳的机构方案。如果都不满意，则重新返回到第一步，如此循环往复，直到得到用户满意的挖掘模型和测试集为止。5．挖掘模型应用在得到满意的模型后，就可以运用此模型对新数据进行解释，对测试集进行可视化的决策分析表达。7.3.2需求分析数据挖掘过程的实现目前，为了分析用户需求以及将用户信息转换成用户需求，新的开发技术与产品功能质量配置（QualityFunctionDeployment，QFD）相结合在美国、日本愈见流行。通过对美国、日本的一些公司的调查，发现他们普遍使用一些分析技术，如仿真技术、经验设计、回归技术、数学目标规划和层次分析法等。数据挖掘作为需求分析的一种新技术，能很好地从历史数据中分析用户需求。需求分析最早出现在客户关系管理的应用中，它首先根据客户的行为特性与产品销售利润等来进行市场细分，从而分析和发掘客户产品的优缺点，主要考虑如下问题：哪些客户买A产品不买B产品。哪些客户对市场活动反映积极。哪些是利润最高的客户。客户性质与购买行为的关系等。在市场细分后，开始进行针对性的市场活动。在这些活动中，对大量的客户与销售行为进行跟踪与再分析、再预测，并对市场活动的成功性和效果进行评估，从而做出相应的调整。可以看出，数据挖掘贯穿整个市场销售环节，对企业决策与制定战略目标影响深远。CRM的这些分析，对需求分析有很大借鉴作用。1．数据挖掘在需求分析中的使用目前，大部分对需求的研究只是局限于调查得到的用户需求，这种需求的获取方式比较