基于网络的多媒体教学软件评价系统的研究与设计

秘娜领秘娜知嘛)总183期中国电化教育2002.4基于网络的多媒体教学软件评价系统的研究与设计口杨秀波师书恩内容提要:基于网络的多嫌体教学软件评价系统以多媒体教学软件评价指标体系为依托，利用计算机技术统计、量化评价结果，借助互联网组织、实施评价活动，突破传统评价方法的局限，对多媒体教学软件的发展具有重要促进作用。关键词:多媒体教学软件评价系统综合评判法问卷法一、月0青信息技术应用于教学，使教学资源突破了传统教学媒体的束缚，向多样化的方向发展。多媒体教学软件，作为信息载体、教学资源和学习工具，在教育、教学改革中的重要作用和深刻影响受到世界各国的普遍重视，多媒体教学软件评价也显得更加重要。目前，国内常用的多媒体教学软件评价方法有组织评价法、自我评价法、使用中评价法和过程评价法等。国外常用的评价方法有分析式评论法、指标体系评定法、观察法和实验法等。通过对国内、外已有评价方法的分析，我们在“基于网络的多媒体教学软件评价系统(简称‘评价系统’)”中提出一种新的评价方法—以多媒体教学软件评价指标体系为依托，根据教育评价理论，利用计算机技术统计、量化评价结果，借助互联网组织、实施评价活动并实时发布评价结果。二、评价系统设计思想“评价系统”借鉴教育评价理论，确定系统目标，构建评价指标体系，制定评价原则，选择评价方法，实现多媒体教学软件评价的实施。1.系统目标“评价系统”中，被评对象是多媒体教学软件，系统目标在于鉴定软件质量、评定软件等级，帮助用户在使用教学软件时进行决策，促进多媒体教学软件的发展。2.评价标准“评价系统”采用多媒体教学软件评价指标体系作为评价标准。多媒体教学软件评价指标体系，采用分级结构，从教育特性、媒体特性、技术特性和支持材料等方面逐步细化，全面地反映教学软件的性能目标。3.评价原则“评价系统”遵循正确导向、科学合理、简易可行等原则。实现正确导向的关键在于正确建立评价标准，合理设计评价指标体系，恰当确定权重。贯彻科学合理原则，要确立科学、正确、符合客观规律的价值观念体系和评价标准，尽量采用现代科技成果、改善评价方法和评价过程，将定性分析和定量分析有机结合。评价工作的简易可行是指简化评价指标体系，精简评价机构，评价工作的组织、实施简单易行。4.评价方法“评价系统”采用问卷法搜集评价信息，利用综合评判法量化评价结果。评价问卷由适用于被评软件的评价指标组成，为考察授权评价人员的参评态度，确保评价问卷有效，评价问卷包含若干“测谎”指标，占指标总数的10%左右。综合评判法引人模糊数学的思想，以模糊集合和模糊矩阵为基础，根据隶属函数和隶属度的概念及原理，解释和处理教育现象的模糊性以及教育评价的量化问题。其基本思想是:设被评对象为O，U二{u，，。，……un}为评价指标集，U上的模糊子集B二伍1，玩，……bn}为指标权重集，v二卜，v2，……vm伪评价等级集，为各评价等级赋值，构成等级分数集F二{p，，，，……协}。R是UxV上的模糊关系，林R(u，v)为隶属函数，林R(u、，vj)=fij表示指标ui在评价等级vj上的隶属度，即针对指标ui软件被评定为等级vj的人数比例，R=(rij)是nxm阶模糊矩阵，称为评价矩阵。对矩阵B和矩阵R作矩阵乘法，得到T二BxR=(t，，tZ，……端)，称为综合评判矩阵。对T作归一化处理，得T’二(tl’，七’，……t。’)，其中tj’二tj/(t，+tZ+……t二)(j二l，2，……m)。令Q二T‘、P，P是P的转置矩阵，Q为最终评价结果。三、评价系统设计“评价系统”的评价主体主要有两类，授权评价人员和普通用户。借助“评价系统”，授权评价人员远程参与评价教学软件。授权评价人员可再细分为专家评价人员和一般评价人员，前者由教学设计专家、学科专家等担任，有权参与指定评价和协作评价，后者可由教师、学生、软件开发人员等担任，可以参与指定评价。磊———一~.4中国电化教育总183期曰洲川呱琢乖溺翻“评价系统”中，普通用户可以查询软件、评价自己开发的软件，但无权参与指定评价和协作评价。普通用户参加软件评价培训后可以申请成为一般授权评价人员。1.评价系统功能结构“评价系统”旨在鉴定软件质量，选拔优秀教学软件，促进多媒体教学软件的发展。为此，“评价系统”提供指定评价、协作评价、软件查询、授权评价资格申请、评价培训、软件上载、软件下载等功能和相关的信息服务。其中，核心功能是指定评价、协作评价、软件查询和评价资格申请。“评价系统”的功能结构如图1所示。(l)指定评价指定评价是“评价系统”的核心功能，是指授权评价人员对软件开发者委托评价的教学软件进行评价。指定评价采用间卷法搜集评价信息，授权评价人员根据自己对软件的认识填写并提交评价问卷，系统自动处理问卷、量化评价结果、生成评价报告。根据实施评价的方式，指定评价属于个体评价，可以避免集体评价存在的从众、服从、暗示、感染、模仿等心理现象对评价结果客观性的负面影响。从评价结果计算方式的角度看，指定评价又属于集体评价，所有授权评价人员的评价都参与评价结果计算。系统采用综合评判法量化评价结果，充分利用评价信息，保证评价结果客观、公平。(2)协作评价协作评价借鉴组织评价的思想，组织专家评价人员借助“评价系统”远程、实时、共同参与对软件的评价，是指定评价的扩展和补充。从评价方式看，协作评价属于集体评价，但因其需要借助互联网实施，所以又不同于传统的集体评价。协作评价由指定的评价主持人(因软件而异，一般请学科专家担任)主持，各类型专家共同参与，各抒已见，对软件的性能做出客观、公正的评价。评价主持人掌握评价进度、更替评价指标供参评专家讨论、根据专家讨论的结果填写并提交评价问卷，系统自动计算评价结果并将评价结果反馈给所有参评专家。协作评价突破指定评价“一言堂”的局限，专家通过在线交流达成共识。基于网络的协作评价，防止专家正面接触，可以避免集体评价中言语、表情、动作、情绪、气氛等多种因素对评价心理的影响，有效保证评价结果公正、合理。(3)软件查询软件查询提供条件组合查询、关键字组合查询、按评价结果查询、按软件价格查询等多种查询方式，供用户查询软件评价结果、软件评价报告、软件排名情况、软件各方面信息等。(4)资格申请通过评价资格申请，普通用户可以申请成为授权评价人员。在申请授权评价资格之前，普通用户必须接受软件评价培训。软件评价培训的宗旨在于让用户掌握评价目标、评价原则、评价标准、评价方法、评价流程、评价的重要意义、影响评价结果公正性和客观性的心理因素以及如何避免各种心理因素的负面影响。接受评价培训之后，要求用户对标准软件进行试评价，并将用户的评价结果和标准评价结果对照，以衡量用户的评价结果是否有效，如果有效，用户得到评价资格认证，即可以申请成为授权评价人员，参与指定评价。2.评价系统逻辑结构“评价系统”逻辑结构如图2所示。客户端应用是直接面向用户的客户端操作平台。Intemet采用TCP/IP协议，实现客户端和Web服务器之间的通讯。Web服务器接收、处理用户提出的请求，并将处理结果返回给用户。数据库接口程序调用ADO数据对象，通过ODBC与后台数据库建立连接，由数据库访问组件执行数据存取操作。ODBc提供统一的程序接口，实现对异质数据库的存取。数据库管理系统(DBMS)管理数据库，维持数据库中数据的关系，保障数据安全存储，保证数据的一致性和完整性，并在多个处理请求之间分配存储区、网络带宽、磁盘操作等可利用的资源。四、关键问题1.评价信息搜集“评价系统”采用问卷法搜集评价信息，借助互联网发放和回收评价间卷。“评价系统”从软件信息库提取被评软件的软件学科、软件类型、软件适用学段等信息，建立到评价指标库的连接，检索评价指标库，提取适用于被评软件的指标，组成评价问卷。授权评价人员根据自己对软件的了解和认识，填写并提交评价问卷，实现评价信息的搜集。2.评价问卷处理“评价系统”从完整性和可信度两方面审核授权评价人员提交的评价问卷的有效性。问卷完整性，通过检验是否有评价指标被遗漏来审核。问卷可信度，通过测谎来验证。对于有效评价问卷，“评价系统”采用项目选答百分比法自动统计评价信息，统计结果记录到数据库，以便量化评价结果时提取。项目选答百分比，是对各问题的各个选项分别计算选答的人数占总人数的百分比，计算公式如下:其中，P是某项目的选答百分比，n是选答该选项的人数，N是回答问题的总人数。3.评价结果量化“评价系统”采用综合评判法量化评价结果。实现综合评判法的关键在于描述评价指标体系，获得评价矩阵和综合评判矩阵。“评价系统”采用的多媒体教学软件评价指标体系共分为三级，横向体现同级评价指标的并列关系，纵向体现从宏观评价指标到微观评价指标的逐步细化。“评价系统”采用树型结构描述评价指标体系，以二元组s二(u，b)(u为评价指标内容，b为评价指标权重)描述评价指标，根据树型结构节点之间的关系(双亲、孩子、兄弟等)确定评价指标之间的关系，结合对评价问卷的统计结果，获得评价矩阵R和综合评判矩阵T。综合评判矩阵T和评价等级分数集合P相乘，即得评价结果。4.评价报告生成“评价系统”在量化评价结果的基础上自动生成评价报告。“评价系统”根据百分等级法，将原始评价结果转化为百分等级分数，反映软件在被评群体中的相对位置，宏观评价软件的整体质量。计算百分等级分数的公式如下:其中，PR是百分等级分数，R是按递减顺序排序后某数据的名次，N为数据个数，R一0.5表示该数据所占的确切位置。“评价系统”还借鉴绝对评价中标准参照模型的思想，根据所采用的多媒体教学软件评价指标体系中对软件质量等级的定义，确定绝对评价标准，评定软件的绝对质量水平。五、讨论“评价系统”以多媒体教学软件评价指标体系为依托，采用问卷法搜集评价信息，采用综合评判法量化评价结果，借助互联网组织、实施评价活动，具有一定的优越性和先进性。“评价系统”有待于在投人使用后进一步完善，充分发挥其优势，为评价多媒体教学软件、促进多媒体教学软件的发展，做一点贡献。图2参考文献[l]胡中锋李方教育测量与评价》广东高等教育出版社1999年3月12]周谦李国岚《教育评价与统计》科学出版社1997年1月13]胡庆春《多媒体教学软件的过程评价法》《中国电化教育》2000年1期[4]张金荣《关于计算机辅助教学软件评价问题的探讨》《中国电化教育》1998年10期[5]聂红玲薛理银《国外教学软件评价的现状与趋势》《中国电化教育》1998年5期【6]Gab‘elJacobs，Evaluati飞Cou~ware:SomeCritiealQuestions，InnovationsinEd。eationandTrainingIntemational，35一l【7]AlanJCann，Ap卿achestotheEvalua-tionOfodineLeaZningMaterials，InnovationsinEdueationandTrainingInternational，36一l(作者单位:深圳大学现代教育技术与信息中心518060北京师范大学信息科学学院100875)级—