DCampusMatrix智能邮件处理系统产品白皮书

DCampusMatrix智能邮件处理系统产品白皮书广州数园网络有限公司第2页版权声明数园公司拥有本产品及相关文档的全部版权。未经本公司书面许可，任何单位及个人不得以任何方式或理由对本产品的任何部分进行复制、抄录、传播或将技术文档翻译成他国语言，并不得与其它产品捆绑销售。商标声明“数园网络”是数园公司的注册商标。网站域名。本文档中所涉及的其它产品商标和服务标志皆为各自公司和组织所持有。信息更新本产品最新版本信息、升级信息以及相关技术文档将在本公司网站上及时推出，敬请留意。信息反馈数园公司欢迎您通过尽可能多的渠道向我们提供尽可能多的信息，您的意见和问题都会得到我们的重视和妥善处理，请将反馈信息投递到下述地址：地址：广州五山华南理工大学北门数据中心电话：[phone]传真：[phone]邮编：510640第3页第一章产品背景介绍1电子邮件的现状如果你有一个电子邮箱，那么它一定也是个垃圾箱。数据显示，2001年，垃圾邮件仅占全球所有电子邮件数量综合的7%，到了今天，这个比例已经超过60%，全球数十亿个电子邮箱正面临相同的命运---成为数字化的垃圾箱。长期以来，垃圾电子邮件在互联网上的泛滥给人们的工作生活和信息安全造成了极大危害，处理垃圾邮件占用了包括专业邮件厂商、邮件用户在内的社会各方大量的人力、物力，直接影响了互联网产业的健康发展。中国已成为继美国之后全球第二大垃圾邮件的目的地，去年一共收到460亿件垃圾邮件。中国网络协会称，自1994年开始截止去年11月，中国的网络服务器已收到1500亿封垃圾邮件，占到了总邮件数的30％。在网络大行其道的今天，最普遍的网络应用仍是不起眼的电子邮件服务。在Email成为传统邮政业务的终结者之前，垃圾邮件是否会首先成为Email服务的掘墓人？2统计分析最近12个月来，全球范围内垃圾邮件在所有邮件比例逐月上升，每月增长两个百分点，到了2004年2月，这个比例已经达到62%。图1全球垃圾邮件比例增长曲线图（来源：Brightmail网站）以中国网民6800万人来计算，中国用户每年收到邮件1752亿封，每周受到垃圾邮件8.8亿封，每年收到垃圾邮件为460亿封。全体中国网民每年浪费在处理垃圾邮件商的时间累计已经达15亿小时，直接浪费的中国GDP高达48亿元人民币。第4页如果一个人每天拿出5分钟来处理垃圾邮件，对于一个企业和大型单位来说，也许意味着一个部门全年的工作都浪费掉了。z发向中国的垃圾邮件垃圾邮件已经是中国互连网的一个毒瘤。中国已经稳居第二大垃圾邮件发送国的位置。在具有较高知名度的Spamhaus所维护的黑名单中，我国的ISP多大80多家。中国成为很多国际垃圾邮件的首选中转站，国际上一些较大的反垃圾邮件组织就曾经提出要联合封杀所有来自中国的邮件。国际上针对中国的信息壁垒越来越厉害，再不采取措施，中国就等着被全世界“封掉”吧！图2发向中国的垃圾邮件（引自iResearch）z用户讨厌的垃圾邮件种类比例第5页图3用户讨厌的垃圾邮件种类比例（引自iResearch）z用户对垃圾邮件的接受程度图4用户对垃圾邮件的接受程度（引自iResearch）3政府反垃圾邮件的决心“一个是缺少对拉邮制造者的法律惩罚措施，另一个是许多邮件服务提供商不愿在反拉邮技术上投资。”一连串的病毒和垃圾邮件警告就使得邮件安全成为网民和业界极为关心的事情。公第6页安部、教育部、信息产业部及国务院新闻办联合发出通知，将于2004年开展互联网垃圾电子邮件专项治理工作。我国反垃圾邮件的工作将因政府的强力介入而获得更大的力度空间。我国的反垃圾邮件工作必将因政府的积极支持和强力参与，逐渐走上法制化、规范化的轨道，真正建立起和进一步完善立法、组织、技术三位一体的立体反垃圾邮件体系，为我国邮民构建起反垃圾邮件的立体长城，从而极大地促进我国互联网应用的持续健康发展。第7页第二章数园邮件处理系统1产品简介为了应对日益突出的垃圾邮件问题，广州数园网络有限公司协同广州科友科技股份有限公司，结合多年的反垃圾邮件经验，采用国际领先的第三代反垃圾邮件技术和符合工业标准的嵌入式设计，具有智能化、自动化的高效反垃圾和防病毒邮件功能。该产品已获得公安部计算机信息安全专用产品销售许可证。完全满足相关部委颁发的标准和规范。该产品已经在教育、政府、企业等行业规模应用。得到用户的广泛认可。2系统功能说明2.1概述每一个MATRIX邮件处理系统都是一个完整的运行单元，可以对邮件服务器单独提供保护，这包括内嵌网络层防护系统、杀毒引擎和多层邮件处理应用系统。无论是单机版还是集群系统，Matrix邮件处理系统都不是孤立的运行系统。一旦投入运行，每一台Matrix都将和其它已经运行的Matrix连成一个高效率的垃圾邮件防护网络。不仅各个单机节点之间实时交换自学习经验值，而且在中央监控中心的管理以及网格海量高速处理系统的支持下，每台系统都将在管理中心的指导下及时更新垃圾和病毒特征数据库。这样，即使是小规模邮件用户所使用的Matrix和大型企业所使用的集群Matrix处理系统具有相同的垃圾邮件和病毒邮件过滤效果。分级策略分发机制也符合各级部门的网络安全管理要求。Matrix采用了先进的嵌入式设计技术，其目的是软硬件免维护自适应。采用了符合现行的网络发展趋势的外挂式安装，即不更改现有邮件系统和网络结构，从而避免了对现有邮件服务器的改变而引起的副作用。随着需求和邮件容量的扩充，对邮件的处理能力也是与日俱增，外挂式安装不会增加邮件服务器的资源开销，而且具有按需求扩充的能力。第8页图5Matrix前端嵌入式过滤系统UI图示Matrix前端嵌入式过滤系统的基本机构如下：图6Matrix嵌入式过滤系统系统结构图2.2主要特点z高可靠性设计：两级防火墙阻击垃圾攻击，内核稳健，完善的自我保护和邮件恢复机制；z模块化强，可扩展性高：各种过滤模块即插即用，提供并、串及集群第9页多种组网方式；z体系结构灵活，算法全面：自动和手动调整过滤流程；采用20层过滤模块，从简单的特征值识别到复杂的模糊指纹过滤，系统支持多种过滤算法，过滤率高达90％以上，用户满意度较高，并开始对垃圾图像的过滤；z基于网络管理技术建立的管理中心：能集中监控和服务，保证用户安全系统的更新，基本做到免维护；z全网防护：基于高性能网格计算和海量信息存储和处理技术，建立智能垃圾邮件后台分析系统，共享全网的垃圾行为，做到全网防护。z全方位防护：可以实现邮件的外到内、内到内、内到外垃圾及病毒过滤。2.3功能列表2.3.1网络防火墙功能Matrix邮件处理系统提供基于包过滤的防火墙功能，在网络层阻挡恶意攻击。禁止用户连接一些不必要的端口，控制用户的连接频率，防止由于邮件服务器设置不当造成的安全漏洞，提高了整个邮件系统的安全和稳定性。同时减少对所有邮件收下来过滤带来的网络流量费用。具体功能如下：z客户可以按照自己的需要对端口访问进行配置，例如全部放开访问权限或者只开放某些端口，如ssh、http、ftp端口等。也可以确定哪些IP为可信任IP地址，对Matrix本身和邮件服务器进行保护。zIP默认连接频率限制；可以限制用户连接的频率，防止一些用户恶意或者无意的进行超时连接和超大容量邮件传输，降低邮件系统负荷。z可以限制允许连接到邮件处理系统的IP地址，同时屏蔽不被信任的IP地址。为了防止攻击者利用无辜者的IP进行活动，Matrix系统可以用户定制IP释放策略。zRBL实时黑名单过滤。z接入规则和转发规则定制。2.3.2邮件防火墙虚假路由控制：支持IP地址的反向域名解析；阻截mailfrom与from不一致的邮件；阻截收件邮件地址不出现在信件中To和cc域的信件。第10页频率控制：监控第一跳IP地址和mailfrom邮件地址；设置监控时长，设置最大邮件数和封禁时长。连接控制：控制发送邮件连接的最大连接时间和发呆时长。负荷控制：在系统负荷超过一定的阈值后拒绝连接。2.3.3传统邮件过滤传统的内容过滤一直还是反垃圾邮件的主要方式，这是因为比起其他的格式来说，文字的变更代价更低。所以传统文本过滤方式也被Matrix采用为邮件处理的一个重要环节之一。以下是Matrix邮件过滤系统所采用的过滤方法：z关键字过滤：对邮件所含关键字的限制，包括邮件主题、发件人字、收信人（或抄送人）、信头、信体；能根据各种条件进行组合过滤；z尺寸限制：包括邮件信头，信体和全文的字节数限制；对附件大小的限制；z附件过滤：对邮件的附件进行处理，包括对附件名和附件大小进行限制，对不同的压缩格式进行解压缩，包括ip、rar、doc、txt、pdf、gz、gz2等格式；对多种格式的文本附件进行内容扫描，包括TXT，MSWORD，EXCEL，PDF等。支持正则表达式的附件名过滤，支持对附件后缀名正则表达式过滤z对于每一组合规则，管理员可以设定灵活的处理方法：PASS：通过，继续下一条规则的检查；REJECT：弹回邮件，服务器拒绝接受邮件，返还给发件人；FORWARD：将邮件转发给另外一个用户，可以是管理员帐号。2.3.4智能过滤这是提升垃圾过滤效果的核心部分，系统通过常规智能过滤、指纹过滤、贝叶斯过滤、URL过滤、生物特征过滤、图像过滤并辅助智能评判系统，高效准确清除垃圾邮件。这些过滤算法不是单独评判垃圾邮件，而是通过综合评分法实现过滤，减少误过滤，提高准确率。z常规智能过滤：通过提取邮件各个组成部分或集合的MD5特征，实现相同邮件、相同正文、相同附件的数量控制；并可设置处理的最小邮件，最小邮件正文，最大附件；并可设置更新特征库的时间。z基于人工智能文本分类的过滤：由于文本信息的变化具有速度快和成本低廉等优势，所以文本过滤方法仍然是现代过滤技术的重要一环，只是Matrix对文本过滤技术创新地使用了多项基于人工智能的过滤方法，其原理在于高性能计算第11页分析出特定垃圾的用词规律特点然后进行分类，再利用统计方法对邮件的文本特征进行计算，如果特征值大于一定的经验值则可以判断该邮件为垃圾邮件类，再辅以其他特征即可判断过滤即使一封垃圾邮件。这对那些用词汇比较有规律的垃圾和反动邮件特别有效。z指纹过滤：对垃圾邮件进行指纹信息提取并进行综合处理。这样相同或者近似内容的垃圾邮件无论如何改头换面，仍然逃脱不了Matrix的拦截。这种方法对于一部分利用程序在邮件中随机加入无效信息的群发邮件尤其有效。随着系统的不断学习，过滤效果会极大地提高。z蜜罐和陷阱过滤：将某些非本域认证帐号设置为蜜罐邮箱以收集更多垃圾特征，实现高效过滤。设置陷阱邮箱过滤，避免同样邮件重复接收。但这两种过滤不单独实现过滤，把这两种过滤收集的特征再进行指纹过滤和综合评判，以避免误过滤。zURL过滤：提取邮件信息中的URL作为过滤的邮件样本，结合指纹过滤和综合评判实现垃圾邮件过滤。z生物特征过滤：将生物信息化技术应用于邮件过滤领域，设计了基于生物序列模式提取技术的垃圾邮件过滤算法BioMatrix，并实现了基于此算法的中英文邮件过滤系统。z图像视频过滤：对邮件中的广告、不良内容和色情图像等进行过滤是Matrix将先进技术应用于邮件处理的另外一个成功地例子。现在可以处理的格式包括gif，jpg，bmp等不同图像格式。其原理是对邮件中的图像的内容和行为进行分析，从而形成特征数据库，然后对邮件中的图像进行特征提取并利用模式识别和模糊匹配技术与数据库中的图像特征进行匹配和甄别。2.3.5邮件栏杆过滤对发送邮件采取不信任策略，需要邮件发送方确认再次发送，这样可以有效拦截大量垃圾邮件。同时增加邮件服务器白名单技术，对正常邮件提供商不需确认即可发送邮件。根据我们在用户的统计结果来看，采用此技术后垃圾邮件过滤率平均可以达到87%以上。2.3.6提供多层病毒邮件的过滤当前大量含有害代码的程序通过邮件系统传播，用户一不小心就很容易通过邮件感染病毒，MATRIX系列邮件处理系统内置了全功能的反病毒邮件功能。系统自带一杀毒