反垃圾邮件技术概要0604

反垃圾邮件技术概述肖作葵[e-mail]电子邮件原理垃圾邮件概述反垃圾邮件技术电子邮件原理SMTP协议SMTP(SimpleMailTransferProtocol)SMTP协议是互联网应用最多的协议SMTP是客户端到服务器、服务器到服务器传送邮件使用的协议SMTP传送角色MTA(MailTransferAgent)MDA(MailDeliverAgent)MUA(MailUserAgent)--相关A记录－－MUAMX记录－－MTASMTP传输MUASMTPMTAMDAMUAPOP/IMAPMTAMDAMTAMDASMTPSMTPSMTPSMTP指令HELO/EHLO标识自己的主机名MAIL标识邮件的发送者RCPT标识邮件的接收者DATA发送邮件数据REST中止当前处理并复位VRFY验证地址是否存在EXPN扩充邮件表NOOP只返回OK响应码(200)QUIT退出SMTP会话HELOsmtp.263.net250sina.com220sina.comESMTPMailfrom:[e-mail]250OKRcptto:[e-mail]250OKdata354Entermail,endwith“.”onalinebyitself…………“.”250MailacceptedQUIT221mailsent,sina.comcloseconnectionSmtp.263.netSinamx.sina.com.cn电子邮件结构信封是由MTA之间投递邮件所使用的信息，由MTA在邮件投递时的mail和rcpt指令发出。邮件头部信息是由MUA接收处理邮件是所用的信息，包括Received、Message-ID、From、Date、Reply-To、X-Phone、X-Mailer、To和Subject等。正文邮件的内容电子邮件结构示例电子邮件信头分析ReceivedMessage-IDFromToSubjectDateReply-ToX-xxx垃圾邮件概述垃圾邮件定义未经用户许可，但却被强行塞用户的电子邮件。UCE（未经请求的商业广告邮件）UBE（未经请求的大量寄送邮件）SPAM（原为新泽西州的一种火腿罐头，后引申指无价值的东西。）垃圾邮件简史前传：表现为连锁信及数量极少的朋友间的玩笑信件。诞生：1994.4.12年绿卡事件《怎样在信息高速公路上发财》发展：1995年出现了垃圾邮件发送软件，出现了采用假邮件地址和域名发送垃圾邮件，其中一些人还推出了邮件广告服务。垃圾邮件的发展与变化全球垃圾邮件的增长趋势全球范围统计，2001年垃圾邮件仅占电子邮件总量的7%，到2002年即达到29%，至2003年7月就超过了51%，2004年1月高达60%垃圾邮件的数量已经超过了合法电子邮件的数量。根据CNNIC2005年7月公布的调查报告推算,我国的互联网用户每周收到电子邮件总计约15亿封,其中垃圾邮件约9.6亿封,占收到邮件总量的64%。垃圾邮件的现状及特点垃圾邮件，95790，64％正常邮件，53560，36％垃圾邮件的现状及特点国内网民每周收到的电子邮件数量垃圾邮件的类型----引自用户认为的垃圾邮件的类型用户收到垃圾邮件语言垃圾邮件对邮件系统的影响数据来源:263网络通信单位：万封网关通过数网关过滤数邮件系统的实际处理量按邮件系统实际处理量计算，用户收到的邮件数量不会大于网络中实际邮件传送数量的15.38%。数据来源:263网络通信垃圾邮件的危害垃圾邮件消耗掉邮件系统总资源的72%数据来源:263网络通信反垃圾邮件技术概述SMTP的安全缺陷•缺乏足够的认证机制。（导致假冒他人邮件和滥用别人的smtp服务器）•攻击者利用vrfy或expn命令找到使用别名的用户的邮件或全名。•Mta问候中显示使用软件产品的信息，利于攻击者根据版本查找漏洞•信件完整性无法保障。难以实施的SMTP提高版协议•多数提高版协议都包括要求在接收邮件时确认发件人。•但是新协议无法广泛使用任何实施该协议的人只能从那些也实施了这个新协议的人处收到邮件•不久的未来不会有高版安全协议被广泛使用，垃圾邮件将持续成为一个问题，这促使企业机构寻求有效的垃圾邮件阻断解决方案。垃圾邮件阻断技术的总揽–新反向查找技术–发件人邮件地址列入黑名单–邮件信号系统/指纹识别–测试/回复系统–计算测试系统–速率控制–病毒扫描–词语过滤–基于规则的评分系统–贝叶斯过滤器–IP黑名单–RBLs实时黑名单–DNSMX记录查找–反向DNS查找词语过滤•是一个简单但是有效的阻断绝大多数垃圾邮件的方法。•词语过滤器需要经常升级，加入关键字的变更。•词语过滤器会产生误报情况。基于规则的评分系统•是一个人工智能（AI）系统，对发现的每一个关键词赋予分数。•分数越高，该邮件是垃圾邮件的可能性就越高；得分超过一定值时，该邮件将被分类为垃圾邮件。•可以清除90%的收到邮件中的垃圾邮件•局限性：和词语过滤面临的挑战一样。为使评分有效，规则必须经常更新。贝叶斯过滤器•贝叶斯分析：命名于著名数学家托马斯▫贝叶斯（1702-1761)，他发展了一个数学领域全新的可能性推论理论。•分析过去事件的知识预测未来事件。•贝叶斯过滤器与以前收到的垃圾邮件和合法邮件的中相同词语及短语出现的频率对比来确定垃圾邮件的可能性。•贝叶斯过滤器被“有效培训”以后，过滤垃圾邮件的准确率达到99%。贝叶斯演算分析贝氏过滤资料库，会根据已经被判断为垃圾/非垃圾的邮件自动学习新的垃圾邮件规则；时间梭子鱼包括贝叶斯过滤梭子鱼不包括贝叶斯过滤识别率IP黑名单•技术不需要占用计算机资源，易于实施。•需要手动维护的IP地址清单•垃圾邮件发送者经常修改他们的IP地址，并采用一个广泛的IP地址区间。因此该方案总体的垃圾邮件解决方案中起补充作用。•与黑名单对应的是IP白名单应谨慎使用。发件人邮件地址列入黑名单•用户生成一个发件人邮件地址黑名单，阻止这些发件人地址进入企业网络•垃圾邮件发送者可以生成很多的虚假发件人邮件地址，要维护一个实时更新的发件人邮件地址黑名单正确阻断是很困难的。•一些垃圾邮件发件人甚至不采用发件人邮件地址，所以这样的黑名单无法有效阻挡垃圾邮件。•用户订阅的新闻组也可能没有包含一个发件人邮件地址。RBLs(实时黑名单)•也被称为DNSRBLs,检查所有收到邮件的IP地址，与在RBL中的IP地址核对来阻断spam。•RBL运营商维护公共RBLs,使用单位仅需订阅该实时黑名单服务。•RBLs缺点是它们可能产生误报，因为一些RBLs是具有激进性质。故应谨慎选择订阅服务。DNSMX记录查找•是一项对于垃圾邮件发送者采用虚假发自及/或回复邮件地址的有效阻断技术。•系统在发自邮件地址的域上进行查找。如果该域没有一个有效的DNSMX记录，这样发自地址就是无效的，该邮件就被分类为垃圾邮件。反向DNS查找•对收到邮件的来源IP地址采用反向DNS查找•如果反向DNS查找提供的域与邮件上的来源IP地址相符合，该邮件被接受。如果不符合，该邮件被拒绝。•由于很多反向DNS目录未被有效建立，或无法正常建立，这些域发送的邮件将被阻断，造成不可接受的高误报告率。蜜罐(邮件信号系统,指纹识别)•蜜罐，或者说诱骗邮件地址，是用于收集大量的垃圾邮件。•采集完成后，如邮件信号系统或者指纹识别技术就处理垃圾邮件，生成一个已知垃圾邮件数据库。•适用于相同的垃圾邮件大规模传播时阻止。•不适用于每一个垃圾邮件都是独特的。测试/回复系统用于对付那些邮件自动发送程序–该系统维护了一个允许发件人清单，新发件人邮件在发送前被暂时保留，测试/回复系统发送给邮件发件人一个测试，如果发件人成功完成“测试”，测试/回复系统将他加入到允许发件人的清单中，该邮件被发送到目标地址。–测试信息通常包括一个URL链接或者一个要求发件人在回复邮件中复制一个数字到数字框中要求信息采用虚假发件人邮件地址将不可能收到测试信息测试/回复系统的限制•1锁死：两个人因为都使用测试/回复系统而无法交流。•自动回复系统：自动系统将不可能回复测试，作为无法回复测试的结果，这些邮件无法被发送。T&RT&RbA计算测试系统•要求发件人系统在发送邮件之前执行一个计算。•一个合法邮件发送人，花时间完成一个计算。•对大量发送垃圾邮件的人，完成这些计算不值得。王张ABCD计算测试系统局限性•不平衡负荷（UNEQUALTAXATION）：额外的计算降低系统效率•合法的邮件列表将和垃圾邮件发送者一样受到惩罚•傀儡计算机兵团（ROBOTARMIES）：•合法计算机兵团（LEGALROBOTARMIES）：速率控制•DOS(拒绝服务)攻击----垃圾邮件发送者经常试图通过在很短一段时间发送大量邮件阻塞邮件服务器。•速率控制允许在一段时间内从相同IP试图的联接数量在设置的范围内。北京市某区政府垃圾邮件意图分析►启发式检测（HeuristicDetection)会进行一连串的内部测试，决定该邮件是否是垃圾邮件．►检查邮件中的URL链接，确定邮件是否为垃圾邮件►垃圾邮件引擎侦测到变化型文字，垃圾邮件引擎会自动回复到原先字词，例如V.I.A.G.R.A回复为VIAGRA病毒扫描•病毒扫描本身被看成是一个阻断垃圾邮件传播的一个方式，因为大量的非法邮件是由病毒程序产生的四川电信IDC结论•不同的垃圾邮件阻断技术帮助用户阻断不同类型的垃圾邮件•任何一种垃圾邮件阻断技术都有优点和缺点及限制•垃圾邮件发送者一直试图通过变化的发送技术绕过反垃圾邮件技术•采用一个全面包含最有效垃圾邮件阻断技术的整体解决方案