TurboGate反垃圾邮件引擎核心技术

TurboGate反垃圾邮件网关是拓波软件的核心技术，专注于反垃圾邮件技术领域进行持续数十年的创新、研发与技术积累，TurboGate保持着99+%以上的垃圾邮件拦截率，用户满意度高，稳居企业邮件系统专业领域最高的软件技术水平。

垃圾邮件群发业务是一个庞大的全球市场，垃圾邮件发送者时刻在变化和升级垃圾邮件的发送方法和技术，努力逃避各种反垃圾邮件网关的拦截，达到提高垃圾邮件发送量的商业目的，垃圾邮件发送技术的不断变化和技术更新，给企业邮件系统管理员的运维工作带来了很大的压力，如何高效拦截千变万化的垃圾邮件，保障给企业提供清洁高速的办公邮箱，并且不能产生误判，需要优质的反垃圾网关来支持。

常见的垃圾邮件发送“技巧”有：

• 盗取身份，来自“好人”的身份欺骗：垃圾邮件制造者使用的手段相当多样化，他们收集全球范围的发信者IP地址，使用新的垃圾邮件域名，垃圾邮件或藏匿在其他“健康”url的后面以创建url好信誉，或利用如博客、免费网站等这些免费场所来达到身份欺骗。在发送过程中，它们用同样的技巧来隐藏发信者IP地址，将url重定向到已知垃圾邮件域名或IP地址，或者使用许多免费的资源。
• 图片垃圾邮件及多层图片垃圾邮件：在所有的垃圾邮件中，图像垃圾邮件的比例攀升到超过15%。垃圾邮件发送者越来越会隐蔽信息，他们以图片的形式发送，而不是用文本。图像垃圾邮件还会加重电子邮件系统的负担，因为每封图像垃圾邮件所占空间大约是普通垃圾邮件的7.5倍。
• 躲避全球IP监控及信誉评分：信誉评分技术是指根据信誉（reputation）筛检邮件的方法，依照寄件行为接受评比。评比标准依据几项变数，例如收件人的申诉率、发送邮件的数量，以及对收件人取消订阅要求的回应。另外，ip地址黑名单也是垃圾邮件发送者要回避的，为此，他们必须不断寻找新的僵尸服务器代发垃圾邮件。
• 躲避内容过滤，夹带URL或者电话号码：越来越多的垃圾邮件发送者为躲避内容过滤引擎，将邮件伪装得越来越像一封正常邮件，而邮件中夹带的URL地址或者电话号码才是垃圾邮件发送者真正的意图所在。这些非法新技术的隐蔽性和扩张性大大优于他们的前身，造成当今垃圾邮件泛滥成灾。

为了高效拦截泛滥成灾的垃圾邮件，拓波软件不断升级TurboGate反垃圾邮件网关解决方案，核心的技术有：

1.TurboGate综合算法评分引擎

TurboGate综合算法引擎是一种复杂的综合反垃圾算法引擎，目的是对每封邮件包含的数项属性和内容进行分析后，根据特定的评分标准和阈值来进行综合计算，再真正有效的做垃圾邮件的评定，TurboGate综合算法评分引擎采纳的参数至少有以下十四项：

• 可疑来源评分
• 反向域名匹配级数
• 可疑反向域名加分
• MX记录不存在评分
• 发件人格式不正确评分
• 发件人域反向解析不匹配评分
• 主题分析评分
• 收件人不匹配评分
• 发件人与收件人相同评分
• SpamFilter垃圾邮件内容评分
• SpamFilter邮件来源评分
• SpamFilter实时黑名单(RBL)
• SpamFilter内容RBL规则评分
• TMSpamcheck评分
• 其他未公开评分

1）TurboGate综合算法引擎是对一封邮件的所有内容进行计算后再分析，不仅仅是表面能看到邮件头、正文、附件、图片来计算。例如：包含“免费”“账户”“发票”字样的邮件不一定是垃圾邮件，如果仅通过这些来拦截，误判非常大。TurboGate综合算法引擎是智能的复合算法，它对邮件中各方面计算出数据的可疑性进行复合评判，非常准确的把握“正常”与“垃圾”之间的平衡，远远高于非1即0的静态过滤技术。

2）TurboGate综合算法引擎具备自适应功能一一自动学习新的垃圾邮件样本，以对抗最新的垃圾邮件。例如常被利用的变体字广告，垃圾邮件发送者使用“f-r-e-e”来代替“free”，使用”5EX”代替“Sex”，以绕过关键字检查，TurboGate通过非正常词语来增加垃圾邮件的可能性分值，通过大数据进一步确定垃圾邮件内容特征。

3）TurboGate综合算法引擎是充分匹配每个企业邮件特征的个性化算法引擎。他能个性化去匹配不同企业邮局的邮件特征。例如，“发票”一词对大多数企业邮局属于垃圾邮件显著特征，但对财务类公司则是常见邮件内容。TurboGate综合算法引擎针对不同的客户类型提供不同的算法。

4）TurboGate综合算法引擎支持拦截多语种垃圾邮件。

5）TurboGate综合算法引擎无法被垃圾邮件发送者破解。由于采用的是复合综合评分引擎，垃圾邮件发送者如需破解TurboGate的拦截，需要对各个方面的参数进行研究和造假，这种难度和成本是“不可能完成的任务”。

2.高强度发件人特征识别技术

在身份欺骗技术被垃圾邮件制造者广泛利用的新形式下，TurboGate邮件安全厂商推出了针对高强度发件人特征识别技术，拓波软件提供“假装无法连接”出错欺骗的特征识别技术加入TurboGate垃圾邮件网关中，通过“假装无法连接”试错方法，来验证发信者身份并预测其真实性，这其中包括反模仿垃圾邮件发送者的网络连接行为以及针对这些行为特征加强多种身份验证方法以进行深度辨认的措施。拓波软件通过勾勒出各种垃圾邮件发送特征，设计试错身份验证，引发垃圾邮件发送者暴露出其异常网络连接行为，从而达到高强度身份验证的技术。

3.信誉评分技术 IP Reputation

拓波软件专家把电子邮件信誉比喻成邮件服务器的驾驶记录，如果驾驶记录优，发邮件比较畅通；如果驾驶记录较差，你需要扣分才能继续驾驶；如果驾驶记录不及格，你不能继续驾驶，需要重新考证。通过驾照记录来理解邮件发送服务器的发件通行证，拓波软件通过历年积累的IP池和域名池的发送白记录、黑记录来对其做评分，形成TurboGate智能化邮件来源信用评分库，这成为TurboGate计算垃圾邮件值的重要参数之一。

4.多重图片 OCR识别技术

打击图片垃圾邮件的主导技术有图片垃圾邮件指纹识别技术、ocr识别技术以及之后的第三代图像防御技术。TurboGate反垃圾网关综合应用了这三个技术。

图片垃圾邮件的发送者们的技巧有：

• 使用动态的gif图像使内容占用多帧；
• 采用横线，符号和其他图像来模糊图片内的文字，伪装垃圾广告特征；
• 主要针对在图片广告中加入其他图片来混淆掩饰；
• 通过在图片中使用不同颜色的对比来展示广告内容。

为了对付这些技巧，TurboGate 提供新型复合ocr图片识别技术，深入分析图片，在进行ocr识别之前对表象图片显示进行计算，以及组合文字，背景等手段，识别效率为96%左右。

5.意图分析技术 Intention Analysis

意图分析是指鉴别邮件内容中包含的行为和意图，绝大部分垃圾邮件背后的动机是让接收人去做这几个动作：登陆某个站点，拨打某个电话，或其他。可从邮件内容去分析这些动机，从而判断垃圾邮件“意图”。

即使邮件发送者试图通过各种手段来逃避被反垃圾拦截系统拒绝，但他们最终的目的还需要驱使用户去打开其他网站或者拨打电话。拓波软件的TurboGate网关维护着垃圾邮件发送者常用网站地址库或常用电话，能够基于邮件中插入的这些信息拦截垃圾邮件。

意图分析也是TurboGate阻断垃圾邮件非常有效的手段，在TurboGate垃圾邮件防火墙的过滤的垃圾邮件中，通过意图分析技术过滤的邮件数量占到了10-20%。

6. 网络连接拦截

网络连接拦截功能比较基础，却是拦截垃圾邮件的重要部分，主要有以下技术：

1）速率控制
自动垃圾邮件软件的特征是向一个邮件服务器在短时间内发送大量垃圾邮件。为了保护邮件服务器免受攻击，TurboGate垃圾邮件防火墙对从来自同一个IP地址的连接进行计数，并在这个连接超出阀值时断开连接。

2）IP地址信誉评价
在对异常的IP地址进行速率控制后，TurboGate垃圾邮件防火墙对其分析以决定这个IP地址的信誉度。
用户可以自定义IP黑白名单，同时还可利用TurboGate黑白名单库，TurboGate不建议使用互联网公开收集的RBL库，误判率很高。

3）发送者验证
垃圾邮件通常会隐藏一个非法的来源IP地址。TurboGate垃圾邮件防火墙提供发件者验证功能并且提供策略，包括协议验证、DNS查询、发送者欺骗保护、自定义策略以及发送者策略框架（SPF）。

4）收件人认证
有很多垃圾邮件发送者是通过广泛的在互联网上收集邮件地址来进行发送行为。TurboGatr垃圾邮件防火墙提供来收件人地址认证功能，包括如协议匹配、用户自定义策略、LDAP收件人认证、SMTP收件人认证等。

5）DNS反向查找
在发邮件的时候，随意编造一个域名是非常容易的，垃圾邮件发送者经常采用这个方法来迷惑邮件网关和欺骗用户，DNS反向查找技术是指收到邮件时对发件人的地址的真实性进行核查，防止DNS欺骗。

6）拦截炮弹式服务攻击
在一个极短的时间里，向一个邮件服务器发送大量的邮件，耗竭邮件服务器的资源使邮件服务器瘫痪，无法正常地提供邮件服务，这就是针对邮件系统的炮弹式服务攻击。TurboGate将邮件系统在一定时间内处理的邮件数量限制在一个合理的范围，就可以有效地防止拒绝式服务攻击。

7. SPF验证拦截

SPF是发送方策略框架（Sender Policy Framework）的缩写，一种以IP（互联网协定）)地址认证电子邮件寄件人身份的技术，是TurboGate反垃圾邮件网关的辅助功能，应对的是垃圾邮件中发送方假冒的问题。当用户定义了他的域名SPF记录之后，接收邮件方会根据该用户的SPF记录来确定连接过来的IP地址是否被包含在SPF记录里面，如果在，则认为是一封正确的邮件，否则则认为是一封伪造的邮件，从而识别存在发信人伪造域名的垃圾邮件。

通过多种自主研发的反垃圾邮件核心技术的结合应用，TurboGate拥有99+强悍的垃圾邮件拦截效率，将误判率降低到0，保障企业邮件收发业务的绿色高效进行。