角逐回首
2021年DataCon大数据清静剖析竞赛是意昂体育-科技赋能场景,让娱乐更有趣!、清华大学网络研究院、蚂蚁集团、Coremail论客配合主理，， ，， ，是海内首个以大数据清静剖析为目的的大型竞赛，， ，， ，旨在选拔和作育起劲防御型网络人才，， ，， ，竞赛的最大特点是强调“实战化”，， ，， ，模拟真实网络情形的攻防对抗场景，， ，， ，重点考察选手使用新手艺要领解决差别场景清静问题的能力 。。。 。。。
数十支战队报名了域名清静系统赛道，， ，， ，经由强烈的角逐，， ，， ，2021年11月4日由清华大学—叽里呱啦战队夺得桂冠 。。。 。。。针对本届域名系统清静赛道黑产剖析偏向角逐的情形，， ，， ，来自意昂体育-科技赋能场景,让娱乐更有趣!涉网犯法研究中心（A-TEAM）加入赛题制订与赛果评审的出题人也给出了多维度的手艺解读 。。。 。。。
一起来看看吧！
出题单位先容
意昂体育-科技赋能场景,让娱乐更有趣!A-TEAM团队致力于Web渗透、APT攻防、对抗、前瞻性攻防工具预研等事情 。。。 。。。从底层原理、协议层面举行严肃、有深度的手艺研究，， ，， ，深入还原攻与防的手艺实质，， ，， ，曾多次率先披露Windows域、Exchange、Weblogic、Exim等重大清静误差 。。。 。。。
意昂体育-科技赋能场景,让娱乐更有趣!涉网犯法研究中心致力于攻击涉网新型犯法领域的清静手艺研究与产品研发，， ，， ，是以意昂体育-科技赋能场景,让娱乐更有趣!A-TEAM成员为焦点的立异型团队，， ，， ，为国家及各省市公安机关提供高效专业的攻击涉网犯法情报剖析效劳和实战解决计划 。。。 。。。
赛题设置与数据泉源
黑产剖析偏向赛题的设置是源于现实互联网上保存的大宗不法的涉及黑灰工业的网站 。。。 。。。
赛题要求参赛者对给出的网站举行分类，， ，， ，识别出其中的涉黄、涉赌、涉诈网站，， ，， ，在此基础上发明这些网站潜在的关联关系，， ，， ，对网站举行家族聚类剖析，， ，， ，判断出哪些黑产网站数据统一个黑产组织，， ，， ，最后凭证给出的域名排名数据以及会见量数据对黑产组织的规模以及活跃水平举行评估 。。。 。。。
本赛题期望考察的是参赛选手对网页举行自然语言剖析处置惩罚能力以及对网站元素的明确、剖析能力 。。。 。。。
本次赛题提供的数据是源自意昂体育-科技赋能场景,让娱乐更有趣!手艺研究院提供的逐日新增域名以及被动域名剖析（PassiveDNS）数据，， ，， ，数据包括三部分：
1.逐日新增域名
提供的是一个域名列表，， ，， ，这些域名是通过Whois信息发明的天天新注册或注册信息变换的域名 。。。 。。。
2.域名排名数据
域名排名数据包括域名以及域名对应的排名信息，， ，， ，域名排名信息由意昂体育-科技赋能场景,让娱乐更有趣!手艺研究院凭证被动域名剖析（PassiveDNS）等数据通过算法盘算获得的SecRank域名排名 。。。 。。。
3.域名会见趋势数据
域名会见趋势数据包括域名、日期、总请求数、A纪录请求数、CNAME纪录请求数、客户端数目以及子域名数目，， ，， ，是由意昂体育-科技赋能场景,让娱乐更有趣!手艺研究院凭证被动域名剖析（PassiveDNS）数据盘算提供 。。。 。。。
赛题解读
由于给出的都是真实的、公网上可以会见的黑产网站，， ，， ，而黑产网站大多都会由于被封闭、骗完跑路等种种缘故原由下线，， ，， ，导致域名转变卦新很快，， ，， ，若是在角逐时代网站失活关闭了怎么办？？？？？
最后经由讨论，， ，， ，出题组决议天天提供三到四个在意昂体育-科技赋能场景,让娱乐更有趣!监测中存活时间较久的黑产家族网站，， ，， ，这些黑产网站相较于其它可能越发稳固禁止易突然下线跑路，， ，， ，剩下的域名我们不思量网站分类、是否存活随机给出，， ，， ，最终凭证检测我们提供的三到四个的黑产家族的检出来举行判分 。。。 。。。事实最后证实效果照旧不错的，， ，， ，除了一个家族在角逐时代险些所有失活关闭，， ，， ，其它家族都可以稳固会见 。。。 。。。
出题组的起点是希望让选手接触真实的互联网黑产数据，， ，， ，能够相识工业界在处置惩罚现实问题时间遇到的种种问题，， ，， ，岂论是机械资源照旧数据噪音 。。。 。。。也希望列位选手开拓思绪和视野，， ，， ，不但仅将眼光放在网站分类上，， ，， ，同时越发关注一些网站背后的关联关系，， ，， ，从而引发兴趣去探寻整个黑灰产工业 。。。 。。。
选手解题思绪
1.相似度算法聚类，， ，， ，人工对聚类效果举行分类 。。。 。。。有选手设计出自己的相似度算法并在此基础上举行优化，， ，， ，并发明了给出数据之外的家族 。。。 。。。
2.要害词分类，， ，， ，选出黑产要害词，， ，， ，然后凭证要害词匹配效果举行分类 。。。 。。。选取要害词要领主要有两个：一是先通太过词和词频工具分出高频要害词然后人工按类提取出部分要害词；；；；；；二是先对部分网页举行人工分类，， ，， ，然后使用分词工具或统计词频的工具提取要害词，， ，， ，有的步队还在此基础上举行迭代扩充更新要害词库 。。。 。。。
3.要害词分类团结网页结构特征再加上机械学习模子 。。。 。。。
4.OCR扩充文本，， ，， ，要害词分类和机械学习模子 。。。 。。。在要害词分类的基础上，， ，， ，使用TextCNN、Fasttext等其他机械学习要领训练有监视或无监视模子，， ，， ，有的选手在此基础上团结了集成学习的思绪，， ，， ，举行网站分类 。。。 。。。
5.选手从网页中提取一些页面信息举行关联，， ，， ，好比电话、邮箱和客服等 。。。 。。。
6.剖析源码，， ，， ，并凭证页面结构相似性和手艺架构特征举行聚类关联，， ，， ，并从中提取统计id、外链、图片等作为关联信息 。。。 。。。
7.剖析部分家族的域名命名规则，， ，， ，并依据ip信息、网站证书、域名注册信息（电话、邮箱、地点、姓名）举行关联 。。。 。。。
8.借助图模子，， ，， ，为网站构建图画像，， ，， ，凭证提取特征的特征，， ，， ，对边举行关联性强弱区分 。。。 。。。
9.部分选手借助了随机森林、k-means等聚类要领依据特征举行聚类 。。。 。。。
10.部分选手在家族聚类历程中加入大宗人工剖析的事情，， ，， ，好比域名规则的剖析、html中一些要害词的提取 。。。 。。。
专家点评
1.大部分选手选择了要害词匹配这个要领 。。。 。。。在数据量不是很大时，， ，， ，使用要害词分类简直是一个较量高效的要领，， ，， ，但随着数据量的增添，， ，， ，一定会泛起许多的漏报（要害词没笼罩到）和误报（其他类的网站也有此要害词） 。。。 。。。
2.部分选手在要害词匹配的基础上使用了图片识别和机械学习要领 。。。 。。�；；；；；；笛翱梢栽谝欢ㄋ缴咸畈挂Υ势ヅ涞娜狈� 。。。 。。。数据量上去后，， ，， ，图片识别所使用的渲染爬虫会消耗大宗的资源，， ，， ，并且速率也较量慢，， ，， ，日识别量不高 。。。 。。。
3.尚有选手凭证相似度算法或网站模板去举行网站聚类后分类 。。。 。。。一样平常情形下，， ，， ，黑产家族是有一些配合特征的，， ，， ，以是这种要领对黑产家族聚类而言是一个不错的要领 。。。 。。。
4.许多选手特征的提取很是详细，， ，， ，但并没有对提取的特征举行详细的剖析，， ，， ，划分强弱关系，， ，， ，好比像统计id、网站证书可作为较强的关联关系，， ，， ，但ip信息、网页手艺架构、电话等作为较弱的关联关系 。。。 。。。
5.对信息举行剖析提取特征是家族聚类所必需的，， ，， ，但使用过多的人工剖析特征的详细值从而实现家族聚类，， ，， ，在海量数据的情形下则会很是难题 。。。 。。。
黑产偏向官方解题思绪
“黑产网站的识别分类”
黑灰产涉及面之广，， ，， ，工业链影响规模之大，， ，， ，早已引起羁系部分的注重，， ，， ，迫切需要举行羁系和治理 。。。 。。。黑灰产工业链大宗依赖线上网站的方法实验赌博、撒播淫秽色情、洗钱、诈骗、生意小我私家信息等种种各样的违法犯法运动，， ，， ，因此对种种网站网页的监视分类是一项必需且主要的事情 。。。 。。。一样平常生产情形中，， ，， ，需要对涉赌，， ，， ，涉黄，， ，， ，vpn，， ，， ，涉毒，， ，， ，金融类，， ，， ，支付平台，， ，， ，账号生意，， ，， ，游戏外挂，， ，， ，小我私家信息生意，， ，， ，源码类，， ，， ，刷单，， ，， ，正常网站等三十多种分类 。。。 。。。
现在网站分类整体流程接纳的是分域异权要害词匹配团结机械学习的方法，， ，， ，经由调研比照后发明FastText的特点很符文现实应用需求 。。。 。。。一是适合数据量大并且种别多的场景，， ，， ，可以一次性分类不必训练三十多个二分类器；；；；；；二是训练耗时短准确率高，， ，， ，10-20分钟就能训练出准确率高且泛化性能好的模子 。。。 。。。与其他监视分类器一样，， ，， ，大致分为数据洗濯、数据标注、模子训练、迭代优化这几个办法 。。。 。。。现在在验证集上的准确度控制在95%左右 。。。 。。。
详细的手艺原理和应用可以参考官方网站和其他优异的文章，， ，， ，这里主要总结剖析在黑灰产网站分类的现实应用中遇到的问题息争决步伐，， ，， ，手艺原理就不再赘述 。。。 。。。
1、分域异权要害词匹配
通俗的要害词匹配要领中要害词的准确度和周全性是有些相互矛盾的 。。。 。。。当要害词较少时，， ，， ，规则匹配准确度高，， ，， ，好比“肖中特”、“澳门威尼斯人”，， ，， ，只要掷中那极或许率是涉赌的，， ，， ，但势必会遗漏“快三”、“开奖”等其他或强或弱的要害词；；；；；；若是把种种要害词都一股脑写进规则里，， ，， ，笼罩面大大增添，， ，， ，但一定会爆发许多误报，， ，， ，降低了准确率 。。。 。。。
现实应用时在通俗的要害词匹配的基础上改良为分域异权要害词匹配要领，， ，， ，分域是经由大宗的HTML源码剖析发明，， ，， ，HTML源码title属性中的文本和正文里的文本的要害词是有一定的区别，， ，， ，因此针对title和正文里的文天职别设置了要害词规则；；；；；；异权是给要害词划分了三六九等，， ，， ，不是只要掷中就给效果，， ，， ，而是关于一些强代表性的要害词可以设定命中即判，， ，， ，关于一些弱代表性的要害词可以设定当掷中几个弱要害词组合后才给判别效果，， ，， ，也就是差别的要害词有差别的权重 。。。 。。。改良后的分域异权要害词匹配可以解决一部分通俗要害词匹配的误报问题，， ，， ，并一定水平上扩大了笼罩面 。。。 。。。
举个详细的例子，， ，， ，当在正文中匹配到“快乐博彩”会连忙判为涉赌，， ，， ，当匹配到“斗田主”时，， ，， ，并不会连忙判为涉赌，， ，， ，但一旦同时泛起了“百家乐”，， ，， ，“斗牛”，， ，， ，“麻将”等要害词，， ，， ，那就可以给出涉赌的分类效果了；；；；；；可是当一个网页的title中泛起了“斗田主”，， ，， ，那就可以判断这是个涉赌网页了 。。。 。。。
2、数据处置惩罚
数据的质量决议了模子的上限，， ，， ，以是大宗的事情都在数据处置惩罚这部分 。。。 。。。而这部分大宗的事情是训练前的数据洗濯，， ，， ，部分的数据洗濯流程可以迁徙到正式应用时的数据洗濯 。。。 。。。训练接纳的数据量凭证差别的种别差别，， ，， ，在划分训练集和验证集时大致凭证训练集比测试集或许3：1的比例详细看待 。。。 。。。
数据洗濯：HTML源码中不但包括了网页文本，， ，， ，尚有网页结构信息，， ，， ，模板识别的要领使用的是网页的结构数据，， ，， ，网页分类使用的数据是HTML源码中文文本 。。。 。。。由于HTML源码中包括了大宗的英文、标点符文、转义字符和其他无意义字符，， ，， ，因此岂论是训练照旧展望之前需要将源码举行转义后过滤，， ，， ，只保存中文，， ，， ，并将繁体转换为简体 。。。 。。。每个分类单唯一个文档，， ，， ，每个网页的文本作为一条数据，， ，， ，jieba分词使用自界说用户辞书分词后写入三十多个文本文件 。。。 。。。
数据标注：有监视训练的数据需要给数据打上尽可能准确的标签，， ，， ，最最先的模子训练时直接接纳的要害词匹配的效果当标签，， ，， ，训练出来的模子虽然是有些不尽人意，， ，， ，由于它迫近的是要害词匹配的准确率 。。。 。。。人工一条一条的给上百万万万的数据量举行数据标注很是不现实，， ，， ，而这些数据集又有很强的行业特征，， ，， ，并不可直接使用果真的一些数据集，， ，， ，厥后为相识决标签的问题接纳的是要害词匹配加人工干预 。。。 。。。洗濯后的网页源码带上要害词匹配起源分类的效果，， ，， ，按种别写入对应文本，， ，， ，然后仔细剔除每个种别中的“噪音”，， ，， ，部分类别的数据量从10W多精简到了1W左右 。。。 。。。
3、训练模子和迭代优化
经由以上数据洗濯办法之后，， ，， ，凭证下图所示的流程举行训练模子，， ，， ，并使用训练后的模子展望增量数据，， ，， ，凭证展望效果一直整理数据集并重新训练 。。。 。。。这时间FastText逊з度快的优势就体现出来了，， ，， ，数据集整理好后只需半个小时就能训练出新模子 。。。 。。。
4、增量展望
每个新增的网页，， ，， ，爬虫拿到网页源码之后，， ，， ，经由上述的数据洗濯，， ，， ，即可挪用模子举行展望，， ，， ，输出模子展望分类，， ，， ，最终团结要害词匹配的分类效果给出综合分类 。。。 。。。
5、集因素类
运行一段时间后拉取500W条数据举行比照，， ，， ，有479.7W条和分域异权要害词匹配的效果一致，， ，， ，15W条数据FastText判白，， ，， ，规则判黑，， ，， ，其中有12.87W条数据是正文中有少量的涉赌词，， ，， ，1.38W条数据是正文中有少量涉黄词，， ，， ，但其他都是些无意义的新闻、工程机械等不相关的无意义词；；；；；；另外有4.3W条数据FastText判黑，， ，， ，规则判白，， ，， ，这类中情形较为特殊，， ，， ，有FastText准确的，， ，， ，有规则准确的 。。。 。。。凭证以上数据的契合度，， ，， ，可以说明两种要领总体上准确率还可以，， ，， ，为了抵达更好的效果，， ，， ，再凭证各自特点和数据特点划分出差别的分类 。。。 。。。
以后的刷新思绪准备使用集成学习的头脑，， ，， ，使用bagging或boosting，， ，， ，接纳多种要领团结差别种别数据的特征综合判别 。。。 。。。
6、总结
有一点可以确定的是没有一劳永逸的要领 。。。 。。。无论是分域异权重的要害词匹配照旧现在接纳的FastText，， ，， ，都有自己的优弱点，， ，， ，不可能都100%准确 。。。 。。。
每个种别所包括的要害词是多种多样的，， ，， ，并且还许多是有歧义的 。。。 。。。通俗要害词匹配只要掷中一个或几个词就分出种别，， ，， ，若是只有少量有足够代表性的要害词，， ，， ，就会误报少漏报多，， ，， ，要害词设的多了就新增许多没那么有代表性的词，， ，， ，就会漏报少但误报随之增多，， ，， ，因此提出了分域异权要害词匹配，， ，， ，中和了准确率和周全性的矛盾 。。。 。。。
在训练模子的数据洗濯阶段，， ，， ，数据量的大宗镌汰验证了上面的剖析，， ，， ，随着数据量一直增添，， ，， ，数据越来越重大，， ，， ，规则也愈加重大，， ，， ，总会有些规则掷中了不应掷中的网页 。。。 。。。使用筛选后相对清洁的数据集举行训练后，， ，， ，现实准确率简直有了大幅提升 。。。 。。。最后通过比照大宗数据并团结差别效果的差别特征执行给出综合分类的效果 。。。 。。。
“黑产网站的家族聚类剖析”
天天都会有大宗的新的黑产网站注册上线，， ，， ，更新速率很快，， ，， ，黑产网站尤其是黄赌诈这类网站都是成组织化、团伙化的，， ，， ，我们库里有数万万的黑产网站域名，， ，， ，可是从事黑产的人和公司就那么多，， ，， ，那么怎样对这些黑产网站举行家族剖析，， ，， ，找到背后的组织、团伙是我们一样平常在配合公安等有关部分事情时主要的事情内容 。。。 。。。
从一个网站中我们可以提取许多的关联关系，， ，， ，将它和另一个网站关联起来，， ，， ，这些关系有强有弱，， ，， ，许多时间需要详细情形详细剖析，， ，， ，我们总结了以下几种关联关系供参赛选手们参考（图中数据为虚伪数据仅为示例，， ，， ，非真实数据）：
下面临一些关联关系举行简朴先容：
1、SSL证书关联
2、网站统计ID关联
常见的流量统计厂商：baidu、cnzz、51la、51yes、360、google等 。。。 。。。
3、网站客服ID关联
常见的第三方客服系统包括meiqia、livehelp、qq、comm800等，， ，， ，这个需要较量长时间的积累，， ，， ，需要“见多识广” 。。。 。。。同时许多网站也会在网站留下TG号、qq号、邮箱等联系方法 。。。 。。。
4、网站间的跳转关系
凭证网站的跳转关系举行关联，， ，， ，好比会见A网站，， ，， ，可是跳转到了B网站，， ，， ，或者页内加载了一个iframe加载的C网站的内容，， ，， ，A网站可能只是引流用的，， ，， ，通过这种跳转关系可以举行关联 。。。 。。。跳转方法包括但不限于：301跳转、302跳转、iframe加载跨域资源、metarefresh跳转、JS动态渲染跳转等 。。。 。。。
5、其他关联
网页间还保存一些其它的关联，， ，， ，好比网站icon图标相同、网页模板相似、Whois注册信息、DNSA纪录、DNSCNAME纪录以及一些特殊的资源文件等 。。。 。。。
6、一些非强关联关系的说明
我们基本不举行whois上的关联，， ，， ，我看许多选手用了whois数据，， ，， ，一个缘故原由是whois现在许多隐私�；；；；；；�，， ，， ，很难出有用数据，， ，， ，尚有就是有许多域名市井，， ，， ，他卖的域名联系方法全是他一小我私家，， ，， ，就会爆发许多不须要的关联 。。。 。。。
关于网站图标icon和相似网页(模板)可以用来举行参考或者后面家族合并用来加权使用，， ，， ，由于大宗模板站、包网效劳的保存，， ，， ，这种关联关系并不可说是绝对的，， ，， ，至于相似网页检测我们暂时用的是SimHash，， ，， ，顺带做了点模板识别事情 。。。 。。。同时我们也在探索更高效、准确的网页相似度算法 。。。 。。。
关于A纪录和CNAME纪录的关系由于CDN手艺的缘故原由我们也执偾会作为参考，， ，， ，并不是绝对的关联，， ，， ，会凭证IP的属性付与其适当的权重 。。。 。。。
与此同时为了越发直观的展示黑产家族的关系，， ，， ，我们还举行了一些图的可视化探索：
写在最后
作为出题人及评审，， ，， ，我们团队从DataCon举行最初已经一连三年深度加入其中，， ，， ，见到了许多很厉害或思绪清奇的选手，， ，， ，意昂体育-科技赋能场景,让娱乐更有趣!团队也在一直地学习、生长和前进 。。。 。。。我们也会一直秉持着开放的态度与列位参赛选手举行交流，， ，， ，我们随时洞开大门接待列位来相互举行学术、手艺上的探讨和交流~
同时我们也较量缺人手，， ，， ，接待来投简历，， ，， ，实习、正式入职都可~
联系邮箱：chenzhuo02@qianxin.com
连忙拨打
京公网安备11000002002064号