依稀记得半年前,曾在某安全社区表示过要还大家一个全网最强cms指纹识别,那时候的想法还是很简单,可能只需要搜集各方工具指纹特征,然后写个脚本遍历特征识别,再做一个ui,一个指纹识别的轮子就诞生了,但是很明显没有什么意义,我并没有这么去做,所以放了一段时间去思考,因为我坚信小功能也能搞出大事情。
为什么还要做指纹识别
云悉情报平台的初衷很简单,也很粗暴,就是单纯的解放白帽子手里的大把工具,因为在安全界有这么一个现象:有编程能力的白帽子喜欢写工具,以至于同类的工具一找一大把,鉴于个人能力不同,可用性良莠不齐,有些工具“流芳百世”,有些“昙花一现”。
那么作为一个需要用情报搜集的白帽子来说,查询一个域名相关信息可能需要掏出一堆工具,在打开工具的时候心里其实还是会不自觉的寻思一下这工具会不会有后门,工具好不好用且不说,不同语言工具需要配置不同的环境可真的是难为人。
随着网络安全的普及,厂商在进步,白帽子的技术的进步,渗透手法层出不穷,但很多信息搜集渠道与工具却没有什么质的改变。
因为第一:这些工具的识别机制没有及时更新,但是web一直在变,因为大多数白帽子用的工具大部分是没有更新功能的,也就不存在更新优化这回事。
第二:白帽子需要的是轻便可用,用之即来,关闭即走,有多少人因为工具弄得麻烦还没有尽可能的搜集所有信息。
所以,云悉指纹作为情报平台的第一个应用,应运而生,它不是一个工具,也不是一个在线工具,而是一个可持续发展的平台。
传统的指纹识别工具的有以下通病:
1.指纹特征有限
2.如果个人丰富指纹库需要耗费大量的时间与精力,渠道也有限
3.工具识别机制不完善
4.效率有限
现在,这些琐事交给云悉即可,你负责用。
官网地址:云悉CMS指纹识别(www.yunsee.cn)
介绍一下云悉指纹
从初始的按指纹规则一个个遍历请求 判断结果脚本,到现在的云悉指纹经历了无数个版本迭代与无数次的性能调优,但每当看到白帽子对云悉的认可,回过头来,觉得一切的付出都是值得的。
平台功能:
1.目前可识别cdn,waf,容器及CMS指纹等信息。
2.目前可识别wordpress版本,国外部分cms版本,后面会支持更多版本信息查询。
3.个人中心支持申请API,可自行接入平台或工具使用。
4.支持指纹提交与指纹纠正,我们会认真人工核实每个指纹,以及所有误报提交我们都会人工纠正。
识别方式:
指纹识别的技术点其实也还是众所周知的几个识别方向:
1.header判断
2.body关键词匹配
3.url md5对别
4.url状态码判断
5.404页面判断
识别架构:
1.目前采用分布式识别,每个网站的识别请求由多台服务器分担,可以一定程度解决waf频率拦截问题(后期将彻底解决频率问题)
2.识别优化:尽可能一个请求识别更多的特征。
来点数据:
目前总指纹特征量:4896
识别次数:8300(上线4天)
总体识别率:63.2%
ps:在此感谢为平台提交指纹的白帽子们。
误报问题:
我们有很大一部分时间在解决误报问题,为什么会误报?因为各种千奇百怪的网站都有啊。
有的waf会瞬间拦截敏感请求,直接封ip
有的网站任意不存在页面返回200,而且不同后缀误报页面还不一样。
需要识别各种响应页,有的是debug页面,有的是waf拦截,有的任意页面返回css,js,总之各种奇葩,需要尽可能的考虑各种场景。
未来方向:
识别更快速,更精准,扩充更多指纹特征。
未来在指纹识别这一块可能会用机器学习去判断一些场景。
最重要的一点是,对于那些定制开发识别不了的网站,我们也会提供一些有价值的信息,暂时保密。
未来可能还有更长的路要走,因为还有情报平台等更多白帽子实用功能发布。
再次感谢所有白帽子对云悉情报平台的支持,鞠躬!
我们坚信,用心可以创造一切,功能再小全力以赴。
本文作者:Sofia