t010bb5592a45468d07.png



前言


在我的域名收集知识体系中,利用爬虫来获取域名是其中的一部分(见文末思维导图,其他部分的实现请访问我的另外一个项目:https://github.com/bit4woo/Teemo ),由于使用频率,使用习惯等问题,而我最终决定使用BurpSuite的Spider来实现爬虫部分的自动化收集。所以有了这个BurpSuite插件:Domain Hunter。


原理


当使用了BurpSuite作为代理,或者使用它进行了安全测试,会就会记录相关的域名。其中,某个目标的子域名和相似域名很有价值,尤其是相似域名,往往有惊喜!插件的主要原理就是从BurpSuite的Sitemap中搜索出子域名和相似域名。也可以对已经发现的子域名进行主动爬取,以发现更多的相关域名,这个动作可以自己重复递归下去,直到没有新的域名发现为止。


项目地址


https://github.com/bit4woo/domain_hunter


截图


t01d95e2df74fb14721.png


Change Log


2017-07-28: Add a function to crawl all known subdomains; fix some bug.


Xmind Of Domain Collection


t01ee090b43faca8c28.png




本文转载自 polaris-lab.com,作者:bit4@polaris-lab.com

原文链接:http://www.polaris-lab.com/index.php/archives/349/