关于wsltools的一切

16 Apr 2020 - Tr3jer_CongRong

      wsltools - Web Scan Lazy Tools (Python Package) 是开源的web扫描辅助集，在构建web爬虫/扫描器的基础上节省可通用实现的功能，例如：正文相似度判断、url多种处理、域名处理、正文/数据类型判断、处理/识别http响应基础安全、参数/表单数据填充等。兼容Python 2/3，开箱即用。

• https://github.com/Symbo1/wsltools
• https://wsltools.readthedocs.io/

      本身也是从我的自动化套件抽取出几个模块整合成的库，功能本身很纯洁，但面向爬虫/漏扫很多场景可用，感兴趣可以试试，好用给个star ;)

      当我们使用Python构建web爬虫时，可以使用requests/urlparse/scrapy等优秀的三方库，基本不需要我们去处理繁琐/可通用实现的基础功能。

      当我们构建漏洞扫描器时，会倾向于结合poc框架来实现。poc框架有很多，但至今编写poc并没有绝对的通用标准模版，也不需要有。不过这些poc框架或传统漏扫，会依赖于一些通用的扫描/检测基础方法论，所以完全可以合并这些方法论的具体实现。说到依赖的通用方法论，那么bin世界的pwntools就是这种类型。

说到pwntools，也是wsltools名字的由来启发，感觉web scan lazy蛮贴合的而且还蹭了下猥琐流 XD

      如果都依赖同一种漏扫，预期情况下正常的树上不可能结出两种果子。不同的想法结果就会是不同的，所以部署自己的自动化能力是每个Cyber Researcher的必修课。happy hunting！

      在我的自动化套件中，python/golang/nodejs我都用，但为什么发布python版本，因为python目前仍然是众多初学者构建扫描器的首选语言。

      最初着手整合这几个模块的时候是想加入更精确的urlparse+指纹识别，如果你经常用py构建漏扫相关，会发现标准库的urlparse并不精准，奈何官方代码实在多，与好处不对等就没有加入，后期再考虑下。还有指纹识别是因为个人更倾向于headless识别，倒也简单，只是加入了会显得臃肿吧。XD

wsltools提供的功能都不是复杂的实现，只是尽可能的提供一些便利，同时也可以作为爬虫/扫描器初学者的学习资料。