search-url 网站URL自动采集软件

　　依据关键字，全自动从百度搜索引擎收集有关网址的真實详细地址与题目，而且能够全自动储存为文档，全自动除去反复URL。一起，还可以自定忽视好几条网站域名。最新消息百度搜索收集根据

　　程序流程关键应用于安全性渗透测试新项目，及其大批量评定各种cms源码系统软件0DAY系统漏洞的危害水平，一起都是大批量收集自个获得很感兴趣的网址的1个微信小程序

　　测试环境为?Python?2.7.x?要是必须python3版本号的，能够自主改动，或是我的网站留言板留言

　　现阶段只能够收集百度搜索推广的結果。而且每页默认设置显示信息60条纪录。可自定键入要收集的页码。

　　要是要收集关键字为“hacker”的有关网址，收集百度搜索結果的前3页，则键入给出：

　　：获得到的是网页搜索結果的真實URL详细地址

　　：能够忽视不用的常用网址，如忽视百度翻译，等等等等全部百度搜索有关結果，给数组加上baidu.Com只能。程序流程早已默认设置忽视了许多条啦，如

　　手机

　　：即时显示信息收集到的网页页面的【真實URL】及其【题目】。前边的【Id】相匹配的是当前页百度搜索結果的第X条统计数据

　　：全自动储存結果到当前目录的txt文档，文件夹名称为检索的?关键字.txt?为了更好地导到别的专用工具，txt文档里边只纪录了收集的网站地址。要是必须一起纪录题目，把编码中的注解删掉只能

　　：全自动除去重复记录

　　：统计分析总收集条数（143?found），合理的条数（91?checked），被过虑的条数（68?filter），及其被过虑的反复的URL条数（9?delete）

　　：开源系统，所有人能够下载手机软件。因为自己工作能力有限公司，要是有好的提议及其改动，也期待能一块儿健全

　　：跨平台，而且无捆缚侧门风险性。之前在网上有的百度搜索URL采集软件绝大多数为WINDOWS下的可执行文件，而且如今百度搜索升级后没法一切正常收集。

　　：程序流程会不断创新

　　因为時间匆忙，沒有做提升。许多自定主要参数也选用了默认值，下个版本号再加自定主要参数

　　后免将相继加上Bing百度搜索引擎,goole模块的收集作用，与百度搜索的开展1个合拼。要是要求提升，也提升多线程或是多系统进程扫描仪

　　要是百度搜索升级造成收集不上內容，能够在我的网站留言板留言联络我开展改动

　　项目地址：https://github.com/super-l/search-url