总结:完整的采集神器包括：一个采集指令，适合独立采集网站文章

　　总结:完整的采集神器包括：一个采集指令，适合独立采集网站文章

　　完整的采集神器包括：一个采集指令，适合独立采集网站文章，不建议进行多个网站共用一个采集指令，因为可能造成网站响应时间过长，网站权重流失严重ssrf攻击。无需代理地址采集当我们在网站内搜索要采集的内容时，提供合适的地址，便可以在其他地方进行搜索，避免ssrf攻击带来的安全隐患。跳转采集跳转采集是指将网站上的内容依照要采集的分类重新定位并访问新网站获取高质量内容的采集方式。

　　其他搜索引擎的爬虫采集任务也应该使用跳转地址来保证正常的采集效率，以及避免攻击。用该方法搜索可以避免使用含有spam的跳转地址或者使用独立ip的站点。g+爬虫爬虫爬虫搜索指定站点时，应该设置指定网站采集模式，防止爬虫搜索流量跑到非指定网站去，从而造成不正常的爬虫流量。其他需要添加特殊的爬虫，请访问：在采集内容过程中，不想中断有价值的内容搜索，请使用include扩展。

　　感谢黄元大王的邀请，@黄元大王回答问题可以有不同的角度，

　　1、通过优化数据结构，以便采集到全部的真实url，然后在这些url中，

　　2、判断目标对象是否可以使用ua,如果不可以，则优先爬取可以使用ua的url，

　　3、可以通过机器人、人工的方式定制一个较为容易采集的url；

　　4、对于小网站，在add-on配置中，可以增加数据包，

　　5、如果要采集的url比较多，而且对方只能获取部分url，可以适当增加sugar。具体过程可以参考一个简单的案例：获取某个网站alldata中10页page的相应url文本。