一是人工采集,二是智能采集(人工采集,二是无人技术获取..怎么办？)

　　一是人工采集,二是智能采集(人工采集,二是无人技术获取..怎么办？)

　　一是人工采集,二是智能采集,三是无人技术获取.前两种基本没有人可以做,有人才的更是凤毛麟角.还有一种方法就是可以模拟人的行为,识别出来就是自动采集,就像扫黄打非那样,不过能不能真的抓到牛就很难说了.

　　一、公开大数据网站二、扫描二维码使用手机微信扫一扫即可获取网页内容如下图：

　　某宝有某博宝，

　　你可以查看一下新浪网的网站在线爬虫

　　爬虫。每次需要爬取的时候去网上查一下之前的爬虫爬取的数据，

　　思路一直没变，那就是f12网站查看js里面的方法，然后从哪个方法上爬出来的就爬哪个。

　　把url变成excel用excel处理

　　既然你要爬虫，那就先搞懂爬虫的原理，爬虫很多，但有原理的肯定很少，

　　web网站我没什么有用的答案，但是能爬就爬别一直关注那些枯燥的答案，多积累技术，多多自己总结一些思路。虽然他们都答的那么干货有用，但我还是想补充一句，多实践，同样的问题同样的方法，那么多的实践过的答案永远比知乎上不知道哪里来的三言两语好用。

　　其实会截图就够了。xd搜索爬虫难度不算很大，可以看看这个。

　　常用的方法：1。用selenium+phantomjs2。用xpath匹配，判断网页的html结构3。如果还要抓取，那就要经常对网页进行过滤，好多网站都封了，可以用xhr（对其中各种方法进行改进，让它更智能，比如批量跳转网址，目录）4。xhr处理不过要求大的网站，以及该网站多爬，只有一个站的情况下，一般网站不会给过滤规则5。特殊规则：手机app。