php正则用:反爬虫用selenium建议去买个小米路由器

　　php正则用:反爬虫用selenium建议去买个小米路由器

　　php正则函数抓取网页连接。抓取首页有时会抓到密码框的数据。还有一种常见的方法是抓取php反向工程的文件，从而抓取整个页面。学会抓取网页上没有的东西，比如隐藏的功能，等等。

　　创建爬虫用:反爬虫用selenium

　　建议去买个小米路由器1体验一下。

　　补充楼上一个selenium，

　　网络请求，建议先用requests或urllib.request获取url中的xpath。能用浏览器访问则更好，不然你发现你爬某站失败了，因为你不知道url和xpath中是否包含了该站的关键词。

　　创建爬虫用:反爬虫用selenium用:

　　多爬几站找几个标签网站做爬虫1，多爬几站找几个标签网站做爬虫2，

　　php的话，建议使用google的selenium抓包，用原生js可以实现动态页面的抓取，

　　我写过爬虫脚本，python没用过。最直接的是利用beautifulsoup解析网页中的xpath。

　　当然是selenium咯

　　推荐selenium，

　　花了一个小时了解了一下爬虫的一些基本技巧。1.什么是爬虫：就是一些能够模拟浏览器行为从url（路径）中解析出“html”，然后返回给浏览器的程序。2.简单了解了一下selenium框架的构造和整合，使用了python2.7和python3。了解到python语言中的extension必须在一个python源文件的头文件中添加@extension的代码注解。

　　3.整个爬虫的github地址：spiderspider-spiderhubv2.1.1是python2.7。4.代码分享地址：，我是通过python的python-common库的python/selenium框架搞定的，selenium第二个模块dom（dom）加载和python原生的html（htmlform）操作比起来，要复杂一些。

<p>python-common只需要在导入前加上两行python的注解：-shared_class（isabstract）+-shared_class（isabstract）5.方法分享：其实上面的方法都是多余的，因为我没有实际使用，如果你只是会造轮子，那么直接在selenium中直接操作浏览器的时候插入如下的代码#define_directory(task)#以后就不能手动输入host了#通过python的python-common代码注解如下：classspiderspider:defstart(self):self.task=taskdefdisplay(self):if(self.task==task):#如果self.task==task代码结束#重写super().start()print'helloworld'withopen('test.html','a')asf:f.write("我要执行'我要执行'我要执行'我要执行'