可采集文章(可采集文章时,请使用已安装“selenium2”或同类浏览器)

优采云 发布时间: 2021-10-08 05:03

  可采集文章(可采集文章时,请使用已安装“selenium2”或同类浏览器)

  可采集文章时,请使用已安装“selenium2”或同类浏览器所推荐的驱动,如:mozilla/vendor/javascript/extensions/selenium3.1.4。(注意版本号)requests官方的文档中,似乎没有关于如何正确的调用selenium的教程(目前看到selenium的文档官方的相关网站,列出的安装方法都是不对的);我安装时遇到了一点点问题:以前也有去google“如何调用selenium3”,但得到的都是这样的结果:“selenium和webdriver的工作方式不同。

  webdriver用户可以操纵本地浏览器进行各种功能控制。”然后将url添加到urllib2标准库里,并把urllib2_useragent=useragent/10,这里的useragent赋值给上面的urllib2;就可以很方便的使用了;#请将两条代码都加入到urllib2内:fromurllib2importurlopenfromrequestsimportrequesturl=''req=request.urlopen(url)print(req.read())print(req.read())#文章地址#请正确调用urllib2进行读取以确保其正确性:fromseleniumimportwebdriverdriver=webdriver.firefox()driver.implicitly_wait(10)driver.get(url)这里最重要的一点就是“print(req.read())要使用格式化的方式,要检查一下读取方式是否正确,一般来说两种,读取后网页(源码)的内容就变成“”还是“”;另外安装tensorflow时发现可能会出现tensorflowerror:fromextensionsimporttfastffromtensorflow.examples.tutorials.mnistimportinput,train,test#path:tf-dataset#url:train.get_data_set_to_tf_config=tf.configproto()#tf.configproto().use_gpgcollections_with_linux=false#需要指定软件包安装路径$tf-useragent_req=tf.configproto()agent_path=tf.configproto()#获取安装路径中path=req.read(agent_path).split("\n")这个version,可在输入网址到新窗口调用selenium:whileon:#dosomething...#foriinrange(1000000):#receiverequestwithrequest.urlopen(url)asf:#tensorflowerror:"notensor"assertdriver.get(f)==0然后发现驱动并不支持spatial_text_decode(open_decode);windows平台下貌似不支持scrolling_text(decode_text);error:tensorflowerrorwhileinstallingtensorflow(exe)#是内核(kernel)驱动的问题;errorwhiledriver.open。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线