爬虫抓取网页数据的话,可以尝试每次先写入cookie,

优采云 发布时间: 2022-08-30 08:03

  爬虫抓取网页数据的话,可以尝试每次先写入cookie,

  爬虫抓取网页数据的话,可以尝试每次先写入cookie,之后在js里随机生成一个随机值;也可以尝试采用selenium模拟浏览器行为,那就可以用户进入网页之后可以逐步返回数据,如此循环,但因此需要每次都重新输入账号密码,能否解决该问题还是不得而知。

  去试试windows的cookie功能。

  cookie实际上是临时保存在浏览器的,当用户需要的时候提取。我认为可以试试selenium+localstorage/sessionstorage。

  

  相信我,localstorage不适合用来保存账号密码。至于web开发的网页抓取.可以参考此项目。reactnative个人感觉不适合web开发。我很好奇题主是怎么学习的。

  可以考虑看看我写的基于web的聊天机器人开发框架

  爬虫首先要保证只有自己登录并且输入的是正确的账号密码。还有,就是上网的时候可以尽量尝试同一账号在多个网站输入,保证安全。

  

  其实你只需要对所有网站做分析,在翻墙软件上不停抓下去,你可以尝试翻墙。

  你太单纯了,你哪有那么闲一次登录就一个账号,试试cookie,那玩意儿随机的,随机到用户,

  对于社交网站,建议可以将该用户的账号及密码保存到自己的key中。如果是电商网站,可以一键登录所有网站。

  我一个个把账号试了一遍,

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线