阿里巴巴开发工程师基础python自己写个爬虫跑一下

优采云 发布时间: 2022-05-12 04:01

  阿里巴巴开发工程师基础python自己写个爬虫跑一下

  抓取网页数据php数据库工程师基础python自己写个爬虫跑一下更多的技能看看社区或者直接问阿里巴巴开发工程师会给你一个最快最详细的答案

  1.爬虫。大流量下,根据监控访问cookies以及翻页等抓取数据,比抓页面效率更高。2.全网搜索。把想做的功能很快搞出来。3.分布式爬虫。数据存储能力很重要,能同时爬几个国家的也是本事。4.懂机器学习。既要读取监控下的数据,又要存储和分析特定数据,需要懂机器学习以及计算机体系结构等。5.善于并发。阿里也在招非技术岗位,数据类的。

  从你的定位就能看出来,题主以后可能是只做监控策略层面的工作。爬虫--监控策略--更新策略-做界面或者其他。仅从这个思路考虑,肯定不如专门做策略的专业人员,他们更了解规则策略以及计算机的整体体系架构,他们更懂网络的延迟,并发等,当然你以后发展可能是朝向这个方向发展。同时很多网站监控策略无非就是结合访问压力、用户行为等监控结果,而你还需要获取页面访问地址、浏览器属性等更多页面信息,这需要不少基础知识。

  而现在很多策略是调用接口实现的,不仅要熟悉前端,还要熟悉接口规则,监控脚本的实现以及关键流程和生命周期等。所以最好将所有的基础知识再细化再系统化,提高熟练度。网站监控策略并不是单纯靠php就能实现的,还需要懂得http协议、tcp协议、编程语言,最后还有界面或者其他信息内容的处理等等。总结就是,php做网站监控策略,虽然简单,做好了还是很专业的。

  至于你想做的其他数据分析、大数据,很多都是分布式、*敏*感*词*计算来做,如果你对php不是很了解,你做不好。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线