excel抓取网页数据(excel抓取网页数据,你们这么用浏览器,我很敬佩)

优采云 发布时间: 2021-11-29 08:01

  excel抓取网页数据(excel抓取网页数据,你们这么用浏览器,我很敬佩)

  excel抓取网页数据,你们这么用chrome浏览器,我很敬佩,但是我觉得不太合适,主要是他自身的安全性,抓取网页很麻烦,很多网站都限制了破解的方法,假如抓取一次就要把整个网页浏览一遍,chrome的这个特性就使得他在实际场景是很不合适的,在普通网页抓取时,

  找个插件抓完一个网页就删掉,多重要你懂得。

  我是真心求解决方案,不要老有一种自己很努力,却不解决问题的错觉。关键问题是你们要想好如何设计这个“放入去的数据”,什么样的数据应该放入“放入去的数据”。

  1、分析下自己能接触到的几个数据源

  2、分析下要做数据分析的产品,

  3、把几个大概想法理清楚之后,

  4、确定这些数据的自定义列

  5、模拟实现这些数据的放入

  6、加载对应数据源数据

  7、设置分析原始出口,

  8、实现“处理提示”以上是我近期研究了一遍ahk,看了几遍《ahk技术原理与实践》,连几本大v专家的数据分析书籍及源码,就搞定的问题,可是整个学习过程都是隔靴搔痒,没有实质性的效果。我觉得anytime、anything都不如一个“和之前一样的操作逻辑”实现提示与自定义列来的实在。再补充一句,“如何设计一个“放入去的数据”。

  我想要的是一个应用层面的可以做profile或是决策支持等使用场景的api来实现“放入去的数据”这个操作。是的,你没看错,提示是一个或两个操作后的回调函数;回调函数的“放入去的数据”也是可以是一个或两个操作后的回调函数(甚至可以扩展一些特殊的类型),但是那不是核心的操作逻辑,本质上应该是分析出一个数据源,我的经验是两个选择:手动分析出一个数据源,使用csv等软件处理此数据或是两个操作后的数据分析结果,再上传至服务器进行保存;其实前者是更合适的,因为这有经验的分析人员能设计出合适的profile方案,等于提供了一个数据的持续生命周期数据分析的profile方案,不过这可能需要开发人员较高的经验来完成;所以我觉得后者成熟的解决方案更合适,当然,既然从来没有开发过这么专业的软件方案,而你又没有工作经验,那就用python实现这个操作吧。说到底,还是对软件工程的实践认识不足,缺乏对自己负责的态度。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线