采集采集器分为网络采集和本地采集可分
优采云 发布时间: 2021-05-16 00:12采集采集器分为网络采集和本地采集本地采集可分为3种:1.开放型,本地接口什么都可以采2.封闭型,不可以随便搜索页面3.加密型,一些列密码学安全机制网络采集采集会涉及到多个抓包工具,网络封包如何接收转发;3.服务器负载均衡;等等问题的解决。参考我文章:什么是服务器负载均衡?常见的负载均衡解决方案有哪些?。
你需要学会如何选择合适的抓包工具
看你需要抓到什么样的包,如果是普通小采集,百度有自带抓包工具和手机app抓包的采集应用,如果想抓取个性化采集比如我需要抓取第一手原创文章,可以选择爬虫专门针对不同领域个性化的采集功能,做音乐的可以抓取歌曲评论,买汽车的可以抓取车辆点评,企业客户评论也可以做成文本文档,也是可以抓取的,当然如果有十分专业的应用程序开发团队,配合得当,可以做到最后能实现完全针对某个群体或是类型的采集。
理论上讲肯定是可以,我们公司很多产品和你们都是类似的,总体来说如果自己接入会麻烦很多,
建议以上机位自己编写抓包脚本,实现个性化采集。
现在很多聚合式的采集工具,可以自己本地编写,也可以通过工具引擎+本地的接口进行采集。