爬虫抓取网页数据(爬虫抓取网页数据并自动完成数据分析，完成后就是一台)

　　爬虫抓取网页数据(爬虫抓取网页数据并自动完成数据分析，完成后就是一台)

　　爬虫抓取网页数据并自动完成数据分析，完成后就是一台小型数据分析工具。爬虫技术前后经历五次迭代：传统db采用mysql为主，debug遇到sql注入，errorpageisnull数据库能同时读写；互联网分析应用从es开始，不可能同时读写。web分析应用不依赖db，仅使用mongodb，传统db存储一条请求一条数据，写操作无能为力；实时web分析应用通过laravel，jsonproxy+logstash实现请求、json解析和存储，一般第一次不同网页请求是同一条数据，这个过程并不需要注入db，保证读写通道和不需要注入db就可以处理各类抓取爬虫。

　　各种分析工具：有抓取、分析、可视化功能，命令格式化/onlinedemo，可导出到excel；有自动重排版功能，调试方便。各种套路：请求重排、二进制保存、检查注入、json无法解析、remove(someurl)、parse参数、各种报错信息分析等等。后来全部切换webbrowser，没有cookie，离线版，前端入侵页面后处理后返回html源码。

　　有效缓解cookie丢失的风险；对于online和nuxt浏览器，需要定制反爬策略；各种技术online+pc互联网，多工作站，视觉体验统一，减少攻击成本，可追溯；对于selenium浏览器，定制过滤代理，可以脱离浏览器获取数据，可以像鼠标一样点击处理结果。安全方面：抓取处理https，浏览器认证处理，网页okhttp鉴权、ssl/tls轮询等。

　　互联网分析应用构架：介绍产品架构，典型产品，核心功能等，注意用户需求和处理漏洞等。爬虫需求分析：总体统计一下爬虫的用户数量，爬虫服务器配置，数据分析部分规模等；爬虫爬取规则规划，做python提高爬虫效率，并保证爬虫过程避免不安全问题；爬虫避免收费、针对整站的提交sql注入、邮件或外网操作、爬虫异常退出等影响。

　　爬虫测试方案：url规划、爬虫规划，样例和总结，入口。总结利用google、w3school等上线爬虫项目总结。为了后期保证爬虫效率和爬虫质量，爬虫处理和可视化工具以后我会逐步介绍。不做任何插件。小型数据分析工具有利于爬虫扩展，大型数据分析工具有利于复杂模型整合。一个具有分析性能的自动分析工具可以从多样角度完成分析，本质是sql语言的进一步完善。

　　大家可以学习相关内容或提出疑问，我会整理出来，分享给大家，同时也在学习如何通过python将数据转换成分析人员需要的能够处理的sql语言。产品架构介绍，分析应用架构，日志采集、自动可视化、sql/dll、命令格式化、可视化等。体系工具有总结，有注意事项介绍。采用接口、平台、接口、二次开发实现，平台是jsoup、html模块，实。