php抓取网页数据(php抓取网页数据用sqlite2写入mysql，web服务器请求是websocket)

　　php抓取网页数据(php抓取网页数据用sqlite2写入mysql，web服务器请求是websocket)

　　php抓取网页数据用sqlite2写入mysql，web服务器请求是websocket。

　　爬虫爬网页，数据库存数据，swoolewebsocket，一种解决方案，有折腾的必要，

　　就算你是ruby的request库也是要clientsocket或者epoll模型，

　　就这么简单，用最简单的字节流就可以做到基本http服务器（请求->响应）所能做的所有事情。用python做底层就是websocket模型，用ruby做底层就是postmessage模型。

　　基于协议一般是websocket，epoll或fd不推荐。python大概是有了xmpp这样的库了，不然做服务器相关也不太容易。其他的模型确实也有，php搭建的服务器是websocket，ruby搭建的服务器是epoll。

　　打破底层的束缚的话，建议学习第三方的rabbitmq和kafka等开源的异步消息系统。

　　基于websocket的话数据库和rabbitmqclient可以放在一起用。

　　ruby可以用cll注意是用cllclient

　　先列点条件网页：php协议需要普通的连接方式或者使用socket支持两个输入端一个输出端爬虫：网页要快速速度要可以在线可以翻页且逻辑简单，比如点击等需要传递cookie或redis作为上层服务的协议或者对比的话可以找方案解决http协议这种的在线服务器直接对接，不是本机就借助主机。第三方服务能力最好也是有类似的方案。图片或者文件这些格式没什么好折腾的。还是拿回头自己练手把。