php curl抓取网页内容(手机*敏*感*词*网和58同城的*敏*感*词*信息和招聘网站上的区别)

　　php curl抓取网页内容(手机*敏*感*词*网和58同城的*敏*感*词*信息和招聘网站上的区别)

　　phpcurl抓取网页内容到mysql数据库，通过redis可以轻松存储很多不需要的html页面数据。

　　手机*敏*感*词*网和58同城的*敏*感*词*信息都是直接上传到服务器，然后由第三方（如58同城）爬虫统计返回的。返回给网站运营方。

　　1.不同的第三方，用于不同的目的，比如58同城是依靠cookie+关键字的方式进行分析。2.不同的网站，分别有不同的调用方式，第三方*敏*感*词*平台可以定制cookie类型，对于不能爬取来说，按cookie存储。

　　cookie

　　不好意思，刚刚没仔细看你的问题。*敏*感*词*网上的*敏*感*词*信息和招聘网站上的基本差不多，都是通过cookie采集的，和做爬虫差不多，都是把数据传给接口对接的服务商（如boss直聘，智联），他们再根据你发布的岗位去第三方平台返回结果。

　　利用关键字去搜索职位，然后利用返回结果判断是不是骗子。先爬取第三方查看该信息是否属实。但是对于前端能够完全去除关键字，这个需要分情况，难点主要在于如何去除关键字以及如何统计。

　　第三方数据是运营者（企业或团队）爬虫程序抓取，然后分类进行登记存档使用的。58同城比较麻烦，企业的客户端需要服务器加载平台官方发布的链接（按照url生成对应抓取代码）然后到外网抓取企业企业的服务器名称。一些*敏*感*词*平台上的信息肯定是企业自己爬取的，这样的通过返回的json来进行分析、提取对应数据的方式更加有效。