curl 抓取网页 职场生存指南参考（以下引用皆从百度百科所引用）

　　curl 抓取网页 职场生存指南参考（以下引用皆从百度百科所引用）

　　curl抓取网页的细节还是很多的，现在把我从模拟训练时整理出来的注意点都给大家总结一下。你可以把它当做是一本职场生存指南参考（以下引用皆从百度百科所引用，更直观些）1.与客户用邮件交流curl到后端就是一个典型的socket。先用curl的send函数发送，接收到了就会调用sendno这个函数。2.需要post链接curl就是个socket3.网页加载时会sendnonone即可segmentfaultidea框架现在支持在网页初始化阶段发送post请求，让用户自己填写hostname和ip地址，这样后端服务器就可以根据这些信息做很多信息校验工作了。

　　segmentfaultidea框架目前支持options，api选项等指令配置4.这个页面是无状态的，网页的相关信息网页本身不会动态更新，目前考虑的思路是通过抓包来获取用户信息，来动态加载那些被加载的信息。5.是否需要通过get来抓取数据。6.如果有信息交换，是否需要反爬虫来抓取数据信息。7.如果需要对不知道时间戳，用户title等内容做变更，是否需要手动修改get参数8.生成新链接还是抓取原链接。

　　9.如果需要抓取静态页面，是否需要两个http一起抓取。10.对于一个get请求需要考虑cookie的问题。11.对于网页上有代码的情况来说，抓取哪些内容需要分割链接，怎么分割。12.对于单向链接curl是否抓取，比如要抓取一段代码里的数据，哪些不需要抓取等。13.对于被禁止抓取的站点，怎么来确定数据的来源等。

　　14.curl的一些流程、环境配置和前端代码需要编写代码是否一样。15.在国内网站上，除了注意抓包外，还需要注意服务器会不会自己来抓取到用户的http，然后再去抓取ip和地址等。最后再说一下curl怎么样才能看见外部的域名（例如提取：imgurl，把域名提取出来）。这个基本上是根据前端的端口号来抓取或者自己爬虫的域名来抓取。