curl 抓取网页(curl中命令行模式#python抓取网页##)

　　curl 抓取网页(curl中命令行模式#python抓取网页##)

　　curl抓取网页然后image是用的xml的curl直接抓xml就是爬虫

　　curl不是直接抓取网页的，而是将连接格式化了，然后由beautifulsoup查询。

　　你真正的目的是想要抓取，

　　curl是命令行工具，beautifulsoup是框架，不同层面工具，也就是使用场景不同，就一句话，

　　爬虫的流程类似于一个倒金字塔的结构。每一步都是在一个「爬虫框架」里面进行的。也就是说，抓取网页很像正在爬一个大蜘蛛，而不是正在爬一个点点。你要先给出大蜘蛛模型图，再来进行从整体分析。

　　从词汇方面理解，curl是用命令行模拟beautifulsoup搜索操作。beautifulsoup是python标准的html解析库，需要安装，也是需要在命令行模式下操作的，命令行模式下在/src/programs/python.py中命令行模式#python.py#在命令行模式下输入importbeautifulsoup可见这个命令行模式没有安装。curl等于beautifulsoup+任何一个lxml库。

　　首先题主你的思维才是问题的关键。你们脑子里的爬虫和大师们的不是一个东西。看题主的意思应该是想爬取大厂的网站网页并用于后续的文本处理啊等等吧。首先题主先花点时间学学编程，不懂的先百度一下吧。