vb抓取网页内容(问题如何获取网站上所有网页的列表？(双语))

　　vb抓取网页内容(问题如何获取网站上所有网页的列表？(双语))

　　问题

　　如何获取网站上所有网页的列表？我已经尝试了很多东西——它们会返回一个错误。我抛弃了现在后悔的一切。

　　请帮忙。

　　附言我不想制作 xml 站点地图。

　　解决方案

　　这取决于网站...

　　有一个sitemap协议[^]，网站支持，可以“爬取”网站获取所有网页的信息...

　　写这样的爬虫反正也不是那么简单，所以你最好搜索一些现成的解决方案（也有免费和开源的解决方案，所以不用担心付费：-)）

　　百度有翻译这篇文章的好方法。

　　问题

　　如何获取网站中所有网页的列表？我尝试了很多东西——它们返回一个错误。我把它们都扔掉了，现在后悔了。

　　请帮忙。

　　附言我不想制作 xml 站点地图。

　　解决方案

　　这取决于网站...

　　有一个站点地图协议[^]，该协议由站点支持，它使您可以“抓取”站点并获取所有页面的信息...

　　无论如何编写这样的爬虫不是那么简单，所以你最好搜索一些现成的解决方案（也有免费和开源的解决方案，所以不用担心付费:-)）