php多线程抓取多个网页(C#编写的多线程异步抓取网页的网络爬虫控制台程序功能)

　　php多线程抓取多个网页(C#编写的多线程异步抓取网页的网络爬虫控制台程序功能)

　　说明：C#函数编写的多线程异步网页爬虫控制台程序：目前只能提取网页链接，使用的两个记录文件不需要很大。暂时无法抓取网页文字、图片、视频和html代码，敬请谅解。但需要注意的是，网页数量非常多。下面的代码理论上可以捕获整个Internet网页链接。但实际上，由于处理器功能和网络条件（主要是网速）的限制，一般家用电脑最多可以处理12个线程的爬虫任务，爬虫速度是有限的。它可以爬行，但需要时间和耐心。当然，这个程序是可以捕获所有链接的，因为链接不会占用太多系统空间，并且借助日志文件，爬取的网页数量可以堆积起来，甚至所有的互联网网络链接都可以访问Down，当然最好是分批进行。建议将maxNum设置为500-1000左右，慢慢积累。另外，由于是控制台程序，有时显示的字符过多，系统会暂停显示。这时候，只需点击控制台并按回车键即可。当程序暂停时，您可以按 Enter 尝试。/// 要使用这个程序，请确保已经创建了相应的记录文件。为简化代码，本程序不够健壮，请见谅。/// 默认文件创建在E盘根目录下的“URL.txt”和“URL.txt”两个文本文件中，这两个文件需要用户自己创建，并注意后缀不要出错。这两个文件中的链接基本上都是有效链接，可以分开处理。这个爬虫程序的速度如下：10个线程最快，大约每分钟500个链接，6-8个线程最快，大约400-500个链接，每分钟2-4个线程，最快大约200-400个链接，单线程每分钟最快，大约每分钟爬70-100个链接，多线程异步爬取，完全是出于效率考虑。这个程序的多线程同步并没有带来速度的提升。只要抓取的网页不是太重复和冗余，就足够了。异步并不意味着错误。这两个文件中的链接基本上都是有效链接，可以分开处理。这个爬虫程序的速度如下：10个线程最快，大约每分钟500个链接，6-8个线程最快，大约400-500个链接，每分钟2-4个线程，最快大约200-400个链接，单线程每分钟最快，大约每分钟爬70-100个链接，多线程异步爬取，完全是出于效率考虑。这个程序的多线程同步并没有带来速度的提升。只要抓取的网页不是太重复和冗余，就足够了。异步并不意味着错误。这两个文件中的链接基本上都是有效链接，可以分开处理。这个爬虫程序的速度如下：10个线程最快，大约每分钟500个链接，6-8个线程最快，大约400-500个链接，每分钟2-4个线程，最快大约200-400个链接，单线程每分钟最快，大约每分钟爬70-100个链接，多线程异步爬取，完全是出于效率考虑。这个程序的多线程同步并没有带来速度的提升。只要抓取的网页不是太重复和冗余，就足够了。异步并不意味着错误。约400-500个链接，每分钟2-4个线程，最快约200-400个链接，单线程每分钟最快，大约每分钟爬取70-100个链接的原因完全是多线程异步爬取出于效率考虑。这个程序的多线程同步并没有带来速度的提升。只要抓取的网页不是太重复和冗余，就足够了。异步并不意味着错误。约400-500个链接，每分钟2-4个线程，最快约200-400个链接，单线程每分钟最快，大约每分钟爬取70-100个链接的原因完全是多线程异步爬取出于效率考虑。这个程序的多线程同步并没有带来速度的提升。只要抓取的网页不是太重复和冗余，就足够了。异步并不意味着错误。只要抓取的网页不是太重复和冗余，就足够了。异步并不意味着错误。只要抓取的网页不是太重复和冗余，就足够了。异步并不意味着错误。