自动采集网站内容是分文本采集和网页链接采集的

　　自动采集网站内容是分文本采集和网页链接采集的

　　自动采集网站内容是分文本采集和网页链接采集，又因为不同网站内容丰富程度不同，需要采集的内容也不同，可以从两个方面入手。文本采集是专门采集网站搜索框内容，常见的网站有百度新闻，360搜索，搜狗搜索，搜搜百科等等，这些网站的内容和站内搜索框共享相同的robots.txt即协议。这些采集包含的内容其实是标准的，即目标网站相关链接和网站结构信息等内容，可以采集得到。

　　而网页链接采集是针对网站内容有一定自己的内容库，又因为网站的文章密度不断提高，想更新新的文章，就需要整理修订网站网页并转发给别人，这时可以在网站上采集相关文章，再转发给需要的人去浏览和发布。举个例子，要发布一篇名为xxx的文章，你在网站上发布后内容不就可以有：标题，作者，主要内容，发布时间，文章链接等内容了吗？采集方式可以分为两类，一类是爬虫，另一类是页面(archive)采集。

　　爬虫类采集，是采集指定网站的搜索结果页网页结构，再对其进行跟新处理，同时采集网站内部的新文章。采集方式的目的是将整个网站的内容进行梳理与归类。这种方式有一定难度，用好了还是不错的。但爬虫采集难度比较大，一不小心就容易走入陷阱。页面采集，是将页面链接采集下来，然后将同样的页面文章按照id进行对应，一般要搜索页面id的关键词。

　　页面采集可以采集到对应页面内的更新相关的内容，能够保持搜索的更新速度。根据网站实际情况来决定采用哪种采集方式。