网站内容抓取(网站内容抓取和变现分两个层面，效率低下)

　　网站内容抓取(网站内容抓取和变现分两个层面，效率低下)

　　网站内容抓取和变现分两个层面，一个是技术层面，另一个就是产品层面。技术层面用webscraper/edius/phpbeans等工具，产品层面要用到爬虫分析、后期数据挖掘等技术。单纯用php找网站文章资源，效率低下。推荐考虑自己做网站，爬全站文章。可以看看我写的《请停止无效率的爬虫-php与网站数据挖掘》。

　　网站文章更新的快慢取决于你自己的ip质量，如果有能力直接用php找全站文章也没问题。

　　网站上的文章不一定是你所搜索的，

　　如果只是要抓取某个网站的文章,并且能顺利打开的话,用现成的网站抓取服务器就可以解决,像我知道的一个,不过服务器质量可能并不怎么样。但并不影响整体的速度。另外,某些新闻站点本身用到的数据库也不全,并不能很好的来处理。像百度。另外,手机百度。还有,其实百度能不能在这方面节省你们的*敏*感*词*,需要你们去做检验。否则成本会很高。

　　我们日常在论坛更新的日志。每条帖子分别是@相应的网站来发的。只要抓取下来。服务器会自动传到他们的服务器。我们不需要每天都爬去源站查看,只要更新。比如我们关注的那些网站,只要看那些网站的更新就好。还有我们每天在网上看到的新闻。网站没法全抓下来。可以去基站。可以看手机上的新闻。看看国家说的。国外说的。某网上说的。加油。