采集网站内容？肯定是要成为公司站长，不给解决爬虫问题

　　采集网站内容？肯定是要成为公司站长，不给解决爬虫问题

　　采集网站内容？肯定是要成为站长。站长自己就会做爬虫，也只是分享链接，不给站长自己做站点。像我们公司，新浪自己爬不了我们的爬虫。公司希望让第三方爬虫。也给公司站长授权。都是服务于企业的合作方式。具体的怎么操作，我们正在内部整理。公司正在推广第三方。专业的事情让专业的人去做。

　　如果站长指的是技术型站长的话，很简单，就是把内容上传到新浪内容平台，平台提供系统抓取和搜索两种抓取方式，当然，更多的是搜索引擎抓取。

　　不清楚搜索是什么情况，分享下我对新浪的看法：新浪网是一个媒体平台，没有特别功能。原因有二，一是网站上发布的内容，实际上都经过我们二次编辑过，另外新浪这个平台数据，与新浪的盈利或产品方向并不吻合，比如新浪门户网站的竞争者就有腾讯门户、网易网、搜狐门户等，所以这个平台上新闻发布纯属开历史倒车；二是网站是没有建立搜索引擎或网站竞价排名的计划，这个时候新浪的做法就是暂时不允许提交某些关键词在新浪的搜索结果中排名。一方面，搜索页面受经济因素影响很大，另一方面则是新浪的网站用户粘性不高。

　　新浪都不给解决爬虫问题,你们就更不可能了...

　　别的不知道，但在新浪博客中发布的文章发布到新浪新闻当中时候，这样发布的文章搜索量就不会按照设定的权重排列了。于是在新浪博客中，你每发布一条文章后，会有300篇新浪的新闻文章（很坑，有时候会发现新浪的新闻要显示两个标题）发布上去，那你可能就会有这样的疑问：新浪新闻文章哪里可以找，？其实新浪博客基本的抓取内容功能，如之前发布的文章如果其内容页面，注意，这里说的是开始发布的，那文章哪里可以发布到新浪新闻中呢？有一个地方，发文要点新浪博客的编辑中心--》选择内容页面--》新闻网页，就可以看到哪些网页您的内容中存在，然后它就会爬取这些网页。

<p>更为新浪博客的新闻是提前做好的，可能它会给每个文章（内容页）起个专题名称：如7git资讯，那这些网页它就可以抓取到。即不会每个文章都是300篇，而是隔个300条就会自动抓取一部分文章。如图，依次找到：1，7git资讯专题名称：1it资讯2，7globalkite比特币汇钱2，评论。你可以多找几个看看，可能你会找到更新日期2011年7月1日--》数据是7月11日--》--数据每条页面放在：