js提取指定网站内容(js提取指定网站内容以支持搜索引擎抓取分析的利弊)

　　js提取指定网站内容(js提取指定网站内容以支持搜索引擎抓取分析的利弊)

　　js提取指定网站内容以支持搜索引擎抓取分析，类似google，百度，搜狗等搜索引擎一般会给予referral返回给搜索引擎。然后从站点对外的返回页内容抓取验证和关键词匹配后，返回给搜索引擎（获取下页链接的长度等），

　　在网站索引中可以得到站点网页的摘要信息以作用于搜索引擎的索引分析。

　　我刚学习网站结构分析的，个人经验，看这篇文章即可。

　　目前国内比较主流的排名抓取方法有如下两种：（1）在url进行whois随机检查，从地址栏找到allurls的ip地址，然后查看数量，对比ip点击量和url访问量，来确定访问量大的url所在的页面。（2）使用域名ip代理抓取，这种方法的好处是可以抓取百度（或者google），必应等搜索引擎以外的其他搜索引擎页面。

　　看上面的答案感觉还是云里雾里首先说filetag的利弊第一个答案写的很详细了，我只想从另一个方面补充一下：不要一开始就filetag，而是先通过目录名找到要抓取的页面，然后进行filetag。比如我要爬取知乎的文章，我是先爬取知乎的主站目录，

　　360,百度搜狗搜索结果页有长链接是自动搜索到站点根目录的

　　重点要搞清楚，谷歌、百度在抓取xxx.xx.xx.xx的时候，有两个自检机制，即谷歌会查看输入xxx.xx.xx.xx这个格式的地址之后返回的内容。百度会通过目录找到文件，即通过查看输入相同格式的文件的地址返回结果，来确定页面的抓取内容，所以，返回结果页面的url长度就成为一个重要的指标了，有时查找和查找操作的结果有区别。