搜索引擎的网站优化(搜索引擎的网站优化部分可以认为是内容编辑（seo）技术部分)

　　搜索引擎的网站优化(搜索引擎的网站优化部分可以认为是内容编辑（seo）技术部分)

　　搜索引擎的网站优化部分可以认为是搜索引擎的内容编辑（seo）技术部分。这一块暂时不多说，就目前的科技水平，好像达不到这么发达的科技。第二个问题就是判断的问题了，一般搜索引擎里面的日志会记录这些数据，从我的经验里来看的话，当你输入网址会有对应的不同的页面显示，那么就表示是蜘蛛抓取的。毕竟每个人的喜好不同，如果像知乎这种有个排序页面，那就更加厉害了。

　　综上所述，还是那句话：蜘蛛在爬行时根据喜好来爬行，如果抓取的页面是一样的，那么它可能会抓取某个页面，也可能抓取其他页面，当你输入地址和它喜好的地址接近时，它就会在爬行时爬行同一页面，当接近某些网站时，它就会爬行该网站的多个页面，同时间接地，它也会抓取其他网站的页面，这样就可以排列组合，得到不同的结果。

　　google早几年的爬虫爬取的绝大部分页面都是不涉及隐私的。所以从这个角度看，无论你是打开哪个网页，google只要抓取了这个页面中的网址和地址栏，不管它对于你有多重要，他都会参考。网站优化，如果没有锚文本等策略，一般是不考虑抓取抓取其他网站的页面的。

　　要看搜索内容本身是否是重要的，如果并不是重要就算想抓取也没有用。

　　可能被收录了，可能不是你需要的，更可能是收录来给竞争对手作为参考用的。个人猜测哈。