seo竞争对手分析工具(这是系统Cygwin安装教程及常用工具安装使用教程)

　　seo竞争对手分析工具(这是系统Cygwin安装教程及常用工具安装使用教程)

　　本文信息本文由Met​​hod SEO Consultant发表于2014-06-2016:11:26，共2984字，请注明：网站竞争对手分析教程（1)：使用shell快速挖掘同行网站_【方法SEO顾问】，如果我的网站的文章对你有帮助，来百度口碑给个好评吧！

　　我们在做SEO的时候，难免要做一些分析竞争对手的工作网站。通常的做法是搜索一些核心关键词，并利用这些核心关键词来确定哪些网站具体我们很有竞争力，和他相比，我们的网站在哪里@> 优点和缺点。

　　这是一个好主意。现在的问题是，如果你手动挖矿，一方面效率太低，另一方面数据量不会很大，可能会错过一些竞争对手。那么有没有办法实现速度快，挖掘尽可能多的同行竞争对手网站？当然是有方法的，不然我就不叫方法了：）

　　下面教大家一种快速探索peer网站的方法，其中只需要一个工具，就是cygwin，下面有安装教程。Cygwin是windows平台下的UNIX模拟环境，也就是说我们也可以使用一些强大的UNIX命令来帮助我们提高效率，而不用把我们常用的windows改成UNIX系统。

　　#################### 最后更新日期：2015年8月14日，亲测好用！####################

　　前期准备工具

　　1、斗牛系列关键词挖矿工具：百度推广背景、百度业务、爱站关键词挖矿等我只用爱站关键词这次挖矿工具挖掘了一小部分文字作为演示。

　　2、shell：cygwin的下载安装请看这个文章：《【高清视频！】Win7系统Cygwin安装教程和常用工具安装教程》，我会重点写一篇详细的安装教程关于 SEO 工具。

　　3、关于以下所有命令，可以在本文章中得到详细的用法介绍：Shell分析日志命令快速入门，请大家自觉集思广益。

　　实现思路

　　第一步：使用关键词挖掘工具挖掘一批行业词，例如1000个词，如下图：

　　第二步：每个词去百度搜索，取前50个结果网址，然后汇总所有得到的网址；

　　代码如下： 第一条命令是到我们要处理的文件kws.txt所在目录下，第二条命令是运行shell批处理文件duishou.sh，计算耗时。

　　cd /cygdrive/c/Users/fang/Desktop/新建文件夹

　　time bash -x duishou.sh

　　尝试在测试中运行 1000 个单词：

　　程序效率

　　测试运行 1000 个单词，需要 33 分钟。你觉得效率如何？

　　测试效果

　　URL前面的数字越大，网站的竞争力就越强。

　　对手.sh是几个命令的集合，类似于WINDOWS下的批处理。

　　程序源代码

　　duishou.sh的代码如下。您可以将其直接粘贴到记事本中并将扩展名更改为 .sh。当然，如果你懒得动手，可以在文章底部下载原文件。

　　#!bin/bash

#############本工具由【方法SEO博客http://seofangfa.com】提供，欢迎反馈问题~~~#############

#############2015年8月14日#############

#############作用################

#快速高效找到该行业里SEO做得最强的网站；

#############原理################

#根据一批关键词，批量获取这些关键词的百度搜索结果页前50个结果的URL，再将这些URL排序，统计出现次数，出现次数越多，说明该网站的前50名排名覆盖率越高，也就意味着SEO做得越好；

#############用法################

#1、安装cygwin，【高清视频！】win7系统Cygwin安装教程及常用工具安装使用教程：http://seofangfa.com/shell/cygwin-setup.html

#2、cd 命令切换到工作目录；

#3、输入time bash -x duishou.sh

#4、等运行完毕，查看结果，结果存在good.txt文件中。

#############注意事项#############

#1、kws.txt：关键词列表，一行一个，UTF-8编码

#2、ok.txt：百度搜索结果页前50个结果的URL集合

#3、good.txt：最终结果存放的文件

#4、关键词越多，结果越准确，所以，第一步你得挖掘足够多、足够精准的行业关键词，教程看下面：

#1、【超级简单好用！】批量采集百度相关搜索关键词：http://seofangfa.com/seo-tool/baidu-related.html

#2、【亲测好用！】shell批量采集百度下拉框关键词：http://seofangfa.com/seo-tool/shell-baidu-xiala.html

#3、shell快速批量获取百度商情关键词【带指数】：http://seofangfa.com/shell/baidukeyword-shangqing.html

#开始获取百度前50名网站的URL......

a=0

cat kws.txt|while read line;do

let a+=1

echo $a

curl -s "http://www.baidu.com/s?wd=$line&rn=50"|grep -o "http://www.baidu.com/link\?[^\"|\']*"|xargs curl -s -i|grep "Location"|sed 's/Location://g'

done >ok.txt

#开始分析竞争对手网站....

cat ok.txt|awk -F "/" '{print $3}'|egrep -iv "360|soso|sina|163.com|baidu|sohu|jb51|56|jd|yahoo|zhihu|docin|doc88|1688|sogou|etao|tianya|baike|zmazon|taobao|qq|wikipedia|xici|zhubajie|lusongsong|letv|ku6|ebrum"|sort|uniq -c|sort -nr|head -n100 >good.txt

#展示最终结果......

cat good.txt

　　第二步：排除百度自己的产品结果，以及其他高权重的网站如新浪博客、SOSO、360搜索、360doc、docin等；

　　第三步：取100个重复次数最多的URL作为主要竞争者。

　　解释一下上面代码的含义

　　1、cat ok.t​​xt：打开ok.txt文件；

　　2、|：管道命令，表示将上一步处理的文件通过管道传输到下一个命令；

　　3、awk -F'/''{print $3}'：取URL的主域部分；

　　4、egrep -iv "360|搜搜|新浪||百度|搜狐|jb51|56|jd|雅虎|知乎|docin|doc88|1688|搜狗|淘网|天涯|百度|zmazon|淘宝|qq| wikipedia|xici|zhubajie|lusongsong|letv|ku6|ebrum”：排除这些高权重平台的结果；

　　5、sort：对下一步的结果进行排序，去除重复结果并统计重复次数；

　　6、uniq -c：对结果进行去重并统计重复次数；

　　7、sort -nr：将重复次数从大到小排序；

　　8、head -n100：取原创结果的前100条数据；

　　9、>good.txt：将最终结果输出到good.txt。

　　以上命令均可在本文章中获取详细介绍：Shell分析日志常用命令快速入门

　　如果您有任何问题或想法，请随时在下面的评论框中与我交流。

　　程序包下载

　　Shell 快速挖掘同行网站 程序下载