seo竞争对手分析工具(这是系统Cygwin安装教程及常用工具安装使用教程)
优采云 发布时间: 2021-10-23 10:00seo竞争对手分析工具(这是系统Cygwin安装教程及常用工具安装使用教程)
本文信息本文由Method SEO Consultant发表于2014-06-2016:11:26，共2984字，请注明：网站竞争对手分析教程（1)：使用shell快速挖掘同行网站_【方法SEO顾问】，如果我的网站的文章对你有帮助，来百度口碑给个好评吧！
我们在做SEO的时候，难免要做一些分析竞争对手的工作网站。通常的做法是搜索一些核心关键词，并利用这些核心关键词来确定哪些网站具体我们很有竞争力，和他相比，我们的网站在哪里@> 优点和缺点。
这是一个好主意。现在的问题是，如果你手动挖矿，一方面效率太低，另一方面数据量不会很大，可能会错过一些竞争对手。那么有没有办法实现速度快，挖掘尽可能多的同行竞争对手网站？当然是有方法的，不然我就不叫方法了：）
下面教大家一种快速探索peer网站的方法，其中只需要一个工具，就是cygwin，下面有安装教程。Cygwin是windows平台下的UNIX模拟环境，也就是说我们也可以使用一些强大的UNIX命令来帮助我们提高效率，而不用把我们常用的windows改成UNIX系统。
#################### 最后更新日期：2015年8月14日，亲测好用！####################
前期准备工具
1、斗牛系列关键词挖矿工具：百度推广背景、百度业务、爱站关键词挖矿等我只用爱站关键词这次挖矿工具挖掘了一小部分文字作为演示。
2、shell：cygwin的下载安装请看这个文章：《【高清视频！】Win7系统Cygwin安装教程和常用工具安装教程》，我会重点写一篇详细的安装教程关于 SEO 工具。
3、关于以下所有命令，可以在本文章中得到详细的用法介绍：Shell分析日志命令快速入门，请大家自觉集思广益。
实现思路
第一步：使用关键词挖掘工具挖掘一批行业词，例如1000个词，如下图：
第二步：每个词去百度搜索，取前50个结果网址，然后汇总所有得到的网址；
代码如下： 第一条命令是到我们要处理的文件kws.txt所在目录下，第二条命令是运行shell批处理文件duishou.sh，计算耗时。
cd /cygdrive/c/Users/fang/Desktop/新建文件夹
time bash -x duishou.sh
尝试在测试中运行 1000 个单词：
程序效率
测试运行 1000 个单词，需要 33 分钟。你觉得效率如何？
测试效果
URL前面的数字越大，网站的竞争力就越强。
对手.sh是几个命令的集合，类似于WINDOWS下的批处理。
程序源代码
duishou.sh的代码如下。您可以将其直接粘贴到记事本中并将扩展名更改为 .sh。当然，如果你懒得动手，可以在文章底部下载原文件。
#!bin/bash
#############本工具由【方法SEO博客http://seofangfa.com】提供，欢迎反馈问题~~~#############
#############2015年8月14日#############
#############作用################
#快速高效找到该行业里SEO做得最强的网站；
#############原理################
#根据一批关键词，批量获取这些关键词的百度搜索结果页前50个结果的URL，再将这些URL排序，统计出现次数，出现次数越多，说明该网站的前50名排名覆盖率越高，也就意味着SEO做得越好；
#############用法################
#1、安装cygwin，【高清视频！】win7系统Cygwin安装教程及常用工具安装使用教程：http://seofangfa.com/shell/cygwin-setup.html
#2、cd 命令切换到工作目录；
#3、输入time bash -x duishou.sh
#4、等运行完毕，查看结果，结果存在good.txt文件中。
#############注意事项#############
#1、kws.txt：关键词列表，一行一个，UTF-8编码
#2、ok.txt：百度搜索结果页前50个结果的URL集合
#3、good.txt：最终结果存放的文件
#4、关键词越多，结果越准确，所以，第一步你得挖掘足够多、足够精准的行业关键词，教程看下面：
#1、【超级简单好用！】批量采集百度相关搜索关键词：http://seofangfa.com/seo-tool/baidu-related.html
#2、【亲测好用！】shell批量采集百度下拉框关键词：http://seofangfa.com/seo-tool/shell-baidu-xiala.html
#3、shell快速批量获取百度商情关键词【带指数】：http://seofangfa.com/shell/baidukeyword-shangqing.html
#开始获取百度前50名网站的URL......
a=0
cat kws.txt|while read line;do
let a+=1
echo $a
curl -s "http://www.baidu.com/s?wd=$line&rn=50"|grep -o "http://www.baidu.com/link\?[^\"|\']*"|xargs curl -s -i|grep "Location"|sed 's/Location://g'
done >ok.txt
#开始分析竞争对手网站....
cat ok.txt|awk -F "/" '{print
