百度网页关键字抓取(百度网页关键字：firebug/macappstoreitunes上robot.txt文件)

　　百度网页关键字抓取(百度网页关键字：firebug/macappstoreitunes上robot.txt文件)

　　百度网页关键字抓取，国内的百度开发团队一起做的，算是比较早做这个事情的。国外比较流行用firebug来用actionscript去调用一些程序实现功能。国内的这些ide类的网站，搜狗这样的也支持调用robots协议来访问别人的程序，如果网站上也有搜索引擎的话就更好用了。

　　从逻辑上的说，既然有了robots协议，就等于有了点是非善恶，不能存在完全公平对待。是好还是坏不好说，毕竟都可以申请版权。我知道几个建立了不好的robots协议的网站，删都删不掉。

　　还有一个：xcodeprojects

　　具体看这里：apple开发者计划列表-appledevelopersitunes/macappstore/ibooks/applemusicmacwiki

　　itunes上robot.txt文件

　　applereferenceinfo:theiosappstore'sreferenceinfo:jsmovementandaformatspecification

　　最近两天手头的一款app也要开发“自己的库”了。网上搜索了一下，最近出来的方法好像都不可行。因为他是从github上下载开源的公开源码。这个公开源码可以在appstore里面自由下载。所以要在github上也要搞一个。首先第一个也是最简单的方法就是在appstore里面下载源码然后合并。但是好像说他们网站上每一个数据都有一个唯一的id，必须用js代码登陆网站以后才能把这个唯一id写进去。

　　否则他就可以随便写用户名密码。至于其他的方法，比如在别的渠道是匿名发布的应用，然后登陆appstore编译以后还需要用户名和密码这种。这种比较困难，而且因为是公开的源码，也很难分析，然后官方网站也不会有这些东西。如果重写的话需要代码段不能有1.id。2.需要web开发。需要考虑到现在appstore有多少app，这种重写其实是复制粘贴的。

　　这样一来就是大量的注释，都不好分析config的变动。而且同时功能是以本地app形式提供的，所以你代码写的多必然的会有不同，也会有更多的调用逻辑，这些都是有可能发生的。