网站程序自带的采集器采集文章
教程:网站程序自带采集器采集文章的时候用方法一样方法
采集交流 • 优采云 发表了文章 • 0 个评论 • 99 次浏览 • 2022-10-02 18:30
教程:网站程序自带采集器采集文章的时候用方法一样方法
网站程序自带的采集器采集文章的时候是不能同步到网站上去的，要手动调用post参数或下载程序安装进行配置获取图片还是不错的，但是不能跟时时更新文章的新闻站、自媒体、博客采集的时候用方法一样方法二很多人使用抓包工具抓来数据，再同步到网站上去或者插件免抓包采集数据一般是收益有限，
看了一下。javascript封装的封装，json封装的封装，这种类似产品没怎么看到过。确实如楼上那样，你可以尝试抓包工具抓取的，再用分析工具分析一下效果。
工具方面只推荐酷传推广王
简单来说，就是做竞价的不用担心用户看不到，因为他们加密了。而做免费自媒体的不用担心用户看不到。国内还在用javascript，国外还是用json的。另外javascript封装了太多meta信息，还要手动选择。而json封装的meta太弱，封装完成可以自己写api。
json是一种直接写文本信息，不需要处理格式（按照主流库）javascript封装的json，有个bestpractices，具体可以参考这里：ajsoninferencetoolforawesomecodingskills另外这个问题在community已经有人问过，结果蛮好。里面有不少东西，不一定用得上：improvedwebbrowserdocumenttagdetectioninreactandjquery，参见这里-applied-browser-document-tag-detection-for-react-and-jquery-117701f1715.html。 查看全部
网站程序自带的采集器采集文章的时候是不能同步到网站上去的，要手动调用post参数或下载程序安装进行配置获取图片还是不错的，但是不能跟时时更新文章的新闻站、自媒体、博客采集的时候用方法一样方法二很多人使用抓包工具抓来数据，再同步到网站上去或者插件免抓包采集数据一般是收益有限，
看了一下。javascript封装的封装，json封装的封装，这种类似产品没怎么看到过。确实如楼上那样，你可以尝试抓包工具抓取的，再用分析工具分析一下效果。
工具方面只推荐酷传推广王
简单来说，就是做竞价的不用担心用户看不到，因为他们加密了。而做免费自媒体的不用担心用户看不到。国内还在用javascript，国外还是用json的。另外javascript封装了太多meta信息，还要手动选择。而json封装的meta太弱，封装完成可以自己写api。
json是一种直接写文本信息，不需要处理格式（按照主流库）javascript封装的json，有个bestpractices，具体可以参考这里：ajsoninferencetoolforawesomecodingskills另外这个问题在community已经有人问过，结果蛮好。里面有不少东西，不一定用得上：improvedwebbrowserdocumenttagdetectioninreactandjquery，参见这里-applied-browser-document-tag-detection-for-react-and-jquery-117701f1715.html。 查看全部
教程:网站程序自带采集器采集文章的时候用方法一样方法
网站程序自带的采集器采集文章的时候是不能同步到网站上去的，要手动调用post参数或下载程序安装进行配置获取图片还是不错的，但是不能跟时时更新文章的新闻站、自媒体、博客采集的时候用方法一样方法二很多人使用抓包工具抓来数据，再同步到网站上去或者插件免抓包采集数据一般是收益有限，
看了一下。javascript封装的封装，json封装的封装，这种类似产品没怎么看到过。确实如楼上那样，你可以尝试抓包工具抓取的，再用分析工具分析一下效果。
工具方面只推荐酷传推广王
简单来说，就是做竞价的不用担心用户看不到，因为他们加密了。而做免费自媒体的不用担心用户看不到。国内还在用javascript，国外还是用json的。另外javascript封装了太多meta信息，还要手动选择。而json封装的meta太弱，封装完成可以自己写api。
json是一种直接写文本信息，不需要处理格式（按照主流库）javascript封装的json，有个bestpractices，具体可以参考这里：ajsoninferencetoolforawesomecodingskills另外这个问题在community已经有人问过，结果蛮好。里面有不少东西，不一定用得上：improvedwebbrowserdocumenttagdetectioninreactandjquery，参见这里-applied-browser-document-tag-detection-for-react-and-jquery-117701f1715.html。
最近发布:Fluent Bit 收集指标日志
采集交流 • 优采云 发表了文章 • 0 个评论 • 44 次浏览 • 2022-10-02 06:16
最近发布:Fluent Bit 收集指标日志
简介
Fluent Bit是一个轻量、高性能的日志采集和指标采集工具。
特点部署
Fluent Bit是使用C编写的，不同的平台需要重新编译，使用docker部署是最方便的。
下载镜像
docker pull cr.fluentbit.io/fluent/fluent-bit:1.9
测试
直接输出容器CPU指标
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -o stdout -f 1
也可以直接输出到elasticsearch
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -t cpu -o es -p Host=192.168.122.23 -p Port=9200 -p Index=monitor_cpu -p Type=my_type -o stdout -m '*'
总结
在kubernetes中pod里面的资源是共享，可以使用sidecar的方式采集pod的信息，也可以挂载目录，采集主机上的日志文件。
近期发布:软文自动发布软件自动发帖软件获客放心省心
软文自动发帖软件让客户放心的自动发帖软件
选择Magic Cloud，您将拥有：
1、软件可实现大规模B2B网站；包括门户博客和大型论坛、文章投递、分类信息、贴吧问它、WIKI百科、相册、新闻评论、各类中小型博客和论坛等.具有高*高权重网站自动注册和文章信息自动发布。
2、批量发布、重新编辑和替换内容等功能。文章采集，伪原创处理，自动连接。
3、文章拼接、友情链接、签名文件设置等功能。涵盖所有出版领域。
墨推云全网营销助手是一款模拟跨平台手动和自动推广的营销工具。我们采用独特的人工智能算法，自动识别各大网站的发布规则，无需编写任何规则，让用户能够自动准确地发布所有网站的信息。专门帮助企业做关键词百度排名、网站优化、网站引流；本软件操作简单，只要能上网，5分钟学会，2秒自动发表1篇文章，是网络营销必备的工具软件！让不懂互联网、不懂互联网的人可以借用工具做好网络营销，
与搜索引擎推广、广告联盟推广等手段相比，墨推云-企业信息助手的成本相对较低。从效率的角度来看，它的性价比很高。同时，墨推云-企业信息发布助手，转化率，各大搜索引擎收录高排名，高信息量，你的产品遍布全网，信息持续时间长，低价网络推广必备手段！ 查看全部
简介
Fluent Bit是一个轻量、高性能的日志采集和指标采集工具。
特点部署
Fluent Bit是使用C编写的，不同的平台需要重新编译，使用docker部署是最方便的。
下载镜像
docker pull cr.fluentbit.io/fluent/fluent-bit:1.9
测试
直接输出容器CPU指标
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -o stdout -f 1
也可以直接输出到elasticsearch
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -t cpu -o es -p Host=192.168.122.23 -p Port=9200 -p Index=monitor_cpu -p Type=my_type -o stdout -m '*'
总结
在kubernetes中pod里面的资源是共享，可以使用sidecar的方式采集pod的信息，也可以挂载目录，采集主机上的日志文件。
近期发布:软文自动发布软件自动发帖软件获客放心省心
软文自动发帖软件让客户放心的自动发帖软件
选择Magic Cloud，您将拥有：
1、软件可实现大规模B2B网站；包括门户博客和大型论坛、文章投递、分类信息、贴吧问它、WIKI百科、相册、新闻评论、各类中小型博客和论坛等.具有高*高权重网站自动注册和文章信息自动发布。
2、批量发布、重新编辑和替换内容等功能。文章采集，伪原创处理，自动连接。
3、文章拼接、友情链接、签名文件设置等功能。涵盖所有出版领域。
墨推云全网营销助手是一款模拟跨平台手动和自动推广的营销工具。我们采用独特的人工智能算法，自动识别各大网站的发布规则，无需编写任何规则，让用户能够自动准确地发布所有网站的信息。专门帮助企业做关键词百度排名、网站优化、网站引流；本软件操作简单，只要能上网，5分钟学会，2秒自动发表1篇文章，是网络营销必备的工具软件！让不懂互联网、不懂互联网的人可以借用工具做好网络营销，
与搜索引擎推广、广告联盟推广等手段相比，墨推云-企业信息助手的成本相对较低。从效率的角度来看，它的性价比很高。同时，墨推云-企业信息发布助手，转化率，各大搜索引擎收录高排名，高信息量，你的产品遍布全网，信息持续时间长，低价网络推广必备手段！ 查看全部
最近发布:Fluent Bit 收集指标日志
简介
Fluent Bit是一个轻量、高性能的日志采集和指标采集工具。
特点部署
Fluent Bit是使用C编写的，不同的平台需要重新编译，使用docker部署是最方便的。
下载镜像
docker pull cr.fluentbit.io/fluent/fluent-bit:1.9
测试
直接输出容器CPU指标
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -o stdout -f 1
也可以直接输出到elasticsearch
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -t cpu -o es -p Host=192.168.122.23 -p Port=9200 -p Index=monitor_cpu -p Type=my_type -o stdout -m '*'
总结
在kubernetes中pod里面的资源是共享，可以使用sidecar的方式采集pod的信息，也可以挂载目录，采集主机上的日志文件。
近期发布:软文自动发布软件自动发帖软件获客放心省心
软文自动发帖软件让客户放心的自动发帖软件
选择Magic Cloud，您将拥有：
1、软件可实现大规模B2B网站；包括门户博客和大型论坛、文章投递、分类信息、贴吧问它、WIKI百科、相册、新闻评论、各类中小型博客和论坛等.具有高*高权重网站自动注册和文章信息自动发布。
2、批量发布、重新编辑和替换内容等功能。文章采集，伪原创处理，自动连接。
3、文章拼接、友情链接、签名文件设置等功能。涵盖所有出版领域。
墨推云全网营销助手是一款模拟跨平台手动和自动推广的营销工具。我们采用独特的人工智能算法，自动识别各大网站的发布规则，无需编写任何规则，让用户能够自动准确地发布所有网站的信息。专门帮助企业做关键词百度排名、网站优化、网站引流；本软件操作简单，只要能上网，5分钟学会，2秒自动发表1篇文章，是网络营销必备的工具软件！让不懂互联网、不懂互联网的人可以借用工具做好网络营销，
与搜索引擎推广、广告联盟推广等手段相比，墨推云-企业信息助手的成本相对较低。从效率的角度来看，它的性价比很高。同时，墨推云-企业信息发布助手，转化率，各大搜索引擎收录高排名，高信息量，你的产品遍布全网，信息持续时间长，低价网络推广必备手段！
解决方案:自动采集更新伪原创插件高级版57(乐科技)
采集交流 • 优采云 发表了文章 • 0 个评论 • 94 次浏览 • 2022-10-01 23:49
解决方案:自动采集更新伪原创插件高级版57(乐科技)
自动采集更新伪原创插件进阶版57（伪原创更新网站站长随机数生成软件，操作过程一般复制粘贴）
网站万能资料采集器v10正式版
网站万能资讯采集器是杭州网乐科技**Words*出品的网站爬虫和网页爬虫软件。它结合了 网站crawler 网络爬虫软件的所有优点。它捕获 网站 上的所有信息并将其手动发布到您的 网站。可以捕获关于任何网站 的任何类型的信息，例如新闻、供求信息。、急抓人才、抓顶帖、抓音乐、抓下一页链接等等，只有你想不到的网站号采集器，没有优采云采集器抓不到的，你看并抓住他们。网站一般信息采集器也可以全部手动工作，无需手动操作。您还可以在小睡时保持 网站 上的最新信息。很强大。需要的用户，
软件功能
1、添加手册信息采集
网站爬取的主要目的是添加到你的网站，网站信息优化云采集器可以实现所有的采集和手动添加。刚刚更新的其他 网站 新闻将在五分钟内手动移至您的 网站。你觉得容易吗？
2、网站登录
对于需要登录才能听到消息内容的网站，网站信息云采集器可以轻松登录采集，即使有验证码，它可以通过登录采集 来访问您需要的信息。
3、文档手册下载
如果您需要采集图片等二进制文件，只需设置网站信息云在本地保存任何类型的文件。
4、多级页面合集
无论有多少类别和子类别，您都可以通过一个设置同时从多个级别的页面采集内容。如果一条信息分布在多个不同的页面上，网站General Information采集器也可以手动识别N级页面，实现信息采集和爬取。软件自带8层网站采集例子
5、自动识别特殊网址
许多 网站 网络链接类似于：('1234') 特殊 URL，不是正常的开头。网站一般信息采集器也可以手动识别和捕获内容。
6、自动过滤重复导出数据过滤重复数据处理
有时 URL 不同但内容相同。优采云采集器 仍然可以根据内容过滤重复。（新版本增加功能）
7、多页新闻手动合并、广告过滤
有的新闻有下一页，网站的万能信息采集器也可以爬到每一页。并且可以同时保存抓拍新闻中的图文，过滤掉广告
8、自动破解防盗链
很多下载网站已经过验证或者防盗链，直接输入网址无法抓取内容，但是网站万能资讯采集器可以手动破解验证和防盗链，呵呵，我保证你能得到你想要的。
9、另外增加了模拟手动提交的功能，租用的网站asp+空间也可以远程发布。其实它可以模拟所有网页提交动作，批量注册会员，模拟群发。
网站万能信息采集器的十大功能：
1、 手动采集和发布
2、自动破解特殊网址
3、会员登录网站 也被捕获
4、 一次抓取整个 网站网站number采集器，无论类别数量如何
5、任何类型的文件都可以下载
6、多页新闻手动合并、广告过滤
操作方法:优采云采集器不用配规则采集数据的方法
优采云采集器可以在不配置规则的情况下采集网页数据图文。对于刚刚注册优采云采集器的小伙伴，学习的配置规则有：除了自己配置规则外，优采云还在软件中提供了专门的规则市场供小伙伴们使用下载并学习。这也是新手快速学习优采云规则配置的方法之一。接下来，我们以新浪微博话题采集为例，用图文并茂的方式介绍市场的相关操作！第一步，登录优采云客户端，找到规则市场。第二步，找到你想要的规则，直接下载。在这里，优采云提醒大家，VIP用户可以免费下载所有规则，免费用户需要消耗积分才能下载。Step 3，将下载的规则导入任务 Step 4，直接开始运行任务。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。 查看全部
自动采集更新伪原创插件进阶版57（伪原创更新网站站长随机数生成软件，操作过程一般复制粘贴）
网站万能资料采集器v10正式版
网站万能资讯采集器是杭州网乐科技**Words*出品的网站爬虫和网页爬虫软件。它结合了 网站crawler 网络爬虫软件的所有优点。它捕获 网站 上的所有信息并将其手动发布到您的 网站。可以捕获关于任何网站 的任何类型的信息，例如新闻、供求信息。、急抓人才、抓顶帖、抓音乐、抓下一页链接等等，只有你想不到的网站号采集器，没有优采云采集器抓不到的，你看并抓住他们。网站一般信息采集器也可以全部手动工作，无需手动操作。您还可以在小睡时保持 网站 上的最新信息。很强大。需要的用户，
软件功能
1、添加手册信息采集
网站爬取的主要目的是添加到你的网站，网站信息优化云采集器可以实现所有的采集和手动添加。刚刚更新的其他 网站 新闻将在五分钟内手动移至您的 网站。你觉得容易吗？
2、网站登录
对于需要登录才能听到消息内容的网站，网站信息云采集器可以轻松登录采集，即使有验证码，它可以通过登录采集 来访问您需要的信息。
3、文档手册下载
如果您需要采集图片等二进制文件，只需设置网站信息云在本地保存任何类型的文件。
4、多级页面合集
无论有多少类别和子类别，您都可以通过一个设置同时从多个级别的页面采集内容。如果一条信息分布在多个不同的页面上，网站General Information采集器也可以手动识别N级页面，实现信息采集和爬取。软件自带8层网站采集例子
5、自动识别特殊网址
许多 网站 网络链接类似于：('1234') 特殊 URL，不是正常的开头。网站一般信息采集器也可以手动识别和捕获内容。
6、自动过滤重复导出数据过滤重复数据处理
有时 URL 不同但内容相同。优采云采集器 仍然可以根据内容过滤重复。（新版本增加功能）
7、多页新闻手动合并、广告过滤
有的新闻有下一页，网站的万能信息采集器也可以爬到每一页。并且可以同时保存抓拍新闻中的图文，过滤掉广告
8、自动破解防盗链
很多下载网站已经过验证或者防盗链，直接输入网址无法抓取内容，但是网站万能资讯采集器可以手动破解验证和防盗链，呵呵，我保证你能得到你想要的。
9、另外增加了模拟手动提交的功能，租用的网站asp+空间也可以远程发布。其实它可以模拟所有网页提交动作，批量注册会员，模拟群发。
网站万能信息采集器的十大功能：
1、 手动采集和发布
2、自动破解特殊网址
3、会员登录网站 也被捕获
4、 一次抓取整个 网站网站number采集器，无论类别数量如何
5、任何类型的文件都可以下载
6、多页新闻手动合并、广告过滤
操作方法:优采云采集器不用配规则采集数据的方法
优采云采集器可以在不配置规则的情况下采集网页数据图文。对于刚刚注册优采云采集器的小伙伴，学习的配置规则有：除了自己配置规则外，优采云还在软件中提供了专门的规则市场供小伙伴们使用下载并学习。这也是新手快速学习优采云规则配置的方法之一。接下来，我们以新浪微博话题采集为例，用图文并茂的方式介绍市场的相关操作！第一步，登录优采云客户端，找到规则市场。第二步，找到你想要的规则，直接下载。在这里，优采云提醒大家，VIP用户可以免费下载所有规则，免费用户需要消耗积分才能下载。Step 3，将下载的规则导入任务 Step 4，直接开始运行任务。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。 查看全部
解决方案:自动采集更新伪原创插件高级版57(乐科技)
自动采集更新伪原创插件进阶版57（伪原创更新网站站长随机数生成软件，操作过程一般复制粘贴）
网站万能资料采集器v10正式版
网站万能资讯采集器是杭州网乐科技**Words*出品的网站爬虫和网页爬虫软件。它结合了 网站crawler 网络爬虫软件的所有优点。它捕获 网站 上的所有信息并将其手动发布到您的 网站。可以捕获关于任何网站 的任何类型的信息，例如新闻、供求信息。、急抓人才、抓顶帖、抓音乐、抓下一页链接等等，只有你想不到的网站号采集器，没有优采云采集器抓不到的，你看并抓住他们。网站一般信息采集器也可以全部手动工作，无需手动操作。您还可以在小睡时保持 网站 上的最新信息。很强大。需要的用户，
软件功能
1、添加手册信息采集
网站爬取的主要目的是添加到你的网站，网站信息优化云采集器可以实现所有的采集和手动添加。刚刚更新的其他 网站 新闻将在五分钟内手动移至您的 网站。你觉得容易吗？
2、网站登录
对于需要登录才能听到消息内容的网站，网站信息云采集器可以轻松登录采集，即使有验证码，它可以通过登录采集 来访问您需要的信息。
3、文档手册下载
如果您需要采集图片等二进制文件，只需设置网站信息云在本地保存任何类型的文件。
4、多级页面合集
无论有多少类别和子类别，您都可以通过一个设置同时从多个级别的页面采集内容。如果一条信息分布在多个不同的页面上，网站General Information采集器也可以手动识别N级页面，实现信息采集和爬取。软件自带8层网站采集例子
5、自动识别特殊网址
许多 网站 网络链接类似于：('1234') 特殊 URL，不是正常的开头。网站一般信息采集器也可以手动识别和捕获内容。
6、自动过滤重复导出数据过滤重复数据处理
有时 URL 不同但内容相同。优采云采集器 仍然可以根据内容过滤重复。（新版本增加功能）
7、多页新闻手动合并、广告过滤
有的新闻有下一页，网站的万能信息采集器也可以爬到每一页。并且可以同时保存抓拍新闻中的图文，过滤掉广告
8、自动破解防盗链
很多下载网站已经过验证或者防盗链，直接输入网址无法抓取内容，但是网站万能资讯采集器可以手动破解验证和防盗链，呵呵，我保证你能得到你想要的。
9、另外增加了模拟手动提交的功能，租用的网站asp+空间也可以远程发布。其实它可以模拟所有网页提交动作，批量注册会员，模拟群发。
网站万能信息采集器的十大功能：
1、 手动采集和发布
2、自动破解特殊网址
3、会员登录网站 也被捕获
4、 一次抓取整个 网站网站number采集器，无论类别数量如何
5、任何类型的文件都可以下载
6、多页新闻手动合并、广告过滤
操作方法:优采云采集器不用配规则采集数据的方法
优采云采集器可以在不配置规则的情况下采集网页数据图文。对于刚刚注册优采云采集器的小伙伴，学习的配置规则有：除了自己配置规则外，优采云还在软件中提供了专门的规则市场供小伙伴们使用下载并学习。这也是新手快速学习优采云规则配置的方法之一。接下来，我们以新浪微博话题采集为例，用图文并茂的方式介绍市场的相关操作！第一步，登录优采云客户端，找到规则市场。第二步，找到你想要的规则，直接下载。在这里，优采云提醒大家，VIP用户可以免费下载所有规则，免费用户需要消耗积分才能下载。Step 3，将下载的规则导入任务 Step 4，直接开始运行任务。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。
教程:【基于Laravel框架的一个简单易学的微信商城(新手必学)】的更多相关文章
采集交流 • 优采云 发表了文章 • 0 个评论 • 63 次浏览 • 2022-10-01 10:12
教程:【基于Laravel框架的一个简单易学的微信商城(新手必学)】的更多相关文章
一个简单实用的基于gulp的前端开发环境就准备好了。安装 Gulp 之后，是时候展示你的技能了。在自己电脑的任意位置创建一个目录，打开命令行，然后进入创建好的目录，开始编码。生成的json文件请点击这里。打开的速度取决于你的网络速度。注：以下为演示。我建立了一个目录结构。您可以根据自己的项目需求构建自己的项目
自从 Node.js 出现以来，基于它的前端开发工具框架越来越多，从 Grunt 到 Gulp 再到现在非常流行的 WebPack，所有这些新事物的出现极大地解放了我们的开发前端领域的小编，作为一个在前端领域打滚两年的文艺小码农，也有自己的一些心得。今天给大家分享一个基于Gulp的丑陋的前端开发环境。我的技能有限。, 如有任何问题或意见，请私聊。我电脑上的版本...
干货内容:初学者智能AI文章伪原创源码
初级智能A文章伪原创源码（站长必备）
源代码说明：
Beginner Intelligent AI伪原创的源码是什么？
各位站长朋友一定为网站内容原创的问题所困扰。作为草根站长，自己写原创文章是不可能的。当然，我并不是说你不能写一个。就个别站长的人力而言，写原创文章不太现实，时间问题。
可能有的站长朋友要问了：不写原创文章，怎么做到网站？
其实不仅是我们，国内几大门户也不全是原创文章，之前还互相借用修改过内容，然后改了标题，就成了自己的“新闻” ”。现在是时候谈谈我的 伪原创 工具了。这个程序是免费的
在线伪原创工具，原理是同义词替换。
有朋友问我，这算作弊吗？我就这个问题发表我个人的看法，供大家参考。毕竟，搜索引擎是一台机器。抓取文章后，会与数据库中已有的文章进行比较。如果它找到一个相似度很高的文章，就会被认为是抄袭。，否则视为原创。当然，如果照原样复制，那就是抄袭。用伪原创工具转换后，文章中的部分词组被转换成同义词，当搜索引擎再次比较时，会被认为是原创文章 . 当然，这也不是绝对的，取决于使用了多少特定的转换词组。
资源下载 本资源下载价格为1钻，终身VIP免费，请先登录
由于本站资源来源于互联网，出于研究和交流的目的，仅供您参考学习，不收录任何商业目的或商业用途。资源如有BUG等问题，请自行解决，本站不提供技术服务！由于资源的虚拟再现性，下载后将不予积分和退款。谢谢您的支持！如遇到下载链接无效或错误，请联系客服 查看全部
一个简单实用的基于gulp的前端开发环境就准备好了。安装 Gulp 之后，是时候展示你的技能了。在自己电脑的任意位置创建一个目录，打开命令行，然后进入创建好的目录，开始编码。生成的json文件请点击这里。打开的速度取决于你的网络速度。注：以下为演示。我建立了一个目录结构。您可以根据自己的项目需求构建自己的项目
自从 Node.js 出现以来，基于它的前端开发工具框架越来越多，从 Grunt 到 Gulp 再到现在非常流行的 WebPack，所有这些新事物的出现极大地解放了我们的开发前端领域的小编，作为一个在前端领域打滚两年的文艺小码农，也有自己的一些心得。今天给大家分享一个基于Gulp的丑陋的前端开发环境。我的技能有限。, 如有任何问题或意见，请私聊。我电脑上的版本...
干货内容:初学者智能AI文章伪原创源码
初级智能A文章伪原创源码（站长必备）
源代码说明：
Beginner Intelligent AI伪原创的源码是什么？
各位站长朋友一定为网站内容原创的问题所困扰。作为草根站长，自己写原创文章是不可能的。当然，我并不是说你不能写一个。就个别站长的人力而言，写原创文章不太现实，时间问题。
可能有的站长朋友要问了：不写原创文章，怎么做到网站？
其实不仅是我们，国内几大门户也不全是原创文章，之前还互相借用修改过内容，然后改了标题，就成了自己的“新闻” ”。现在是时候谈谈我的 伪原创 工具了。这个程序是免费的
在线伪原创工具，原理是同义词替换。
有朋友问我，这算作弊吗？我就这个问题发表我个人的看法，供大家参考。毕竟，搜索引擎是一台机器。抓取文章后，会与数据库中已有的文章进行比较。如果它找到一个相似度很高的文章，就会被认为是抄袭。，否则视为原创。当然，如果照原样复制，那就是抄袭。用伪原创工具转换后，文章中的部分词组被转换成同义词，当搜索引擎再次比较时，会被认为是原创文章 . 当然，这也不是绝对的，取决于使用了多少特定的转换词组。
资源下载 本资源下载价格为1钻，终身VIP免费，请先登录
由于本站资源来源于互联网，出于研究和交流的目的，仅供您参考学习，不收录任何商业目的或商业用途。资源如有BUG等问题，请自行解决，本站不提供技术服务！由于资源的虚拟再现性，下载后将不予积分和退款。谢谢您的支持！如遇到下载链接无效或错误，请联系客服 查看全部
教程:【基于Laravel框架的一个简单易学的微信商城(新手必学)】的更多相关文章
一个简单实用的基于gulp的前端开发环境就准备好了。安装 Gulp 之后，是时候展示你的技能了。在自己电脑的任意位置创建一个目录，打开命令行，然后进入创建好的目录，开始编码。生成的json文件请点击这里。打开的速度取决于你的网络速度。注：以下为演示。我建立了一个目录结构。您可以根据自己的项目需求构建自己的项目
自从 Node.js 出现以来，基于它的前端开发工具框架越来越多，从 Grunt 到 Gulp 再到现在非常流行的 WebPack，所有这些新事物的出现极大地解放了我们的开发前端领域的小编，作为一个在前端领域打滚两年的文艺小码农，也有自己的一些心得。今天给大家分享一个基于Gulp的丑陋的前端开发环境。我的技能有限。, 如有任何问题或意见，请私聊。我电脑上的版本...
干货内容:初学者智能AI文章伪原创源码
初级智能A文章伪原创源码（站长必备）
源代码说明：
Beginner Intelligent AI伪原创的源码是什么？
各位站长朋友一定为网站内容原创的问题所困扰。作为草根站长，自己写原创文章是不可能的。当然，我并不是说你不能写一个。就个别站长的人力而言，写原创文章不太现实，时间问题。
可能有的站长朋友要问了：不写原创文章，怎么做到网站？
其实不仅是我们，国内几大门户也不全是原创文章，之前还互相借用修改过内容，然后改了标题，就成了自己的“新闻” ”。现在是时候谈谈我的 伪原创 工具了。这个程序是免费的
在线伪原创工具，原理是同义词替换。
有朋友问我，这算作弊吗？我就这个问题发表我个人的看法，供大家参考。毕竟，搜索引擎是一台机器。抓取文章后，会与数据库中已有的文章进行比较。如果它找到一个相似度很高的文章，就会被认为是抄袭。，否则视为原创。当然，如果照原样复制，那就是抄袭。用伪原创工具转换后，文章中的部分词组被转换成同义词，当搜索引擎再次比较时，会被认为是原创文章 . 当然，这也不是绝对的，取决于使用了多少特定的转换词组。
资源下载 本资源下载价格为1钻，终身VIP免费，请先登录
由于本站资源来源于互联网，出于研究和交流的目的，仅供您参考学习，不收录任何商业目的或商业用途。资源如有BUG等问题，请自行解决，本站不提供技术服务！由于资源的虚拟再现性，下载后将不予积分和退款。谢谢您的支持！如遇到下载链接无效或错误，请联系客服
免费提供:优采云采集器器 3.6.3 绿色免费版 _资源猫
采集交流 • 优采云 发表了文章 • 0 个评论 • 122 次浏览 • 2022-09-29 08:13
免费提供:优采云采集器器 3.6.3 绿色免费版 _资源猫
优采云采集器设备3.6.3绿色免费版详情，优采云采集器设备是网络建设和网站维护它主要功能是通过内置的网络爬虫功能，浏览超快的网络信息和信息及相关资源采集，让用户轻松更新网站内容！
应用产品特点：
【全自动无人值守】
无需人工值班，24小时自动实时监控目标，实时高效采集，全天候为您提供内容更新。满足长期运行的需求，让您摆脱繁重的工作量。
【适用范围广】
最全能的采集软件，支持任意类型的网站采集，应用率高达99.9%，支持发布到所有类型的网站 程序等您可以在不发布接口的情况下采集本地文件。
【你想要的信息】
它支持信息的自由组合，通过强大的数据排序功能对信息进行深度处理，创造出新的内容。
【任意格式文件下载】
无论是静态还是动态，无论是图片、音乐、电影、软件，还是PDF文档、WORD文档，甚至是种子文件，只要你想要。
【伪原创】
高速同义词替换、随机多词替换、段落随机排序，助力内容搜索引擎优化。
【无限多级页面采集】
无论是垂直方向的多层页面，平行方向的复杂页面，还是AJAX调用的页面，都让你轻松采集。
【自由扩展】
开放式接口模式，可自由开发二次开发，自定义任何功能，实现所有需求。,
,
优采云采集器Device3.6.3绿色免费版下载地址
官方下载
官方下载
官方下载
官方下载
华东下载
华南下载
华北 下载
BGP线路
,
优采云采集器Device3.6.3绿色免费版下载地址，
免费获取:免费文章采集器（免费文章采集器）
目录：
1.免费文章采集软件
搜索实时热词有什么作用？通过实时热词工具采集，我们可以在今日头条、微信公众号、知乎等平台快速获取大量实时热词文章素材，实时热词采集工具具有热词关联挖掘功能，通过如图所示的长尾词挖掘，关键词文章匹配，获取大量文章 材料。
2.网站文章采集器
3.热门文章采集器
实时热词采集工具通过实时热词下拉词、大家都在搜索的词和相关词获取海量热词，进行全网文章< @采集通过关键词，一键生成大量热门文章素材实时热词采集该工具操作简单，不仅有关键词挖掘，自动采集流行文章，也可以对我们的关键词文章的@采集进行批处理。
4.通用文章采集器
5.微信公众号文章采集器免费版
实时热词采集工具可以批量编辑处理我们采集的文章素材，让我们可以整合同一个关键词采集@的多个内容>合二为一，并支持自动生成目录、图片水印处理和段落重组等，让我们的多种素材快速合二为一文章。
6.公众号文章免费采集
现场流行语采集可以有多种使用方式，一旦我们大致了解了每个功能的工作原理，我们就可以开始尝试不同的策略。随着经验的积累，我们将开始了解什么对我们的业务和受众方法最有效。最后，不要忘记衡量我们的结果，以便我们不断改进。
7.通用文章采集神器
8.网站文章自动采集发布
事实上，许多学生在空闲时间尝试学习新事物，但只有少数人成功了。面对如此多的大学要求和期望，学生在大学期间很难获得新技能。他们中的许多人决定寻找作家，让其他学生做他们的工作要容易得多。
9.文章资源采集
它为他们的论文提供了急需的帮助，并决定他们在自己喜欢的领域获得新技能。它还可以腾出一些时间，以便他们可以与朋友和家人共度时光
10.采集免费文章网站
如果我们想学习 SEO，坏消息是没有万能的答案。好消息是有很多资源可以帮助我们入门。最好的起点之一是了解 SEO 是什么以及它是如何工作的，一旦你对这些概念有了基本的了解，你就可以开始尝试不同的技术和策略，看看什么最适合你 网站。
网上有现场流行语采集 工具可帮助我们了解更多有关 SEO 的信息，其中许多工具提供了入门指南、社交媒体营销指南，适用于任何希望在营销领域建立职业生涯甚至只是获得他们的生意开始了对于任何刚起步的人来说，这是一项必要的技能。好消息是学习社交媒体营销的基础知识并不难。
实时流行语采集 为我们的业务选择合适平台的工具 对于每条内容，考虑我们想要传达的信息以及我们的目标受众是谁然后，相应地制作我们的内容最后，不要忘记衡量我们结果并根据需要调整我们的策略我们可能听说有很多因素会影响我们的网站排名。
可能很难知道从哪里开始，甚至更难跟踪搜索引擎对其排名算法所做的所有更改。在搜索引擎中获得良好的排名比以往任何时候都更加重要，但也比以往任何时候都更加复杂。获得好排名，我们需要考虑到搜索引擎算法的所有最新变化和更新。
主题测试文章，仅供测试使用。发布者：SEO研究员，转载请注明出处： 查看全部
优采云采集器设备3.6.3绿色免费版详情，优采云采集器设备是网络建设和网站维护它主要功能是通过内置的网络爬虫功能，浏览超快的网络信息和信息及相关资源采集，让用户轻松更新网站内容！
应用产品特点：
【全自动无人值守】
无需人工值班，24小时自动实时监控目标，实时高效采集，全天候为您提供内容更新。满足长期运行的需求，让您摆脱繁重的工作量。
【适用范围广】
最全能的采集软件，支持任意类型的网站采集，应用率高达99.9%，支持发布到所有类型的网站 程序等您可以在不发布接口的情况下采集本地文件。
【你想要的信息】
它支持信息的自由组合，通过强大的数据排序功能对信息进行深度处理，创造出新的内容。
【任意格式文件下载】
无论是静态还是动态，无论是图片、音乐、电影、软件，还是PDF文档、WORD文档，甚至是种子文件，只要你想要。
【伪原创】
高速同义词替换、随机多词替换、段落随机排序，助力内容搜索引擎优化。
【无限多级页面采集】
无论是垂直方向的多层页面，平行方向的复杂页面，还是AJAX调用的页面，都让你轻松采集。
【自由扩展】
开放式接口模式，可自由开发二次开发，自定义任何功能，实现所有需求。,
,
优采云采集器Device3.6.3绿色免费版下载地址
官方下载
官方下载
官方下载
官方下载
华东下载
华南下载
华北 下载
BGP线路
,
优采云采集器Device3.6.3绿色免费版下载地址，
免费获取:免费文章采集器（免费文章采集器）
目录：
1.免费文章采集软件
搜索实时热词有什么作用？通过实时热词工具采集，我们可以在今日头条、微信公众号、知乎等平台快速获取大量实时热词文章素材，实时热词采集工具具有热词关联挖掘功能，通过如图所示的长尾词挖掘，关键词文章匹配，获取大量文章 材料。
2.网站文章采集器
3.热门文章采集器
实时热词采集工具通过实时热词下拉词、大家都在搜索的词和相关词获取海量热词，进行全网文章< @采集通过关键词，一键生成大量热门文章素材实时热词采集该工具操作简单，不仅有关键词挖掘，自动采集流行文章，也可以对我们的关键词文章的@采集进行批处理。
4.通用文章采集器
5.微信公众号文章采集器免费版
实时热词采集工具可以批量编辑处理我们采集的文章素材，让我们可以整合同一个关键词采集@的多个内容>合二为一，并支持自动生成目录、图片水印处理和段落重组等，让我们的多种素材快速合二为一文章。
6.公众号文章免费采集
现场流行语采集可以有多种使用方式，一旦我们大致了解了每个功能的工作原理，我们就可以开始尝试不同的策略。随着经验的积累，我们将开始了解什么对我们的业务和受众方法最有效。最后，不要忘记衡量我们的结果，以便我们不断改进。
7.通用文章采集神器
8.网站文章自动采集发布
事实上，许多学生在空闲时间尝试学习新事物，但只有少数人成功了。面对如此多的大学要求和期望，学生在大学期间很难获得新技能。他们中的许多人决定寻找作家，让其他学生做他们的工作要容易得多。
9.文章资源采集
它为他们的论文提供了急需的帮助，并决定他们在自己喜欢的领域获得新技能。它还可以腾出一些时间，以便他们可以与朋友和家人共度时光
10.采集免费文章网站
如果我们想学习 SEO，坏消息是没有万能的答案。好消息是有很多资源可以帮助我们入门。最好的起点之一是了解 SEO 是什么以及它是如何工作的，一旦你对这些概念有了基本的了解，你就可以开始尝试不同的技术和策略，看看什么最适合你 网站。
网上有现场流行语采集 工具可帮助我们了解更多有关 SEO 的信息，其中许多工具提供了入门指南、社交媒体营销指南，适用于任何希望在营销领域建立职业生涯甚至只是获得他们的生意开始了对于任何刚起步的人来说，这是一项必要的技能。好消息是学习社交媒体营销的基础知识并不难。
实时流行语采集 为我们的业务选择合适平台的工具 对于每条内容，考虑我们想要传达的信息以及我们的目标受众是谁然后，相应地制作我们的内容最后，不要忘记衡量我们结果并根据需要调整我们的策略我们可能听说有很多因素会影响我们的网站排名。
可能很难知道从哪里开始，甚至更难跟踪搜索引擎对其排名算法所做的所有更改。在搜索引擎中获得良好的排名比以往任何时候都更加重要，但也比以往任何时候都更加复杂。获得好排名，我们需要考虑到搜索引擎算法的所有最新变化和更新。
主题测试文章，仅供测试使用。发布者：SEO研究员，转载请注明出处： 查看全部
免费提供:优采云采集器器 3.6.3 绿色免费版 _资源猫
优采云采集器设备3.6.3绿色免费版详情，优采云采集器设备是网络建设和网站维护它主要功能是通过内置的网络爬虫功能，浏览超快的网络信息和信息及相关资源采集，让用户轻松更新网站内容！
应用产品特点：
【全自动无人值守】
无需人工值班，24小时自动实时监控目标，实时高效采集，全天候为您提供内容更新。满足长期运行的需求，让您摆脱繁重的工作量。
【适用范围广】
最全能的采集软件，支持任意类型的网站采集，应用率高达99.9%，支持发布到所有类型的网站 程序等您可以在不发布接口的情况下采集本地文件。
【你想要的信息】
它支持信息的自由组合，通过强大的数据排序功能对信息进行深度处理，创造出新的内容。
【任意格式文件下载】
无论是静态还是动态，无论是图片、音乐、电影、软件，还是PDF文档、WORD文档，甚至是种子文件，只要你想要。
【伪原创】
高速同义词替换、随机多词替换、段落随机排序，助力内容搜索引擎优化。
【无限多级页面采集】
无论是垂直方向的多层页面，平行方向的复杂页面，还是AJAX调用的页面，都让你轻松采集。
【自由扩展】
开放式接口模式，可自由开发二次开发，自定义任何功能，实现所有需求。,
,
优采云采集器Device3.6.3绿色免费版下载地址
官方下载
官方下载
官方下载
官方下载
华东下载
华南下载
华北 下载
BGP线路
,
优采云采集器Device3.6.3绿色免费版下载地址，
免费获取:免费文章采集器（免费文章采集器）
目录：
1.免费文章采集软件
搜索实时热词有什么作用？通过实时热词工具采集，我们可以在今日头条、微信公众号、知乎等平台快速获取大量实时热词文章素材，实时热词采集工具具有热词关联挖掘功能，通过如图所示的长尾词挖掘，关键词文章匹配，获取大量文章 材料。
2.网站文章采集器
3.热门文章采集器
实时热词采集工具通过实时热词下拉词、大家都在搜索的词和相关词获取海量热词，进行全网文章< @采集通过关键词，一键生成大量热门文章素材实时热词采集该工具操作简单，不仅有关键词挖掘，自动采集流行文章，也可以对我们的关键词文章的@采集进行批处理。
4.通用文章采集器
5.微信公众号文章采集器免费版
实时热词采集工具可以批量编辑处理我们采集的文章素材，让我们可以整合同一个关键词采集@的多个内容>合二为一，并支持自动生成目录、图片水印处理和段落重组等，让我们的多种素材快速合二为一文章。
6.公众号文章免费采集
现场流行语采集可以有多种使用方式，一旦我们大致了解了每个功能的工作原理，我们就可以开始尝试不同的策略。随着经验的积累，我们将开始了解什么对我们的业务和受众方法最有效。最后，不要忘记衡量我们的结果，以便我们不断改进。
7.通用文章采集神器
8.网站文章自动采集发布
事实上，许多学生在空闲时间尝试学习新事物，但只有少数人成功了。面对如此多的大学要求和期望，学生在大学期间很难获得新技能。他们中的许多人决定寻找作家，让其他学生做他们的工作要容易得多。
9.文章资源采集
它为他们的论文提供了急需的帮助，并决定他们在自己喜欢的领域获得新技能。它还可以腾出一些时间，以便他们可以与朋友和家人共度时光
10.采集免费文章网站
如果我们想学习 SEO，坏消息是没有万能的答案。好消息是有很多资源可以帮助我们入门。最好的起点之一是了解 SEO 是什么以及它是如何工作的，一旦你对这些概念有了基本的了解，你就可以开始尝试不同的技术和策略，看看什么最适合你 网站。
网上有现场流行语采集 工具可帮助我们了解更多有关 SEO 的信息，其中许多工具提供了入门指南、社交媒体营销指南，适用于任何希望在营销领域建立职业生涯甚至只是获得他们的生意开始了对于任何刚起步的人来说，这是一项必要的技能。好消息是学习社交媒体营销的基础知识并不难。
实时流行语采集 为我们的业务选择合适平台的工具 对于每条内容，考虑我们想要传达的信息以及我们的目标受众是谁然后，相应地制作我们的内容最后，不要忘记衡量我们结果并根据需要调整我们的策略我们可能听说有很多因素会影响我们的网站排名。
可能很难知道从哪里开始，甚至更难跟踪搜索引擎对其排名算法所做的所有更改。在搜索引擎中获得良好的排名比以往任何时候都更加重要，但也比以往任何时候都更加复杂。获得好排名，我们需要考虑到搜索引擎算法的所有最新变化和更新。
主题测试文章，仅供测试使用。发布者：SEO研究员，转载请注明出处：
内容分享:用织梦后台采集功能采集网页标题为什么有的会正确采集，有的却采集为图片地址？
采集交流 • 优采云 发表了文章 • 0 个评论 • 99 次浏览 • 2022-09-26 03:08
内容分享:用织梦后台采集功能采集网页标题为什么有的会正确采集，有的却采集为图片地址？
织梦cms采集,织梦cms(dedecms)是一个易学易操作的开源内容管理系统（cms），站长都知道织梦cms非常适合本地门户网站，同时织梦cms@ > 也可用于企业官网和个人博客、论坛和本地门户网站等，织梦cms方便快捷，但市面上很少支持织梦cms@ >采集伪原创。@cms采集插件。织梦cms的站长应该怎么做织梦cms文章采集？
织梦cms采集之前需要验证百度官方站长平台。新站向站长工具提交网站，有3个月的支持期（一般是提交前三个月），新站抓住了这个机会。内容做好后，尝试将域名解析到站点。
老网站是新发的文章，直接手动提交给普通的收录。这个普通的收录我懂了，告诉百度一下我这里有新的文章，来爬我的网站。
织梦cms自动添加推送代码API推送。上面写手动提交，然后百度也给出了自动推送的代码。如果觉得麻烦，可以直接使用百度、神马、360、搜狗自带的织梦cms自动批量推送功能，发送织梦cms @> 一键 采集文章 from 采集 发布推送。然后推送代码一般放在每个页面的底部，footer.htm文件上，这样访问一个站点的用户就相当于百度推送。
织梦cms做好网站地图搭建和推送。除了织梦cms自动API推送，我们还可以提交sitemap，这是网站的地图，一般程序会自动生成。生成sitemap地图后，可以让百度批量推送链接。但是sitemap提交的链接被百度等搜索引擎抓取，具有周期性。
织梦cms采集解决内容质量问题。我们在做织梦cms采集的同时，最好伪原创让搜索引擎认为你的网站内容都是原创是的, 织梦cms采集提供多种新闻来源供你选择，织梦cms采集也支持指定网站< @采集，随便你，不用配置采集规则，一键全网文章采集。
服务器的硬件基础。服务器必须选择好的服务器。如果你的服务器硬件跟不上，做最好的 SEO 相关设置如 织梦cms采集伪原创 发布是没有用的。如果你经常情绪低落，就像蜘蛛上门而你关上门，蜘蛛会认为你很粗鲁。
织梦cms采集对网站页面的布局有一定的要求。网站的存在是给用户的，搜索引擎在访问页面时也会分析页面的整体布局。网站布局的核心是用户体验。体验好的用户停留时间长，点击很多其他页面（PV）。这也是百度评分的一种方法。织梦cms采集还要求你以后的页面布局符合网站SEO优化的布局，否则网站收录和SEO排名还没起来。
织梦cms采集 进程依赖。即使您从未听说过或使用过 SEO，网页上的内容仍或多或少地告诉搜索引擎它是关于什么的。页面优化侧重于这些。强调和突出主要说明问题的句子、单词和标题，希望搜索引擎能指出网页的主题，如果这些因素共同反映主题，它们将达到我们所说的“相关性”——基础供搜索引擎判断网页质量的要求。
织梦cms采集需要外部链接质量。对于外部链接，寻找高质量的外部链接，例如：具有高权重的交换友谊链接。不要找很多垃圾的外链，把负面的质量控制好，让水能流。今天的分享织梦cms采集就到这里，下期分享更多SEO相关知识。
内容分享:wordpress自动采集文章（wordpress采集器）
今天，我想推荐 WordPress 插件。市场上有各种 WordPress 插件。为了满足SEO的所有需求，我不知道要安装多少插件。 WordPress插件过多会导致网站打开速度变慢，搜索引擎对网站的抓取会变低。最后，收录网站，做seo优化工作最重要的一步就是更新文章，也需要坚持更新文章。很多人问seo，为什么我的细节优化得这么好，百度还是没有收录我的网站？为什么没有 关键词 排名？所有的客户都在哪里？ 网站静默三个月了怎么办？我建议在问这些问题之前，请仔细考虑一下您是否真的在尝试优化您的网站？
一、文章采集
<p>网站更新文章选择文章采集，正常网站每天最多更新3篇文章，3个月以内100文章，成为收录的机会不到30%。不知道你的网站哪一年哪一个月的收录和关键词排名会更高。 @伪原创 和 网站 页面 查看全部
织梦cms采集,织梦cms(dedecms)是一个易学易操作的开源内容管理系统（cms），站长都知道织梦cms非常适合本地门户网站，同时织梦cms@ > 也可用于企业官网和个人博客、论坛和本地门户网站等，织梦cms方便快捷，但市面上很少支持织梦cms@ >采集伪原创。@cms采集插件。织梦cms的站长应该怎么做织梦cms文章采集？
织梦cms采集之前需要验证百度官方站长平台。新站向站长工具提交网站，有3个月的支持期（一般是提交前三个月），新站抓住了这个机会。内容做好后，尝试将域名解析到站点。
老网站是新发的文章，直接手动提交给普通的收录。这个普通的收录我懂了，告诉百度一下我这里有新的文章，来爬我的网站。
织梦cms自动添加推送代码API推送。上面写手动提交，然后百度也给出了自动推送的代码。如果觉得麻烦，可以直接使用百度、神马、360、搜狗自带的织梦cms自动批量推送功能，发送织梦cms @> 一键 采集文章 from 采集 发布推送。然后推送代码一般放在每个页面的底部，footer.htm文件上，这样访问一个站点的用户就相当于百度推送。
织梦cms做好网站地图搭建和推送。除了织梦cms自动API推送，我们还可以提交sitemap，这是网站的地图，一般程序会自动生成。生成sitemap地图后，可以让百度批量推送链接。但是sitemap提交的链接被百度等搜索引擎抓取，具有周期性。
织梦cms采集解决内容质量问题。我们在做织梦cms采集的同时，最好伪原创让搜索引擎认为你的网站内容都是原创是的, 织梦cms采集提供多种新闻来源供你选择，织梦cms采集也支持指定网站< @采集，随便你，不用配置采集规则，一键全网文章采集。
服务器的硬件基础。服务器必须选择好的服务器。如果你的服务器硬件跟不上，做最好的 SEO 相关设置如 织梦cms采集伪原创 发布是没有用的。如果你经常情绪低落，就像蜘蛛上门而你关上门，蜘蛛会认为你很粗鲁。
织梦cms采集对网站页面的布局有一定的要求。网站的存在是给用户的，搜索引擎在访问页面时也会分析页面的整体布局。网站布局的核心是用户体验。体验好的用户停留时间长，点击很多其他页面（PV）。这也是百度评分的一种方法。织梦cms采集还要求你以后的页面布局符合网站SEO优化的布局，否则网站收录和SEO排名还没起来。
织梦cms采集 进程依赖。即使您从未听说过或使用过 SEO，网页上的内容仍或多或少地告诉搜索引擎它是关于什么的。页面优化侧重于这些。强调和突出主要说明问题的句子、单词和标题，希望搜索引擎能指出网页的主题，如果这些因素共同反映主题，它们将达到我们所说的“相关性”——基础供搜索引擎判断网页质量的要求。
织梦cms采集需要外部链接质量。对于外部链接，寻找高质量的外部链接，例如：具有高权重的交换友谊链接。不要找很多垃圾的外链，把负面的质量控制好，让水能流。今天的分享织梦cms采集就到这里，下期分享更多SEO相关知识。
内容分享:wordpress自动采集文章（wordpress采集器）
今天，我想推荐 WordPress 插件。市场上有各种 WordPress 插件。为了满足SEO的所有需求，我不知道要安装多少插件。 WordPress插件过多会导致网站打开速度变慢，搜索引擎对网站的抓取会变低。最后，收录网站，做seo优化工作最重要的一步就是更新文章，也需要坚持更新文章。很多人问seo，为什么我的细节优化得这么好，百度还是没有收录我的网站？为什么没有 关键词 排名？所有的客户都在哪里？ 网站静默三个月了怎么办？我建议在问这些问题之前，请仔细考虑一下您是否真的在尝试优化您的网站？
一、文章采集
<p>网站更新文章选择文章采集，正常网站每天最多更新3篇文章，3个月以内100文章，成为收录的机会不到30%。不知道你的网站哪一年哪一个月的收录和关键词排名会更高。 @伪原创 和 网站 页面 查看全部
内容分享:用织梦后台采集功能采集网页标题为什么有的会正确采集，有的却采集为图片地址？
织梦cms采集,织梦cms(dedecms)是一个易学易操作的开源内容管理系统（cms），站长都知道织梦cms非常适合本地门户网站，同时织梦cms@ > 也可用于企业官网和个人博客、论坛和本地门户网站等，织梦cms方便快捷，但市面上很少支持织梦cms@ >采集伪原创。@cms采集插件。织梦cms的站长应该怎么做织梦cms文章采集？
织梦cms采集之前需要验证百度官方站长平台。新站向站长工具提交网站，有3个月的支持期（一般是提交前三个月），新站抓住了这个机会。内容做好后，尝试将域名解析到站点。
老网站是新发的文章，直接手动提交给普通的收录。这个普通的收录我懂了，告诉百度一下我这里有新的文章，来爬我的网站。
织梦cms自动添加推送代码API推送。上面写手动提交，然后百度也给出了自动推送的代码。如果觉得麻烦，可以直接使用百度、神马、360、搜狗自带的织梦cms自动批量推送功能，发送织梦cms @> 一键 采集文章 from 采集 发布推送。然后推送代码一般放在每个页面的底部，footer.htm文件上，这样访问一个站点的用户就相当于百度推送。
织梦cms做好网站地图搭建和推送。除了织梦cms自动API推送，我们还可以提交sitemap，这是网站的地图，一般程序会自动生成。生成sitemap地图后，可以让百度批量推送链接。但是sitemap提交的链接被百度等搜索引擎抓取，具有周期性。
织梦cms采集解决内容质量问题。我们在做织梦cms采集的同时，最好伪原创让搜索引擎认为你的网站内容都是原创是的, 织梦cms采集提供多种新闻来源供你选择，织梦cms采集也支持指定网站< @采集，随便你，不用配置采集规则，一键全网文章采集。
服务器的硬件基础。服务器必须选择好的服务器。如果你的服务器硬件跟不上，做最好的 SEO 相关设置如 织梦cms采集伪原创 发布是没有用的。如果你经常情绪低落，就像蜘蛛上门而你关上门，蜘蛛会认为你很粗鲁。
织梦cms采集对网站页面的布局有一定的要求。网站的存在是给用户的，搜索引擎在访问页面时也会分析页面的整体布局。网站布局的核心是用户体验。体验好的用户停留时间长，点击很多其他页面（PV）。这也是百度评分的一种方法。织梦cms采集还要求你以后的页面布局符合网站SEO优化的布局，否则网站收录和SEO排名还没起来。
织梦cms采集 进程依赖。即使您从未听说过或使用过 SEO，网页上的内容仍或多或少地告诉搜索引擎它是关于什么的。页面优化侧重于这些。强调和突出主要说明问题的句子、单词和标题，希望搜索引擎能指出网页的主题，如果这些因素共同反映主题，它们将达到我们所说的“相关性”——基础供搜索引擎判断网页质量的要求。
织梦cms采集需要外部链接质量。对于外部链接，寻找高质量的外部链接，例如：具有高权重的交换友谊链接。不要找很多垃圾的外链，把负面的质量控制好，让水能流。今天的分享织梦cms采集就到这里，下期分享更多SEO相关知识。
内容分享:wordpress自动采集文章（wordpress采集器）
今天，我想推荐 WordPress 插件。市场上有各种 WordPress 插件。为了满足SEO的所有需求，我不知道要安装多少插件。 WordPress插件过多会导致网站打开速度变慢，搜索引擎对网站的抓取会变低。最后，收录网站，做seo优化工作最重要的一步就是更新文章，也需要坚持更新文章。很多人问seo，为什么我的细节优化得这么好，百度还是没有收录我的网站？为什么没有 关键词 排名？所有的客户都在哪里？ 网站静默三个月了怎么办？我建议在问这些问题之前，请仔细考虑一下您是否真的在尝试优化您的网站？
一、文章采集
<p>网站更新文章选择文章采集，正常网站每天最多更新3篇文章，3个月以内100文章，成为收录的机会不到30%。不知道你的网站哪一年哪一个月的收录和关键词排名会更高。 @伪原创 和 网站 页面
秘密:知更鸟MM图片采集站源码 自带7条采集规则 WordPress内核
采集交流 • 优采云 发表了文章 • 0 个评论 • 116 次浏览 • 2022-09-25 08:09
秘密:知更鸟MM图片采集站源码 自带7条采集规则 WordPress内核
简介：
1、大量内置内容安装后即可操作，省时省力；
2、内置高效采集插件，每天自动采集一次（间隔可自行修改），真正无人值守；
3、内置7条真实有效的采集规则；
4、内置缓存插件，减轻前台访问压力；
5、网站管理简单快捷，后台可以修改基本的前台显示信息，无需修改任何代码；
6、程序完全开源，无任何加密，不定时提供更新；
7、采用前端HTML5+CSS3响应式布局，多终端兼容（pc+手机+平板），数据同步，管理方便；
8、采集规则失效不用担心，我们有强大的技术团队，会提供更新规则服务；
9、图片默认使用远程地址，节省磁盘空间，可设置本地保存；
支持环境：Windows/linuxPHP5.3/4/5/6 7.1 mysql5.+
推荐环境：linux php7.1 mysql5.6
图片：
资源下载本资源下载价格120币，请先登录
免费的:爱站SEO工具包之网站站群查询工具使用方法
爱站seo工具包正式版是爱站推出的一款seo优化工具。这个软件其实是网站爱站的一个采集工具包。原爱站的各种功能，包括关键词查询挖掘、百度外链、关键词监控、SEO诊断和收录速率/死链接查询等多项功能，可以一目了然地显示主要网站的收录、索引和关键词信息。此外，软件还可以实时监控每日排名波动，让您轻松了解自己的网站在百度、搜狗、360等各大搜索引擎的排名变化趋势，从而实现< @网站 站长期望的排名。搜索引擎中良好的排名效果是大多数SEO从业者每天都在使用的工具。总之，通过这个软件，所有网站站长可以更好的推动网站的发展，是一个很好的辅助工具，欢迎有需要的朋友下载使用。
软件功能1、SEO诊断：快速查找网站SEO状态并自动给出评分和优化方向，方便网站及时改进。
2、关键词监控：带关键词实时排名查询，关键词索引查询，关键词排名变化监控，关键词历史排名，关键词排名数据分析等功能。
3、收录速率/死链接查询：可以快速抓取网址，准确查询网站的收录速率和死链接。
4、站群查询：站群查询工具的查询内容包括：收录、权重、PR、快照、反向链接、网站IP、导出链接、建站时间、ICP备案等查询功能，可批量查询站群的SEO状态。
5、网站日志分析：该工具可以自动识别不同搜索引擎蜘蛛的IIS、Apache、Nginx日志格式的访问次数、停留时间、总爬取量、状态码分析、计数和生成图表。
6、关键词查询：爱站SEO工具包的关键词查询工具原名爱站@开发的飞达路长尾词查询工具>。技术升级后，新版本的体验比飞达如更好。它可以高效地挖掘长尾词并查询 关键词 索引。
7、百度外链处理：百度外链助手工具是通过采集百度外链和爱站数据中心辅助站长处理百度拒外链的神器对站点数据进行筛选和处理，快速生成需要拒绝的外部链接。
<p>8、综合查询：爱站SEO Toolkit的综合查询工具是一个包括：百度权重、百度快照、谷歌PR、预期百度链接、爱站外链、外链的工具、首页内链、24小时收录、一周收录、一月收录、 查看全部
简介：
1、大量内置内容安装后即可操作，省时省力；
2、内置高效采集插件，每天自动采集一次（间隔可自行修改），真正无人值守；
3、内置7条真实有效的采集规则；
4、内置缓存插件，减轻前台访问压力；
5、网站管理简单快捷，后台可以修改基本的前台显示信息，无需修改任何代码；
6、程序完全开源，无任何加密，不定时提供更新；
7、采用前端HTML5+CSS3响应式布局，多终端兼容（pc+手机+平板），数据同步，管理方便；
8、采集规则失效不用担心，我们有强大的技术团队，会提供更新规则服务；
9、图片默认使用远程地址，节省磁盘空间，可设置本地保存；
支持环境：Windows/linuxPHP5.3/4/5/6 7.1 mysql5.+
推荐环境：linux php7.1 mysql5.6
图片：
资源下载本资源下载价格120币，请先登录
免费的:爱站SEO工具包之网站站群查询工具使用方法
爱站seo工具包正式版是爱站推出的一款seo优化工具。这个软件其实是网站爱站的一个采集工具包。原爱站的各种功能，包括关键词查询挖掘、百度外链、关键词监控、SEO诊断和收录速率/死链接查询等多项功能，可以一目了然地显示主要网站的收录、索引和关键词信息。此外，软件还可以实时监控每日排名波动，让您轻松了解自己的网站在百度、搜狗、360等各大搜索引擎的排名变化趋势，从而实现< @网站 站长期望的排名。搜索引擎中良好的排名效果是大多数SEO从业者每天都在使用的工具。总之，通过这个软件，所有网站站长可以更好的推动网站的发展，是一个很好的辅助工具，欢迎有需要的朋友下载使用。
软件功能1、SEO诊断：快速查找网站SEO状态并自动给出评分和优化方向，方便网站及时改进。
2、关键词监控：带关键词实时排名查询，关键词索引查询，关键词排名变化监控，关键词历史排名，关键词排名数据分析等功能。
3、收录速率/死链接查询：可以快速抓取网址，准确查询网站的收录速率和死链接。
4、站群查询：站群查询工具的查询内容包括：收录、权重、PR、快照、反向链接、网站IP、导出链接、建站时间、ICP备案等查询功能，可批量查询站群的SEO状态。
5、网站日志分析：该工具可以自动识别不同搜索引擎蜘蛛的IIS、Apache、Nginx日志格式的访问次数、停留时间、总爬取量、状态码分析、计数和生成图表。
6、关键词查询：爱站SEO工具包的关键词查询工具原名爱站@开发的飞达路长尾词查询工具>。技术升级后，新版本的体验比飞达如更好。它可以高效地挖掘长尾词并查询 关键词 索引。
7、百度外链处理：百度外链助手工具是通过采集百度外链和爱站数据中心辅助站长处理百度拒外链的神器对站点数据进行筛选和处理，快速生成需要拒绝的外部链接。
<p>8、综合查询：爱站SEO Toolkit的综合查询工具是一个包括：百度权重、百度快照、谷歌PR、预期百度链接、爱站外链、外链的工具、首页内链、24小时收录、一周收录、一月收录、 查看全部
秘密:知更鸟MM图片采集站源码 自带7条采集规则 WordPress内核
简介：
1、大量内置内容安装后即可操作，省时省力；
2、内置高效采集插件，每天自动采集一次（间隔可自行修改），真正无人值守；
3、内置7条真实有效的采集规则；
4、内置缓存插件，减轻前台访问压力；
5、网站管理简单快捷，后台可以修改基本的前台显示信息，无需修改任何代码；
6、程序完全开源，无任何加密，不定时提供更新；
7、采用前端HTML5+CSS3响应式布局，多终端兼容（pc+手机+平板），数据同步，管理方便；
8、采集规则失效不用担心，我们有强大的技术团队，会提供更新规则服务；
9、图片默认使用远程地址，节省磁盘空间，可设置本地保存；
支持环境：Windows/linuxPHP5.3/4/5/6 7.1 mysql5.+
推荐环境：linux php7.1 mysql5.6
图片：
资源下载本资源下载价格120币，请先登录
免费的:爱站SEO工具包之网站站群查询工具使用方法
爱站seo工具包正式版是爱站推出的一款seo优化工具。这个软件其实是网站爱站的一个采集工具包。原爱站的各种功能，包括关键词查询挖掘、百度外链、关键词监控、SEO诊断和收录速率/死链接查询等多项功能，可以一目了然地显示主要网站的收录、索引和关键词信息。此外，软件还可以实时监控每日排名波动，让您轻松了解自己的网站在百度、搜狗、360等各大搜索引擎的排名变化趋势，从而实现< @网站 站长期望的排名。搜索引擎中良好的排名效果是大多数SEO从业者每天都在使用的工具。总之，通过这个软件，所有网站站长可以更好的推动网站的发展，是一个很好的辅助工具，欢迎有需要的朋友下载使用。
软件功能1、SEO诊断：快速查找网站SEO状态并自动给出评分和优化方向，方便网站及时改进。
2、关键词监控：带关键词实时排名查询，关键词索引查询，关键词排名变化监控，关键词历史排名，关键词排名数据分析等功能。
3、收录速率/死链接查询：可以快速抓取网址，准确查询网站的收录速率和死链接。
4、站群查询：站群查询工具的查询内容包括：收录、权重、PR、快照、反向链接、网站IP、导出链接、建站时间、ICP备案等查询功能，可批量查询站群的SEO状态。
5、网站日志分析：该工具可以自动识别不同搜索引擎蜘蛛的IIS、Apache、Nginx日志格式的访问次数、停留时间、总爬取量、状态码分析、计数和生成图表。
6、关键词查询：爱站SEO工具包的关键词查询工具原名爱站@开发的飞达路长尾词查询工具>。技术升级后，新版本的体验比飞达如更好。它可以高效地挖掘长尾词并查询 关键词 索引。
7、百度外链处理：百度外链助手工具是通过采集百度外链和爱站数据中心辅助站长处理百度拒外链的神器对站点数据进行筛选和处理，快速生成需要拒绝的外部链接。
<p>8、综合查询：爱站SEO Toolkit的综合查询工具是一个包括：百度权重、百度快照、谷歌PR、预期百度链接、爱站外链、外链的工具、首页内链、24小时收录、一周收录、一月收录、
内容分享:php小说漫画网站源码高仿歪歪漫画系统带分销和采集功能
采集交流 • 优采云 发表了文章 • 0 个评论 • 122 次浏览 • 2022-09-23 16:11
内容分享:php小说漫画网站源码高仿歪歪漫画系统带分销和采集功能
本套源码以thinkphp开发的小说漫画网站程序手机版为核心。界面风格以歪曲漫画系统为蓝本。它有自己的分发系统和采集 功能。发布网站任务，管理站点用户权限，查看系统操作日志，充值管理，商品管理，皮肤管理等。是一款非常强大的小说和漫画系统，系统内置小说和漫画规则采集，今天分享给大家，供大家休闲娱乐研究！
运行环境
本站测试环境为：Apache2.4+php5.6（openssl扩展）+mysql5.6，本程序据说使用mysql5.@ >7 如果是这样，性能会翻倍，不知道是真是假，我没有测试过。
安装教程
1、上传源码到网站根目录
2、修改数据库配置文件信息，Application/Common/Conf/db.php
3、导入数据库文件ym3.sql
4、添加伪静态规则，Apache环境不需要单独添加，会自动添加。其他环境请自行配置伪静态规则。在宝塔上选择thinkphp的伪静态。
5、进入后台设置网站的各个方面，后台地址：你的网站/admin，账号：kangjia，密码：；
亲测截图
资源下载本资源下载价格为5金币，请先登录
如无特别说明，本文资源的解压密码为：或
提示：源代码采集于互联网，不保证其完整性和安全性。请自行下载测试FAQ
本文由网友投稿或“jucode源码网”整理自互联网。如需转载，请注明出处：
如果本站发布的内容侵犯了您的权益，请联系zhangqy2022#删除，我们会及时处理！
最新版本:苹果CMS插件插件-全自动采集文章内容伪原创插件
为什么要使用免费的 Apple cms 插件？如何使用 Apple cms 插件对 网站收录 和 关键词 进行排名。对于很多站长来说，有一个漂亮的网站首页，但是没有排名，或者首页上只有一两个词排名。应该清楚的是，网站的排名不仅与首页有关，还与每个内页有关。内页的优化实际上决定了网站在网站中的排名。只有对每个内页进行优化，才能提高网站的整体排名。
1：单个页面上的样板文本过多
在每一页上重复的内容称为样板文本，换句话说，它是为了减少单页和单页之间的重复率。比如底部版权信息、在线QQ弹框、顶部无用导航、首页banner图片、侧边栏等信息、友情链接信息，这些都是常见的样板文字。
2：标题重复率太高
可能很多站长通过cms系统建立了网站，通过cms自带的SEO机制使用默认标题方式，导致大部分或者某个栏目标题基本一致. 造成很多重复，比如首页标题出现在每个页面上，会让百度认为这个标题没有价值，也会让搜索引擎无法区分页面的焦点。
3：内容布局
布局干净整洁。最好用图文并茂的模式来赢得客户的第一印象。搜索引擎也会根据页面的清洁度给一个不错的分数。
4：内部链接太多
单页做首页链接是对的，但是如果独立页太内向，会被搜索引擎考虑为了排名而排名，反而是自残。文章中的反向链接太多，需要做符合用户搜索的内容。
5：代码优化
CSS代码优化：常用h1、h2、h3。一对h1页面就够了，CSS样式也尽量使用外部调用的方式。JS代码优化：每个独立页面最好少出现js或flash程序。不要忘记图像的 alt 标签。
网站 更新得越频繁，搜索引擎蜘蛛就会越频繁地出现。因此，我们可以利用苹果cms插件实现采集伪原创自动发布，主动推送给搜索引擎，提高搜索引擎的抓取频率，从而提高网站@ >收录 和 关键词 排名。
一、免费苹果cms插件
免费苹果 cms采集 插件特点：
1、只需将关键词导入到采集相关的关键词文章，同时创建几十或几百个采集任务（一个任务可以be 支持上传1000个关键词)，支持过滤关键词。
2、支持多消息源：问答和各种消息源（可同时设置多个采集消息源采集/采集消息源稍后添加）
3、过滤其他促销信息
4、图片本地化/图片水印/图片第三方存储
5、文章交流+翻译（简体中文和繁体翻译+百度翻译+有道翻译+谷歌翻译+147翻译）
6、自动批量挂机采集，与各大cms发布者无缝对接，采集后自动发布——实现采集发布全自动挂机。
二、在所有平台上发布插件
全平台cms发布者的特点：
1、cms发布：目前市面上唯一支持Empirecms、易友、ZBLOG、dedecms、WordPress、PBoot、Applecms、迅锐cms、PHPcms、苹果cms、人人网cms、米拓cms、云游cms、小旋风站群 , THINKCMF, 建站ABC, 凡客cms, 一骑cms, 海洋cms, 飞飞cms, 本地发布, 搜外 等cms ，并同时进行批量管理和发布的工具
2、全网推送（百度/360/搜狗/神马）
3、伪原创（标题+内容）
4、替换图片防止侵权
5、强大的SEO功能（自动图片放置/插入内外链接/标题和文章前后插入内容/标题关键词与内容一致关键词/随机插入图片/随机属性添加页面原创度）
6、对应栏：对应文章可以发布对应栏/支持多栏发布
7、定期发布：可控发布间隔/每天发布总数
8、监控数据：直接监控已经发布、待发布的软件，是否为伪原创、发布状态、URL、程序、发布时间等。
网站优化收录的问题一直是seoer比较关心和头疼的问题。百度关键词排名，一个很重要的指标就是网站收录的量。网站收录量大与内容的高品质、更新的规律性、域名的时间长等因素有关，但还有一些其他因素影响优化网站收录。
1、查看标题中是否有与正文无关的关键字填充
这是一个比较常见的问题。搜索引擎强调网站的标题和内容的对应关系。可以搜索标题中涉及的关键词，但内容中没有相关关键词。引擎认为它在作弊。体现了相对严格的规章制度，值得思考的是搜索引擎用什么手段来判断内容和标题的相关性？出现在标题中的关键词和内容一定要出现吗？例如：“SEO、seo优化、SEO优化基础”可能都归入同一类索引，所以才会判断相关性。因此，虽然强调了内容与标题的呼应，但仍有很大的灵活余地。
2、查看网站优化是否过度影响用户体验
如果页面针对搜索引擎优化过多，影响了用户正常体验的负面影响，那么网站很可能会被百度丢弃。什么是过度优化，比如：语义写作完全贴近搜索引擎，但用户阅读困难。这通常针对 SEO 进行优化。如何在不引起过度优化的情况下进行优化？把自己看成一个网友。从用户的角度来看，什么样的页面不会引起你的反感，但你愿意接受。但是不同的人可能有不同的看法。例如，我认为网页上不应该有广告。站长是否应该删除广告？立足全局，分析公众认可度进行优化。
3、查看网站内容是否被重复一千次或高度重复
百度蜘蛛喜欢新鲜的东西，众所周知。所以，如果你的网站上的内容是其他网站重复了很多次，甚至上千次的东西，百度蜘蛛肯定不会喜欢的。所以在做网站内容的时候，一定要注意原创色情内容。
4、友情链接交换有量无质
用一些垃圾邮件 网站 交换附属链接，最终结果是您自己的网站也受到负面影响。有“近朱为红，近墨为黑”的说法。这是事实。事物若分门别类，难免会被“杀死”。不要给搜索引擎一个在友好链接上放弃你的理由。搜索引擎从未承诺任何网站都不会被放弃。即使你做得很好，也会因为一些外部链接而被放弃。
看完这篇文章，如果觉得不错，不妨采集一下，或者发给需要的朋友同事。关注博主，每天给你展示各种SEO经验，让你的网站也能快速获得收录和关键词的排名！ 查看全部
本套源码以thinkphp开发的小说漫画网站程序手机版为核心。界面风格以歪曲漫画系统为蓝本。它有自己的分发系统和采集 功能。发布网站任务，管理站点用户权限，查看系统操作日志，充值管理，商品管理，皮肤管理等。是一款非常强大的小说和漫画系统，系统内置小说和漫画规则采集，今天分享给大家，供大家休闲娱乐研究！
运行环境
本站测试环境为：Apache2.4+php5.6（openssl扩展）+mysql5.6，本程序据说使用mysql5.@ >7 如果是这样，性能会翻倍，不知道是真是假，我没有测试过。
安装教程
1、上传源码到网站根目录
2、修改数据库配置文件信息，Application/Common/Conf/db.php
3、导入数据库文件ym3.sql
4、添加伪静态规则，Apache环境不需要单独添加，会自动添加。其他环境请自行配置伪静态规则。在宝塔上选择thinkphp的伪静态。
5、进入后台设置网站的各个方面，后台地址：你的网站/admin，账号：kangjia，密码：；
亲测截图
资源下载本资源下载价格为5金币，请先登录
如无特别说明，本文资源的解压密码为：或
提示：源代码采集于互联网，不保证其完整性和安全性。请自行下载测试FAQ
本文由网友投稿或“jucode源码网”整理自互联网。如需转载，请注明出处：
如果本站发布的内容侵犯了您的权益，请联系zhangqy2022#删除，我们会及时处理！
最新版本:苹果CMS插件插件-全自动采集文章内容伪原创插件
为什么要使用免费的 Apple cms 插件？如何使用 Apple cms 插件对 网站收录 和 关键词 进行排名。对于很多站长来说，有一个漂亮的网站首页，但是没有排名，或者首页上只有一两个词排名。应该清楚的是，网站的排名不仅与首页有关，还与每个内页有关。内页的优化实际上决定了网站在网站中的排名。只有对每个内页进行优化，才能提高网站的整体排名。
1：单个页面上的样板文本过多
在每一页上重复的内容称为样板文本，换句话说，它是为了减少单页和单页之间的重复率。比如底部版权信息、在线QQ弹框、顶部无用导航、首页banner图片、侧边栏等信息、友情链接信息，这些都是常见的样板文字。
2：标题重复率太高
可能很多站长通过cms系统建立了网站，通过cms自带的SEO机制使用默认标题方式，导致大部分或者某个栏目标题基本一致. 造成很多重复，比如首页标题出现在每个页面上，会让百度认为这个标题没有价值，也会让搜索引擎无法区分页面的焦点。
3：内容布局
布局干净整洁。最好用图文并茂的模式来赢得客户的第一印象。搜索引擎也会根据页面的清洁度给一个不错的分数。
4：内部链接太多
单页做首页链接是对的，但是如果独立页太内向，会被搜索引擎考虑为了排名而排名，反而是自残。文章中的反向链接太多，需要做符合用户搜索的内容。
5：代码优化
CSS代码优化：常用h1、h2、h3。一对h1页面就够了，CSS样式也尽量使用外部调用的方式。JS代码优化：每个独立页面最好少出现js或flash程序。不要忘记图像的 alt 标签。
网站 更新得越频繁，搜索引擎蜘蛛就会越频繁地出现。因此，我们可以利用苹果cms插件实现采集伪原创自动发布，主动推送给搜索引擎，提高搜索引擎的抓取频率，从而提高网站@ >收录 和 关键词 排名。
一、免费苹果cms插件
免费苹果 cms采集 插件特点：
1、只需将关键词导入到采集相关的关键词文章，同时创建几十或几百个采集任务（一个任务可以be 支持上传1000个关键词)，支持过滤关键词。
2、支持多消息源：问答和各种消息源（可同时设置多个采集消息源采集/采集消息源稍后添加）
3、过滤其他促销信息
4、图片本地化/图片水印/图片第三方存储
5、文章交流+翻译（简体中文和繁体翻译+百度翻译+有道翻译+谷歌翻译+147翻译）
6、自动批量挂机采集，与各大cms发布者无缝对接，采集后自动发布——实现采集发布全自动挂机。
二、在所有平台上发布插件
全平台cms发布者的特点：
1、cms发布：目前市面上唯一支持Empirecms、易友、ZBLOG、dedecms、WordPress、PBoot、Applecms、迅锐cms、PHPcms、苹果cms、人人网cms、米拓cms、云游cms、小旋风站群 , THINKCMF, 建站ABC, 凡客cms, 一骑cms, 海洋cms, 飞飞cms, 本地发布, 搜外 等cms ，并同时进行批量管理和发布的工具
2、全网推送（百度/360/搜狗/神马）
3、伪原创（标题+内容）
4、替换图片防止侵权
5、强大的SEO功能（自动图片放置/插入内外链接/标题和文章前后插入内容/标题关键词与内容一致关键词/随机插入图片/随机属性添加页面原创度）
6、对应栏：对应文章可以发布对应栏/支持多栏发布
7、定期发布：可控发布间隔/每天发布总数
8、监控数据：直接监控已经发布、待发布的软件，是否为伪原创、发布状态、URL、程序、发布时间等。
网站优化收录的问题一直是seoer比较关心和头疼的问题。百度关键词排名，一个很重要的指标就是网站收录的量。网站收录量大与内容的高品质、更新的规律性、域名的时间长等因素有关，但还有一些其他因素影响优化网站收录。
1、查看标题中是否有与正文无关的关键字填充
这是一个比较常见的问题。搜索引擎强调网站的标题和内容的对应关系。可以搜索标题中涉及的关键词，但内容中没有相关关键词。引擎认为它在作弊。体现了相对严格的规章制度，值得思考的是搜索引擎用什么手段来判断内容和标题的相关性？出现在标题中的关键词和内容一定要出现吗？例如：“SEO、seo优化、SEO优化基础”可能都归入同一类索引，所以才会判断相关性。因此，虽然强调了内容与标题的呼应，但仍有很大的灵活余地。
2、查看网站优化是否过度影响用户体验
如果页面针对搜索引擎优化过多，影响了用户正常体验的负面影响，那么网站很可能会被百度丢弃。什么是过度优化，比如：语义写作完全贴近搜索引擎，但用户阅读困难。这通常针对 SEO 进行优化。如何在不引起过度优化的情况下进行优化？把自己看成一个网友。从用户的角度来看，什么样的页面不会引起你的反感，但你愿意接受。但是不同的人可能有不同的看法。例如，我认为网页上不应该有广告。站长是否应该删除广告？立足全局，分析公众认可度进行优化。
3、查看网站内容是否被重复一千次或高度重复
百度蜘蛛喜欢新鲜的东西，众所周知。所以，如果你的网站上的内容是其他网站重复了很多次，甚至上千次的东西，百度蜘蛛肯定不会喜欢的。所以在做网站内容的时候，一定要注意原创色情内容。
4、友情链接交换有量无质
用一些垃圾邮件 网站 交换附属链接，最终结果是您自己的网站也受到负面影响。有“近朱为红，近墨为黑”的说法。这是事实。事物若分门别类，难免会被“杀死”。不要给搜索引擎一个在友好链接上放弃你的理由。搜索引擎从未承诺任何网站都不会被放弃。即使你做得很好，也会因为一些外部链接而被放弃。
看完这篇文章，如果觉得不错，不妨采集一下，或者发给需要的朋友同事。关注博主，每天给你展示各种SEO经验，让你的网站也能快速获得收录和关键词的排名！ 查看全部
内容分享:php小说漫画网站源码高仿歪歪漫画系统带分销和采集功能
本套源码以thinkphp开发的小说漫画网站程序手机版为核心。界面风格以歪曲漫画系统为蓝本。它有自己的分发系统和采集 功能。发布网站任务，管理站点用户权限，查看系统操作日志，充值管理，商品管理，皮肤管理等。是一款非常强大的小说和漫画系统，系统内置小说和漫画规则采集，今天分享给大家，供大家休闲娱乐研究！
运行环境
本站测试环境为：Apache2.4+php5.6（openssl扩展）+mysql5.6，本程序据说使用mysql5.@ >7 如果是这样，性能会翻倍，不知道是真是假，我没有测试过。
安装教程
1、上传源码到网站根目录
2、修改数据库配置文件信息，Application/Common/Conf/db.php
3、导入数据库文件ym3.sql
4、添加伪静态规则，Apache环境不需要单独添加，会自动添加。其他环境请自行配置伪静态规则。在宝塔上选择thinkphp的伪静态。
5、进入后台设置网站的各个方面，后台地址：你的网站/admin，账号：kangjia，密码：；
亲测截图
资源下载本资源下载价格为5金币，请先登录
如无特别说明，本文资源的解压密码为：或
提示：源代码采集于互联网，不保证其完整性和安全性。请自行下载测试FAQ
本文由网友投稿或“jucode源码网”整理自互联网。如需转载，请注明出处：
如果本站发布的内容侵犯了您的权益，请联系zhangqy2022#删除，我们会及时处理！
最新版本:苹果CMS插件插件-全自动采集文章内容伪原创插件
为什么要使用免费的 Apple cms 插件？如何使用 Apple cms 插件对 网站收录 和 关键词 进行排名。对于很多站长来说，有一个漂亮的网站首页，但是没有排名，或者首页上只有一两个词排名。应该清楚的是，网站的排名不仅与首页有关，还与每个内页有关。内页的优化实际上决定了网站在网站中的排名。只有对每个内页进行优化，才能提高网站的整体排名。
1：单个页面上的样板文本过多
在每一页上重复的内容称为样板文本，换句话说，它是为了减少单页和单页之间的重复率。比如底部版权信息、在线QQ弹框、顶部无用导航、首页banner图片、侧边栏等信息、友情链接信息，这些都是常见的样板文字。
2：标题重复率太高
可能很多站长通过cms系统建立了网站，通过cms自带的SEO机制使用默认标题方式，导致大部分或者某个栏目标题基本一致. 造成很多重复，比如首页标题出现在每个页面上，会让百度认为这个标题没有价值，也会让搜索引擎无法区分页面的焦点。
3：内容布局
布局干净整洁。最好用图文并茂的模式来赢得客户的第一印象。搜索引擎也会根据页面的清洁度给一个不错的分数。
4：内部链接太多
单页做首页链接是对的，但是如果独立页太内向，会被搜索引擎考虑为了排名而排名，反而是自残。文章中的反向链接太多，需要做符合用户搜索的内容。
5：代码优化
CSS代码优化：常用h1、h2、h3。一对h1页面就够了，CSS样式也尽量使用外部调用的方式。JS代码优化：每个独立页面最好少出现js或flash程序。不要忘记图像的 alt 标签。
网站 更新得越频繁，搜索引擎蜘蛛就会越频繁地出现。因此，我们可以利用苹果cms插件实现采集伪原创自动发布，主动推送给搜索引擎，提高搜索引擎的抓取频率，从而提高网站@ >收录 和 关键词 排名。
一、免费苹果cms插件
免费苹果 cms采集 插件特点：
1、只需将关键词导入到采集相关的关键词文章，同时创建几十或几百个采集任务（一个任务可以be 支持上传1000个关键词)，支持过滤关键词。
2、支持多消息源：问答和各种消息源（可同时设置多个采集消息源采集/采集消息源稍后添加）
3、过滤其他促销信息
4、图片本地化/图片水印/图片第三方存储
5、文章交流+翻译（简体中文和繁体翻译+百度翻译+有道翻译+谷歌翻译+147翻译）
6、自动批量挂机采集，与各大cms发布者无缝对接，采集后自动发布——实现采集发布全自动挂机。
二、在所有平台上发布插件
全平台cms发布者的特点：
1、cms发布：目前市面上唯一支持Empirecms、易友、ZBLOG、dedecms、WordPress、PBoot、Applecms、迅锐cms、PHPcms、苹果cms、人人网cms、米拓cms、云游cms、小旋风站群 , THINKCMF, 建站ABC, 凡客cms, 一骑cms, 海洋cms, 飞飞cms, 本地发布, 搜外 等cms ，并同时进行批量管理和发布的工具
2、全网推送（百度/360/搜狗/神马）
3、伪原创（标题+内容）
4、替换图片防止侵权
5、强大的SEO功能（自动图片放置/插入内外链接/标题和文章前后插入内容/标题关键词与内容一致关键词/随机插入图片/随机属性添加页面原创度）
6、对应栏：对应文章可以发布对应栏/支持多栏发布
7、定期发布：可控发布间隔/每天发布总数
8、监控数据：直接监控已经发布、待发布的软件，是否为伪原创、发布状态、URL、程序、发布时间等。
网站优化收录的问题一直是seoer比较关心和头疼的问题。百度关键词排名，一个很重要的指标就是网站收录的量。网站收录量大与内容的高品质、更新的规律性、域名的时间长等因素有关，但还有一些其他因素影响优化网站收录。
1、查看标题中是否有与正文无关的关键字填充
这是一个比较常见的问题。搜索引擎强调网站的标题和内容的对应关系。可以搜索标题中涉及的关键词，但内容中没有相关关键词。引擎认为它在作弊。体现了相对严格的规章制度，值得思考的是搜索引擎用什么手段来判断内容和标题的相关性？出现在标题中的关键词和内容一定要出现吗？例如：“SEO、seo优化、SEO优化基础”可能都归入同一类索引，所以才会判断相关性。因此，虽然强调了内容与标题的呼应，但仍有很大的灵活余地。
2、查看网站优化是否过度影响用户体验
如果页面针对搜索引擎优化过多，影响了用户正常体验的负面影响，那么网站很可能会被百度丢弃。什么是过度优化，比如：语义写作完全贴近搜索引擎，但用户阅读困难。这通常针对 SEO 进行优化。如何在不引起过度优化的情况下进行优化？把自己看成一个网友。从用户的角度来看，什么样的页面不会引起你的反感，但你愿意接受。但是不同的人可能有不同的看法。例如，我认为网页上不应该有广告。站长是否应该删除广告？立足全局，分析公众认可度进行优化。
3、查看网站内容是否被重复一千次或高度重复
百度蜘蛛喜欢新鲜的东西，众所周知。所以，如果你的网站上的内容是其他网站重复了很多次，甚至上千次的东西，百度蜘蛛肯定不会喜欢的。所以在做网站内容的时候，一定要注意原创色情内容。
4、友情链接交换有量无质
用一些垃圾邮件 网站 交换附属链接，最终结果是您自己的网站也受到负面影响。有“近朱为红，近墨为黑”的说法。这是事实。事物若分门别类，难免会被“杀死”。不要给搜索引擎一个在友好链接上放弃你的理由。搜索引擎从未承诺任何网站都不会被放弃。即使你做得很好，也会因为一些外部链接而被放弃。
看完这篇文章，如果觉得不错，不妨采集一下，或者发给需要的朋友同事。关注博主，每天给你展示各种SEO经验，让你的网站也能快速获得收录和关键词的排名！
网站程序自带的采集器采集文章里面的句子是可以的
采集交流 • 优采云 发表了文章 • 0 个评论 • 93 次浏览 • 2022-09-08 20:15
网站程序自带的采集器采集文章里面的句子是可以的
网站程序自带的采集器采集文章里面的句子是可以的。但是你要引导读者，这是要在标题前面设置诱饵的。一篇文章5000左右，没什么诱惑力，而且你还需要配合锚文本才有效果。具体怎么设置你可以在奇速英语官网，奇速英语论坛文章里面找攻略。
给自己做了个百度文库同步到搜狗-360网盘同步器，传上去时选的是“收费文章”，系统自动识别关键词，自动加上去的内容非免费文章的排名也比较好。
我做了3个月的文档也是一篇没有，
可以理解为你去过度展示，“说人话”和“变卖专业”，使文章质量下降，隐患是打击写手的积极性，暂时看来解决方法还是建议你把关键词加大力度设置在页面的顶部，这样显得不特别突兀，因为文章会比较小众，同时你还要进行过滤，比如苹果可以以及有时尚感什么的作为专业关键词，不然很容易引起反感，当然还有一个办法，你可以尝试将微信公众号的文章格式复制粘贴到这里面，可以过滤掉一部分不专业的文章。
最后说一句，将商业靠近，会让读者失去消费冲动，现在很多中小型企业已经把市场策略转向本地化，如果能解决有害用户体验的问题（如同步作弊问题），你的文章会异常的受欢迎。总之，要符合企业利益，而不是只为市场。
首先分析背景，这个产品是打着内容产出平台在做，很显然这不是用户需求，对吗？其次，分析需求背后有无痛点，用户需求在哪里，但问题在于你提供的方法是别人能够拿到，你不能拿到，这说明你的方法很难以用户所能接受。再次，你要想痛点，痛点是什么？比如卖某个产品很好，消费者可以买到，你就成功了。那解决方法有几个，a吸粉，这是整个内容产出平台的命根子。
b提高内容质量，尽量不要打广告，不要捆绑推广，无论是否可以做到，都是出路。c做高端产品，对接精准用户。d向用户卖内容，只卖他想卖的。e想尽一切办法把用户留住，能多卖就多卖。f放弃一切（做个app或做个平台）。需要你多考虑你是什么样的产品？即用户是什么样的。g做一个线上平台，方便用户采集百度文库内容，做信息交换。 查看全部
网站程序自带的采集器采集文章里面的句子是可以的。但是你要引导读者，这是要在标题前面设置诱饵的。一篇文章5000左右，没什么诱惑力，而且你还需要配合锚文本才有效果。具体怎么设置你可以在奇速英语官网，奇速英语论坛文章里面找攻略。
给自己做了个百度文库同步到搜狗-360网盘同步器，传上去时选的是“收费文章”，系统自动识别关键词，自动加上去的内容非免费文章的排名也比较好。
我做了3个月的文档也是一篇没有，
可以理解为你去过度展示，“说人话”和“变卖专业”，使文章质量下降，隐患是打击写手的积极性，暂时看来解决方法还是建议你把关键词加大力度设置在页面的顶部，这样显得不特别突兀，因为文章会比较小众，同时你还要进行过滤，比如苹果可以以及有时尚感什么的作为专业关键词，不然很容易引起反感，当然还有一个办法，你可以尝试将微信公众号的文章格式复制粘贴到这里面，可以过滤掉一部分不专业的文章。
最后说一句，将商业靠近，会让读者失去消费冲动，现在很多中小型企业已经把市场策略转向本地化，如果能解决有害用户体验的问题（如同步作弊问题），你的文章会异常的受欢迎。总之，要符合企业利益，而不是只为市场。
首先分析背景，这个产品是打着内容产出平台在做，很显然这不是用户需求，对吗？其次，分析需求背后有无痛点，用户需求在哪里，但问题在于你提供的方法是别人能够拿到，你不能拿到，这说明你的方法很难以用户所能接受。再次，你要想痛点，痛点是什么？比如卖某个产品很好，消费者可以买到，你就成功了。那解决方法有几个，a吸粉，这是整个内容产出平台的命根子。
b提高内容质量，尽量不要打广告，不要捆绑推广，无论是否可以做到，都是出路。c做高端产品，对接精准用户。d向用户卖内容，只卖他想卖的。e想尽一切办法把用户留住，能多卖就多卖。f放弃一切（做个app或做个平台）。需要你多考虑你是什么样的产品？即用户是什么样的。g做一个线上平台，方便用户采集百度文库内容，做信息交换。 查看全部
网站程序自带的采集器采集文章里面的句子是可以的
网站程序自带的采集器采集文章里面的句子是可以的。但是你要引导读者，这是要在标题前面设置诱饵的。一篇文章5000左右，没什么诱惑力，而且你还需要配合锚文本才有效果。具体怎么设置你可以在奇速英语官网，奇速英语论坛文章里面找攻略。
给自己做了个百度文库同步到搜狗-360网盘同步器，传上去时选的是“收费文章”，系统自动识别关键词，自动加上去的内容非免费文章的排名也比较好。
我做了3个月的文档也是一篇没有，
可以理解为你去过度展示，“说人话”和“变卖专业”，使文章质量下降，隐患是打击写手的积极性，暂时看来解决方法还是建议你把关键词加大力度设置在页面的顶部，这样显得不特别突兀，因为文章会比较小众，同时你还要进行过滤，比如苹果可以以及有时尚感什么的作为专业关键词，不然很容易引起反感，当然还有一个办法，你可以尝试将微信公众号的文章格式复制粘贴到这里面，可以过滤掉一部分不专业的文章。
最后说一句，将商业靠近，会让读者失去消费冲动，现在很多中小型企业已经把市场策略转向本地化，如果能解决有害用户体验的问题（如同步作弊问题），你的文章会异常的受欢迎。总之，要符合企业利益，而不是只为市场。
首先分析背景，这个产品是打着内容产出平台在做，很显然这不是用户需求，对吗？其次，分析需求背后有无痛点，用户需求在哪里，但问题在于你提供的方法是别人能够拿到，你不能拿到，这说明你的方法很难以用户所能接受。再次，你要想痛点，痛点是什么？比如卖某个产品很好，消费者可以买到，你就成功了。那解决方法有几个，a吸粉，这是整个内容产出平台的命根子。
b提高内容质量，尽量不要打广告，不要捆绑推广，无论是否可以做到，都是出路。c做高端产品，对接精准用户。d向用户卖内容，只卖他想卖的。e想尽一切办法把用户留住，能多卖就多卖。f放弃一切（做个app或做个平台）。需要你多考虑你是什么样的产品？即用户是什么样的。g做一个线上平台，方便用户采集百度文库内容，做信息交换。
网站程序自带的采集器采集文章无需web开发基础
采集交流 • 优采云 发表了文章 • 0 个评论 • 82 次浏览 • 2022-08-13 11:53
网站程序自带的采集器采集文章无需web开发基础
网站程序自带的采集器采集文章无需web开发基础，只要人工编写爬虫程序，按照url地址进行填充内容就可以。由于各种因素导致网站无法保存所有的文章数据。下面的应用程序可以获取到每篇文章的所有详细内容，包括完整的标题、摘要、内容链接、点赞数、评论数、收藏数、分享数、播放量、阅读时间、阅读页码、内容页的url、参考链接、阅读页的地址、参考文章。程序还可以从搜索引擎抓取所有的内容。完整程序代码及详细参考文档地址：。
如果你对数据有一定的了解的话，其实你可以自己做一个，说白了就是自己整合爬虫技术，将里面涉及到的相关操作按照自己的理解手写一遍。你去百度一下爬虫解决方案，很多方案已经是上年纪的了，既然你这么想一个人来做，那么我个人给你提个小建议，好好研究网上现有的爬虫解决方案，比如github或者类似的代码库，然后手敲一遍程序，照着网上别人的代码稍加修改就成了自己的了。
而如果你没有这方面的技术知识的话，那就当我是放屁，如果你真的决定要自己做，我建议你从简单的爬虫入手，word的商品描述爬虫。
常见爬虫工具如何使用爬虫在python中主要包括爬虫、beautifulsoup和scrapy，它们可以爬取网页信息，并提取内容结构。其中爬虫，也称爬虫爬虫本身，爬虫接受request并进行判断，然后会在浏览器中缓存。这样当网页重新更新时，它们就可以通过客户端缓存。beautifulsoup和scrapy主要用于获取页面的内容。
第一步：开始爬取首先要将网页链接的数据爬取下来。例如：这个是必须的，这是我们爬取的第一页。打开浏览器：然后进入第一页的url：//我们刚刚设置的是：然后我们一步一步爬，整理完第一页：爬取下来的内容就是第一页的内容：但是如果没有登录的话，还要继续进行两步：第二步：去sogou链接的后面抓取这个链接的内容到我们自己的数据库中：两步就可以爬取到相关的信息，可以用于后续的数据分析。爬虫的开发，主要分为爬虫程序开发和文章相关的代码开发，主要用于获取页面的页面数据。 查看全部
网站程序自带的采集器采集文章无需web开发基础，只要人工编写爬虫程序，按照url地址进行填充内容就可以。由于各种因素导致网站无法保存所有的文章数据。下面的应用程序可以获取到每篇文章的所有详细内容，包括完整的标题、摘要、内容链接、点赞数、评论数、收藏数、分享数、播放量、阅读时间、阅读页码、内容页的url、参考链接、阅读页的地址、参考文章。程序还可以从搜索引擎抓取所有的内容。完整程序代码及详细参考文档地址：。
如果你对数据有一定的了解的话，其实你可以自己做一个，说白了就是自己整合爬虫技术，将里面涉及到的相关操作按照自己的理解手写一遍。你去百度一下爬虫解决方案，很多方案已经是上年纪的了，既然你这么想一个人来做，那么我个人给你提个小建议，好好研究网上现有的爬虫解决方案，比如github或者类似的代码库，然后手敲一遍程序，照着网上别人的代码稍加修改就成了自己的了。
而如果你没有这方面的技术知识的话，那就当我是放屁，如果你真的决定要自己做，我建议你从简单的爬虫入手，word的商品描述爬虫。
常见爬虫工具如何使用爬虫在python中主要包括爬虫、beautifulsoup和scrapy，它们可以爬取网页信息，并提取内容结构。其中爬虫，也称爬虫爬虫本身，爬虫接受request并进行判断，然后会在浏览器中缓存。这样当网页重新更新时，它们就可以通过客户端缓存。beautifulsoup和scrapy主要用于获取页面的内容。
第一步：开始爬取首先要将网页链接的数据爬取下来。例如：这个是必须的，这是我们爬取的第一页。打开浏览器：然后进入第一页的url：//我们刚刚设置的是：然后我们一步一步爬，整理完第一页：爬取下来的内容就是第一页的内容：但是如果没有登录的话，还要继续进行两步：第二步：去sogou链接的后面抓取这个链接的内容到我们自己的数据库中：两步就可以爬取到相关的信息，可以用于后续的数据分析。爬虫的开发，主要分为爬虫程序开发和文章相关的代码开发，主要用于获取页面的页面数据。 查看全部
网站程序自带的采集器采集文章无需web开发基础
网站程序自带的采集器采集文章无需web开发基础，只要人工编写爬虫程序，按照url地址进行填充内容就可以。由于各种因素导致网站无法保存所有的文章数据。下面的应用程序可以获取到每篇文章的所有详细内容，包括完整的标题、摘要、内容链接、点赞数、评论数、收藏数、分享数、播放量、阅读时间、阅读页码、内容页的url、参考链接、阅读页的地址、参考文章。程序还可以从搜索引擎抓取所有的内容。完整程序代码及详细参考文档地址：。
如果你对数据有一定的了解的话，其实你可以自己做一个，说白了就是自己整合爬虫技术，将里面涉及到的相关操作按照自己的理解手写一遍。你去百度一下爬虫解决方案，很多方案已经是上年纪的了，既然你这么想一个人来做，那么我个人给你提个小建议，好好研究网上现有的爬虫解决方案，比如github或者类似的代码库，然后手敲一遍程序，照着网上别人的代码稍加修改就成了自己的了。
而如果你没有这方面的技术知识的话，那就当我是放屁，如果你真的决定要自己做，我建议你从简单的爬虫入手，word的商品描述爬虫。
常见爬虫工具如何使用爬虫在python中主要包括爬虫、beautifulsoup和scrapy，它们可以爬取网页信息，并提取内容结构。其中爬虫，也称爬虫爬虫本身，爬虫接受request并进行判断，然后会在浏览器中缓存。这样当网页重新更新时，它们就可以通过客户端缓存。beautifulsoup和scrapy主要用于获取页面的内容。
第一步：开始爬取首先要将网页链接的数据爬取下来。例如：这个是必须的，这是我们爬取的第一页。打开浏览器：然后进入第一页的url：//我们刚刚设置的是：然后我们一步一步爬，整理完第一页：爬取下来的内容就是第一页的内容：但是如果没有登录的话，还要继续进行两步：第二步：去sogou链接的后面抓取这个链接的内容到我们自己的数据库中：两步就可以爬取到相关的信息，可以用于后续的数据分析。爬虫的开发，主要分为爬虫程序开发和文章相关的代码开发，主要用于获取页面的页面数据。
网站程序自带的采集器采集文章的话，用第三方云采集
采集交流 • 优采云 发表了文章 • 0 个评论 • 119 次浏览 • 2022-08-01 16:05
网站程序自带的采集器采集文章的话，用第三方云采集
网站程序自带的采集器采集文章的话，用第三方云采集（微擎、速登）之类的网站插件采集微信后台的公众号文章，之后生成可用于企业品牌营销和发布公众号文章的png格式图片即可，只需要注意文章的基本版权之类的问题，都是有版权保障的。
难道不是一开始我们写的时候，就应该保证“侵权必究”么？自己采集的后来被用做发布公司产品等用途不也是侵权？多虑了，多想想。
这个就没办法保证了，建议使用搜狗微信采集器等专业的网站采集工具，可以保证文章的版权和原创性。
使用微擎的话是可以自动抓取的，一般专业的网站都会自带微擎，要不就是购买其他的插件。
您好，很高兴为您解答。您提到的问题我认为首先是要确保您自己的稿件被微信认可，至于开头和结尾的改动则可以通过修改后缀名等方式进行采集。按照你的情况，你可以把内容发送给别人，对方可以拿着您的内容给您进行授权，然后按照授权的的路径，拿去收集和排版即可。
自己写网站然后用第三方的采集器
一般就是需要版权保护等条件了，
第三方平台比如微擎采集器吧，配置很简单，
微信公众号文章本身也是采集的，想抓取，要么自己写专业网站采集工具，
可以用我们的云采集器，可以自动生成原创链接和二维码来抓取微信的文章，数据库自己写，不会侵权的。 查看全部
网站程序自带的采集器采集文章的话，用第三方云采集（微擎、速登）之类的网站插件采集微信后台的公众号文章，之后生成可用于企业品牌营销和发布公众号文章的png格式图片即可，只需要注意文章的基本版权之类的问题，都是有版权保障的。
难道不是一开始我们写的时候，就应该保证“侵权必究”么？自己采集的后来被用做发布公司产品等用途不也是侵权？多虑了，多想想。
这个就没办法保证了，建议使用搜狗微信采集器等专业的网站采集工具，可以保证文章的版权和原创性。
使用微擎的话是可以自动抓取的，一般专业的网站都会自带微擎，要不就是购买其他的插件。
您好，很高兴为您解答。您提到的问题我认为首先是要确保您自己的稿件被微信认可，至于开头和结尾的改动则可以通过修改后缀名等方式进行采集。按照你的情况，你可以把内容发送给别人，对方可以拿着您的内容给您进行授权，然后按照授权的的路径，拿去收集和排版即可。
自己写网站然后用第三方的采集器
一般就是需要版权保护等条件了，
第三方平台比如微擎采集器吧，配置很简单，
微信公众号文章本身也是采集的，想抓取，要么自己写专业网站采集工具，
可以用我们的云采集器，可以自动生成原创链接和二维码来抓取微信的文章，数据库自己写，不会侵权的。 查看全部
网站程序自带的采集器采集文章的话，用第三方云采集
网站程序自带的采集器采集文章的话，用第三方云采集（微擎、速登）之类的网站插件采集微信后台的公众号文章，之后生成可用于企业品牌营销和发布公众号文章的png格式图片即可，只需要注意文章的基本版权之类的问题，都是有版权保障的。
难道不是一开始我们写的时候，就应该保证“侵权必究”么？自己采集的后来被用做发布公司产品等用途不也是侵权？多虑了，多想想。
这个就没办法保证了，建议使用搜狗微信采集器等专业的网站采集工具，可以保证文章的版权和原创性。
使用微擎的话是可以自动抓取的，一般专业的网站都会自带微擎，要不就是购买其他的插件。
您好，很高兴为您解答。您提到的问题我认为首先是要确保您自己的稿件被微信认可，至于开头和结尾的改动则可以通过修改后缀名等方式进行采集。按照你的情况，你可以把内容发送给别人，对方可以拿着您的内容给您进行授权，然后按照授权的的路径，拿去收集和排版即可。
自己写网站然后用第三方的采集器
一般就是需要版权保护等条件了，
第三方平台比如微擎采集器吧，配置很简单，
微信公众号文章本身也是采集的，想抓取，要么自己写专业网站采集工具，
可以用我们的云采集器，可以自动生成原创链接和二维码来抓取微信的文章，数据库自己写，不会侵权的。
一文看懂无侵入微服务探针原理
采集交流 • 优采云 发表了文章 • 0 个评论 • 53 次浏览 • 2022-07-29 08:13
一文看懂无侵入微服务探针原理
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。类型名称说明长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性让我们编译一个简单的类`Demo.java`
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。JDK 自带的解析工具 javap ，可以以人类可读的方式打印 class 文件，其结果也和上述一致。
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode 的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
方法区：用于存放的类信息、常量、静态变量、即时编译器编译后的代码等数据堆：所有线程共享，放置 object 对象与数组，也是 GC (垃圾收集器的主要区域)虚机栈&程序计数器：线程私有的，每一个新的线程都会分配对应的内存对象。每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
启动时：将必要的类通过 ClassLoader 加载到内存
运行时：创建一个新实例时，优先从内存中寻找，否则加载进内存
执行方法：寻找方法的定义，将局部变量和方法的字节码放入虚机栈中，最终返回计算结果。当然静态方法会有所区别。
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：按照字节码的规范生成新的类使用 JVM TI ，命令 JVM 将类加载到对应的内存去。替换后，系统将使用我们增强过的方法。这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。javaagent 有两种使用 方式：启动时加入参数配置 agent 包路径：-javaagent:/${path}/agent.jar;运行时attach 到JVM 实例的pid ，将 jar 包附着上去：VirtualMachine.attach(pid);VirtualMachine.loadAgent("/
/agent.jar");使用第一种方式的 demo
public class PreMainTraceAgent {public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); }static class DefineTransformer implements ClassFileTransformer{@Overridepublic byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className);return classfileBuffer; } }}
Manifest-Version: 1.0Can-Redefine-Classes: trueCan-Retransform-Classes: truePremain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：最后打包成 agent.jar 包premain() ：-javaagent 方式进入的入口。顾名思义他是在main函数前执行的，制作 jar 包时需要在 MF 文件中指名入口Premain-Class: PreMainTraceAgent
Instrumentation：JVM 实例的句柄。无论是 -javaagent 还是 attach 上去，最终都会获得一个实例相关的 Instrumentation。inst 中比较重要的两个函数是redefineClasses(ClassDefinition... definitions)与retransformClasses(Class... classes)通过这两个函数，我们都可以将增强后字节码加入到 JVM中
redefineClasses() 和 retransformClasses() 的区别 ?<br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />redefineClasses() 适合将新加入的类做修改，而 retransformClasses() 可以将哪些已经加载到内存中的类定义做替换
ClassFileTransformer：这个接口里面有一个重要的方法transform()，使用者需要实现这个类。当这个类被加入 inst 的内的 Transformer 数组时，每一个类的加载或修改，都会调用到该方法。类的定义相关信息，比如类二进制定义classfileBufferaddTransformer() ：可以将实现了ClassFileTransformer的类加入Instrumentation中内置的数组。就像一个加工厂，上一个ClassFileTransformer处理过的类，会作为下一个ClassFileTransformer的参数。到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？大佬：我熟悉 JVM 规范，明白每一个字节码的含义，可以手动改class文件，为此我写了一个库 。高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。小白：字节码我是看不懂啦，大佬写的库我会用就行了。下面会介绍几个常见的字节码生成工具
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 1. OpenJDK的 lambda语法 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 2. Groovy 和 Koltin 的编译器 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 5. CGLIB ，ByteBuddy 这些动态类生成工具
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。以下是与其他工具的性能比较。
Java Proxy：JDK 自带的代理机制，可以做到托管用户的类，以便于扩展。但是必须给定一个接口，作用有限。Cglib：很有名气，但是开发的太早了，并没有随着 JDK 的特性一起更新。虽然它的库依旧很有用，但是也慢慢被被使用者从项目中移除。Javassit: 这个库企图模仿 javac 编译器，做到运行时转化源代码。这非常有雄心，然而这个难度很有挑战，目前为止和 javac 还有相当大的差距。在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
这是一个简单的 API，用来生成 trace 消息。
public class Tracer {public static Tracer newTracer() {return new Tracer(); }public Span newSpan() {return new Span(); }public static class Span {public void start() { System.out.println("start a span"); }public void end() { System.out.println("span finish");// todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
...<br />public static void main(String[] args) { Tracer tracer = Tracer.newTracer();// 生成新的span Tracer.Span span = tracer.newSpan();<br />// span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
将 trace 生成逻辑放入切面中去
public class TraceAdvice {public static Tracer.Span span = null;<br />public static void getCurrentSpan() {if (span == null) { span = Tracer.newTracer().newSpan(); } }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */@Advice.OnMethodEnterpublic static void onMethodEnter(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args) { getCurrentSpan(); span.start();<br /> }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */@Advice.OnMethodExit(onThrowable = Throwable.class)public static void onMethodExit(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args,@Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null;<br /> }}
1、onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。2、OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。将Javaagent 获取的Instrumentation句柄 ，传入给AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent {<br /><br />public static void premain(String agentArgs, Instrumentation inst) {<br />// Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges();<br /> agentBuilder = agentBuilder// 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() {@Overridepublic DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) {<br />return builder.visit(// 织入切面 Advice.to(TraceAdvice.class)// 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); }<br />// 本地启动public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation();<br />// 增强 premain(null, inst);// 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。——推荐阅读—— 查看全部
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。类型名称说明长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性让我们编译一个简单的类`Demo.java`
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。JDK 自带的解析工具 javap ，可以以人类可读的方式打印 class 文件，其结果也和上述一致。
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode 的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
方法区：用于存放的类信息、常量、静态变量、即时编译器编译后的代码等数据堆：所有线程共享，放置 object 对象与数组，也是 GC (垃圾收集器的主要区域)虚机栈&程序计数器：线程私有的，每一个新的线程都会分配对应的内存对象。每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
启动时：将必要的类通过 ClassLoader 加载到内存
运行时：创建一个新实例时，优先从内存中寻找，否则加载进内存
执行方法：寻找方法的定义，将局部变量和方法的字节码放入虚机栈中，最终返回计算结果。当然静态方法会有所区别。
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：按照字节码的规范生成新的类使用 JVM TI ，命令 JVM 将类加载到对应的内存去。替换后，系统将使用我们增强过的方法。这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。javaagent 有两种使用 方式：启动时加入参数配置 agent 包路径：-javaagent:/${path}/agent.jar;运行时attach 到JVM 实例的pid ，将 jar 包附着上去：VirtualMachine.attach(pid);VirtualMachine.loadAgent("/
/agent.jar");使用第一种方式的 demo
public class PreMainTraceAgent {public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); }static class DefineTransformer implements ClassFileTransformer{@Overridepublic byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className);return classfileBuffer; } }}
Manifest-Version: 1.0Can-Redefine-Classes: trueCan-Retransform-Classes: truePremain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：最后打包成 agent.jar 包premain() ：-javaagent 方式进入的入口。顾名思义他是在main函数前执行的，制作 jar 包时需要在 MF 文件中指名入口Premain-Class: PreMainTraceAgent
Instrumentation：JVM 实例的句柄。无论是 -javaagent 还是 attach 上去，最终都会获得一个实例相关的 Instrumentation。inst 中比较重要的两个函数是redefineClasses(ClassDefinition... definitions)与retransformClasses(Class... classes)通过这两个函数，我们都可以将增强后字节码加入到 JVM中
redefineClasses() 和 retransformClasses() 的区别 ?<br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />redefineClasses() 适合将新加入的类做修改，而 retransformClasses() 可以将哪些已经加载到内存中的类定义做替换
ClassFileTransformer：这个接口里面有一个重要的方法transform()，使用者需要实现这个类。当这个类被加入 inst 的内的 Transformer 数组时，每一个类的加载或修改，都会调用到该方法。类的定义相关信息，比如类二进制定义classfileBufferaddTransformer() ：可以将实现了ClassFileTransformer的类加入Instrumentation中内置的数组。就像一个加工厂，上一个ClassFileTransformer处理过的类，会作为下一个ClassFileTransformer的参数。到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？大佬：我熟悉 JVM 规范，明白每一个字节码的含义，可以手动改class文件，为此我写了一个库 。高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。小白：字节码我是看不懂啦，大佬写的库我会用就行了。下面会介绍几个常见的字节码生成工具
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 1. OpenJDK的 lambda语法 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 2. Groovy 和 Koltin 的编译器 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 5. CGLIB ，ByteBuddy 这些动态类生成工具
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。以下是与其他工具的性能比较。
Java Proxy：JDK 自带的代理机制，可以做到托管用户的类，以便于扩展。但是必须给定一个接口，作用有限。Cglib：很有名气，但是开发的太早了，并没有随着 JDK 的特性一起更新。虽然它的库依旧很有用，但是也慢慢被被使用者从项目中移除。Javassit: 这个库企图模仿 javac 编译器，做到运行时转化源代码。这非常有雄心，然而这个难度很有挑战，目前为止和 javac 还有相当大的差距。在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
这是一个简单的 API，用来生成 trace 消息。
public class Tracer {public static Tracer newTracer() {return new Tracer(); }public Span newSpan() {return new Span(); }public static class Span {public void start() { System.out.println("start a span"); }public void end() { System.out.println("span finish");// todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
...<br />public static void main(String[] args) { Tracer tracer = Tracer.newTracer();// 生成新的span Tracer.Span span = tracer.newSpan();<br />// span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
将 trace 生成逻辑放入切面中去
public class TraceAdvice {public static Tracer.Span span = null;<br />public static void getCurrentSpan() {if (span == null) { span = Tracer.newTracer().newSpan(); } }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */@Advice.OnMethodEnterpublic static void onMethodEnter(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args) { getCurrentSpan(); span.start();<br /> }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */@Advice.OnMethodExit(onThrowable = Throwable.class)public static void onMethodExit(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args,@Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null;<br /> }}
1、onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。2、OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。将Javaagent 获取的Instrumentation句柄 ，传入给AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent {<br /><br />public static void premain(String agentArgs, Instrumentation inst) {<br />// Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges();<br /> agentBuilder = agentBuilder// 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() {@Overridepublic DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) {<br />return builder.visit(// 织入切面 Advice.to(TraceAdvice.class)// 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); }<br />// 本地启动public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation();<br />// 增强 premain(null, inst);// 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。——推荐阅读—— 查看全部
一文看懂无侵入微服务探针原理
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。类型名称说明长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性让我们编译一个简单的类`Demo.java`
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。JDK 自带的解析工具 javap ，可以以人类可读的方式打印 class 文件，其结果也和上述一致。
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode 的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
方法区：用于存放的类信息、常量、静态变量、即时编译器编译后的代码等数据堆：所有线程共享，放置 object 对象与数组，也是 GC (垃圾收集器的主要区域)虚机栈&程序计数器：线程私有的，每一个新的线程都会分配对应的内存对象。每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
启动时：将必要的类通过 ClassLoader 加载到内存
运行时：创建一个新实例时，优先从内存中寻找，否则加载进内存
执行方法：寻找方法的定义，将局部变量和方法的字节码放入虚机栈中，最终返回计算结果。当然静态方法会有所区别。
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：按照字节码的规范生成新的类使用 JVM TI ，命令 JVM 将类加载到对应的内存去。替换后，系统将使用我们增强过的方法。这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。javaagent 有两种使用 方式：启动时加入参数配置 agent 包路径：-javaagent:/${path}/agent.jar;运行时attach 到JVM 实例的pid ，将 jar 包附着上去：VirtualMachine.attach(pid);VirtualMachine.loadAgent("/
/agent.jar");使用第一种方式的 demo
public class PreMainTraceAgent {public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); }static class DefineTransformer implements ClassFileTransformer{@Overridepublic byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className);return classfileBuffer; } }}
Manifest-Version: 1.0Can-Redefine-Classes: trueCan-Retransform-Classes: truePremain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：最后打包成 agent.jar 包premain() ：-javaagent 方式进入的入口。顾名思义他是在main函数前执行的，制作 jar 包时需要在 MF 文件中指名入口Premain-Class: PreMainTraceAgent
Instrumentation：JVM 实例的句柄。无论是 -javaagent 还是 attach 上去，最终都会获得一个实例相关的 Instrumentation。inst 中比较重要的两个函数是redefineClasses(ClassDefinition... definitions)与retransformClasses(Class... classes)通过这两个函数，我们都可以将增强后字节码加入到 JVM中
redefineClasses() 和 retransformClasses() 的区别 ?<br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />redefineClasses() 适合将新加入的类做修改，而 retransformClasses() 可以将哪些已经加载到内存中的类定义做替换
ClassFileTransformer：这个接口里面有一个重要的方法transform()，使用者需要实现这个类。当这个类被加入 inst 的内的 Transformer 数组时，每一个类的加载或修改，都会调用到该方法。类的定义相关信息，比如类二进制定义classfileBufferaddTransformer() ：可以将实现了ClassFileTransformer的类加入Instrumentation中内置的数组。就像一个加工厂，上一个ClassFileTransformer处理过的类，会作为下一个ClassFileTransformer的参数。到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？大佬：我熟悉 JVM 规范，明白每一个字节码的含义，可以手动改class文件，为此我写了一个库 。高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。小白：字节码我是看不懂啦，大佬写的库我会用就行了。下面会介绍几个常见的字节码生成工具
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 1. OpenJDK的 lambda语法 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 2. Groovy 和 Koltin 的编译器 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 5. CGLIB ，ByteBuddy 这些动态类生成工具
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。以下是与其他工具的性能比较。
Java Proxy：JDK 自带的代理机制，可以做到托管用户的类，以便于扩展。但是必须给定一个接口，作用有限。Cglib：很有名气，但是开发的太早了，并没有随着 JDK 的特性一起更新。虽然它的库依旧很有用，但是也慢慢被被使用者从项目中移除。Javassit: 这个库企图模仿 javac 编译器，做到运行时转化源代码。这非常有雄心，然而这个难度很有挑战，目前为止和 javac 还有相当大的差距。在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
这是一个简单的 API，用来生成 trace 消息。
public class Tracer {public static Tracer newTracer() {return new Tracer(); }public Span newSpan() {return new Span(); }public static class Span {public void start() { System.out.println("start a span"); }public void end() { System.out.println("span finish");// todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
...<br />public static void main(String[] args) { Tracer tracer = Tracer.newTracer();// 生成新的span Tracer.Span span = tracer.newSpan();<br />// span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
将 trace 生成逻辑放入切面中去
public class TraceAdvice {public static Tracer.Span span = null;<br />public static void getCurrentSpan() {if (span == null) { span = Tracer.newTracer().newSpan(); } }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */@Advice.OnMethodEnterpublic static void onMethodEnter(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args) { getCurrentSpan(); span.start();<br /> }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */@Advice.OnMethodExit(onThrowable = Throwable.class)public static void onMethodExit(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args,@Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null;<br /> }}
1、onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。2、OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。将Javaagent 获取的Instrumentation句柄 ，传入给AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent {<br /><br />public static void premain(String agentArgs, Instrumentation inst) {<br />// Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges();<br /> agentBuilder = agentBuilder// 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() {@Overridepublic DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) {<br />return builder.visit(// 织入切面 Advice.to(TraceAdvice.class)// 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); }<br />// 本地启动public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation();<br />// 增强 premain(null, inst);// 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。——推荐阅读——
爬虫实战：利用软件采集招聘信息（一）
采集交流 • 优采云 发表了文章 • 0 个评论 • 114 次浏览 • 2022-06-25 10:26
爬虫实战：利用软件采集招聘信息（一）
爬虫实战：利用软件采集招聘信息（一）
（基于优采云和优采云采集器软件——简易模式采集）
一、什么是爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫（百度复制粘贴内容^^）。
说白了，爬虫就是利用工具抓取网页上的内容（数据、文本、图片等），是不是感觉写论文找数据不止翻年鉴了......爬虫工具除了python等编程语言（手写的代码），还有就是通过一些第三方软件来采集（如优采云、优采云采集器、优采云采集器等等很多）。至于通过自己写代码的方式会在以后文章中介绍，本文从基础介绍利用软件傻瓜式爬虫，这种方式已经可以满足大部分采集需求，而且只需拖拉拽还不简单吗。
二、优采云采集器和优采云介绍
这两款采集器是作者认为市面上相对最好用的两款采集软件。优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件，该软件功能强大，操作简单，可谓是居家旅行随身神器。优采云大数据采集平台是深圳视界信息技术有限公司自主研发，整合了网页数据采集、移动互联网数据及API接口服务（包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份）等服务为一体的数据服务平台，连续4年蝉联互联网数据采集软件榜单第一名。两款软件的采集模式基本相同，主要有两种：智能模式采集或简易采集、自定义模式采集。本期主要介绍智能模式采集或简易采集。
三、简易模式
（1）优采云采集器
软件下载网址：，至于软件如何安装，就是一直下一步呗。
优采云采集器的智能模式采集只需要将你要爬取的页面放入网址框内，软件会自动识别出你可能需要爬取的内容。直接上例子，比如你要爬取某高校的就业网招聘信息（以北京大学为例），北京大学就业指导服务中心的网址为!recruitList.action?category=1（我也不知道后面你看到的时候是否失效、有没有反爬虫，反正我可以用，我可以用，我可以用）。
1.打开软件并选择智能模式
2.在右边方框输入爬取网址
3.点击下方立即创建后，可以看到软件自动识别需要爬取的内容
4.点击开始采集和启动，软件将会自动采集当前页面信息，并翻页。
5.软件正在爬取......（注意：由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息）
6.由于内容较多，作者选择强制结束。最后导出文件，可以选择导出excel格式。
7.最终excel数据如下
（2）优采云
软件下载网址：。优采云的简易更加方便，软件自带了非常多的常用网站和数据模板，如下图：
例如，要抓取百姓网的招聘信息，在百姓网中选择好需要爬取的职位，复制链接（以为例）。
1.点击百姓网模板，并选择点击采集
2.输入网址、翻页次数
3.选择启动本地采集
4.可以看到正在爬取数据
5.最终爬取的数据可以导出
以上便是本期内容：关于优采云采集器和优采云采集器的简易模式采集。下期将推送流程图式或自定义式如何采集数据。
最后！！！！！！送出彩蛋，解决前文使用优采云采集器时提到的由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息这一问题。
因为抓取的数据只是每个连接的标题，所以需要进入链接爬取里面的内容，优采云采集器提供了“深度采集”这一功能，意思就是可以进入链接采集。在这里：
点击“深度采集”会进入页面，这就是最外层链接里面的内容。此时下面会抓取本页面的内容。点击开始采集便可以采集每个标题链接里面的内容。
欢迎关注（数据皮皮侠） 查看全部
爬虫实战：利用软件采集招聘信息（一）
（基于优采云和优采云采集器软件——简易模式采集）
一、什么是爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫（百度复制粘贴内容^^）。
说白了，爬虫就是利用工具抓取网页上的内容（数据、文本、图片等），是不是感觉写论文找数据不止翻年鉴了......爬虫工具除了python等编程语言（手写的代码），还有就是通过一些第三方软件来采集（如优采云、优采云采集器、优采云采集器等等很多）。至于通过自己写代码的方式会在以后文章中介绍，本文从基础介绍利用软件傻瓜式爬虫，这种方式已经可以满足大部分采集需求，而且只需拖拉拽还不简单吗。
二、优采云采集器和优采云介绍
这两款采集器是作者认为市面上相对最好用的两款采集软件。优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件，该软件功能强大，操作简单，可谓是居家旅行随身神器。优采云大数据采集平台是深圳视界信息技术有限公司自主研发，整合了网页数据采集、移动互联网数据及API接口服务（包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份）等服务为一体的数据服务平台，连续4年蝉联互联网数据采集软件榜单第一名。两款软件的采集模式基本相同，主要有两种：智能模式采集或简易采集、自定义模式采集。本期主要介绍智能模式采集或简易采集。
三、简易模式
（1）优采云采集器
软件下载网址：，至于软件如何安装，就是一直下一步呗。
优采云采集器的智能模式采集只需要将你要爬取的页面放入网址框内，软件会自动识别出你可能需要爬取的内容。直接上例子，比如你要爬取某高校的就业网招聘信息（以北京大学为例），北京大学就业指导服务中心的网址为!recruitList.action?category=1（我也不知道后面你看到的时候是否失效、有没有反爬虫，反正我可以用，我可以用，我可以用）。
1.打开软件并选择智能模式
2.在右边方框输入爬取网址
3.点击下方立即创建后，可以看到软件自动识别需要爬取的内容
4.点击开始采集和启动，软件将会自动采集当前页面信息，并翻页。
5.软件正在爬取......（注意：由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息）
6.由于内容较多，作者选择强制结束。最后导出文件，可以选择导出excel格式。
7.最终excel数据如下
（2）优采云
软件下载网址：。优采云的简易更加方便，软件自带了非常多的常用网站和数据模板，如下图：
例如，要抓取百姓网的招聘信息，在百姓网中选择好需要爬取的职位，复制链接（以为例）。
1.点击百姓网模板，并选择点击采集
2.输入网址、翻页次数
3.选择启动本地采集
4.可以看到正在爬取数据
5.最终爬取的数据可以导出
以上便是本期内容：关于优采云采集器和优采云采集器的简易模式采集。下期将推送流程图式或自定义式如何采集数据。
最后！！！！！！送出彩蛋，解决前文使用优采云采集器时提到的由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息这一问题。
因为抓取的数据只是每个连接的标题，所以需要进入链接爬取里面的内容，优采云采集器提供了“深度采集”这一功能，意思就是可以进入链接采集。在这里：
点击“深度采集”会进入页面，这就是最外层链接里面的内容。此时下面会抓取本页面的内容。点击开始采集便可以采集每个标题链接里面的内容。
欢迎关注（数据皮皮侠） 查看全部
爬虫实战：利用软件采集招聘信息（一）
爬虫实战：利用软件采集招聘信息（一）
（基于优采云和优采云采集器软件——简易模式采集）
一、什么是爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫（百度复制粘贴内容^^）。
说白了，爬虫就是利用工具抓取网页上的内容（数据、文本、图片等），是不是感觉写论文找数据不止翻年鉴了......爬虫工具除了python等编程语言（手写的代码），还有就是通过一些第三方软件来采集（如优采云、优采云采集器、优采云采集器等等很多）。至于通过自己写代码的方式会在以后文章中介绍，本文从基础介绍利用软件傻瓜式爬虫，这种方式已经可以满足大部分采集需求，而且只需拖拉拽还不简单吗。
二、优采云采集器和优采云介绍
这两款采集器是作者认为市面上相对最好用的两款采集软件。优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件，该软件功能强大，操作简单，可谓是居家旅行随身神器。优采云大数据采集平台是深圳视界信息技术有限公司自主研发，整合了网页数据采集、移动互联网数据及API接口服务（包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份）等服务为一体的数据服务平台，连续4年蝉联互联网数据采集软件榜单第一名。两款软件的采集模式基本相同，主要有两种：智能模式采集或简易采集、自定义模式采集。本期主要介绍智能模式采集或简易采集。
三、简易模式
（1）优采云采集器
软件下载网址：，至于软件如何安装，就是一直下一步呗。
优采云采集器的智能模式采集只需要将你要爬取的页面放入网址框内，软件会自动识别出你可能需要爬取的内容。直接上例子，比如你要爬取某高校的就业网招聘信息（以北京大学为例），北京大学就业指导服务中心的网址为!recruitList.action?category=1（我也不知道后面你看到的时候是否失效、有没有反爬虫，反正我可以用，我可以用，我可以用）。
1.打开软件并选择智能模式
2.在右边方框输入爬取网址
3.点击下方立即创建后，可以看到软件自动识别需要爬取的内容
4.点击开始采集和启动，软件将会自动采集当前页面信息，并翻页。
5.软件正在爬取......（注意：由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息）
6.由于内容较多，作者选择强制结束。最后导出文件，可以选择导出excel格式。
7.最终excel数据如下
（2）优采云
软件下载网址：。优采云的简易更加方便，软件自带了非常多的常用网站和数据模板，如下图：
例如，要抓取百姓网的招聘信息，在百姓网中选择好需要爬取的职位，复制链接（以为例）。
1.点击百姓网模板，并选择点击采集
2.输入网址、翻页次数
3.选择启动本地采集
4.可以看到正在爬取数据
5.最终爬取的数据可以导出
以上便是本期内容：关于优采云采集器和优采云采集器的简易模式采集。下期将推送流程图式或自定义式如何采集数据。
最后！！！！！！送出彩蛋，解决前文使用优采云采集器时提到的由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息这一问题。
因为抓取的数据只是每个连接的标题，所以需要进入链接爬取里面的内容，优采云采集器提供了“深度采集”这一功能，意思就是可以进入链接采集。在这里：
点击“深度采集”会进入页面，这就是最外层链接里面的内容。此时下面会抓取本页面的内容。点击开始采集便可以采集每个标题链接里面的内容。
欢迎关注（数据皮皮侠）
最全面！一文让你看懂无侵入的微服务探针原理！！
采集交流 • 优采云 发表了文章 • 0 个评论 • 90 次浏览 • 2022-06-21 15:14
最全面！一文让你看懂无侵入的微服务探针原理！！
前言
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例
采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。
采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？
Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。
想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。
类型
名称
说明
长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性
让我们编译一个简单的类`Demo.java`
package com.httpserver;public class Demo { private int num = 1; public int add() { num = num + 2; return num; }}
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。
JDK 自带的解析工具 javap，可以以人类可读的方式打印 class 文件，其结果也和上述一致
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。
作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。
同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较
其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 的内存模型
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
双亲委派加载机制
Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派
一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。
JVM tool Interface
默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。
JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。
它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。
正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：
按照字节码的规范生成新的类
使用 JVM TI ，命令 JVM 将类加载到对应的内存去。
替换后，系统将使用我们增强过的方法。
这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。
Javaagent 简单示例
javaagent 有两种使用 方式：
使用第一种方式的 demo
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); } static class DefineTransformer implements ClassFileTransformer{ @Override public byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className); return classfileBuffer; } }}
Manifest-Version: 1.0
Can-Redefine-Classes: true
Can-Retransform-Classes: true
Premain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：
最后打包成 agent.jar 包
到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？
大佬：我熟悉 JVM 规范，明白每一个字节码的含义，我可以手动改class文件，为此我写了一个库 。
高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。
小白：字节码我是看不懂啦，大佬写的库我会用就行了。
下面会介绍几个常见的字节码生成工具
ASM
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：
初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br /> 1. OpenJDK的 lambda语法 <br /> 2. Groovy 和 Koltin 的编译器 <br /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br /> 5. CGLIB ，ByteBuddy 这些动态类生成工具。
BYTEBUDDY
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。
以下是与其他工具的性能比较。
在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。
但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
Tracer API
这是一个简单的 API，用来生成 trace 消息。
public class Tracer { public static Tracer newTracer() { return new Tracer(); } public Span newSpan() { return new Span(); } public static class Span { public void start() { System.out.println("start a span"); } public void end() { System.out.println("span finish"); // todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
... public static void main(String[] args) { Tracer tracer = Tracer.newTracer(); // 生成新的span Tracer.Span span = tracer.newSpan(); // span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
无侵入埋点
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
TraceAdvice
将 trace 生成逻辑放入切面中去
public class TraceAdvice { public static Tracer.Span span = null; public static void getCurrentSpan() { if (span == null) { span = Tracer.newTracer().newSpan(); } } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */ @Advice.OnMethodEnter public static void onMethodEnter(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args) { getCurrentSpan(); span.start(); } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */ @Advice.OnMethodExit(onThrowable = Throwable.class) public static void onMethodExit(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args, @Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null; }}
onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。
OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。
植入 Advice
将Javaagent 获取的Instrumentation句柄 ，传入给 AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { // Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges(); agentBuilder = agentBuilder // 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() { @Override public DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) { return builder.visit( // 织入切面 Advice.to(TraceAdvice.class) // 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); } // 本地启动 public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation(); // 增强 premain(null, inst); // 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。本地调试
打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。
实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。
What`s more ？
在实际的业务中，我们也积累不少踩坑经验 ：
1. 有没有一个好的探针框架，让我 "哼哧哼哧" 写业务就行 ？
2. 如何做到无感的热升级，让用户在产品上轻松设置埋点 ？
3.ByteBuddy到底该怎么用，切面的注解都是什么意思？
4. Javaagent + Istio 如何让 Dubbo 微服务治理框无感的迁移到 ServiceMesh 上 ？ 查看全部
前言
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例
采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。
采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？
Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。
想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。
类型
名称
说明
长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性
让我们编译一个简单的类`Demo.java`
package com.httpserver;public class Demo { private int num = 1; public int add() { num = num + 2; return num; }}
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。
JDK 自带的解析工具 javap，可以以人类可读的方式打印 class 文件，其结果也和上述一致
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。
作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。
同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较
其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 的内存模型
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
双亲委派加载机制
Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派
一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。
JVM tool Interface
默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。
JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。
它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。
正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：
按照字节码的规范生成新的类
使用 JVM TI ，命令 JVM 将类加载到对应的内存去。
替换后，系统将使用我们增强过的方法。
这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。
Javaagent 简单示例
javaagent 有两种使用 方式：
使用第一种方式的 demo
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); } static class DefineTransformer implements ClassFileTransformer{ @Override public byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className); return classfileBuffer; } }}
Manifest-Version: 1.0
Can-Redefine-Classes: true
Can-Retransform-Classes: true
Premain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：
最后打包成 agent.jar 包
到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？
大佬：我熟悉 JVM 规范，明白每一个字节码的含义，我可以手动改class文件，为此我写了一个库 。
高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。
小白：字节码我是看不懂啦，大佬写的库我会用就行了。
下面会介绍几个常见的字节码生成工具
ASM
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：
初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br /> 1. OpenJDK的 lambda语法 <br /> 2. Groovy 和 Koltin 的编译器 <br /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br /> 5. CGLIB ，ByteBuddy 这些动态类生成工具。
BYTEBUDDY
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。
以下是与其他工具的性能比较。
在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。
但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
Tracer API
这是一个简单的 API，用来生成 trace 消息。
public class Tracer { public static Tracer newTracer() { return new Tracer(); } public Span newSpan() { return new Span(); } public static class Span { public void start() { System.out.println("start a span"); } public void end() { System.out.println("span finish"); // todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
... public static void main(String[] args) { Tracer tracer = Tracer.newTracer(); // 生成新的span Tracer.Span span = tracer.newSpan(); // span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
无侵入埋点
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
TraceAdvice
将 trace 生成逻辑放入切面中去
public class TraceAdvice { public static Tracer.Span span = null; public static void getCurrentSpan() { if (span == null) { span = Tracer.newTracer().newSpan(); } } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */ @Advice.OnMethodEnter public static void onMethodEnter(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args) { getCurrentSpan(); span.start(); } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */ @Advice.OnMethodExit(onThrowable = Throwable.class) public static void onMethodExit(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args, @Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null; }}
onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。
OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。
植入 Advice
将Javaagent 获取的Instrumentation句柄 ，传入给 AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { // Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges(); agentBuilder = agentBuilder // 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() { @Override public DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) { return builder.visit( // 织入切面 Advice.to(TraceAdvice.class) // 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); } // 本地启动 public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation(); // 增强 premain(null, inst); // 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。本地调试
打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。
实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。
What`s more ？
在实际的业务中，我们也积累不少踩坑经验 ：
1. 有没有一个好的探针框架，让我 "哼哧哼哧" 写业务就行 ？
2. 如何做到无感的热升级，让用户在产品上轻松设置埋点 ？
3.ByteBuddy到底该怎么用，切面的注解都是什么意思？
4. Javaagent + Istio 如何让 Dubbo 微服务治理框无感的迁移到 ServiceMesh 上 ？ 查看全部
最全面！一文让你看懂无侵入的微服务探针原理！！
前言
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例
采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。
采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？
Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。
想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。
类型
名称
说明
长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性
让我们编译一个简单的类`Demo.java`
package com.httpserver;public class Demo { private int num = 1; public int add() { num = num + 2; return num; }}
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。
JDK 自带的解析工具 javap，可以以人类可读的方式打印 class 文件，其结果也和上述一致
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。
作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。
同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较
其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 的内存模型
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
双亲委派加载机制
Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派
一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。
JVM tool Interface
默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。
JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。
它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。
正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：
按照字节码的规范生成新的类
使用 JVM TI ，命令 JVM 将类加载到对应的内存去。
替换后，系统将使用我们增强过的方法。
这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。
Javaagent 简单示例
javaagent 有两种使用 方式：
使用第一种方式的 demo
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); } static class DefineTransformer implements ClassFileTransformer{ @Override public byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className); return classfileBuffer; } }}
Manifest-Version: 1.0
Can-Redefine-Classes: true
Can-Retransform-Classes: true
Premain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：
最后打包成 agent.jar 包
到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？
大佬：我熟悉 JVM 规范，明白每一个字节码的含义，我可以手动改class文件，为此我写了一个库 。
高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。
小白：字节码我是看不懂啦，大佬写的库我会用就行了。
下面会介绍几个常见的字节码生成工具
ASM
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：
初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br /> 1. OpenJDK的 lambda语法 <br /> 2. Groovy 和 Koltin 的编译器 <br /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br /> 5. CGLIB ，ByteBuddy 这些动态类生成工具。
BYTEBUDDY
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。
以下是与其他工具的性能比较。
在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。
但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
Tracer API
这是一个简单的 API，用来生成 trace 消息。
public class Tracer { public static Tracer newTracer() { return new Tracer(); } public Span newSpan() { return new Span(); } public static class Span { public void start() { System.out.println("start a span"); } public void end() { System.out.println("span finish"); // todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
... public static void main(String[] args) { Tracer tracer = Tracer.newTracer(); // 生成新的span Tracer.Span span = tracer.newSpan(); // span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
无侵入埋点
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
TraceAdvice
将 trace 生成逻辑放入切面中去
public class TraceAdvice { public static Tracer.Span span = null; public static void getCurrentSpan() { if (span == null) { span = Tracer.newTracer().newSpan(); } } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */ @Advice.OnMethodEnter public static void onMethodEnter(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args) { getCurrentSpan(); span.start(); } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */ @Advice.OnMethodExit(onThrowable = Throwable.class) public static void onMethodExit(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args, @Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null; }}
onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。
OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。
植入 Advice
将Javaagent 获取的Instrumentation句柄 ，传入给 AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { // Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges(); agentBuilder = agentBuilder // 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() { @Override public DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) { return builder.visit( // 织入切面 Advice.to(TraceAdvice.class) // 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); } // 本地启动 public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation(); // 增强 premain(null, inst); // 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。本地调试
打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。
实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。
What`s more ？
在实际的业务中，我们也积累不少踩坑经验 ：
1. 有没有一个好的探针框架，让我 "哼哧哼哧" 写业务就行 ？
2. 如何做到无感的热升级，让用户在产品上轻松设置埋点 ？
3.ByteBuddy到底该怎么用，切面的注解都是什么意思？
4. Javaagent + Istio 如何让 Dubbo 微服务治理框无感的迁移到 ServiceMesh 上 ？
网站程序自带的采集器采集文章功能-w3school在线教程
采集交流 • 优采云 发表了文章 • 0 个评论 • 110 次浏览 • 2022-06-12 19:01
网站程序自带的采集器采集文章功能-w3school在线教程
网站程序自带的采集器采集文章功能。有些网站是通过网站程序的防抓取机制（如：js代码拦截）来实现抓取的。所以你点一下，进行跳转之后，其实你的采集器已经抓取了那篇文章。大部分都是一些在线工具。你可以进入其页面查看。
之前用的java的网站采集器，有一些直接是实现在地址栏点一下就直接跳转到搜索引擎。现在用的是selenium，可以用js文件访问页面进行操作。但还没有上手。
可以尝试百度云助手的页面抓取，不仅仅有日期页面，甚至可以抓到网站源代码，有兴趣可以尝试下。
个人用过的网站抓取工具有11480云采集和liux采集器、电脑型号采集器，但是作为一个刚开始学采集的新手我一直是采用11480云采集，先用11480云采集试一下再说吧。
用采集站抓取器，可以直接抓取链接，
给你提供一个最方便的方法。mendeley-wiki/library官网不提供下载，原因是我用的是百度云，所以直接上wiki啦。
网站采集可以找sendtwist，墙裂推荐。有个红色图标的，你可以去试试。
看一下我们的工具给你介绍的还不错。
感谢邀请。w3school在线教程|linux、windows、mac、android等主流系统教程等。
还有我们公司在做的帮你解决一切网站制作问题。 查看全部
网站程序自带的采集器采集文章功能。有些网站是通过网站程序的防抓取机制（如：js代码拦截）来实现抓取的。所以你点一下，进行跳转之后，其实你的采集器已经抓取了那篇文章。大部分都是一些在线工具。你可以进入其页面查看。
之前用的java的网站采集器，有一些直接是实现在地址栏点一下就直接跳转到搜索引擎。现在用的是selenium，可以用js文件访问页面进行操作。但还没有上手。
可以尝试百度云助手的页面抓取，不仅仅有日期页面，甚至可以抓到网站源代码，有兴趣可以尝试下。
个人用过的网站抓取工具有11480云采集和liux采集器、电脑型号采集器，但是作为一个刚开始学采集的新手我一直是采用11480云采集，先用11480云采集试一下再说吧。
用采集站抓取器，可以直接抓取链接，
给你提供一个最方便的方法。mendeley-wiki/library官网不提供下载，原因是我用的是百度云，所以直接上wiki啦。
网站采集可以找sendtwist，墙裂推荐。有个红色图标的，你可以去试试。
看一下我们的工具给你介绍的还不错。
感谢邀请。w3school在线教程|linux、windows、mac、android等主流系统教程等。
还有我们公司在做的帮你解决一切网站制作问题。 查看全部
网站程序自带的采集器采集文章功能-w3school在线教程
网站程序自带的采集器采集文章功能。有些网站是通过网站程序的防抓取机制（如：js代码拦截）来实现抓取的。所以你点一下，进行跳转之后，其实你的采集器已经抓取了那篇文章。大部分都是一些在线工具。你可以进入其页面查看。
之前用的java的网站采集器，有一些直接是实现在地址栏点一下就直接跳转到搜索引擎。现在用的是selenium，可以用js文件访问页面进行操作。但还没有上手。
可以尝试百度云助手的页面抓取，不仅仅有日期页面，甚至可以抓到网站源代码，有兴趣可以尝试下。
个人用过的网站抓取工具有11480云采集和liux采集器、电脑型号采集器，但是作为一个刚开始学采集的新手我一直是采用11480云采集，先用11480云采集试一下再说吧。
用采集站抓取器，可以直接抓取链接，
给你提供一个最方便的方法。mendeley-wiki/library官网不提供下载，原因是我用的是百度云，所以直接上wiki啦。
网站采集可以找sendtwist，墙裂推荐。有个红色图标的，你可以去试试。
看一下我们的工具给你介绍的还不错。
感谢邀请。w3school在线教程|linux、windows、mac、android等主流系统教程等。
还有我们公司在做的帮你解决一切网站制作问题。
网站程序自带的采集器采集文章标题和描述什么的还行
采集交流 • 优采云 发表了文章 • 0 个评论 • 127 次浏览 • 2022-06-04 04:10
网站程序自带的采集器采集文章标题和描述什么的还行
网站程序自带的采集器采集文章标题和描述什么的还行，要是遇到高权重的站群那就跟走钢丝一样。不是说不能采集，网站优化阶段发布任何东西都是有个有利的action来降低被封站的概率的。
上面的你是说新闻嘛?具体啥新闻啥标题不好说,就说下我知道的吧,你把域名下的文章以ab后缀方式发布到买域名的公司,公司会每天发几篇ab后缀的文章给域名所有者.其他也有不少ab后缀文章,但是新闻很少.
最简单的方法采集网页文章发到相关的站点去
说到底，网站的新闻类文章一般有两种采集方式：第一，快照采集。常见的是在360等搜索引擎提交信息，然后再百度收录。第二，url采集。常见的是用百度站长平台，把相关的文章url提交给百度收录。
采集快照，
新闻站被黑，最最直接的原因，是被爆出其他关键词关联，来一起黑你，不过主要是新闻站；如果关键词也是采集的，那就不好了，如果非得黑你，除非在百度新闻里有关键词排名而且收录页面少，不然采集出来新闻全是一个id码，你发邮件他回来，黑你邮件怎么写；也可以改站的方式搞新闻站，这里说的站名是类似高德，google这种搜索引擎，新闻站投诉比较难，如果是站名复制粘贴就很容易搞，一般新闻站只要发布东西，就能在关键词里投诉到，更何况有些企业站不注重管理，有账号恶意刷关键词，像这种怎么搞呢？百度站长平台搞很麻烦，其他站长平台不容易搞，才是万恶之源。 查看全部
网站程序自带的采集器采集文章标题和描述什么的还行，要是遇到高权重的站群那就跟走钢丝一样。不是说不能采集，网站优化阶段发布任何东西都是有个有利的action来降低被封站的概率的。
上面的你是说新闻嘛?具体啥新闻啥标题不好说,就说下我知道的吧,你把域名下的文章以ab后缀方式发布到买域名的公司,公司会每天发几篇ab后缀的文章给域名所有者.其他也有不少ab后缀文章,但是新闻很少.
最简单的方法采集网页文章发到相关的站点去
说到底，网站的新闻类文章一般有两种采集方式：第一，快照采集。常见的是在360等搜索引擎提交信息，然后再百度收录。第二，url采集。常见的是用百度站长平台，把相关的文章url提交给百度收录。
采集快照，
新闻站被黑，最最直接的原因，是被爆出其他关键词关联，来一起黑你，不过主要是新闻站；如果关键词也是采集的，那就不好了，如果非得黑你，除非在百度新闻里有关键词排名而且收录页面少，不然采集出来新闻全是一个id码，你发邮件他回来，黑你邮件怎么写；也可以改站的方式搞新闻站，这里说的站名是类似高德，google这种搜索引擎，新闻站投诉比较难，如果是站名复制粘贴就很容易搞，一般新闻站只要发布东西，就能在关键词里投诉到，更何况有些企业站不注重管理，有账号恶意刷关键词，像这种怎么搞呢？百度站长平台搞很麻烦，其他站长平台不容易搞，才是万恶之源。 查看全部
网站程序自带的采集器采集文章标题和描述什么的还行
网站程序自带的采集器采集文章标题和描述什么的还行，要是遇到高权重的站群那就跟走钢丝一样。不是说不能采集，网站优化阶段发布任何东西都是有个有利的action来降低被封站的概率的。
上面的你是说新闻嘛?具体啥新闻啥标题不好说,就说下我知道的吧,你把域名下的文章以ab后缀方式发布到买域名的公司,公司会每天发几篇ab后缀的文章给域名所有者.其他也有不少ab后缀文章,但是新闻很少.
最简单的方法采集网页文章发到相关的站点去
说到底，网站的新闻类文章一般有两种采集方式：第一，快照采集。常见的是在360等搜索引擎提交信息，然后再百度收录。第二，url采集。常见的是用百度站长平台，把相关的文章url提交给百度收录。
采集快照，
新闻站被黑，最最直接的原因，是被爆出其他关键词关联，来一起黑你，不过主要是新闻站；如果关键词也是采集的，那就不好了，如果非得黑你，除非在百度新闻里有关键词排名而且收录页面少，不然采集出来新闻全是一个id码，你发邮件他回来，黑你邮件怎么写；也可以改站的方式搞新闻站，这里说的站名是类似高德，google这种搜索引擎，新闻站投诉比较难，如果是站名复制粘贴就很容易搞，一般新闻站只要发布东西，就能在关键词里投诉到，更何况有些企业站不注重管理，有账号恶意刷关键词，像这种怎么搞呢？百度站长平台搞很麻烦，其他站长平台不容易搞，才是万恶之源。
为什么一些网站不做外链就不会被惩罚？-八维教育
采集交流 • 优采云 发表了文章 • 0 个评论 • 39 次浏览 • 2022-05-28 11:04
为什么一些网站不做外链就不会被惩罚？-八维教育
网站程序自带的采集器采集文章是加密和发给自己公司的站长。私人站长以及卖网站的才会购买这些站点。这些站点又称为“xx站”，就是你说的外链收藏等等。
网站程序本身带有收录规则，但这些收录规则是基于外链来的，外链主要方式有免费外链、付费外链、网站自身内部推广等。
已经有提问了：为什么一些网站不做外链就不会被惩罚？其实对于一些网站很多站长一般会有一个错误的认识，那就是“不做外链就不会被惩罚”，不做外链被惩罚主要是因为网站seo方面的工作做的不到位，不代表不做外链就是假的外链。比如说要判断搜索引擎是否为惩罚网站,就要看网站是否具有被惩罚的危险性，如果有危险性网站就是需要进行惩罚。
这里引用一个小网站的案例给大家参考。我先讲一下这个网站的seo及文章查询功能，seo技术上、文章上不带广告、不被惩罚、未更新的文章为博客,其他形式的不带广告、未更新的文章为文章。这个网站是做关键词排名，目标关键词很重要，做到前50名这个网站的重要性不言而喻，给大家可以看一下日权重以及分类排名，这个网站是关于车辆的，可以看到这个网站的权重排名是631，排名在我们这些渣网站中是很前面的了，大家再看一下它更新的文章的数量，这个网站更新文章数量多，中长篇的文章也多，大家如果有想要学习seo技术的朋友，可以在qq群474721048进行交流，如果有朋友看到这个网站的帖子可以给网站点个赞，网站有问题欢迎咨询我。
看日权重网站权重是272.平均在百分之40以上，这里给大家介绍一下百分之40可以有多厉害，如果我们单独把那两条“网站不能更新的几种情况：导致百分百死站”和百分之50可以有多厉害，百分之20也就是seo小白估计都知道的一条，如果有比这条百分之20多的网站，请给我点赞，我去学习更新更多的东西。此网站的权重也是非常高的，平均百分之40的日权重，并且还是三环的，百分之40是什么概念，基本上百分之50是前30名，百分之40是前30名，百分之50是前30名，可以说这个网站的权重可以说是非常高了，对于seo来说真正有问题的还不是网站，而是这种一站通技术的弊端，这样就导致很多网站进行不了优化，这是其中一个最大的弊端。
这个网站具体做了哪些工作呢，请大家继续往下看，接下来给大家举个实例：先打开这个网站，这里要讲一下不能更新哪几种网站内容：导致百分百死站是seo里面最常见的一种情况了，导致百分百死站的原因有很多种，常见的有：ip性质不友好、网站内容为企业内部宣传资料、网站内容为自己网站首页广告，以及网站内容低质量等等一般而言。 查看全部
网站程序自带的采集器采集文章是加密和发给自己公司的站长。私人站长以及卖网站的才会购买这些站点。这些站点又称为“xx站”，就是你说的外链收藏等等。
网站程序本身带有收录规则，但这些收录规则是基于外链来的，外链主要方式有免费外链、付费外链、网站自身内部推广等。
已经有提问了：为什么一些网站不做外链就不会被惩罚？其实对于一些网站很多站长一般会有一个错误的认识，那就是“不做外链就不会被惩罚”，不做外链被惩罚主要是因为网站seo方面的工作做的不到位，不代表不做外链就是假的外链。比如说要判断搜索引擎是否为惩罚网站,就要看网站是否具有被惩罚的危险性，如果有危险性网站就是需要进行惩罚。
这里引用一个小网站的案例给大家参考。我先讲一下这个网站的seo及文章查询功能，seo技术上、文章上不带广告、不被惩罚、未更新的文章为博客,其他形式的不带广告、未更新的文章为文章。这个网站是做关键词排名，目标关键词很重要，做到前50名这个网站的重要性不言而喻，给大家可以看一下日权重以及分类排名，这个网站是关于车辆的，可以看到这个网站的权重排名是631，排名在我们这些渣网站中是很前面的了，大家再看一下它更新的文章的数量，这个网站更新文章数量多，中长篇的文章也多，大家如果有想要学习seo技术的朋友，可以在qq群474721048进行交流，如果有朋友看到这个网站的帖子可以给网站点个赞，网站有问题欢迎咨询我。
看日权重网站权重是272.平均在百分之40以上，这里给大家介绍一下百分之40可以有多厉害，如果我们单独把那两条“网站不能更新的几种情况：导致百分百死站”和百分之50可以有多厉害，百分之20也就是seo小白估计都知道的一条，如果有比这条百分之20多的网站，请给我点赞，我去学习更新更多的东西。此网站的权重也是非常高的，平均百分之40的日权重，并且还是三环的，百分之40是什么概念，基本上百分之50是前30名，百分之40是前30名，百分之50是前30名，可以说这个网站的权重可以说是非常高了，对于seo来说真正有问题的还不是网站，而是这种一站通技术的弊端，这样就导致很多网站进行不了优化，这是其中一个最大的弊端。
这个网站具体做了哪些工作呢，请大家继续往下看，接下来给大家举个实例：先打开这个网站，这里要讲一下不能更新哪几种网站内容：导致百分百死站是seo里面最常见的一种情况了，导致百分百死站的原因有很多种，常见的有：ip性质不友好、网站内容为企业内部宣传资料、网站内容为自己网站首页广告，以及网站内容低质量等等一般而言。 查看全部
为什么一些网站不做外链就不会被惩罚？-八维教育
网站程序自带的采集器采集文章是加密和发给自己公司的站长。私人站长以及卖网站的才会购买这些站点。这些站点又称为“xx站”，就是你说的外链收藏等等。
网站程序本身带有收录规则，但这些收录规则是基于外链来的，外链主要方式有免费外链、付费外链、网站自身内部推广等。
已经有提问了：为什么一些网站不做外链就不会被惩罚？其实对于一些网站很多站长一般会有一个错误的认识，那就是“不做外链就不会被惩罚”，不做外链被惩罚主要是因为网站seo方面的工作做的不到位，不代表不做外链就是假的外链。比如说要判断搜索引擎是否为惩罚网站,就要看网站是否具有被惩罚的危险性，如果有危险性网站就是需要进行惩罚。
这里引用一个小网站的案例给大家参考。我先讲一下这个网站的seo及文章查询功能，seo技术上、文章上不带广告、不被惩罚、未更新的文章为博客,其他形式的不带广告、未更新的文章为文章。这个网站是做关键词排名，目标关键词很重要，做到前50名这个网站的重要性不言而喻，给大家可以看一下日权重以及分类排名，这个网站是关于车辆的，可以看到这个网站的权重排名是631，排名在我们这些渣网站中是很前面的了，大家再看一下它更新的文章的数量，这个网站更新文章数量多，中长篇的文章也多，大家如果有想要学习seo技术的朋友，可以在qq群474721048进行交流，如果有朋友看到这个网站的帖子可以给网站点个赞，网站有问题欢迎咨询我。
看日权重网站权重是272.平均在百分之40以上，这里给大家介绍一下百分之40可以有多厉害，如果我们单独把那两条“网站不能更新的几种情况：导致百分百死站”和百分之50可以有多厉害，百分之20也就是seo小白估计都知道的一条，如果有比这条百分之20多的网站，请给我点赞，我去学习更新更多的东西。此网站的权重也是非常高的，平均百分之40的日权重，并且还是三环的，百分之40是什么概念，基本上百分之50是前30名，百分之40是前30名，百分之50是前30名，可以说这个网站的权重可以说是非常高了，对于seo来说真正有问题的还不是网站，而是这种一站通技术的弊端，这样就导致很多网站进行不了优化，这是其中一个最大的弊端。
这个网站具体做了哪些工作呢，请大家继续往下看，接下来给大家举个实例：先打开这个网站，这里要讲一下不能更新哪几种网站内容：导致百分百死站是seo里面最常见的一种情况了，导致百分百死站的原因有很多种，常见的有：ip性质不友好、网站内容为企业内部宣传资料、网站内容为自己网站首页广告，以及网站内容低质量等等一般而言。
如何快速搭建实用的爬虫管理平台?
采集交流 • 优采云 发表了文章 • 0 个评论 • 73 次浏览 • 2022-05-17 10:44
如何快速搭建实用的爬虫管理平台?
本篇文章内容较多，涉及知识较广，请读者耐心阅读。
前言大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这会凭空增添很多附加的管理成本。同时，爬虫管理者还需要应对网站内容变更、持续增量抓取、任务失败等问题。因此一个成熟的爬虫管理流程应该包含一个管理系统，能够有效处理上述问题。理解什么是爬虫管理平台定义爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。当然，上述这个定义是狭义的，通常针对于技术人员或开发者或技术经理。
企业内部一般都会开发自己的内部爬虫管理系统，以应对复杂的爬虫管理需求。这样的系统就是上述定义的狭义的爬虫管理平台。广义爬虫管理平台而什么是广义的爬虫管理平台呢？您可能听说过优采云（后转型为优采云采集器）和优采云吧。前者是基于云服务的，可以在线上编写、运行和监控爬虫，在广义爬虫平台中最接近狭义定义的爬虫管理平台；后者是一个大众的商业爬虫抓取工具，可以让小白用户拖拉拽编写、运行爬虫，导出数据。您也可能见过各种 API 聚合服务商，例如聚合数据，这是一个可以直接调用网站接口获取数据的平台，这其实也算作爬虫平台的一个变种，只是它帮你完成了爬虫编写这一过程。而介于这两者之间的呢，国外有一家叫 Kimonolab 的公司，它开发了一个叫 Kimono 的 Chrome 插件，可以让用户在页面上可视化的点击元素并生成抓取规则，并在其网站上生成爬虫程序，用户提交任务，后台就可以自动在网站上抓取数据了。Kimono 是一个伟大的爬虫应用，但可惜的是，Kimonolab 已经被大数据公司 Plantir 收购，现在也就无法体验了。在本文中，我们主要关注狭义定义的爬虫管理平台，因此后面所讲到的爬虫管理平台都是指狭义的定义。爬虫管理平台模块以下是一个典型的爬虫管理平台所涉及的模块。
典型爬虫管理平台的模块主要包含以下内容：当然，有些爬虫管理平台可能还不止这些模块，它可能包括其他比较实用的功能，例如可配置的抓取规则、可视化配置抓取规则、代理池、Cookie 池、异常监控等等。为什么需要爬虫管理平台有了爬虫管理平台，开发者特别是爬虫工程师就能够方便的添加爬虫、执行任务、查看结果，而不用在命令行之间来回切换，非常容易出错。一个常见的场景就是爬虫工程师最初技术选型用了 scrapy 和 crontab 来管理爬虫任务，他不得不小心翼翼的选择定时任务的时间区间，以至于不会将服务器 CPU 或内存占满；更棘手的问题是，他还需要将 scrapy 产生的日志存到文件里，一旦爬虫出错了，他不得不用 shell 命令一个一个来查看日志来定位错误原因，严重时会花上一个整天；还有个严重的问题，爬虫工程师可能发现公司业务量在增加，他需要写上百个爬虫来满足公司的业务需求，而用 scrapy 和 crontab 来管理完全就是个噩梦。可怜的爬虫工程师其实完全可以选择一个合适爬虫管理平台来解决他的问题。如何选择一个合适的爬虫管理平台当您愿意解决前面提到的爬虫工程师遇到的困难问题，而转而想选择一个合适的爬虫管理平台时。您首先应该回答的问题是：我们是否需要从零开始开发一套系统（Start from scratch）？要回答这个问题，您应该先回答下面几个问题：我们的需求是否复杂到需要完全定制化开发一套新系统（例如要求复杂的权限管理）？我们的团队是否有足够的技术实力来开发这套系统（例如有经验丰富的前后端开发工程师）？我们的时间资源是否足够我们开发这套系统（例如项目计划周期为一年）？如果上述三个问题的答案任意一个为“否”，您应该好好考虑利用市面上已有的开源爬虫管理平台来满足您的需求。以下为市面上已有的开源爬虫管理平台：平台名称技术优点缺点
SpiderKeeper
Python Flask
基于 scrapyd，开源版 Scrapyhub，非常简洁的 UI 界面，支持定时任务
可能有些过于简洁了，不支持分页，不支持节点管理，不支持 scrapy 以外的爬虫
Gerapy
Python Django + Vue
Gerapy 是崔庆才大神开发的爬虫管理平台，安装部署非常简单，同样基于 scrapyd，有精美的 UI 界面，支持节点管理、代码编辑、可配置规则等功能
同样不支持 scrapy 以外的爬虫，而且据使用者反馈，1.0 版本有很多 bug，期待 2.0 版本会有一定程度的改进
Scrapydweb
Python Flask + Vue
精美的 UI 界面，内置了 scrapy 日志解析器，有较多任务运行统计图表，支持节点管理、定时任务、邮件提醒、移动界面，算是 scrapy-based 中功能完善的爬虫管理平台
同样不支持 scrapy 以外的爬虫，Python Flask 为后端，性能上有一定局限性
Crawlab
Golang + Vue
不局限于 scrapy，可以运行任何语言和框架的爬虫，精美的 UI 界面，天然支持分布式爬虫，支持节点管理、爬虫管理、任务管理、定时任务、结果导出、数据统计等功能
部署稍微有一些麻烦（不过利用 Docker 可以一键部署），最新版本暂时不支持可配置爬虫
总的来说，SpiderKeeper 可能是最早的爬虫管理平台，但功能相对来说比较局限；Gerapy 虽然功能齐全，界面精美，但有不少 bug 需要处理，建议有需求的用户等待 2.0 版本；Scrapydweb是一个比较完善的爬虫管理平台，不过和前两者一样，都是基于 scrapyd 的，因此只能运行 scrapy 爬虫；而Crawlab是一个非常灵活的爬虫管理平台，可以运行 Python、Nodejs、Java、PHP、Go 写的爬虫，而且功能比较齐全，只是部署起来相对于前三者来说要麻烦一些，不过对于 Docker 使用者来说可以做到一件部署（后面我们会讲）。
因此，对于重度 scrapy 爬虫依赖的、又不想折腾的开发者，可以考虑 Scrapydweb；而对于有各种类型的、复杂技术结构的爬虫开发者来说，应该优先考虑更灵活的 Crawlab。当然，不是说 Crawlab 对 scrapy 支持不友好，Crawlab 同样可以很好的集成 scrapy，后面会介绍。作为 Crawlab 的作者，不想王婆卖瓜，自卖自夸，作者仅仅希望将最好的技术选型推荐给开发者，让开发者根据自身的需求来决定该使用哪种爬虫管理平台。爬虫管理平台 Crawlab 介绍简介Crawlab 是基于 Golang 的分布式爬虫管理平台，支持 Python、NodeJS、Java、Go、PHP 等多种编程语言以及多种爬虫框架。Crawlab 自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用 Crawlab 搭建公司的爬虫平台。经过近数月的迭代，Crawlab 陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将平台变得得更加实用，更加全面，能够真正帮助用户解决爬虫管理困难的问题。如今在 Github 上有近 1k 的 star，相关社区（微信群、微信公众号）也建立起来，四分之一的用户表示已经将 Crawlab 应用于企业爬虫管理。可以看出，Crawlab 是受开发者们关注和喜欢的。解决问题Crawlab 主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂 scrapy 和 selenium 的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab 支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。界面及使用下面是 Crawlab 爬虫列表页面的截图。
用户只需要将爬虫上传到 Crawlab，配置执行命令，点击“运行”按钮，就可以执行爬虫任务了。爬虫任务可以在任何节点上运行。从上图可以看到，Crawlab 有节点管理、爬虫管理、任务管理、定时任务、用户管理等模块。整体架构以下是 Crawlab 的整体架构图，由五大部分组成：主节点（Master Node）：负责任务派发、API、部署爬虫等；工作节点（Worker Node）：负责执行爬虫任务；MongoDB 数据库：存储节点、爬虫、任务等日常运行数据；Redis 数据库：储存任务消息队列、节点心跳等信息。前端客户端：Vue 应用，负责前端交互和向后端请求数据。
关于 Crawlab 如何使用和详细原理超出了本篇文章的范围，感兴趣的可以去参考Github 主页或相关文档。Github地址及Demo使用 Docker 部署安装 CrawlabDocker 镜像Docker 是部署 Crawlab 最方便和简洁的方式。其他部署方式包括直接部署，不过对于想快速搭建平台的开发者来说不推荐。Crawlab 已在Dockerhub上注册了相关的镜像，开发者仅需要执行docker pull tikazyq/crawlab命令就可以将 Crawlab 的镜像下载下来。读者可以去 Dockerhub 上查看 Crawlab 的镜像，只有仅不到 300Mb。地址：/r/tikazyq/c…
安装 Docker要使用 Docker 来部署 Crawlab，您首先得保证 Docker 已经安装好。请参考以下文档来安装。操作系统文档
Mac
/docker-for-…
Windows
/docker-for-…
Ubuntu
/install/lin…
Debian
/install/lin…
CentOS
/install/lin…
Fedora
/install/lin…
其他 Linux 发行版
/install/lin…
安装 Docker Compose
Docker Compose 是简单的运行 Docker 集群的工具，非常轻量级，我们将用到 Docker Compose 来一键部署 Crawlab。Docker 的官方网站已经有如何安装 Docker Compose 的教程，点击链接查看。这里简单介绍一下。操作系统安装步骤
Mac
Docker Desktop for Mac 或 Docker Toolbox 自带，不用单独安装
Windows
Docker Desktop for Windows 或 Docker Toolbox 自带，不用单独安装
Linux
参考表格下面的命令
其他选择
通过pip安装，pip install docker-compose，如果没有virtualenv，需要用sudo
Linux 用户请用以下命令安装。
# 下载 docker-compose<br />sudo curl -L "https://github.com/docker/comp ... pose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose`<br /><br /># 将 docker-compose 变成执行文件<br />sudo chmod +x /usr/local/bin/docker-compose<br />
拉取镜像在拉取镜像之前，您需要配置一下镜像源。因为在国内，使用原有的镜像源速度不是很快，需要使用 DockerHub 在国内的加速器。请创建/etc/docker/daemon.json文件，输入如下内容。
{<br /> "registry-mirrors": ["https://registry.docker-cn.com"]<br />}<br />
然后拉取镜像，就会快很多了。当然，您也可以用其他镜像源，可以网上去搜索一下。执行以下命令将 Crawlab 镜像拉取下来。
docker pull tikazyq/crawlab:latest<br />
下图为拉取镜像时的命令行界面。
启动 Crawlab我们将用 Docker Compose 启动 Crawlab 以及其依赖的数据库 MongoDB 和 Redis。首先我们需要修改一下 Docker Compose 的 yaml 配置文件docker-compose.yml。这个配置文件定义了需要启动的容器服务（Container Services）以及网络配置（Network Configuration）。这里我们用 Crawlab 自带的docker-compose.yml。
version: '3.3' # Docker Compose 的版本号（请看后续说明）<br />services: # 服务<br /> master: # 服务名称<br /> image: tikazyq/crawlab:latest # 服务对应的镜像名称<br /> container_name: master # 服务对应的容器名称<br /> environment: # 这里定义传入的环境变量<br /> CRAWLAB_API_ADDRESS: "localhost:8000" # 前端调用的 API 地址，默认为 localhost:8000<br /> CRAWLAB_SERVER_MASTER: "Y" # 是否为主节点，Y/N<br /> CRAWLAB_MONGO_HOST: "mongo" # MongoDB host，由于在 Docker Compose 里，可以引用服务名称<br /> CRAWLAB_REDIS_ADDRESS: "redis" # Redis host，由于在 Docker Compose 里，可以引用服务名称<br /> ports: # 映射的端口<br /> - "8080:8080" # 前端端口<br /> - "8000:8000" # 后端端口<br /> depends_on: # 依赖的服务<br /> - mongo # MongoDB<br /> - redis # Redis<br /> worker: # 工作节点，与主节点配置类似，不重复写了<br /> image: tikazyq/crawlab:latest<br /> container_name: worker<br /> environment:<br /> CRAWLAB_SERVER_MASTER: "N"<br /> CRAWLAB_MONGO_HOST: "mongo"<br /> CRAWLAB_REDIS_ADDRESS: "redis"<br /> depends_on:<br /> - mongo<br /> - redis<br /> mongo: # MongoDB 服务名称<br /> image: mongo:latest # MongoDB 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "27017:27017"<br /> redis: # Redis 服务名称<br /> image: redis:latest # Redis 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "6379:6379"<br />
读者可以根据自己的要求来配置docker-compose.yml。尤其需要注意CRAWLAB_API_ADDRESS这个环境变量，很多初学使用者都是因为该变量配置不正确而导致无法登陆。大多数情况，您不用做任何配置更改。请参考Q&A来处理常见问题，以及详细的环境变量配置文档来帮助根据自身环境配置 Crawlab。然后，运行下列命令启动 Crawlab。可以加一个-d参数让 Docker Compose 后台运行。
docker-compose up<br />
运行上述命令后，Docker Compose 会去拉取 MongoDB 和 Redis 的镜像，这可能会花几分钟时间。拉取完毕后，四个服务会依次启动，您将会在命令行中看到如下内容。
正常情况下，您应该可以看到四个服务都启动成功，并能够顺利打印日志。如果启动不成功，请微信联系作者（tikazyq1）或在 Github 上提 Issue。如果您是在本机上启动的 Docker Compose，可以在浏览器中输入:8080，然后就能看到登陆界面了；如果您是在其他机器上启动的 Docker Compose，您需要在浏览器中输入:8080来看到登陆界面，是其他机器的 IP 地址（请保证 8080 端口在该机器已对外开放）。
初始登陆用户名密码是 admin/admin，您可以使用这个用户名密码来登陆。如果您的环境变量CRAWLAB_API_ADDRESS设置得不正确，您可能会看到点击登陆后登陆按钮会一直转圈而没有任何提示。这时请重新在docker-compose.yml中设置正确的CRAWLAB_API_ADDRESS（将localhost替换为），重新启动docker-compose up。然后在浏览器中输入:8080。登陆之后您将看到 Crawlab 的主页。
本篇文章主要介绍如何搭建爬虫管理平台 Crawlab，因此不会详细介绍如何使用 Crawlab（可能会创建另一篇文章来详细介绍，有兴趣者可以关注一下）。如果您有困惑，请查看相关文档来了解如何使用。同时，您也可以加作者微信（tikazyq1）并注明 Crawlab，作者将将您拉入讨论群，您可以在那里答疑解惑。如何将 Scrapy 等爬虫集成到 Crawlab众所周知，Scrapy 是非常受欢迎的爬虫框架，其灵活的框架设计、高并发、易用性以及可扩展性让很多开发者和企业大量采用。市面上的爬虫管理平台几乎都支持 Scrapy 爬虫，Crawlab 也不例外，但 Crawlab 可以运行 puppeteer、selenium 等其他爬虫。下面将介绍一下在 Crawlab 中如何运行 scrapy 爬虫。Crawlab 是执行爬虫基本原理Crawlab 执行爬虫的原理很简单，其实就是一个 shell 命令。用户在爬虫中输入执行爬虫的 shell 命令，例如scrapy crawl some_spider，Crawlab 执行器会读取这个命令，并在 shell 中直接执行。因此，每一次运行爬虫任务，就是执行了一次 shell 命令（当然，实际情况要比这个复杂很多，感兴趣的可以去参考官方文档）。Crawlab 是支持展示和导出爬虫结果的，不过这需要稍微多做一些工作。编写 Pipeline要集成 scrapy 爬虫，无非就是将爬虫抓取的数据存到 Crawlab 的数据库里，然后用任务 ID 关联起来。每次执行爬虫任务，任务 ID 会通过环境变量传到爬虫程序中，因此我们需要做的就是将任务 ID 加上结果存到数据库里（Crawlab 现在只支持 MongoDB，后期会开发 MySQL、SQL Server、Postgres 等关系型数据库，有需求的用户可以关注一下）。在 Scrapy 中，我们需要编写储存逻辑。示意代码如下：
# 引入相关的库，pymongo 是标准连接 MongoDB 的库<br />import os<br />from pymongo import MongoClient<br /><br /># MongoDB 配置参数<br />MONGO_HOST = '192.168.99.100'<br />MONGO_PORT = 27017<br />MONGO_DB = 'crawlab_test'<br /><br />class JuejinPipeline(object):<br /> mongo = MongoClient(host=MONGO_HOST, port=MONGO_PORT) # mongo 连接实例<br /> db = mongo[MONGO_DB] # 数据库实例<br /> col_name = os.environ.get('CRAWLAB_COLLECTION') # 集合名称，通过环境变量 CRAWLAB_COLLECTION 传过来<br /><br /> # 如果 CRAWLAB_COLLECTION 不存在，则默认集合名称为 test<br /> if not col_name:<br /> col_name = 'test'<br /><br /> col = db[col_name] # 集合实例<br /><br /> # 每一个传入 item 会调用的函数，参数分别为 item 和 spider<br /> def process_item(self, item, spider):<br /> item['task_id'] = os.environ.get('CRAWLAB_TASK_ID') # 将 task_id 设置为环境变量传过来的任务 ID<br /> self.col.save(item) # 保存 item 在数据库中<br /> return item<br />
同时，您也需要在items.py中加入task_id字段，已保证值能够被赋上（这很重要）。上传并配置爬虫在运行爬虫之前，您需要上传爬虫文件到主节点。步骤如下：将爬虫文件打包成 zip（注意，要保证在根目录下直接打包）；在侧边栏点击“爬虫”导航至爬虫列表，点击“添加爬虫”按钮，选择“自定义爬虫”；点击“上传”按钮，选择刚刚打包好的 zip 文件上传成功后，爬虫列表中会出现新添加的自定义爬虫，这样就算上传成功了。可以在爬虫详情中点击“文件”标签，选择一个文件，可以在文件中编辑代码。
接下来，您需要在“概览”标签中的“执行命令”一栏输入爬虫的 shell 执行命令。Crawlab 的 Docker 镜像里是内置了 scrapy 的，因此可以直接运行 scrapy 爬虫。命令就是scrapy crawl。点击“保存”按钮保存爬虫配置。运行爬虫任务然后就是运行爬虫任务了。其实很简单，在“概览”标签中点击“运行”按钮，爬虫任务就开始运行了。如果日志提示找不到 scrapy 命令，可以将scrapy改为绝对路径/usr/local/bin/scrapy，这样就会运行成功。任务运行情况会在“任务”页面或者爬虫“概览”里展现，会每 5 秒钟更新一次，大家可以在这上面查看。而且在爬虫“结果”标签里，可以预览结果的详情，还可以导出数据成 CSV 文件。构建持续集成（CI）工作流对于企业来说，软件开发一般是一个自动化过程。它会经历需求、开发、部署、测试、上线这几个步骤。而这个流程一般是不断迭代（Iterative）的，需要不断更新和发布。以爬虫为例，您上线了一个爬虫，这个爬虫会定期抓取网站数据。但突然有一天您发现数据抓不到了，您快速定位原因，发现原来是网站改版了，您需要更改爬虫抓取规则来应对网站的改版。总之，您需要发布一个代码更新。最快的做法是直接在线上更改代码。但这样做非常危险：第一，您无法测试您更新后的代码，只能通过不断调整线上代码来测试是否抓取成功；第二，您无法记录这次更改，后期如果出了问题您很可能会忽略掉这次更改，从而导致 bug。您需要做的，无非是将您的爬虫代码用版本管理工具管理起来。我们有很多版本管理工具，最常用的就是 git、subversion，版本管理平台包括 Gitlab、Bitbucket、自搭 Git 仓库等。当我们更新了代码，我们需要将更新后的代码发布到线上服务器。这时您需要用自己写部署脚本，或者更方便的，用 Jenkins 作为持续集成（Continuous Integration）管理平台。Jenkins 是一个持续集成平台，可以通过获取版本库来更新部署代码，是非常实用的工具，在很多企业中都有用到。下图是如何将 Crawlab 爬虫应用到持续集成工作流程中的例子。
要在 Crawlab 中创建或更新爬虫有两种方式：上传打包成后的 zip 文件；通过更改主节点中目录CRAWLAB_SPIDER_PATH中的爬虫文件。我们做持续集成，就是针对第二种方式。步骤如下：用 Gitlab 或其他平台搭建好代码仓库；在 Jenkins 中创建一个项目，在项目中将代码源指向之前创建的仓库；在 Jenkins 项目中编写工作流，将发布地址指向 Crawlab 的CRAWLAB_SPIDER_PATH，如果是 Docker 注意将该地址挂载到宿主机文件系统；Jenkins 项目的工作可以直接编写，也可以用 Jenkinsfile，具体可以查相关资料；这样，每一次代码更新提交到代码仓库后，Jenkins 就会将更新后的代码发布到 Crawlab 里，Crawlab 主节点会将爬虫代码同步到工作节点，以待抓取。总结本篇文章主要介绍了爬虫管理平台的定义、如何选择爬虫管理平台，着重介绍了如何搭建开源爬虫管理平台 Crawlab，另外还讲到了如何集成 scrapy 爬虫以及如何打造持续集成工作流。本篇文章没有涉及到的内容还有很多，包括如何 Crawlab 的原理和架构详情、如何使用 Crawlab、如何编写大规模爬虫、如何使用 Jenkins 等等。这些内容可能会在其他文章中发布，请感兴趣的读者多多关注。另外，Crawlab 还有一些需要提升的地方，例如异常监控（零值、空值）、可配置爬虫、可视化抓取、日志集中收集等等。这些功能都将在以后陆续开发和发布，请大家也多多关注。 查看全部
本篇文章内容较多，涉及知识较广，请读者耐心阅读。
前言大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这会凭空增添很多附加的管理成本。同时，爬虫管理者还需要应对网站内容变更、持续增量抓取、任务失败等问题。因此一个成熟的爬虫管理流程应该包含一个管理系统，能够有效处理上述问题。理解什么是爬虫管理平台定义爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。当然，上述这个定义是狭义的，通常针对于技术人员或开发者或技术经理。
企业内部一般都会开发自己的内部爬虫管理系统，以应对复杂的爬虫管理需求。这样的系统就是上述定义的狭义的爬虫管理平台。广义爬虫管理平台而什么是广义的爬虫管理平台呢？您可能听说过优采云（后转型为优采云采集器）和优采云吧。前者是基于云服务的，可以在线上编写、运行和监控爬虫，在广义爬虫平台中最接近狭义定义的爬虫管理平台；后者是一个大众的商业爬虫抓取工具，可以让小白用户拖拉拽编写、运行爬虫，导出数据。您也可能见过各种 API 聚合服务商，例如聚合数据，这是一个可以直接调用网站接口获取数据的平台，这其实也算作爬虫平台的一个变种，只是它帮你完成了爬虫编写这一过程。而介于这两者之间的呢，国外有一家叫 Kimonolab 的公司，它开发了一个叫 Kimono 的 Chrome 插件，可以让用户在页面上可视化的点击元素并生成抓取规则，并在其网站上生成爬虫程序，用户提交任务，后台就可以自动在网站上抓取数据了。Kimono 是一个伟大的爬虫应用，但可惜的是，Kimonolab 已经被大数据公司 Plantir 收购，现在也就无法体验了。在本文中，我们主要关注狭义定义的爬虫管理平台，因此后面所讲到的爬虫管理平台都是指狭义的定义。爬虫管理平台模块以下是一个典型的爬虫管理平台所涉及的模块。
典型爬虫管理平台的模块主要包含以下内容：当然，有些爬虫管理平台可能还不止这些模块，它可能包括其他比较实用的功能，例如可配置的抓取规则、可视化配置抓取规则、代理池、Cookie 池、异常监控等等。为什么需要爬虫管理平台有了爬虫管理平台，开发者特别是爬虫工程师就能够方便的添加爬虫、执行任务、查看结果，而不用在命令行之间来回切换，非常容易出错。一个常见的场景就是爬虫工程师最初技术选型用了 scrapy 和 crontab 来管理爬虫任务，他不得不小心翼翼的选择定时任务的时间区间，以至于不会将服务器 CPU 或内存占满；更棘手的问题是，他还需要将 scrapy 产生的日志存到文件里，一旦爬虫出错了，他不得不用 shell 命令一个一个来查看日志来定位错误原因，严重时会花上一个整天；还有个严重的问题，爬虫工程师可能发现公司业务量在增加，他需要写上百个爬虫来满足公司的业务需求，而用 scrapy 和 crontab 来管理完全就是个噩梦。可怜的爬虫工程师其实完全可以选择一个合适爬虫管理平台来解决他的问题。如何选择一个合适的爬虫管理平台当您愿意解决前面提到的爬虫工程师遇到的困难问题，而转而想选择一个合适的爬虫管理平台时。您首先应该回答的问题是：我们是否需要从零开始开发一套系统（Start from scratch）？要回答这个问题，您应该先回答下面几个问题：我们的需求是否复杂到需要完全定制化开发一套新系统（例如要求复杂的权限管理）？我们的团队是否有足够的技术实力来开发这套系统（例如有经验丰富的前后端开发工程师）？我们的时间资源是否足够我们开发这套系统（例如项目计划周期为一年）？如果上述三个问题的答案任意一个为“否”，您应该好好考虑利用市面上已有的开源爬虫管理平台来满足您的需求。以下为市面上已有的开源爬虫管理平台：平台名称技术优点缺点
SpiderKeeper
Python Flask
基于 scrapyd，开源版 Scrapyhub，非常简洁的 UI 界面，支持定时任务
可能有些过于简洁了，不支持分页，不支持节点管理，不支持 scrapy 以外的爬虫
Gerapy
Python Django + Vue
Gerapy 是崔庆才大神开发的爬虫管理平台，安装部署非常简单，同样基于 scrapyd，有精美的 UI 界面，支持节点管理、代码编辑、可配置规则等功能
同样不支持 scrapy 以外的爬虫，而且据使用者反馈，1.0 版本有很多 bug，期待 2.0 版本会有一定程度的改进
Scrapydweb
Python Flask + Vue
精美的 UI 界面，内置了 scrapy 日志解析器，有较多任务运行统计图表，支持节点管理、定时任务、邮件提醒、移动界面，算是 scrapy-based 中功能完善的爬虫管理平台
同样不支持 scrapy 以外的爬虫，Python Flask 为后端，性能上有一定局限性
Crawlab
Golang + Vue
不局限于 scrapy，可以运行任何语言和框架的爬虫，精美的 UI 界面，天然支持分布式爬虫，支持节点管理、爬虫管理、任务管理、定时任务、结果导出、数据统计等功能
部署稍微有一些麻烦（不过利用 Docker 可以一键部署），最新版本暂时不支持可配置爬虫
总的来说，SpiderKeeper 可能是最早的爬虫管理平台，但功能相对来说比较局限；Gerapy 虽然功能齐全，界面精美，但有不少 bug 需要处理，建议有需求的用户等待 2.0 版本；Scrapydweb是一个比较完善的爬虫管理平台，不过和前两者一样，都是基于 scrapyd 的，因此只能运行 scrapy 爬虫；而Crawlab是一个非常灵活的爬虫管理平台，可以运行 Python、Nodejs、Java、PHP、Go 写的爬虫，而且功能比较齐全，只是部署起来相对于前三者来说要麻烦一些，不过对于 Docker 使用者来说可以做到一件部署（后面我们会讲）。
因此，对于重度 scrapy 爬虫依赖的、又不想折腾的开发者，可以考虑 Scrapydweb；而对于有各种类型的、复杂技术结构的爬虫开发者来说，应该优先考虑更灵活的 Crawlab。当然，不是说 Crawlab 对 scrapy 支持不友好，Crawlab 同样可以很好的集成 scrapy，后面会介绍。作为 Crawlab 的作者，不想王婆卖瓜，自卖自夸，作者仅仅希望将最好的技术选型推荐给开发者，让开发者根据自身的需求来决定该使用哪种爬虫管理平台。爬虫管理平台 Crawlab 介绍简介Crawlab 是基于 Golang 的分布式爬虫管理平台，支持 Python、NodeJS、Java、Go、PHP 等多种编程语言以及多种爬虫框架。Crawlab 自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用 Crawlab 搭建公司的爬虫平台。经过近数月的迭代，Crawlab 陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将平台变得得更加实用，更加全面，能够真正帮助用户解决爬虫管理困难的问题。如今在 Github 上有近 1k 的 star，相关社区（微信群、微信公众号）也建立起来，四分之一的用户表示已经将 Crawlab 应用于企业爬虫管理。可以看出，Crawlab 是受开发者们关注和喜欢的。解决问题Crawlab 主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂 scrapy 和 selenium 的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab 支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。界面及使用下面是 Crawlab 爬虫列表页面的截图。
用户只需要将爬虫上传到 Crawlab，配置执行命令，点击“运行”按钮，就可以执行爬虫任务了。爬虫任务可以在任何节点上运行。从上图可以看到，Crawlab 有节点管理、爬虫管理、任务管理、定时任务、用户管理等模块。整体架构以下是 Crawlab 的整体架构图，由五大部分组成：主节点（Master Node）：负责任务派发、API、部署爬虫等；工作节点（Worker Node）：负责执行爬虫任务；MongoDB 数据库：存储节点、爬虫、任务等日常运行数据；Redis 数据库：储存任务消息队列、节点心跳等信息。前端客户端：Vue 应用，负责前端交互和向后端请求数据。
关于 Crawlab 如何使用和详细原理超出了本篇文章的范围，感兴趣的可以去参考Github 主页或相关文档。Github地址及Demo使用 Docker 部署安装 CrawlabDocker 镜像Docker 是部署 Crawlab 最方便和简洁的方式。其他部署方式包括直接部署，不过对于想快速搭建平台的开发者来说不推荐。Crawlab 已在Dockerhub上注册了相关的镜像，开发者仅需要执行docker pull tikazyq/crawlab命令就可以将 Crawlab 的镜像下载下来。读者可以去 Dockerhub 上查看 Crawlab 的镜像，只有仅不到 300Mb。地址：/r/tikazyq/c…
安装 Docker要使用 Docker 来部署 Crawlab，您首先得保证 Docker 已经安装好。请参考以下文档来安装。操作系统文档
Mac
/docker-for-…
Windows
/docker-for-…
Ubuntu
/install/lin…
Debian
/install/lin…
CentOS
/install/lin…
Fedora
/install/lin…
其他 Linux 发行版
/install/lin…
安装 Docker Compose
Docker Compose 是简单的运行 Docker 集群的工具，非常轻量级，我们将用到 Docker Compose 来一键部署 Crawlab。Docker 的官方网站已经有如何安装 Docker Compose 的教程，点击链接查看。这里简单介绍一下。操作系统安装步骤
Mac
Docker Desktop for Mac 或 Docker Toolbox 自带，不用单独安装
Windows
Docker Desktop for Windows 或 Docker Toolbox 自带，不用单独安装
Linux
参考表格下面的命令
其他选择
通过pip安装，pip install docker-compose，如果没有virtualenv，需要用sudo
Linux 用户请用以下命令安装。
# 下载 docker-compose<br />sudo curl -L "https://github.com/docker/comp ... pose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose`<br /><br /># 将 docker-compose 变成执行文件<br />sudo chmod +x /usr/local/bin/docker-compose<br />
拉取镜像在拉取镜像之前，您需要配置一下镜像源。因为在国内，使用原有的镜像源速度不是很快，需要使用 DockerHub 在国内的加速器。请创建/etc/docker/daemon.json文件，输入如下内容。
{<br /> "registry-mirrors": ["https://registry.docker-cn.com"]<br />}<br />
然后拉取镜像，就会快很多了。当然，您也可以用其他镜像源，可以网上去搜索一下。执行以下命令将 Crawlab 镜像拉取下来。
docker pull tikazyq/crawlab:latest<br />
下图为拉取镜像时的命令行界面。
启动 Crawlab我们将用 Docker Compose 启动 Crawlab 以及其依赖的数据库 MongoDB 和 Redis。首先我们需要修改一下 Docker Compose 的 yaml 配置文件docker-compose.yml。这个配置文件定义了需要启动的容器服务（Container Services）以及网络配置（Network Configuration）。这里我们用 Crawlab 自带的docker-compose.yml。
version: '3.3' # Docker Compose 的版本号（请看后续说明）<br />services: # 服务<br /> master: # 服务名称<br /> image: tikazyq/crawlab:latest # 服务对应的镜像名称<br /> container_name: master # 服务对应的容器名称<br /> environment: # 这里定义传入的环境变量<br /> CRAWLAB_API_ADDRESS: "localhost:8000" # 前端调用的 API 地址，默认为 localhost:8000<br /> CRAWLAB_SERVER_MASTER: "Y" # 是否为主节点，Y/N<br /> CRAWLAB_MONGO_HOST: "mongo" # MongoDB host，由于在 Docker Compose 里，可以引用服务名称<br /> CRAWLAB_REDIS_ADDRESS: "redis" # Redis host，由于在 Docker Compose 里，可以引用服务名称<br /> ports: # 映射的端口<br /> - "8080:8080" # 前端端口<br /> - "8000:8000" # 后端端口<br /> depends_on: # 依赖的服务<br /> - mongo # MongoDB<br /> - redis # Redis<br /> worker: # 工作节点，与主节点配置类似，不重复写了<br /> image: tikazyq/crawlab:latest<br /> container_name: worker<br /> environment:<br /> CRAWLAB_SERVER_MASTER: "N"<br /> CRAWLAB_MONGO_HOST: "mongo"<br /> CRAWLAB_REDIS_ADDRESS: "redis"<br /> depends_on:<br /> - mongo<br /> - redis<br /> mongo: # MongoDB 服务名称<br /> image: mongo:latest # MongoDB 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "27017:27017"<br /> redis: # Redis 服务名称<br /> image: redis:latest # Redis 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "6379:6379"<br />
读者可以根据自己的要求来配置docker-compose.yml。尤其需要注意CRAWLAB_API_ADDRESS这个环境变量，很多初学使用者都是因为该变量配置不正确而导致无法登陆。大多数情况，您不用做任何配置更改。请参考Q&A来处理常见问题，以及详细的环境变量配置文档来帮助根据自身环境配置 Crawlab。然后，运行下列命令启动 Crawlab。可以加一个-d参数让 Docker Compose 后台运行。
docker-compose up<br />
运行上述命令后，Docker Compose 会去拉取 MongoDB 和 Redis 的镜像，这可能会花几分钟时间。拉取完毕后，四个服务会依次启动，您将会在命令行中看到如下内容。
正常情况下，您应该可以看到四个服务都启动成功，并能够顺利打印日志。如果启动不成功，请微信联系作者（tikazyq1）或在 Github 上提 Issue。如果您是在本机上启动的 Docker Compose，可以在浏览器中输入:8080，然后就能看到登陆界面了；如果您是在其他机器上启动的 Docker Compose，您需要在浏览器中输入:8080来看到登陆界面，是其他机器的 IP 地址（请保证 8080 端口在该机器已对外开放）。
初始登陆用户名密码是 admin/admin，您可以使用这个用户名密码来登陆。如果您的环境变量CRAWLAB_API_ADDRESS设置得不正确，您可能会看到点击登陆后登陆按钮会一直转圈而没有任何提示。这时请重新在docker-compose.yml中设置正确的CRAWLAB_API_ADDRESS（将localhost替换为），重新启动docker-compose up。然后在浏览器中输入:8080。登陆之后您将看到 Crawlab 的主页。
本篇文章主要介绍如何搭建爬虫管理平台 Crawlab，因此不会详细介绍如何使用 Crawlab（可能会创建另一篇文章来详细介绍，有兴趣者可以关注一下）。如果您有困惑，请查看相关文档来了解如何使用。同时，您也可以加作者微信（tikazyq1）并注明 Crawlab，作者将将您拉入讨论群，您可以在那里答疑解惑。如何将 Scrapy 等爬虫集成到 Crawlab众所周知，Scrapy 是非常受欢迎的爬虫框架，其灵活的框架设计、高并发、易用性以及可扩展性让很多开发者和企业大量采用。市面上的爬虫管理平台几乎都支持 Scrapy 爬虫，Crawlab 也不例外，但 Crawlab 可以运行 puppeteer、selenium 等其他爬虫。下面将介绍一下在 Crawlab 中如何运行 scrapy 爬虫。Crawlab 是执行爬虫基本原理Crawlab 执行爬虫的原理很简单，其实就是一个 shell 命令。用户在爬虫中输入执行爬虫的 shell 命令，例如scrapy crawl some_spider，Crawlab 执行器会读取这个命令，并在 shell 中直接执行。因此，每一次运行爬虫任务，就是执行了一次 shell 命令（当然，实际情况要比这个复杂很多，感兴趣的可以去参考官方文档）。Crawlab 是支持展示和导出爬虫结果的，不过这需要稍微多做一些工作。编写 Pipeline要集成 scrapy 爬虫，无非就是将爬虫抓取的数据存到 Crawlab 的数据库里，然后用任务 ID 关联起来。每次执行爬虫任务，任务 ID 会通过环境变量传到爬虫程序中，因此我们需要做的就是将任务 ID 加上结果存到数据库里（Crawlab 现在只支持 MongoDB，后期会开发 MySQL、SQL Server、Postgres 等关系型数据库，有需求的用户可以关注一下）。在 Scrapy 中，我们需要编写储存逻辑。示意代码如下：
# 引入相关的库，pymongo 是标准连接 MongoDB 的库<br />import os<br />from pymongo import MongoClient<br /><br /># MongoDB 配置参数<br />MONGO_HOST = '192.168.99.100'<br />MONGO_PORT = 27017<br />MONGO_DB = 'crawlab_test'<br /><br />class JuejinPipeline(object):<br /> mongo = MongoClient(host=MONGO_HOST, port=MONGO_PORT) # mongo 连接实例<br /> db = mongo[MONGO_DB] # 数据库实例<br /> col_name = os.environ.get('CRAWLAB_COLLECTION') # 集合名称，通过环境变量 CRAWLAB_COLLECTION 传过来<br /><br /> # 如果 CRAWLAB_COLLECTION 不存在，则默认集合名称为 test<br /> if not col_name:<br /> col_name = 'test'<br /><br /> col = db[col_name] # 集合实例<br /><br /> # 每一个传入 item 会调用的函数，参数分别为 item 和 spider<br /> def process_item(self, item, spider):<br /> item['task_id'] = os.environ.get('CRAWLAB_TASK_ID') # 将 task_id 设置为环境变量传过来的任务 ID<br /> self.col.save(item) # 保存 item 在数据库中<br /> return item<br />
同时，您也需要在items.py中加入task_id字段，已保证值能够被赋上（这很重要）。上传并配置爬虫在运行爬虫之前，您需要上传爬虫文件到主节点。步骤如下：将爬虫文件打包成 zip（注意，要保证在根目录下直接打包）；在侧边栏点击“爬虫”导航至爬虫列表，点击“添加爬虫”按钮，选择“自定义爬虫”；点击“上传”按钮，选择刚刚打包好的 zip 文件上传成功后，爬虫列表中会出现新添加的自定义爬虫，这样就算上传成功了。可以在爬虫详情中点击“文件”标签，选择一个文件，可以在文件中编辑代码。
接下来，您需要在“概览”标签中的“执行命令”一栏输入爬虫的 shell 执行命令。Crawlab 的 Docker 镜像里是内置了 scrapy 的，因此可以直接运行 scrapy 爬虫。命令就是scrapy crawl。点击“保存”按钮保存爬虫配置。运行爬虫任务然后就是运行爬虫任务了。其实很简单，在“概览”标签中点击“运行”按钮，爬虫任务就开始运行了。如果日志提示找不到 scrapy 命令，可以将scrapy改为绝对路径/usr/local/bin/scrapy，这样就会运行成功。任务运行情况会在“任务”页面或者爬虫“概览”里展现，会每 5 秒钟更新一次，大家可以在这上面查看。而且在爬虫“结果”标签里，可以预览结果的详情，还可以导出数据成 CSV 文件。构建持续集成（CI）工作流对于企业来说，软件开发一般是一个自动化过程。它会经历需求、开发、部署、测试、上线这几个步骤。而这个流程一般是不断迭代（Iterative）的，需要不断更新和发布。以爬虫为例，您上线了一个爬虫，这个爬虫会定期抓取网站数据。但突然有一天您发现数据抓不到了，您快速定位原因，发现原来是网站改版了，您需要更改爬虫抓取规则来应对网站的改版。总之，您需要发布一个代码更新。最快的做法是直接在线上更改代码。但这样做非常危险：第一，您无法测试您更新后的代码，只能通过不断调整线上代码来测试是否抓取成功；第二，您无法记录这次更改，后期如果出了问题您很可能会忽略掉这次更改，从而导致 bug。您需要做的，无非是将您的爬虫代码用版本管理工具管理起来。我们有很多版本管理工具，最常用的就是 git、subversion，版本管理平台包括 Gitlab、Bitbucket、自搭 Git 仓库等。当我们更新了代码，我们需要将更新后的代码发布到线上服务器。这时您需要用自己写部署脚本，或者更方便的，用 Jenkins 作为持续集成（Continuous Integration）管理平台。Jenkins 是一个持续集成平台，可以通过获取版本库来更新部署代码，是非常实用的工具，在很多企业中都有用到。下图是如何将 Crawlab 爬虫应用到持续集成工作流程中的例子。
要在 Crawlab 中创建或更新爬虫有两种方式：上传打包成后的 zip 文件；通过更改主节点中目录CRAWLAB_SPIDER_PATH中的爬虫文件。我们做持续集成，就是针对第二种方式。步骤如下：用 Gitlab 或其他平台搭建好代码仓库；在 Jenkins 中创建一个项目，在项目中将代码源指向之前创建的仓库；在 Jenkins 项目中编写工作流，将发布地址指向 Crawlab 的CRAWLAB_SPIDER_PATH，如果是 Docker 注意将该地址挂载到宿主机文件系统；Jenkins 项目的工作可以直接编写，也可以用 Jenkinsfile，具体可以查相关资料；这样，每一次代码更新提交到代码仓库后，Jenkins 就会将更新后的代码发布到 Crawlab 里，Crawlab 主节点会将爬虫代码同步到工作节点，以待抓取。总结本篇文章主要介绍了爬虫管理平台的定义、如何选择爬虫管理平台，着重介绍了如何搭建开源爬虫管理平台 Crawlab，另外还讲到了如何集成 scrapy 爬虫以及如何打造持续集成工作流。本篇文章没有涉及到的内容还有很多，包括如何 Crawlab 的原理和架构详情、如何使用 Crawlab、如何编写大规模爬虫、如何使用 Jenkins 等等。这些内容可能会在其他文章中发布，请感兴趣的读者多多关注。另外，Crawlab 还有一些需要提升的地方，例如异常监控（零值、空值）、可配置爬虫、可视化抓取、日志集中收集等等。这些功能都将在以后陆续开发和发布，请大家也多多关注。 查看全部
如何快速搭建实用的爬虫管理平台?
本篇文章内容较多，涉及知识较广，请读者耐心阅读。
前言大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这会凭空增添很多附加的管理成本。同时，爬虫管理者还需要应对网站内容变更、持续增量抓取、任务失败等问题。因此一个成熟的爬虫管理流程应该包含一个管理系统，能够有效处理上述问题。理解什么是爬虫管理平台定义爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。当然，上述这个定义是狭义的，通常针对于技术人员或开发者或技术经理。
企业内部一般都会开发自己的内部爬虫管理系统，以应对复杂的爬虫管理需求。这样的系统就是上述定义的狭义的爬虫管理平台。广义爬虫管理平台而什么是广义的爬虫管理平台呢？您可能听说过优采云（后转型为优采云采集器）和优采云吧。前者是基于云服务的，可以在线上编写、运行和监控爬虫，在广义爬虫平台中最接近狭义定义的爬虫管理平台；后者是一个大众的商业爬虫抓取工具，可以让小白用户拖拉拽编写、运行爬虫，导出数据。您也可能见过各种 API 聚合服务商，例如聚合数据，这是一个可以直接调用网站接口获取数据的平台，这其实也算作爬虫平台的一个变种，只是它帮你完成了爬虫编写这一过程。而介于这两者之间的呢，国外有一家叫 Kimonolab 的公司，它开发了一个叫 Kimono 的 Chrome 插件，可以让用户在页面上可视化的点击元素并生成抓取规则，并在其网站上生成爬虫程序，用户提交任务，后台就可以自动在网站上抓取数据了。Kimono 是一个伟大的爬虫应用，但可惜的是，Kimonolab 已经被大数据公司 Plantir 收购，现在也就无法体验了。在本文中，我们主要关注狭义定义的爬虫管理平台，因此后面所讲到的爬虫管理平台都是指狭义的定义。爬虫管理平台模块以下是一个典型的爬虫管理平台所涉及的模块。
典型爬虫管理平台的模块主要包含以下内容：当然，有些爬虫管理平台可能还不止这些模块，它可能包括其他比较实用的功能，例如可配置的抓取规则、可视化配置抓取规则、代理池、Cookie 池、异常监控等等。为什么需要爬虫管理平台有了爬虫管理平台，开发者特别是爬虫工程师就能够方便的添加爬虫、执行任务、查看结果，而不用在命令行之间来回切换，非常容易出错。一个常见的场景就是爬虫工程师最初技术选型用了 scrapy 和 crontab 来管理爬虫任务，他不得不小心翼翼的选择定时任务的时间区间，以至于不会将服务器 CPU 或内存占满；更棘手的问题是，他还需要将 scrapy 产生的日志存到文件里，一旦爬虫出错了，他不得不用 shell 命令一个一个来查看日志来定位错误原因，严重时会花上一个整天；还有个严重的问题，爬虫工程师可能发现公司业务量在增加，他需要写上百个爬虫来满足公司的业务需求，而用 scrapy 和 crontab 来管理完全就是个噩梦。可怜的爬虫工程师其实完全可以选择一个合适爬虫管理平台来解决他的问题。如何选择一个合适的爬虫管理平台当您愿意解决前面提到的爬虫工程师遇到的困难问题，而转而想选择一个合适的爬虫管理平台时。您首先应该回答的问题是：我们是否需要从零开始开发一套系统（Start from scratch）？要回答这个问题，您应该先回答下面几个问题：我们的需求是否复杂到需要完全定制化开发一套新系统（例如要求复杂的权限管理）？我们的团队是否有足够的技术实力来开发这套系统（例如有经验丰富的前后端开发工程师）？我们的时间资源是否足够我们开发这套系统（例如项目计划周期为一年）？如果上述三个问题的答案任意一个为“否”，您应该好好考虑利用市面上已有的开源爬虫管理平台来满足您的需求。以下为市面上已有的开源爬虫管理平台：平台名称技术优点缺点
SpiderKeeper
Python Flask
基于 scrapyd，开源版 Scrapyhub，非常简洁的 UI 界面，支持定时任务
可能有些过于简洁了，不支持分页，不支持节点管理，不支持 scrapy 以外的爬虫
Gerapy
Python Django + Vue
Gerapy 是崔庆才大神开发的爬虫管理平台，安装部署非常简单，同样基于 scrapyd，有精美的 UI 界面，支持节点管理、代码编辑、可配置规则等功能
同样不支持 scrapy 以外的爬虫，而且据使用者反馈，1.0 版本有很多 bug，期待 2.0 版本会有一定程度的改进
Scrapydweb
Python Flask + Vue
精美的 UI 界面，内置了 scrapy 日志解析器，有较多任务运行统计图表，支持节点管理、定时任务、邮件提醒、移动界面，算是 scrapy-based 中功能完善的爬虫管理平台
同样不支持 scrapy 以外的爬虫，Python Flask 为后端，性能上有一定局限性
Crawlab
Golang + Vue
不局限于 scrapy，可以运行任何语言和框架的爬虫，精美的 UI 界面，天然支持分布式爬虫，支持节点管理、爬虫管理、任务管理、定时任务、结果导出、数据统计等功能
部署稍微有一些麻烦（不过利用 Docker 可以一键部署），最新版本暂时不支持可配置爬虫
总的来说，SpiderKeeper 可能是最早的爬虫管理平台，但功能相对来说比较局限；Gerapy 虽然功能齐全，界面精美，但有不少 bug 需要处理，建议有需求的用户等待 2.0 版本；Scrapydweb是一个比较完善的爬虫管理平台，不过和前两者一样，都是基于 scrapyd 的，因此只能运行 scrapy 爬虫；而Crawlab是一个非常灵活的爬虫管理平台，可以运行 Python、Nodejs、Java、PHP、Go 写的爬虫，而且功能比较齐全，只是部署起来相对于前三者来说要麻烦一些，不过对于 Docker 使用者来说可以做到一件部署（后面我们会讲）。
因此，对于重度 scrapy 爬虫依赖的、又不想折腾的开发者，可以考虑 Scrapydweb；而对于有各种类型的、复杂技术结构的爬虫开发者来说，应该优先考虑更灵活的 Crawlab。当然，不是说 Crawlab 对 scrapy 支持不友好，Crawlab 同样可以很好的集成 scrapy，后面会介绍。作为 Crawlab 的作者，不想王婆卖瓜，自卖自夸，作者仅仅希望将最好的技术选型推荐给开发者，让开发者根据自身的需求来决定该使用哪种爬虫管理平台。爬虫管理平台 Crawlab 介绍简介Crawlab 是基于 Golang 的分布式爬虫管理平台，支持 Python、NodeJS、Java、Go、PHP 等多种编程语言以及多种爬虫框架。Crawlab 自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用 Crawlab 搭建公司的爬虫平台。经过近数月的迭代，Crawlab 陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将平台变得得更加实用，更加全面，能够真正帮助用户解决爬虫管理困难的问题。如今在 Github 上有近 1k 的 star，相关社区（微信群、微信公众号）也建立起来，四分之一的用户表示已经将 Crawlab 应用于企业爬虫管理。可以看出，Crawlab 是受开发者们关注和喜欢的。解决问题Crawlab 主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂 scrapy 和 selenium 的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab 支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。界面及使用下面是 Crawlab 爬虫列表页面的截图。
用户只需要将爬虫上传到 Crawlab，配置执行命令，点击“运行”按钮，就可以执行爬虫任务了。爬虫任务可以在任何节点上运行。从上图可以看到，Crawlab 有节点管理、爬虫管理、任务管理、定时任务、用户管理等模块。整体架构以下是 Crawlab 的整体架构图，由五大部分组成：主节点（Master Node）：负责任务派发、API、部署爬虫等；工作节点（Worker Node）：负责执行爬虫任务；MongoDB 数据库：存储节点、爬虫、任务等日常运行数据；Redis 数据库：储存任务消息队列、节点心跳等信息。前端客户端：Vue 应用，负责前端交互和向后端请求数据。
关于 Crawlab 如何使用和详细原理超出了本篇文章的范围，感兴趣的可以去参考Github 主页或相关文档。Github地址及Demo使用 Docker 部署安装 CrawlabDocker 镜像Docker 是部署 Crawlab 最方便和简洁的方式。其他部署方式包括直接部署，不过对于想快速搭建平台的开发者来说不推荐。Crawlab 已在Dockerhub上注册了相关的镜像，开发者仅需要执行docker pull tikazyq/crawlab命令就可以将 Crawlab 的镜像下载下来。读者可以去 Dockerhub 上查看 Crawlab 的镜像，只有仅不到 300Mb。地址：/r/tikazyq/c…
安装 Docker要使用 Docker 来部署 Crawlab，您首先得保证 Docker 已经安装好。请参考以下文档来安装。操作系统文档
Mac
/docker-for-…
Windows
/docker-for-…
Ubuntu
/install/lin…
Debian
/install/lin…
CentOS
/install/lin…
Fedora
/install/lin…
其他 Linux 发行版
/install/lin…
安装 Docker Compose
Docker Compose 是简单的运行 Docker 集群的工具，非常轻量级，我们将用到 Docker Compose 来一键部署 Crawlab。Docker 的官方网站已经有如何安装 Docker Compose 的教程，点击链接查看。这里简单介绍一下。操作系统安装步骤
Mac
Docker Desktop for Mac 或 Docker Toolbox 自带，不用单独安装
Windows
Docker Desktop for Windows 或 Docker Toolbox 自带，不用单独安装
Linux
参考表格下面的命令
其他选择
通过pip安装，pip install docker-compose，如果没有virtualenv，需要用sudo
Linux 用户请用以下命令安装。
# 下载 docker-compose<br />sudo curl -L "https://github.com/docker/comp ... pose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose`<br /><br /># 将 docker-compose 变成执行文件<br />sudo chmod +x /usr/local/bin/docker-compose<br />
拉取镜像在拉取镜像之前，您需要配置一下镜像源。因为在国内，使用原有的镜像源速度不是很快，需要使用 DockerHub 在国内的加速器。请创建/etc/docker/daemon.json文件，输入如下内容。
{<br /> "registry-mirrors": ["https://registry.docker-cn.com"]<br />}<br />
然后拉取镜像，就会快很多了。当然，您也可以用其他镜像源，可以网上去搜索一下。执行以下命令将 Crawlab 镜像拉取下来。
docker pull tikazyq/crawlab:latest<br />
下图为拉取镜像时的命令行界面。
启动 Crawlab我们将用 Docker Compose 启动 Crawlab 以及其依赖的数据库 MongoDB 和 Redis。首先我们需要修改一下 Docker Compose 的 yaml 配置文件docker-compose.yml。这个配置文件定义了需要启动的容器服务（Container Services）以及网络配置（Network Configuration）。这里我们用 Crawlab 自带的docker-compose.yml。
version: '3.3' # Docker Compose 的版本号（请看后续说明）<br />services: # 服务<br /> master: # 服务名称<br /> image: tikazyq/crawlab:latest # 服务对应的镜像名称<br /> container_name: master # 服务对应的容器名称<br /> environment: # 这里定义传入的环境变量<br /> CRAWLAB_API_ADDRESS: "localhost:8000" # 前端调用的 API 地址，默认为 localhost:8000<br /> CRAWLAB_SERVER_MASTER: "Y" # 是否为主节点，Y/N<br /> CRAWLAB_MONGO_HOST: "mongo" # MongoDB host，由于在 Docker Compose 里，可以引用服务名称<br /> CRAWLAB_REDIS_ADDRESS: "redis" # Redis host，由于在 Docker Compose 里，可以引用服务名称<br /> ports: # 映射的端口<br /> - "8080:8080" # 前端端口<br /> - "8000:8000" # 后端端口<br /> depends_on: # 依赖的服务<br /> - mongo # MongoDB<br /> - redis # Redis<br /> worker: # 工作节点，与主节点配置类似，不重复写了<br /> image: tikazyq/crawlab:latest<br /> container_name: worker<br /> environment:<br /> CRAWLAB_SERVER_MASTER: "N"<br /> CRAWLAB_MONGO_HOST: "mongo"<br /> CRAWLAB_REDIS_ADDRESS: "redis"<br /> depends_on:<br /> - mongo<br /> - redis<br /> mongo: # MongoDB 服务名称<br /> image: mongo:latest # MongoDB 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "27017:27017"<br /> redis: # Redis 服务名称<br /> image: redis:latest # Redis 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "6379:6379"<br />
读者可以根据自己的要求来配置docker-compose.yml。尤其需要注意CRAWLAB_API_ADDRESS这个环境变量，很多初学使用者都是因为该变量配置不正确而导致无法登陆。大多数情况，您不用做任何配置更改。请参考Q&A来处理常见问题，以及详细的环境变量配置文档来帮助根据自身环境配置 Crawlab。然后，运行下列命令启动 Crawlab。可以加一个-d参数让 Docker Compose 后台运行。
docker-compose up<br />
运行上述命令后，Docker Compose 会去拉取 MongoDB 和 Redis 的镜像，这可能会花几分钟时间。拉取完毕后，四个服务会依次启动，您将会在命令行中看到如下内容。
正常情况下，您应该可以看到四个服务都启动成功，并能够顺利打印日志。如果启动不成功，请微信联系作者（tikazyq1）或在 Github 上提 Issue。如果您是在本机上启动的 Docker Compose，可以在浏览器中输入:8080，然后就能看到登陆界面了；如果您是在其他机器上启动的 Docker Compose，您需要在浏览器中输入:8080来看到登陆界面，是其他机器的 IP 地址（请保证 8080 端口在该机器已对外开放）。
初始登陆用户名密码是 admin/admin，您可以使用这个用户名密码来登陆。如果您的环境变量CRAWLAB_API_ADDRESS设置得不正确，您可能会看到点击登陆后登陆按钮会一直转圈而没有任何提示。这时请重新在docker-compose.yml中设置正确的CRAWLAB_API_ADDRESS（将localhost替换为），重新启动docker-compose up。然后在浏览器中输入:8080。登陆之后您将看到 Crawlab 的主页。
本篇文章主要介绍如何搭建爬虫管理平台 Crawlab，因此不会详细介绍如何使用 Crawlab（可能会创建另一篇文章来详细介绍，有兴趣者可以关注一下）。如果您有困惑，请查看相关文档来了解如何使用。同时，您也可以加作者微信（tikazyq1）并注明 Crawlab，作者将将您拉入讨论群，您可以在那里答疑解惑。如何将 Scrapy 等爬虫集成到 Crawlab众所周知，Scrapy 是非常受欢迎的爬虫框架，其灵活的框架设计、高并发、易用性以及可扩展性让很多开发者和企业大量采用。市面上的爬虫管理平台几乎都支持 Scrapy 爬虫，Crawlab 也不例外，但 Crawlab 可以运行 puppeteer、selenium 等其他爬虫。下面将介绍一下在 Crawlab 中如何运行 scrapy 爬虫。Crawlab 是执行爬虫基本原理Crawlab 执行爬虫的原理很简单，其实就是一个 shell 命令。用户在爬虫中输入执行爬虫的 shell 命令，例如scrapy crawl some_spider，Crawlab 执行器会读取这个命令，并在 shell 中直接执行。因此，每一次运行爬虫任务，就是执行了一次 shell 命令（当然，实际情况要比这个复杂很多，感兴趣的可以去参考官方文档）。Crawlab 是支持展示和导出爬虫结果的，不过这需要稍微多做一些工作。编写 Pipeline要集成 scrapy 爬虫，无非就是将爬虫抓取的数据存到 Crawlab 的数据库里，然后用任务 ID 关联起来。每次执行爬虫任务，任务 ID 会通过环境变量传到爬虫程序中，因此我们需要做的就是将任务 ID 加上结果存到数据库里（Crawlab 现在只支持 MongoDB，后期会开发 MySQL、SQL Server、Postgres 等关系型数据库，有需求的用户可以关注一下）。在 Scrapy 中，我们需要编写储存逻辑。示意代码如下：
# 引入相关的库，pymongo 是标准连接 MongoDB 的库<br />import os<br />from pymongo import MongoClient<br /><br /># MongoDB 配置参数<br />MONGO_HOST = '192.168.99.100'<br />MONGO_PORT = 27017<br />MONGO_DB = 'crawlab_test'<br /><br />class JuejinPipeline(object):<br /> mongo = MongoClient(host=MONGO_HOST, port=MONGO_PORT) # mongo 连接实例<br /> db = mongo[MONGO_DB] # 数据库实例<br /> col_name = os.environ.get('CRAWLAB_COLLECTION') # 集合名称，通过环境变量 CRAWLAB_COLLECTION 传过来<br /><br /> # 如果 CRAWLAB_COLLECTION 不存在，则默认集合名称为 test<br /> if not col_name:<br /> col_name = 'test'<br /><br /> col = db[col_name] # 集合实例<br /><br /> # 每一个传入 item 会调用的函数，参数分别为 item 和 spider<br /> def process_item(self, item, spider):<br /> item['task_id'] = os.environ.get('CRAWLAB_TASK_ID') # 将 task_id 设置为环境变量传过来的任务 ID<br /> self.col.save(item) # 保存 item 在数据库中<br /> return item<br />
同时，您也需要在items.py中加入task_id字段，已保证值能够被赋上（这很重要）。上传并配置爬虫在运行爬虫之前，您需要上传爬虫文件到主节点。步骤如下：将爬虫文件打包成 zip（注意，要保证在根目录下直接打包）；在侧边栏点击“爬虫”导航至爬虫列表，点击“添加爬虫”按钮，选择“自定义爬虫”；点击“上传”按钮，选择刚刚打包好的 zip 文件上传成功后，爬虫列表中会出现新添加的自定义爬虫，这样就算上传成功了。可以在爬虫详情中点击“文件”标签，选择一个文件，可以在文件中编辑代码。
接下来，您需要在“概览”标签中的“执行命令”一栏输入爬虫的 shell 执行命令。Crawlab 的 Docker 镜像里是内置了 scrapy 的，因此可以直接运行 scrapy 爬虫。命令就是scrapy crawl。点击“保存”按钮保存爬虫配置。运行爬虫任务然后就是运行爬虫任务了。其实很简单，在“概览”标签中点击“运行”按钮，爬虫任务就开始运行了。如果日志提示找不到 scrapy 命令，可以将scrapy改为绝对路径/usr/local/bin/scrapy，这样就会运行成功。任务运行情况会在“任务”页面或者爬虫“概览”里展现，会每 5 秒钟更新一次，大家可以在这上面查看。而且在爬虫“结果”标签里，可以预览结果的详情，还可以导出数据成 CSV 文件。构建持续集成（CI）工作流对于企业来说，软件开发一般是一个自动化过程。它会经历需求、开发、部署、测试、上线这几个步骤。而这个流程一般是不断迭代（Iterative）的，需要不断更新和发布。以爬虫为例，您上线了一个爬虫，这个爬虫会定期抓取网站数据。但突然有一天您发现数据抓不到了，您快速定位原因，发现原来是网站改版了，您需要更改爬虫抓取规则来应对网站的改版。总之，您需要发布一个代码更新。最快的做法是直接在线上更改代码。但这样做非常危险：第一，您无法测试您更新后的代码，只能通过不断调整线上代码来测试是否抓取成功；第二，您无法记录这次更改，后期如果出了问题您很可能会忽略掉这次更改，从而导致 bug。您需要做的，无非是将您的爬虫代码用版本管理工具管理起来。我们有很多版本管理工具，最常用的就是 git、subversion，版本管理平台包括 Gitlab、Bitbucket、自搭 Git 仓库等。当我们更新了代码，我们需要将更新后的代码发布到线上服务器。这时您需要用自己写部署脚本，或者更方便的，用 Jenkins 作为持续集成（Continuous Integration）管理平台。Jenkins 是一个持续集成平台，可以通过获取版本库来更新部署代码，是非常实用的工具，在很多企业中都有用到。下图是如何将 Crawlab 爬虫应用到持续集成工作流程中的例子。
要在 Crawlab 中创建或更新爬虫有两种方式：上传打包成后的 zip 文件；通过更改主节点中目录CRAWLAB_SPIDER_PATH中的爬虫文件。我们做持续集成，就是针对第二种方式。步骤如下：用 Gitlab 或其他平台搭建好代码仓库；在 Jenkins 中创建一个项目，在项目中将代码源指向之前创建的仓库；在 Jenkins 项目中编写工作流，将发布地址指向 Crawlab 的CRAWLAB_SPIDER_PATH，如果是 Docker 注意将该地址挂载到宿主机文件系统；Jenkins 项目的工作可以直接编写，也可以用 Jenkinsfile，具体可以查相关资料；这样，每一次代码更新提交到代码仓库后，Jenkins 就会将更新后的代码发布到 Crawlab 里，Crawlab 主节点会将爬虫代码同步到工作节点，以待抓取。总结本篇文章主要介绍了爬虫管理平台的定义、如何选择爬虫管理平台，着重介绍了如何搭建开源爬虫管理平台 Crawlab，另外还讲到了如何集成 scrapy 爬虫以及如何打造持续集成工作流。本篇文章没有涉及到的内容还有很多，包括如何 Crawlab 的原理和架构详情、如何使用 Crawlab、如何编写大规模爬虫、如何使用 Jenkins 等等。这些内容可能会在其他文章中发布，请感兴趣的读者多多关注。另外，Crawlab 还有一些需要提升的地方，例如异常监控（零值、空值）、可配置爬虫、可视化抓取、日志集中收集等等。这些功能都将在以后陆续开发和发布，请大家也多多关注。
网站程序自带的采集器采集文章后，复制到wordpress中去
采集交流 • 优采云 发表了文章 • 0 个评论 • 109 次浏览 • 2022-05-05 10:01
网站程序自带的采集器采集文章后，复制到wordpress中去
网站程序自带的采集器采集文章后，复制到wordpress中去，可以一键导出。还可以在手机中导出到pdf文件。在公众号“sfkw”内，回复“wordpress导出pdf”可以得到如下链接。-欢迎关注我的公众号“sfkw”，一个分享ppt干货的公众号，
必须搭建,问题很复杂,花费时间也长,而且不同行业，对专业程度要求也不同。要一劳永逸的话，那就别从本站下载,整套.net语言包即可。当然如果你非要反复研究选择性整合,那其实也可以搭建，但是成本比较高,而且还需要对自己的网站熟悉（不涉及公司信息）。如何选择建站语言，
建议使用最新的hexo+python建站系统wordpress/，对比下优劣势，根据使用需求来做决定。
有个国外专门做ppt模板下载的专业网站，也支持用ppt建站，做app或h5网站，服务很赞。不仅能用ppt建站，还有一些ppt教程。 查看全部
网站程序自带的采集器采集文章后，复制到wordpress中去，可以一键导出。还可以在手机中导出到pdf文件。在公众号“sfkw”内，回复“wordpress导出pdf”可以得到如下链接。-欢迎关注我的公众号“sfkw”，一个分享ppt干货的公众号，
必须搭建,问题很复杂,花费时间也长,而且不同行业，对专业程度要求也不同。要一劳永逸的话，那就别从本站下载,整套.net语言包即可。当然如果你非要反复研究选择性整合,那其实也可以搭建，但是成本比较高,而且还需要对自己的网站熟悉（不涉及公司信息）。如何选择建站语言，
建议使用最新的hexo+python建站系统wordpress/，对比下优劣势，根据使用需求来做决定。
有个国外专门做ppt模板下载的专业网站，也支持用ppt建站，做app或h5网站，服务很赞。不仅能用ppt建站，还有一些ppt教程。 查看全部
网站程序自带的采集器采集文章后，复制到wordpress中去
网站程序自带的采集器采集文章后，复制到wordpress中去，可以一键导出。还可以在手机中导出到pdf文件。在公众号“sfkw”内，回复“wordpress导出pdf”可以得到如下链接。-欢迎关注我的公众号“sfkw”，一个分享ppt干货的公众号，
必须搭建,问题很复杂,花费时间也长,而且不同行业，对专业程度要求也不同。要一劳永逸的话，那就别从本站下载,整套.net语言包即可。当然如果你非要反复研究选择性整合,那其实也可以搭建，但是成本比较高,而且还需要对自己的网站熟悉（不涉及公司信息）。如何选择建站语言，
建议使用最新的hexo+python建站系统wordpress/，对比下优劣势，根据使用需求来做决定。
有个国外专门做ppt模板下载的专业网站，也支持用ppt建站，做app或h5网站，服务很赞。不仅能用ppt建站，还有一些ppt教程。
网站程序自带的采集器采集文章结构嵌入联盟处理
采集交流 • 优采云 发表了文章 • 0 个评论 • 98 次浏览 • 2022-05-03 16:01
网站程序自带的采集器采集文章结构嵌入联盟处理
网站程序自带的采集器采集文章结构嵌入seo联盟，seo联盟对文章结构进行了标签化加工处理。所以，seo联盟可以抓取你网站的任何内容，抓取的内容来源于搜索引擎。当然，直接站外挖掘，也是可以的。
除非你的网站是采用自建的pc页面，否则蜘蛛爬行本质上，爬行的还是内容本身的爬行者。如果你的网站上有网友分享文章页面，如果网站文章页面加载方式在所有网站中算是友好的，那么就会很大概率被抓取。
内容是一样的
新闻类网站大多用wordpress搭建，就是用结构化的内容抓取网站自带爬虫抓取。ps：seo联盟对返利网站，其实也是帮网站做内容抓取来推广的。
免费的phphtml模拟蜘蛛抓取都有问题，都不靠谱，稍有价值的也就是收费的seo联盟了，其实只抓来很少的精准流量，大部分是通过搜索引擎跳转，上了seo联盟就是给各种返利网站做外链。
seo联盟无论站点自带抓取还是phphtml或者wordpress,都会被使用谷歌extra搜索引擎抓取
被抓取的非常多。你网站爬虫做的差，积累的多，就被反反复复抓取。爬虫我也是比较熟悉，这里给你推荐个微信公众号，里面有很多的爬虫基础知识，你可以看看一下。
严格来说，首先不存在“爬虫”，而是用爬虫方式进行了蜘蛛抓取。但是为什么所有网站的爬虫都会自动抓取呢？原因很简单，一是很多网站访问量很大，需要大量的快照索引；二是搜索引擎也需要外链，需要蜘蛛通过抓取来增加自己的蜘蛛池；三是可能需要收录别人网站的文章，也需要蜘蛛爬取。结合以上三点，搜索引擎就可以对网站大量爬虫抓取了。 查看全部
网站程序自带的采集器采集文章结构嵌入seo联盟，seo联盟对文章结构进行了标签化加工处理。所以，seo联盟可以抓取你网站的任何内容，抓取的内容来源于搜索引擎。当然，直接站外挖掘，也是可以的。
除非你的网站是采用自建的pc页面，否则蜘蛛爬行本质上，爬行的还是内容本身的爬行者。如果你的网站上有网友分享文章页面，如果网站文章页面加载方式在所有网站中算是友好的，那么就会很大概率被抓取。
内容是一样的
新闻类网站大多用wordpress搭建，就是用结构化的内容抓取网站自带爬虫抓取。ps：seo联盟对返利网站，其实也是帮网站做内容抓取来推广的。
免费的phphtml模拟蜘蛛抓取都有问题，都不靠谱，稍有价值的也就是收费的seo联盟了，其实只抓来很少的精准流量，大部分是通过搜索引擎跳转，上了seo联盟就是给各种返利网站做外链。
seo联盟无论站点自带抓取还是phphtml或者wordpress,都会被使用谷歌extra搜索引擎抓取
被抓取的非常多。你网站爬虫做的差，积累的多，就被反反复复抓取。爬虫我也是比较熟悉，这里给你推荐个微信公众号，里面有很多的爬虫基础知识，你可以看看一下。
严格来说，首先不存在“爬虫”，而是用爬虫方式进行了蜘蛛抓取。但是为什么所有网站的爬虫都会自动抓取呢？原因很简单，一是很多网站访问量很大，需要大量的快照索引；二是搜索引擎也需要外链，需要蜘蛛通过抓取来增加自己的蜘蛛池；三是可能需要收录别人网站的文章，也需要蜘蛛爬取。结合以上三点，搜索引擎就可以对网站大量爬虫抓取了。 查看全部
网站程序自带的采集器采集文章结构嵌入联盟处理
网站程序自带的采集器采集文章结构嵌入seo联盟，seo联盟对文章结构进行了标签化加工处理。所以，seo联盟可以抓取你网站的任何内容，抓取的内容来源于搜索引擎。当然，直接站外挖掘，也是可以的。
除非你的网站是采用自建的pc页面，否则蜘蛛爬行本质上，爬行的还是内容本身的爬行者。如果你的网站上有网友分享文章页面，如果网站文章页面加载方式在所有网站中算是友好的，那么就会很大概率被抓取。
内容是一样的
新闻类网站大多用wordpress搭建，就是用结构化的内容抓取网站自带爬虫抓取。ps：seo联盟对返利网站，其实也是帮网站做内容抓取来推广的。
免费的phphtml模拟蜘蛛抓取都有问题，都不靠谱，稍有价值的也就是收费的seo联盟了，其实只抓来很少的精准流量，大部分是通过搜索引擎跳转，上了seo联盟就是给各种返利网站做外链。
seo联盟无论站点自带抓取还是phphtml或者wordpress,都会被使用谷歌extra搜索引擎抓取
被抓取的非常多。你网站爬虫做的差，积累的多，就被反反复复抓取。爬虫我也是比较熟悉，这里给你推荐个微信公众号，里面有很多的爬虫基础知识，你可以看看一下。
严格来说，首先不存在“爬虫”，而是用爬虫方式进行了蜘蛛抓取。但是为什么所有网站的爬虫都会自动抓取呢？原因很简单，一是很多网站访问量很大，需要大量的快照索引；二是搜索引擎也需要外链，需要蜘蛛通过抓取来增加自己的蜘蛛池；三是可能需要收录别人网站的文章，也需要蜘蛛爬取。结合以上三点，搜索引擎就可以对网站大量爬虫抓取了。
教程:网站程序自带采集器采集文章的时候用方法一样方法
采集交流 • 优采云 发表了文章 • 0 个评论 • 99 次浏览 • 2022-10-02 18:30
教程:网站程序自带采集器采集文章的时候用方法一样方法
网站程序自带的采集器采集文章的时候是不能同步到网站上去的，要手动调用post参数或下载程序安装进行配置获取图片还是不错的，但是不能跟时时更新文章的新闻站、自媒体、博客采集的时候用方法一样方法二很多人使用抓包工具抓来数据，再同步到网站上去或者插件免抓包采集数据一般是收益有限，
看了一下。javascript封装的封装，json封装的封装，这种类似产品没怎么看到过。确实如楼上那样，你可以尝试抓包工具抓取的，再用分析工具分析一下效果。
工具方面只推荐酷传推广王
简单来说，就是做竞价的不用担心用户看不到，因为他们加密了。而做免费自媒体的不用担心用户看不到。国内还在用javascript，国外还是用json的。另外javascript封装了太多meta信息，还要手动选择。而json封装的meta太弱，封装完成可以自己写api。
json是一种直接写文本信息，不需要处理格式（按照主流库）javascript封装的json，有个bestpractices，具体可以参考这里：ajsoninferencetoolforawesomecodingskills另外这个问题在community已经有人问过，结果蛮好。里面有不少东西，不一定用得上：improvedwebbrowserdocumenttagdetectioninreactandjquery，参见这里-applied-browser-document-tag-detection-for-react-and-jquery-117701f1715.html。 查看全部
网站程序自带的采集器采集文章的时候是不能同步到网站上去的，要手动调用post参数或下载程序安装进行配置获取图片还是不错的，但是不能跟时时更新文章的新闻站、自媒体、博客采集的时候用方法一样方法二很多人使用抓包工具抓来数据，再同步到网站上去或者插件免抓包采集数据一般是收益有限，
看了一下。javascript封装的封装，json封装的封装，这种类似产品没怎么看到过。确实如楼上那样，你可以尝试抓包工具抓取的，再用分析工具分析一下效果。
工具方面只推荐酷传推广王
简单来说，就是做竞价的不用担心用户看不到，因为他们加密了。而做免费自媒体的不用担心用户看不到。国内还在用javascript，国外还是用json的。另外javascript封装了太多meta信息，还要手动选择。而json封装的meta太弱，封装完成可以自己写api。
json是一种直接写文本信息，不需要处理格式（按照主流库）javascript封装的json，有个bestpractices，具体可以参考这里：ajsoninferencetoolforawesomecodingskills另外这个问题在community已经有人问过，结果蛮好。里面有不少东西，不一定用得上：improvedwebbrowserdocumenttagdetectioninreactandjquery，参见这里-applied-browser-document-tag-detection-for-react-and-jquery-117701f1715.html。 查看全部
教程:网站程序自带采集器采集文章的时候用方法一样方法
网站程序自带的采集器采集文章的时候是不能同步到网站上去的，要手动调用post参数或下载程序安装进行配置获取图片还是不错的，但是不能跟时时更新文章的新闻站、自媒体、博客采集的时候用方法一样方法二很多人使用抓包工具抓来数据，再同步到网站上去或者插件免抓包采集数据一般是收益有限，
看了一下。javascript封装的封装，json封装的封装，这种类似产品没怎么看到过。确实如楼上那样，你可以尝试抓包工具抓取的，再用分析工具分析一下效果。
工具方面只推荐酷传推广王
简单来说，就是做竞价的不用担心用户看不到，因为他们加密了。而做免费自媒体的不用担心用户看不到。国内还在用javascript，国外还是用json的。另外javascript封装了太多meta信息，还要手动选择。而json封装的meta太弱，封装完成可以自己写api。
json是一种直接写文本信息，不需要处理格式（按照主流库）javascript封装的json，有个bestpractices，具体可以参考这里：ajsoninferencetoolforawesomecodingskills另外这个问题在community已经有人问过，结果蛮好。里面有不少东西，不一定用得上：improvedwebbrowserdocumenttagdetectioninreactandjquery，参见这里-applied-browser-document-tag-detection-for-react-and-jquery-117701f1715.html。
最近发布:Fluent Bit 收集指标日志
采集交流 • 优采云 发表了文章 • 0 个评论 • 44 次浏览 • 2022-10-02 06:16
最近发布:Fluent Bit 收集指标日志
简介
Fluent Bit是一个轻量、高性能的日志采集和指标采集工具。
特点部署
Fluent Bit是使用C编写的，不同的平台需要重新编译，使用docker部署是最方便的。
下载镜像
docker pull cr.fluentbit.io/fluent/fluent-bit:1.9
测试
直接输出容器CPU指标
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -o stdout -f 1
也可以直接输出到elasticsearch
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -t cpu -o es -p Host=192.168.122.23 -p Port=9200 -p Index=monitor_cpu -p Type=my_type -o stdout -m '*'
总结
在kubernetes中pod里面的资源是共享，可以使用sidecar的方式采集pod的信息，也可以挂载目录，采集主机上的日志文件。
近期发布:软文自动发布软件自动发帖软件获客放心省心
软文自动发帖软件让客户放心的自动发帖软件
选择Magic Cloud，您将拥有：
1、软件可实现大规模B2B网站；包括门户博客和大型论坛、文章投递、分类信息、贴吧问它、WIKI百科、相册、新闻评论、各类中小型博客和论坛等.具有高*高权重网站自动注册和文章信息自动发布。
2、批量发布、重新编辑和替换内容等功能。文章采集，伪原创处理，自动连接。
3、文章拼接、友情链接、签名文件设置等功能。涵盖所有出版领域。
墨推云全网营销助手是一款模拟跨平台手动和自动推广的营销工具。我们采用独特的人工智能算法，自动识别各大网站的发布规则，无需编写任何规则，让用户能够自动准确地发布所有网站的信息。专门帮助企业做关键词百度排名、网站优化、网站引流；本软件操作简单，只要能上网，5分钟学会，2秒自动发表1篇文章，是网络营销必备的工具软件！让不懂互联网、不懂互联网的人可以借用工具做好网络营销，
与搜索引擎推广、广告联盟推广等手段相比，墨推云-企业信息助手的成本相对较低。从效率的角度来看，它的性价比很高。同时，墨推云-企业信息发布助手，转化率，各大搜索引擎收录高排名，高信息量，你的产品遍布全网，信息持续时间长，低价网络推广必备手段！ 查看全部
简介
Fluent Bit是一个轻量、高性能的日志采集和指标采集工具。
特点部署
Fluent Bit是使用C编写的，不同的平台需要重新编译，使用docker部署是最方便的。
下载镜像
docker pull cr.fluentbit.io/fluent/fluent-bit:1.9
测试
直接输出容器CPU指标
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -o stdout -f 1
也可以直接输出到elasticsearch
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -t cpu -o es -p Host=192.168.122.23 -p Port=9200 -p Index=monitor_cpu -p Type=my_type -o stdout -m '*'
总结
在kubernetes中pod里面的资源是共享，可以使用sidecar的方式采集pod的信息，也可以挂载目录，采集主机上的日志文件。
近期发布:软文自动发布软件自动发帖软件获客放心省心
软文自动发帖软件让客户放心的自动发帖软件
选择Magic Cloud，您将拥有：
1、软件可实现大规模B2B网站；包括门户博客和大型论坛、文章投递、分类信息、贴吧问它、WIKI百科、相册、新闻评论、各类中小型博客和论坛等.具有高*高权重网站自动注册和文章信息自动发布。
2、批量发布、重新编辑和替换内容等功能。文章采集，伪原创处理，自动连接。
3、文章拼接、友情链接、签名文件设置等功能。涵盖所有出版领域。
墨推云全网营销助手是一款模拟跨平台手动和自动推广的营销工具。我们采用独特的人工智能算法，自动识别各大网站的发布规则，无需编写任何规则，让用户能够自动准确地发布所有网站的信息。专门帮助企业做关键词百度排名、网站优化、网站引流；本软件操作简单，只要能上网，5分钟学会，2秒自动发表1篇文章，是网络营销必备的工具软件！让不懂互联网、不懂互联网的人可以借用工具做好网络营销，
与搜索引擎推广、广告联盟推广等手段相比，墨推云-企业信息助手的成本相对较低。从效率的角度来看，它的性价比很高。同时，墨推云-企业信息发布助手，转化率，各大搜索引擎收录高排名，高信息量，你的产品遍布全网，信息持续时间长，低价网络推广必备手段！ 查看全部
最近发布:Fluent Bit 收集指标日志
简介
Fluent Bit是一个轻量、高性能的日志采集和指标采集工具。
特点部署
Fluent Bit是使用C编写的，不同的平台需要重新编译，使用docker部署是最方便的。
下载镜像
docker pull cr.fluentbit.io/fluent/fluent-bit:1.9
测试
直接输出容器CPU指标
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -o stdout -f 1
也可以直接输出到elasticsearch
docker run -ti cr.fluentbit.io/fluent/fluent-bit:1.9 -i cpu -t cpu -o es -p Host=192.168.122.23 -p Port=9200 -p Index=monitor_cpu -p Type=my_type -o stdout -m '*'
总结
在kubernetes中pod里面的资源是共享，可以使用sidecar的方式采集pod的信息，也可以挂载目录，采集主机上的日志文件。
近期发布:软文自动发布软件自动发帖软件获客放心省心
软文自动发帖软件让客户放心的自动发帖软件
选择Magic Cloud，您将拥有：
1、软件可实现大规模B2B网站；包括门户博客和大型论坛、文章投递、分类信息、贴吧问它、WIKI百科、相册、新闻评论、各类中小型博客和论坛等.具有高*高权重网站自动注册和文章信息自动发布。
2、批量发布、重新编辑和替换内容等功能。文章采集，伪原创处理，自动连接。
3、文章拼接、友情链接、签名文件设置等功能。涵盖所有出版领域。
墨推云全网营销助手是一款模拟跨平台手动和自动推广的营销工具。我们采用独特的人工智能算法，自动识别各大网站的发布规则，无需编写任何规则，让用户能够自动准确地发布所有网站的信息。专门帮助企业做关键词百度排名、网站优化、网站引流；本软件操作简单，只要能上网，5分钟学会，2秒自动发表1篇文章，是网络营销必备的工具软件！让不懂互联网、不懂互联网的人可以借用工具做好网络营销，
与搜索引擎推广、广告联盟推广等手段相比，墨推云-企业信息助手的成本相对较低。从效率的角度来看，它的性价比很高。同时，墨推云-企业信息发布助手，转化率，各大搜索引擎收录高排名，高信息量，你的产品遍布全网，信息持续时间长，低价网络推广必备手段！
解决方案:自动采集更新伪原创插件高级版57(乐科技)
采集交流 • 优采云 发表了文章 • 0 个评论 • 94 次浏览 • 2022-10-01 23:49
解决方案:自动采集更新伪原创插件高级版57(乐科技)
自动采集更新伪原创插件进阶版57（伪原创更新网站站长随机数生成软件，操作过程一般复制粘贴）
网站万能资料采集器v10正式版
网站万能资讯采集器是杭州网乐科技**Words*出品的网站爬虫和网页爬虫软件。它结合了 网站crawler 网络爬虫软件的所有优点。它捕获 网站 上的所有信息并将其手动发布到您的 网站。可以捕获关于任何网站 的任何类型的信息，例如新闻、供求信息。、急抓人才、抓顶帖、抓音乐、抓下一页链接等等，只有你想不到的网站号采集器，没有优采云采集器抓不到的，你看并抓住他们。网站一般信息采集器也可以全部手动工作，无需手动操作。您还可以在小睡时保持 网站 上的最新信息。很强大。需要的用户，
软件功能
1、添加手册信息采集
网站爬取的主要目的是添加到你的网站，网站信息优化云采集器可以实现所有的采集和手动添加。刚刚更新的其他 网站 新闻将在五分钟内手动移至您的 网站。你觉得容易吗？
2、网站登录
对于需要登录才能听到消息内容的网站，网站信息云采集器可以轻松登录采集，即使有验证码，它可以通过登录采集 来访问您需要的信息。
3、文档手册下载
如果您需要采集图片等二进制文件，只需设置网站信息云在本地保存任何类型的文件。
4、多级页面合集
无论有多少类别和子类别，您都可以通过一个设置同时从多个级别的页面采集内容。如果一条信息分布在多个不同的页面上，网站General Information采集器也可以手动识别N级页面，实现信息采集和爬取。软件自带8层网站采集例子
5、自动识别特殊网址
许多 网站 网络链接类似于：('1234') 特殊 URL，不是正常的开头。网站一般信息采集器也可以手动识别和捕获内容。
6、自动过滤重复导出数据过滤重复数据处理
有时 URL 不同但内容相同。优采云采集器 仍然可以根据内容过滤重复。（新版本增加功能）
7、多页新闻手动合并、广告过滤
有的新闻有下一页，网站的万能信息采集器也可以爬到每一页。并且可以同时保存抓拍新闻中的图文，过滤掉广告
8、自动破解防盗链
很多下载网站已经过验证或者防盗链，直接输入网址无法抓取内容，但是网站万能资讯采集器可以手动破解验证和防盗链，呵呵，我保证你能得到你想要的。
9、另外增加了模拟手动提交的功能，租用的网站asp+空间也可以远程发布。其实它可以模拟所有网页提交动作，批量注册会员，模拟群发。
网站万能信息采集器的十大功能：
1、 手动采集和发布
2、自动破解特殊网址
3、会员登录网站 也被捕获
4、 一次抓取整个 网站网站number采集器，无论类别数量如何
5、任何类型的文件都可以下载
6、多页新闻手动合并、广告过滤
操作方法:优采云采集器不用配规则采集数据的方法
优采云采集器可以在不配置规则的情况下采集网页数据图文。对于刚刚注册优采云采集器的小伙伴，学习的配置规则有：除了自己配置规则外，优采云还在软件中提供了专门的规则市场供小伙伴们使用下载并学习。这也是新手快速学习优采云规则配置的方法之一。接下来，我们以新浪微博话题采集为例，用图文并茂的方式介绍市场的相关操作！第一步，登录优采云客户端，找到规则市场。第二步，找到你想要的规则，直接下载。在这里，优采云提醒大家，VIP用户可以免费下载所有规则，免费用户需要消耗积分才能下载。Step 3，将下载的规则导入任务 Step 4，直接开始运行任务。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。 查看全部
自动采集更新伪原创插件进阶版57（伪原创更新网站站长随机数生成软件，操作过程一般复制粘贴）
网站万能资料采集器v10正式版
网站万能资讯采集器是杭州网乐科技**Words*出品的网站爬虫和网页爬虫软件。它结合了 网站crawler 网络爬虫软件的所有优点。它捕获 网站 上的所有信息并将其手动发布到您的 网站。可以捕获关于任何网站 的任何类型的信息，例如新闻、供求信息。、急抓人才、抓顶帖、抓音乐、抓下一页链接等等，只有你想不到的网站号采集器，没有优采云采集器抓不到的，你看并抓住他们。网站一般信息采集器也可以全部手动工作，无需手动操作。您还可以在小睡时保持 网站 上的最新信息。很强大。需要的用户，
软件功能
1、添加手册信息采集
网站爬取的主要目的是添加到你的网站，网站信息优化云采集器可以实现所有的采集和手动添加。刚刚更新的其他 网站 新闻将在五分钟内手动移至您的 网站。你觉得容易吗？
2、网站登录
对于需要登录才能听到消息内容的网站，网站信息云采集器可以轻松登录采集，即使有验证码，它可以通过登录采集 来访问您需要的信息。
3、文档手册下载
如果您需要采集图片等二进制文件，只需设置网站信息云在本地保存任何类型的文件。
4、多级页面合集
无论有多少类别和子类别，您都可以通过一个设置同时从多个级别的页面采集内容。如果一条信息分布在多个不同的页面上，网站General Information采集器也可以手动识别N级页面，实现信息采集和爬取。软件自带8层网站采集例子
5、自动识别特殊网址
许多 网站 网络链接类似于：('1234') 特殊 URL，不是正常的开头。网站一般信息采集器也可以手动识别和捕获内容。
6、自动过滤重复导出数据过滤重复数据处理
有时 URL 不同但内容相同。优采云采集器 仍然可以根据内容过滤重复。（新版本增加功能）
7、多页新闻手动合并、广告过滤
有的新闻有下一页，网站的万能信息采集器也可以爬到每一页。并且可以同时保存抓拍新闻中的图文，过滤掉广告
8、自动破解防盗链
很多下载网站已经过验证或者防盗链，直接输入网址无法抓取内容，但是网站万能资讯采集器可以手动破解验证和防盗链，呵呵，我保证你能得到你想要的。
9、另外增加了模拟手动提交的功能，租用的网站asp+空间也可以远程发布。其实它可以模拟所有网页提交动作，批量注册会员，模拟群发。
网站万能信息采集器的十大功能：
1、 手动采集和发布
2、自动破解特殊网址
3、会员登录网站 也被捕获
4、 一次抓取整个 网站网站number采集器，无论类别数量如何
5、任何类型的文件都可以下载
6、多页新闻手动合并、广告过滤
操作方法:优采云采集器不用配规则采集数据的方法
优采云采集器可以在不配置规则的情况下采集网页数据图文。对于刚刚注册优采云采集器的小伙伴，学习的配置规则有：除了自己配置规则外，优采云还在软件中提供了专门的规则市场供小伙伴们使用下载并学习。这也是新手快速学习优采云规则配置的方法之一。接下来，我们以新浪微博话题采集为例，用图文并茂的方式介绍市场的相关操作！第一步，登录优采云客户端，找到规则市场。第二步，找到你想要的规则，直接下载。在这里，优采云提醒大家，VIP用户可以免费下载所有规则，免费用户需要消耗积分才能下载。Step 3，将下载的规则导入任务 Step 4，直接开始运行任务。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。 查看全部
解决方案:自动采集更新伪原创插件高级版57(乐科技)
自动采集更新伪原创插件进阶版57（伪原创更新网站站长随机数生成软件，操作过程一般复制粘贴）
网站万能资料采集器v10正式版
网站万能资讯采集器是杭州网乐科技**Words*出品的网站爬虫和网页爬虫软件。它结合了 网站crawler 网络爬虫软件的所有优点。它捕获 网站 上的所有信息并将其手动发布到您的 网站。可以捕获关于任何网站 的任何类型的信息，例如新闻、供求信息。、急抓人才、抓顶帖、抓音乐、抓下一页链接等等，只有你想不到的网站号采集器，没有优采云采集器抓不到的，你看并抓住他们。网站一般信息采集器也可以全部手动工作，无需手动操作。您还可以在小睡时保持 网站 上的最新信息。很强大。需要的用户，
软件功能
1、添加手册信息采集
网站爬取的主要目的是添加到你的网站，网站信息优化云采集器可以实现所有的采集和手动添加。刚刚更新的其他 网站 新闻将在五分钟内手动移至您的 网站。你觉得容易吗？
2、网站登录
对于需要登录才能听到消息内容的网站，网站信息云采集器可以轻松登录采集，即使有验证码，它可以通过登录采集 来访问您需要的信息。
3、文档手册下载
如果您需要采集图片等二进制文件，只需设置网站信息云在本地保存任何类型的文件。
4、多级页面合集
无论有多少类别和子类别，您都可以通过一个设置同时从多个级别的页面采集内容。如果一条信息分布在多个不同的页面上，网站General Information采集器也可以手动识别N级页面，实现信息采集和爬取。软件自带8层网站采集例子
5、自动识别特殊网址
许多 网站 网络链接类似于：('1234') 特殊 URL，不是正常的开头。网站一般信息采集器也可以手动识别和捕获内容。
6、自动过滤重复导出数据过滤重复数据处理
有时 URL 不同但内容相同。优采云采集器 仍然可以根据内容过滤重复。（新版本增加功能）
7、多页新闻手动合并、广告过滤
有的新闻有下一页，网站的万能信息采集器也可以爬到每一页。并且可以同时保存抓拍新闻中的图文，过滤掉广告
8、自动破解防盗链
很多下载网站已经过验证或者防盗链，直接输入网址无法抓取内容，但是网站万能资讯采集器可以手动破解验证和防盗链，呵呵，我保证你能得到你想要的。
9、另外增加了模拟手动提交的功能，租用的网站asp+空间也可以远程发布。其实它可以模拟所有网页提交动作，批量注册会员，模拟群发。
网站万能信息采集器的十大功能：
1、 手动采集和发布
2、自动破解特殊网址
3、会员登录网站 也被捕获
4、 一次抓取整个 网站网站number采集器，无论类别数量如何
5、任何类型的文件都可以下载
6、多页新闻手动合并、广告过滤
操作方法:优采云采集器不用配规则采集数据的方法
优采云采集器可以在不配置规则的情况下采集网页数据图文。对于刚刚注册优采云采集器的小伙伴，学习的配置规则有：除了自己配置规则外，优采云还在软件中提供了专门的规则市场供小伙伴们使用下载并学习。这也是新手快速学习优采云规则配置的方法之一。接下来，我们以新浪微博话题采集为例，用图文并茂的方式介绍市场的相关操作！第一步，登录优采云客户端，找到规则市场。第二步，找到你想要的规则，直接下载。在这里，优采云提醒大家，VIP用户可以免费下载所有规则，免费用户需要消耗积分才能下载。Step 3，将下载的规则导入任务 Step 4，直接开始运行任务。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。如果不需要修改规则，直接点击“下一步”直到页面完成，点击“检查任务”运行任务，推荐使用云采集数据服务，多任务，关机执行. 最后，数据执行完毕后，就可以导出数据了。优采云规则市场将进一步开放。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。进一步开放规则市场。以后朋友们可以独立上传配置好的规则，供其他朋友下载使用。请关注相关开通规则优采云采集器网站留言。
教程:【基于Laravel框架的一个简单易学的微信商城(新手必学)】的更多相关文章
采集交流 • 优采云 发表了文章 • 0 个评论 • 63 次浏览 • 2022-10-01 10:12
教程:【基于Laravel框架的一个简单易学的微信商城(新手必学)】的更多相关文章
一个简单实用的基于gulp的前端开发环境就准备好了。安装 Gulp 之后，是时候展示你的技能了。在自己电脑的任意位置创建一个目录，打开命令行，然后进入创建好的目录，开始编码。生成的json文件请点击这里。打开的速度取决于你的网络速度。注：以下为演示。我建立了一个目录结构。您可以根据自己的项目需求构建自己的项目
自从 Node.js 出现以来，基于它的前端开发工具框架越来越多，从 Grunt 到 Gulp 再到现在非常流行的 WebPack，所有这些新事物的出现极大地解放了我们的开发前端领域的小编，作为一个在前端领域打滚两年的文艺小码农，也有自己的一些心得。今天给大家分享一个基于Gulp的丑陋的前端开发环境。我的技能有限。, 如有任何问题或意见，请私聊。我电脑上的版本...
干货内容:初学者智能AI文章伪原创源码
初级智能A文章伪原创源码（站长必备）
源代码说明：
Beginner Intelligent AI伪原创的源码是什么？
各位站长朋友一定为网站内容原创的问题所困扰。作为草根站长，自己写原创文章是不可能的。当然，我并不是说你不能写一个。就个别站长的人力而言，写原创文章不太现实，时间问题。
可能有的站长朋友要问了：不写原创文章，怎么做到网站？
其实不仅是我们，国内几大门户也不全是原创文章，之前还互相借用修改过内容，然后改了标题，就成了自己的“新闻” ”。现在是时候谈谈我的 伪原创 工具了。这个程序是免费的
在线伪原创工具，原理是同义词替换。
有朋友问我，这算作弊吗？我就这个问题发表我个人的看法，供大家参考。毕竟，搜索引擎是一台机器。抓取文章后，会与数据库中已有的文章进行比较。如果它找到一个相似度很高的文章，就会被认为是抄袭。，否则视为原创。当然，如果照原样复制，那就是抄袭。用伪原创工具转换后，文章中的部分词组被转换成同义词，当搜索引擎再次比较时，会被认为是原创文章 . 当然，这也不是绝对的，取决于使用了多少特定的转换词组。
资源下载 本资源下载价格为1钻，终身VIP免费，请先登录
由于本站资源来源于互联网，出于研究和交流的目的，仅供您参考学习，不收录任何商业目的或商业用途。资源如有BUG等问题，请自行解决，本站不提供技术服务！由于资源的虚拟再现性，下载后将不予积分和退款。谢谢您的支持！如遇到下载链接无效或错误，请联系客服 查看全部
一个简单实用的基于gulp的前端开发环境就准备好了。安装 Gulp 之后，是时候展示你的技能了。在自己电脑的任意位置创建一个目录，打开命令行，然后进入创建好的目录，开始编码。生成的json文件请点击这里。打开的速度取决于你的网络速度。注：以下为演示。我建立了一个目录结构。您可以根据自己的项目需求构建自己的项目
自从 Node.js 出现以来，基于它的前端开发工具框架越来越多，从 Grunt 到 Gulp 再到现在非常流行的 WebPack，所有这些新事物的出现极大地解放了我们的开发前端领域的小编，作为一个在前端领域打滚两年的文艺小码农，也有自己的一些心得。今天给大家分享一个基于Gulp的丑陋的前端开发环境。我的技能有限。, 如有任何问题或意见，请私聊。我电脑上的版本...
干货内容:初学者智能AI文章伪原创源码
初级智能A文章伪原创源码（站长必备）
源代码说明：
Beginner Intelligent AI伪原创的源码是什么？
各位站长朋友一定为网站内容原创的问题所困扰。作为草根站长，自己写原创文章是不可能的。当然，我并不是说你不能写一个。就个别站长的人力而言，写原创文章不太现实，时间问题。
可能有的站长朋友要问了：不写原创文章，怎么做到网站？
其实不仅是我们，国内几大门户也不全是原创文章，之前还互相借用修改过内容，然后改了标题，就成了自己的“新闻” ”。现在是时候谈谈我的 伪原创 工具了。这个程序是免费的
在线伪原创工具，原理是同义词替换。
有朋友问我，这算作弊吗？我就这个问题发表我个人的看法，供大家参考。毕竟，搜索引擎是一台机器。抓取文章后，会与数据库中已有的文章进行比较。如果它找到一个相似度很高的文章，就会被认为是抄袭。，否则视为原创。当然，如果照原样复制，那就是抄袭。用伪原创工具转换后，文章中的部分词组被转换成同义词，当搜索引擎再次比较时，会被认为是原创文章 . 当然，这也不是绝对的，取决于使用了多少特定的转换词组。
资源下载 本资源下载价格为1钻，终身VIP免费，请先登录
由于本站资源来源于互联网，出于研究和交流的目的，仅供您参考学习，不收录任何商业目的或商业用途。资源如有BUG等问题，请自行解决，本站不提供技术服务！由于资源的虚拟再现性，下载后将不予积分和退款。谢谢您的支持！如遇到下载链接无效或错误，请联系客服 查看全部
教程:【基于Laravel框架的一个简单易学的微信商城(新手必学)】的更多相关文章
一个简单实用的基于gulp的前端开发环境就准备好了。安装 Gulp 之后，是时候展示你的技能了。在自己电脑的任意位置创建一个目录，打开命令行，然后进入创建好的目录，开始编码。生成的json文件请点击这里。打开的速度取决于你的网络速度。注：以下为演示。我建立了一个目录结构。您可以根据自己的项目需求构建自己的项目
自从 Node.js 出现以来，基于它的前端开发工具框架越来越多，从 Grunt 到 Gulp 再到现在非常流行的 WebPack，所有这些新事物的出现极大地解放了我们的开发前端领域的小编，作为一个在前端领域打滚两年的文艺小码农，也有自己的一些心得。今天给大家分享一个基于Gulp的丑陋的前端开发环境。我的技能有限。, 如有任何问题或意见，请私聊。我电脑上的版本...
干货内容:初学者智能AI文章伪原创源码
初级智能A文章伪原创源码（站长必备）
源代码说明：
Beginner Intelligent AI伪原创的源码是什么？
各位站长朋友一定为网站内容原创的问题所困扰。作为草根站长，自己写原创文章是不可能的。当然，我并不是说你不能写一个。就个别站长的人力而言，写原创文章不太现实，时间问题。
可能有的站长朋友要问了：不写原创文章，怎么做到网站？
其实不仅是我们，国内几大门户也不全是原创文章，之前还互相借用修改过内容，然后改了标题，就成了自己的“新闻” ”。现在是时候谈谈我的 伪原创 工具了。这个程序是免费的
在线伪原创工具，原理是同义词替换。
有朋友问我，这算作弊吗？我就这个问题发表我个人的看法，供大家参考。毕竟，搜索引擎是一台机器。抓取文章后，会与数据库中已有的文章进行比较。如果它找到一个相似度很高的文章，就会被认为是抄袭。，否则视为原创。当然，如果照原样复制，那就是抄袭。用伪原创工具转换后，文章中的部分词组被转换成同义词，当搜索引擎再次比较时，会被认为是原创文章 . 当然，这也不是绝对的，取决于使用了多少特定的转换词组。
资源下载 本资源下载价格为1钻，终身VIP免费，请先登录
由于本站资源来源于互联网，出于研究和交流的目的，仅供您参考学习，不收录任何商业目的或商业用途。资源如有BUG等问题，请自行解决，本站不提供技术服务！由于资源的虚拟再现性，下载后将不予积分和退款。谢谢您的支持！如遇到下载链接无效或错误，请联系客服
免费提供:优采云采集器器 3.6.3 绿色免费版 _资源猫
采集交流 • 优采云 发表了文章 • 0 个评论 • 122 次浏览 • 2022-09-29 08:13
免费提供:优采云采集器器 3.6.3 绿色免费版 _资源猫
优采云采集器设备3.6.3绿色免费版详情，优采云采集器设备是网络建设和网站维护它主要功能是通过内置的网络爬虫功能，浏览超快的网络信息和信息及相关资源采集，让用户轻松更新网站内容！
应用产品特点：
【全自动无人值守】
无需人工值班，24小时自动实时监控目标，实时高效采集，全天候为您提供内容更新。满足长期运行的需求，让您摆脱繁重的工作量。
【适用范围广】
最全能的采集软件，支持任意类型的网站采集，应用率高达99.9%，支持发布到所有类型的网站 程序等您可以在不发布接口的情况下采集本地文件。
【你想要的信息】
它支持信息的自由组合，通过强大的数据排序功能对信息进行深度处理，创造出新的内容。
【任意格式文件下载】
无论是静态还是动态，无论是图片、音乐、电影、软件，还是PDF文档、WORD文档，甚至是种子文件，只要你想要。
【伪原创】
高速同义词替换、随机多词替换、段落随机排序，助力内容搜索引擎优化。
【无限多级页面采集】
无论是垂直方向的多层页面，平行方向的复杂页面，还是AJAX调用的页面，都让你轻松采集。
【自由扩展】
开放式接口模式，可自由开发二次开发，自定义任何功能，实现所有需求。,
,
优采云采集器Device3.6.3绿色免费版下载地址
官方下载
官方下载
官方下载
官方下载
华东下载
华南下载
华北 下载
BGP线路
,
优采云采集器Device3.6.3绿色免费版下载地址，
免费获取:免费文章采集器（免费文章采集器）
目录：
1.免费文章采集软件
搜索实时热词有什么作用？通过实时热词工具采集，我们可以在今日头条、微信公众号、知乎等平台快速获取大量实时热词文章素材，实时热词采集工具具有热词关联挖掘功能，通过如图所示的长尾词挖掘，关键词文章匹配，获取大量文章 材料。
2.网站文章采集器
3.热门文章采集器
实时热词采集工具通过实时热词下拉词、大家都在搜索的词和相关词获取海量热词，进行全网文章< @采集通过关键词，一键生成大量热门文章素材实时热词采集该工具操作简单，不仅有关键词挖掘，自动采集流行文章，也可以对我们的关键词文章的@采集进行批处理。
4.通用文章采集器
5.微信公众号文章采集器免费版
实时热词采集工具可以批量编辑处理我们采集的文章素材，让我们可以整合同一个关键词采集@的多个内容>合二为一，并支持自动生成目录、图片水印处理和段落重组等，让我们的多种素材快速合二为一文章。
6.公众号文章免费采集
现场流行语采集可以有多种使用方式，一旦我们大致了解了每个功能的工作原理，我们就可以开始尝试不同的策略。随着经验的积累，我们将开始了解什么对我们的业务和受众方法最有效。最后，不要忘记衡量我们的结果，以便我们不断改进。
7.通用文章采集神器
8.网站文章自动采集发布
事实上，许多学生在空闲时间尝试学习新事物，但只有少数人成功了。面对如此多的大学要求和期望，学生在大学期间很难获得新技能。他们中的许多人决定寻找作家，让其他学生做他们的工作要容易得多。
9.文章资源采集
它为他们的论文提供了急需的帮助，并决定他们在自己喜欢的领域获得新技能。它还可以腾出一些时间，以便他们可以与朋友和家人共度时光
10.采集免费文章网站
如果我们想学习 SEO，坏消息是没有万能的答案。好消息是有很多资源可以帮助我们入门。最好的起点之一是了解 SEO 是什么以及它是如何工作的，一旦你对这些概念有了基本的了解，你就可以开始尝试不同的技术和策略，看看什么最适合你 网站。
网上有现场流行语采集 工具可帮助我们了解更多有关 SEO 的信息，其中许多工具提供了入门指南、社交媒体营销指南，适用于任何希望在营销领域建立职业生涯甚至只是获得他们的生意开始了对于任何刚起步的人来说，这是一项必要的技能。好消息是学习社交媒体营销的基础知识并不难。
实时流行语采集 为我们的业务选择合适平台的工具 对于每条内容，考虑我们想要传达的信息以及我们的目标受众是谁然后，相应地制作我们的内容最后，不要忘记衡量我们结果并根据需要调整我们的策略我们可能听说有很多因素会影响我们的网站排名。
可能很难知道从哪里开始，甚至更难跟踪搜索引擎对其排名算法所做的所有更改。在搜索引擎中获得良好的排名比以往任何时候都更加重要，但也比以往任何时候都更加复杂。获得好排名，我们需要考虑到搜索引擎算法的所有最新变化和更新。
主题测试文章，仅供测试使用。发布者：SEO研究员，转载请注明出处： 查看全部
优采云采集器设备3.6.3绿色免费版详情，优采云采集器设备是网络建设和网站维护它主要功能是通过内置的网络爬虫功能，浏览超快的网络信息和信息及相关资源采集，让用户轻松更新网站内容！
应用产品特点：
【全自动无人值守】
无需人工值班，24小时自动实时监控目标，实时高效采集，全天候为您提供内容更新。满足长期运行的需求，让您摆脱繁重的工作量。
【适用范围广】
最全能的采集软件，支持任意类型的网站采集，应用率高达99.9%，支持发布到所有类型的网站 程序等您可以在不发布接口的情况下采集本地文件。
【你想要的信息】
它支持信息的自由组合，通过强大的数据排序功能对信息进行深度处理，创造出新的内容。
【任意格式文件下载】
无论是静态还是动态，无论是图片、音乐、电影、软件，还是PDF文档、WORD文档，甚至是种子文件，只要你想要。
【伪原创】
高速同义词替换、随机多词替换、段落随机排序，助力内容搜索引擎优化。
【无限多级页面采集】
无论是垂直方向的多层页面，平行方向的复杂页面，还是AJAX调用的页面，都让你轻松采集。
【自由扩展】
开放式接口模式，可自由开发二次开发，自定义任何功能，实现所有需求。,
,
优采云采集器Device3.6.3绿色免费版下载地址
官方下载
官方下载
官方下载
官方下载
华东下载
华南下载
华北 下载
BGP线路
,
优采云采集器Device3.6.3绿色免费版下载地址，
免费获取:免费文章采集器（免费文章采集器）
目录：
1.免费文章采集软件
搜索实时热词有什么作用？通过实时热词工具采集，我们可以在今日头条、微信公众号、知乎等平台快速获取大量实时热词文章素材，实时热词采集工具具有热词关联挖掘功能，通过如图所示的长尾词挖掘，关键词文章匹配，获取大量文章 材料。
2.网站文章采集器
3.热门文章采集器
实时热词采集工具通过实时热词下拉词、大家都在搜索的词和相关词获取海量热词，进行全网文章< @采集通过关键词，一键生成大量热门文章素材实时热词采集该工具操作简单，不仅有关键词挖掘，自动采集流行文章，也可以对我们的关键词文章的@采集进行批处理。
4.通用文章采集器
5.微信公众号文章采集器免费版
实时热词采集工具可以批量编辑处理我们采集的文章素材，让我们可以整合同一个关键词采集@的多个内容>合二为一，并支持自动生成目录、图片水印处理和段落重组等，让我们的多种素材快速合二为一文章。
6.公众号文章免费采集
现场流行语采集可以有多种使用方式，一旦我们大致了解了每个功能的工作原理，我们就可以开始尝试不同的策略。随着经验的积累，我们将开始了解什么对我们的业务和受众方法最有效。最后，不要忘记衡量我们的结果，以便我们不断改进。
7.通用文章采集神器
8.网站文章自动采集发布
事实上，许多学生在空闲时间尝试学习新事物，但只有少数人成功了。面对如此多的大学要求和期望，学生在大学期间很难获得新技能。他们中的许多人决定寻找作家，让其他学生做他们的工作要容易得多。
9.文章资源采集
它为他们的论文提供了急需的帮助，并决定他们在自己喜欢的领域获得新技能。它还可以腾出一些时间，以便他们可以与朋友和家人共度时光
10.采集免费文章网站
如果我们想学习 SEO，坏消息是没有万能的答案。好消息是有很多资源可以帮助我们入门。最好的起点之一是了解 SEO 是什么以及它是如何工作的，一旦你对这些概念有了基本的了解，你就可以开始尝试不同的技术和策略，看看什么最适合你 网站。
网上有现场流行语采集 工具可帮助我们了解更多有关 SEO 的信息，其中许多工具提供了入门指南、社交媒体营销指南，适用于任何希望在营销领域建立职业生涯甚至只是获得他们的生意开始了对于任何刚起步的人来说，这是一项必要的技能。好消息是学习社交媒体营销的基础知识并不难。
实时流行语采集 为我们的业务选择合适平台的工具 对于每条内容，考虑我们想要传达的信息以及我们的目标受众是谁然后，相应地制作我们的内容最后，不要忘记衡量我们结果并根据需要调整我们的策略我们可能听说有很多因素会影响我们的网站排名。
可能很难知道从哪里开始，甚至更难跟踪搜索引擎对其排名算法所做的所有更改。在搜索引擎中获得良好的排名比以往任何时候都更加重要，但也比以往任何时候都更加复杂。获得好排名，我们需要考虑到搜索引擎算法的所有最新变化和更新。
主题测试文章，仅供测试使用。发布者：SEO研究员，转载请注明出处： 查看全部
免费提供:优采云采集器器 3.6.3 绿色免费版 _资源猫
优采云采集器设备3.6.3绿色免费版详情，优采云采集器设备是网络建设和网站维护它主要功能是通过内置的网络爬虫功能，浏览超快的网络信息和信息及相关资源采集，让用户轻松更新网站内容！
应用产品特点：
【全自动无人值守】
无需人工值班，24小时自动实时监控目标，实时高效采集，全天候为您提供内容更新。满足长期运行的需求，让您摆脱繁重的工作量。
【适用范围广】
最全能的采集软件，支持任意类型的网站采集，应用率高达99.9%，支持发布到所有类型的网站 程序等您可以在不发布接口的情况下采集本地文件。
【你想要的信息】
它支持信息的自由组合，通过强大的数据排序功能对信息进行深度处理，创造出新的内容。
【任意格式文件下载】
无论是静态还是动态，无论是图片、音乐、电影、软件，还是PDF文档、WORD文档，甚至是种子文件，只要你想要。
【伪原创】
高速同义词替换、随机多词替换、段落随机排序，助力内容搜索引擎优化。
【无限多级页面采集】
无论是垂直方向的多层页面，平行方向的复杂页面，还是AJAX调用的页面，都让你轻松采集。
【自由扩展】
开放式接口模式，可自由开发二次开发，自定义任何功能，实现所有需求。,
,
优采云采集器Device3.6.3绿色免费版下载地址
官方下载
官方下载
官方下载
官方下载
华东下载
华南下载
华北 下载
BGP线路
,
优采云采集器Device3.6.3绿色免费版下载地址，
免费获取:免费文章采集器（免费文章采集器）
目录：
1.免费文章采集软件
搜索实时热词有什么作用？通过实时热词工具采集，我们可以在今日头条、微信公众号、知乎等平台快速获取大量实时热词文章素材，实时热词采集工具具有热词关联挖掘功能，通过如图所示的长尾词挖掘，关键词文章匹配，获取大量文章 材料。
2.网站文章采集器
3.热门文章采集器
实时热词采集工具通过实时热词下拉词、大家都在搜索的词和相关词获取海量热词，进行全网文章< @采集通过关键词，一键生成大量热门文章素材实时热词采集该工具操作简单，不仅有关键词挖掘，自动采集流行文章，也可以对我们的关键词文章的@采集进行批处理。
4.通用文章采集器
5.微信公众号文章采集器免费版
实时热词采集工具可以批量编辑处理我们采集的文章素材，让我们可以整合同一个关键词采集@的多个内容>合二为一，并支持自动生成目录、图片水印处理和段落重组等，让我们的多种素材快速合二为一文章。
6.公众号文章免费采集
现场流行语采集可以有多种使用方式，一旦我们大致了解了每个功能的工作原理，我们就可以开始尝试不同的策略。随着经验的积累，我们将开始了解什么对我们的业务和受众方法最有效。最后，不要忘记衡量我们的结果，以便我们不断改进。
7.通用文章采集神器
8.网站文章自动采集发布
事实上，许多学生在空闲时间尝试学习新事物，但只有少数人成功了。面对如此多的大学要求和期望，学生在大学期间很难获得新技能。他们中的许多人决定寻找作家，让其他学生做他们的工作要容易得多。
9.文章资源采集
它为他们的论文提供了急需的帮助，并决定他们在自己喜欢的领域获得新技能。它还可以腾出一些时间，以便他们可以与朋友和家人共度时光
10.采集免费文章网站
如果我们想学习 SEO，坏消息是没有万能的答案。好消息是有很多资源可以帮助我们入门。最好的起点之一是了解 SEO 是什么以及它是如何工作的，一旦你对这些概念有了基本的了解，你就可以开始尝试不同的技术和策略，看看什么最适合你 网站。
网上有现场流行语采集 工具可帮助我们了解更多有关 SEO 的信息，其中许多工具提供了入门指南、社交媒体营销指南，适用于任何希望在营销领域建立职业生涯甚至只是获得他们的生意开始了对于任何刚起步的人来说，这是一项必要的技能。好消息是学习社交媒体营销的基础知识并不难。
实时流行语采集 为我们的业务选择合适平台的工具 对于每条内容，考虑我们想要传达的信息以及我们的目标受众是谁然后，相应地制作我们的内容最后，不要忘记衡量我们结果并根据需要调整我们的策略我们可能听说有很多因素会影响我们的网站排名。
可能很难知道从哪里开始，甚至更难跟踪搜索引擎对其排名算法所做的所有更改。在搜索引擎中获得良好的排名比以往任何时候都更加重要，但也比以往任何时候都更加复杂。获得好排名，我们需要考虑到搜索引擎算法的所有最新变化和更新。
主题测试文章，仅供测试使用。发布者：SEO研究员，转载请注明出处：
内容分享:用织梦后台采集功能采集网页标题为什么有的会正确采集，有的却采集为图片地址？
采集交流 • 优采云 发表了文章 • 0 个评论 • 99 次浏览 • 2022-09-26 03:08
内容分享:用织梦后台采集功能采集网页标题为什么有的会正确采集，有的却采集为图片地址？
织梦cms采集,织梦cms(dedecms)是一个易学易操作的开源内容管理系统（cms），站长都知道织梦cms非常适合本地门户网站，同时织梦cms@ > 也可用于企业官网和个人博客、论坛和本地门户网站等，织梦cms方便快捷，但市面上很少支持织梦cms@ >采集伪原创。@cms采集插件。织梦cms的站长应该怎么做织梦cms文章采集？
织梦cms采集之前需要验证百度官方站长平台。新站向站长工具提交网站，有3个月的支持期（一般是提交前三个月），新站抓住了这个机会。内容做好后，尝试将域名解析到站点。
老网站是新发的文章，直接手动提交给普通的收录。这个普通的收录我懂了，告诉百度一下我这里有新的文章，来爬我的网站。
织梦cms自动添加推送代码API推送。上面写手动提交，然后百度也给出了自动推送的代码。如果觉得麻烦，可以直接使用百度、神马、360、搜狗自带的织梦cms自动批量推送功能，发送织梦cms @> 一键 采集文章 from 采集 发布推送。然后推送代码一般放在每个页面的底部，footer.htm文件上，这样访问一个站点的用户就相当于百度推送。
织梦cms做好网站地图搭建和推送。除了织梦cms自动API推送，我们还可以提交sitemap，这是网站的地图，一般程序会自动生成。生成sitemap地图后，可以让百度批量推送链接。但是sitemap提交的链接被百度等搜索引擎抓取，具有周期性。
织梦cms采集解决内容质量问题。我们在做织梦cms采集的同时，最好伪原创让搜索引擎认为你的网站内容都是原创是的, 织梦cms采集提供多种新闻来源供你选择，织梦cms采集也支持指定网站< @采集，随便你，不用配置采集规则，一键全网文章采集。
服务器的硬件基础。服务器必须选择好的服务器。如果你的服务器硬件跟不上，做最好的 SEO 相关设置如 织梦cms采集伪原创 发布是没有用的。如果你经常情绪低落，就像蜘蛛上门而你关上门，蜘蛛会认为你很粗鲁。
织梦cms采集对网站页面的布局有一定的要求。网站的存在是给用户的，搜索引擎在访问页面时也会分析页面的整体布局。网站布局的核心是用户体验。体验好的用户停留时间长，点击很多其他页面（PV）。这也是百度评分的一种方法。织梦cms采集还要求你以后的页面布局符合网站SEO优化的布局，否则网站收录和SEO排名还没起来。
织梦cms采集 进程依赖。即使您从未听说过或使用过 SEO，网页上的内容仍或多或少地告诉搜索引擎它是关于什么的。页面优化侧重于这些。强调和突出主要说明问题的句子、单词和标题，希望搜索引擎能指出网页的主题，如果这些因素共同反映主题，它们将达到我们所说的“相关性”——基础供搜索引擎判断网页质量的要求。
织梦cms采集需要外部链接质量。对于外部链接，寻找高质量的外部链接，例如：具有高权重的交换友谊链接。不要找很多垃圾的外链，把负面的质量控制好，让水能流。今天的分享织梦cms采集就到这里，下期分享更多SEO相关知识。
内容分享:wordpress自动采集文章（wordpress采集器）
今天，我想推荐 WordPress 插件。市场上有各种 WordPress 插件。为了满足SEO的所有需求，我不知道要安装多少插件。 WordPress插件过多会导致网站打开速度变慢，搜索引擎对网站的抓取会变低。最后，收录网站，做seo优化工作最重要的一步就是更新文章，也需要坚持更新文章。很多人问seo，为什么我的细节优化得这么好，百度还是没有收录我的网站？为什么没有 关键词 排名？所有的客户都在哪里？ 网站静默三个月了怎么办？我建议在问这些问题之前，请仔细考虑一下您是否真的在尝试优化您的网站？
一、文章采集
<p>网站更新文章选择文章采集，正常网站每天最多更新3篇文章，3个月以内100文章，成为收录的机会不到30%。不知道你的网站哪一年哪一个月的收录和关键词排名会更高。 @伪原创 和 网站 页面 查看全部
织梦cms采集,织梦cms(dedecms)是一个易学易操作的开源内容管理系统（cms），站长都知道织梦cms非常适合本地门户网站，同时织梦cms@ > 也可用于企业官网和个人博客、论坛和本地门户网站等，织梦cms方便快捷，但市面上很少支持织梦cms@ >采集伪原创。@cms采集插件。织梦cms的站长应该怎么做织梦cms文章采集？
织梦cms采集之前需要验证百度官方站长平台。新站向站长工具提交网站，有3个月的支持期（一般是提交前三个月），新站抓住了这个机会。内容做好后，尝试将域名解析到站点。
老网站是新发的文章，直接手动提交给普通的收录。这个普通的收录我懂了，告诉百度一下我这里有新的文章，来爬我的网站。
织梦cms自动添加推送代码API推送。上面写手动提交，然后百度也给出了自动推送的代码。如果觉得麻烦，可以直接使用百度、神马、360、搜狗自带的织梦cms自动批量推送功能，发送织梦cms @> 一键 采集文章 from 采集 发布推送。然后推送代码一般放在每个页面的底部，footer.htm文件上，这样访问一个站点的用户就相当于百度推送。
织梦cms做好网站地图搭建和推送。除了织梦cms自动API推送，我们还可以提交sitemap，这是网站的地图，一般程序会自动生成。生成sitemap地图后，可以让百度批量推送链接。但是sitemap提交的链接被百度等搜索引擎抓取，具有周期性。
织梦cms采集解决内容质量问题。我们在做织梦cms采集的同时，最好伪原创让搜索引擎认为你的网站内容都是原创是的, 织梦cms采集提供多种新闻来源供你选择，织梦cms采集也支持指定网站< @采集，随便你，不用配置采集规则，一键全网文章采集。
服务器的硬件基础。服务器必须选择好的服务器。如果你的服务器硬件跟不上，做最好的 SEO 相关设置如 织梦cms采集伪原创 发布是没有用的。如果你经常情绪低落，就像蜘蛛上门而你关上门，蜘蛛会认为你很粗鲁。
织梦cms采集对网站页面的布局有一定的要求。网站的存在是给用户的，搜索引擎在访问页面时也会分析页面的整体布局。网站布局的核心是用户体验。体验好的用户停留时间长，点击很多其他页面（PV）。这也是百度评分的一种方法。织梦cms采集还要求你以后的页面布局符合网站SEO优化的布局，否则网站收录和SEO排名还没起来。
织梦cms采集 进程依赖。即使您从未听说过或使用过 SEO，网页上的内容仍或多或少地告诉搜索引擎它是关于什么的。页面优化侧重于这些。强调和突出主要说明问题的句子、单词和标题，希望搜索引擎能指出网页的主题，如果这些因素共同反映主题，它们将达到我们所说的“相关性”——基础供搜索引擎判断网页质量的要求。
织梦cms采集需要外部链接质量。对于外部链接，寻找高质量的外部链接，例如：具有高权重的交换友谊链接。不要找很多垃圾的外链，把负面的质量控制好，让水能流。今天的分享织梦cms采集就到这里，下期分享更多SEO相关知识。
内容分享:wordpress自动采集文章（wordpress采集器）
今天，我想推荐 WordPress 插件。市场上有各种 WordPress 插件。为了满足SEO的所有需求，我不知道要安装多少插件。 WordPress插件过多会导致网站打开速度变慢，搜索引擎对网站的抓取会变低。最后，收录网站，做seo优化工作最重要的一步就是更新文章，也需要坚持更新文章。很多人问seo，为什么我的细节优化得这么好，百度还是没有收录我的网站？为什么没有 关键词 排名？所有的客户都在哪里？ 网站静默三个月了怎么办？我建议在问这些问题之前，请仔细考虑一下您是否真的在尝试优化您的网站？
一、文章采集
<p>网站更新文章选择文章采集，正常网站每天最多更新3篇文章，3个月以内100文章，成为收录的机会不到30%。不知道你的网站哪一年哪一个月的收录和关键词排名会更高。 @伪原创 和 网站 页面 查看全部
内容分享:用织梦后台采集功能采集网页标题为什么有的会正确采集，有的却采集为图片地址？
织梦cms采集,织梦cms(dedecms)是一个易学易操作的开源内容管理系统（cms），站长都知道织梦cms非常适合本地门户网站，同时织梦cms@ > 也可用于企业官网和个人博客、论坛和本地门户网站等，织梦cms方便快捷，但市面上很少支持织梦cms@ >采集伪原创。@cms采集插件。织梦cms的站长应该怎么做织梦cms文章采集？
织梦cms采集之前需要验证百度官方站长平台。新站向站长工具提交网站，有3个月的支持期（一般是提交前三个月），新站抓住了这个机会。内容做好后，尝试将域名解析到站点。
老网站是新发的文章，直接手动提交给普通的收录。这个普通的收录我懂了，告诉百度一下我这里有新的文章，来爬我的网站。
织梦cms自动添加推送代码API推送。上面写手动提交，然后百度也给出了自动推送的代码。如果觉得麻烦，可以直接使用百度、神马、360、搜狗自带的织梦cms自动批量推送功能，发送织梦cms @> 一键 采集文章 from 采集 发布推送。然后推送代码一般放在每个页面的底部，footer.htm文件上，这样访问一个站点的用户就相当于百度推送。
织梦cms做好网站地图搭建和推送。除了织梦cms自动API推送，我们还可以提交sitemap，这是网站的地图，一般程序会自动生成。生成sitemap地图后，可以让百度批量推送链接。但是sitemap提交的链接被百度等搜索引擎抓取，具有周期性。
织梦cms采集解决内容质量问题。我们在做织梦cms采集的同时，最好伪原创让搜索引擎认为你的网站内容都是原创是的, 织梦cms采集提供多种新闻来源供你选择，织梦cms采集也支持指定网站< @采集，随便你，不用配置采集规则，一键全网文章采集。
服务器的硬件基础。服务器必须选择好的服务器。如果你的服务器硬件跟不上，做最好的 SEO 相关设置如 织梦cms采集伪原创 发布是没有用的。如果你经常情绪低落，就像蜘蛛上门而你关上门，蜘蛛会认为你很粗鲁。
织梦cms采集对网站页面的布局有一定的要求。网站的存在是给用户的，搜索引擎在访问页面时也会分析页面的整体布局。网站布局的核心是用户体验。体验好的用户停留时间长，点击很多其他页面（PV）。这也是百度评分的一种方法。织梦cms采集还要求你以后的页面布局符合网站SEO优化的布局，否则网站收录和SEO排名还没起来。
织梦cms采集 进程依赖。即使您从未听说过或使用过 SEO，网页上的内容仍或多或少地告诉搜索引擎它是关于什么的。页面优化侧重于这些。强调和突出主要说明问题的句子、单词和标题，希望搜索引擎能指出网页的主题，如果这些因素共同反映主题，它们将达到我们所说的“相关性”——基础供搜索引擎判断网页质量的要求。
织梦cms采集需要外部链接质量。对于外部链接，寻找高质量的外部链接，例如：具有高权重的交换友谊链接。不要找很多垃圾的外链，把负面的质量控制好，让水能流。今天的分享织梦cms采集就到这里，下期分享更多SEO相关知识。
内容分享:wordpress自动采集文章（wordpress采集器）
今天，我想推荐 WordPress 插件。市场上有各种 WordPress 插件。为了满足SEO的所有需求，我不知道要安装多少插件。 WordPress插件过多会导致网站打开速度变慢，搜索引擎对网站的抓取会变低。最后，收录网站，做seo优化工作最重要的一步就是更新文章，也需要坚持更新文章。很多人问seo，为什么我的细节优化得这么好，百度还是没有收录我的网站？为什么没有 关键词 排名？所有的客户都在哪里？ 网站静默三个月了怎么办？我建议在问这些问题之前，请仔细考虑一下您是否真的在尝试优化您的网站？
一、文章采集
<p>网站更新文章选择文章采集，正常网站每天最多更新3篇文章，3个月以内100文章，成为收录的机会不到30%。不知道你的网站哪一年哪一个月的收录和关键词排名会更高。 @伪原创 和 网站 页面
秘密:知更鸟MM图片采集站源码 自带7条采集规则 WordPress内核
采集交流 • 优采云 发表了文章 • 0 个评论 • 116 次浏览 • 2022-09-25 08:09
秘密:知更鸟MM图片采集站源码 自带7条采集规则 WordPress内核
简介：
1、大量内置内容安装后即可操作，省时省力；
2、内置高效采集插件，每天自动采集一次（间隔可自行修改），真正无人值守；
3、内置7条真实有效的采集规则；
4、内置缓存插件，减轻前台访问压力；
5、网站管理简单快捷，后台可以修改基本的前台显示信息，无需修改任何代码；
6、程序完全开源，无任何加密，不定时提供更新；
7、采用前端HTML5+CSS3响应式布局，多终端兼容（pc+手机+平板），数据同步，管理方便；
8、采集规则失效不用担心，我们有强大的技术团队，会提供更新规则服务；
9、图片默认使用远程地址，节省磁盘空间，可设置本地保存；
支持环境：Windows/linuxPHP5.3/4/5/6 7.1 mysql5.+
推荐环境：linux php7.1 mysql5.6
图片：
资源下载本资源下载价格120币，请先登录
免费的:爱站SEO工具包之网站站群查询工具使用方法
爱站seo工具包正式版是爱站推出的一款seo优化工具。这个软件其实是网站爱站的一个采集工具包。原爱站的各种功能，包括关键词查询挖掘、百度外链、关键词监控、SEO诊断和收录速率/死链接查询等多项功能，可以一目了然地显示主要网站的收录、索引和关键词信息。此外，软件还可以实时监控每日排名波动，让您轻松了解自己的网站在百度、搜狗、360等各大搜索引擎的排名变化趋势，从而实现< @网站 站长期望的排名。搜索引擎中良好的排名效果是大多数SEO从业者每天都在使用的工具。总之，通过这个软件，所有网站站长可以更好的推动网站的发展，是一个很好的辅助工具，欢迎有需要的朋友下载使用。
软件功能1、SEO诊断：快速查找网站SEO状态并自动给出评分和优化方向，方便网站及时改进。
2、关键词监控：带关键词实时排名查询，关键词索引查询，关键词排名变化监控，关键词历史排名，关键词排名数据分析等功能。
3、收录速率/死链接查询：可以快速抓取网址，准确查询网站的收录速率和死链接。
4、站群查询：站群查询工具的查询内容包括：收录、权重、PR、快照、反向链接、网站IP、导出链接、建站时间、ICP备案等查询功能，可批量查询站群的SEO状态。
5、网站日志分析：该工具可以自动识别不同搜索引擎蜘蛛的IIS、Apache、Nginx日志格式的访问次数、停留时间、总爬取量、状态码分析、计数和生成图表。
6、关键词查询：爱站SEO工具包的关键词查询工具原名爱站@开发的飞达路长尾词查询工具>。技术升级后，新版本的体验比飞达如更好。它可以高效地挖掘长尾词并查询 关键词 索引。
7、百度外链处理：百度外链助手工具是通过采集百度外链和爱站数据中心辅助站长处理百度拒外链的神器对站点数据进行筛选和处理，快速生成需要拒绝的外部链接。
<p>8、综合查询：爱站SEO Toolkit的综合查询工具是一个包括：百度权重、百度快照、谷歌PR、预期百度链接、爱站外链、外链的工具、首页内链、24小时收录、一周收录、一月收录、 查看全部
简介：
1、大量内置内容安装后即可操作，省时省力；
2、内置高效采集插件，每天自动采集一次（间隔可自行修改），真正无人值守；
3、内置7条真实有效的采集规则；
4、内置缓存插件，减轻前台访问压力；
5、网站管理简单快捷，后台可以修改基本的前台显示信息，无需修改任何代码；
6、程序完全开源，无任何加密，不定时提供更新；
7、采用前端HTML5+CSS3响应式布局，多终端兼容（pc+手机+平板），数据同步，管理方便；
8、采集规则失效不用担心，我们有强大的技术团队，会提供更新规则服务；
9、图片默认使用远程地址，节省磁盘空间，可设置本地保存；
支持环境：Windows/linuxPHP5.3/4/5/6 7.1 mysql5.+
推荐环境：linux php7.1 mysql5.6
图片：
资源下载本资源下载价格120币，请先登录
免费的:爱站SEO工具包之网站站群查询工具使用方法
爱站seo工具包正式版是爱站推出的一款seo优化工具。这个软件其实是网站爱站的一个采集工具包。原爱站的各种功能，包括关键词查询挖掘、百度外链、关键词监控、SEO诊断和收录速率/死链接查询等多项功能，可以一目了然地显示主要网站的收录、索引和关键词信息。此外，软件还可以实时监控每日排名波动，让您轻松了解自己的网站在百度、搜狗、360等各大搜索引擎的排名变化趋势，从而实现< @网站 站长期望的排名。搜索引擎中良好的排名效果是大多数SEO从业者每天都在使用的工具。总之，通过这个软件，所有网站站长可以更好的推动网站的发展，是一个很好的辅助工具，欢迎有需要的朋友下载使用。
软件功能1、SEO诊断：快速查找网站SEO状态并自动给出评分和优化方向，方便网站及时改进。
2、关键词监控：带关键词实时排名查询，关键词索引查询，关键词排名变化监控，关键词历史排名，关键词排名数据分析等功能。
3、收录速率/死链接查询：可以快速抓取网址，准确查询网站的收录速率和死链接。
4、站群查询：站群查询工具的查询内容包括：收录、权重、PR、快照、反向链接、网站IP、导出链接、建站时间、ICP备案等查询功能，可批量查询站群的SEO状态。
5、网站日志分析：该工具可以自动识别不同搜索引擎蜘蛛的IIS、Apache、Nginx日志格式的访问次数、停留时间、总爬取量、状态码分析、计数和生成图表。
6、关键词查询：爱站SEO工具包的关键词查询工具原名爱站@开发的飞达路长尾词查询工具>。技术升级后，新版本的体验比飞达如更好。它可以高效地挖掘长尾词并查询 关键词 索引。
7、百度外链处理：百度外链助手工具是通过采集百度外链和爱站数据中心辅助站长处理百度拒外链的神器对站点数据进行筛选和处理，快速生成需要拒绝的外部链接。
<p>8、综合查询：爱站SEO Toolkit的综合查询工具是一个包括：百度权重、百度快照、谷歌PR、预期百度链接、爱站外链、外链的工具、首页内链、24小时收录、一周收录、一月收录、 查看全部
秘密:知更鸟MM图片采集站源码 自带7条采集规则 WordPress内核
简介：
1、大量内置内容安装后即可操作，省时省力；
2、内置高效采集插件，每天自动采集一次（间隔可自行修改），真正无人值守；
3、内置7条真实有效的采集规则；
4、内置缓存插件，减轻前台访问压力；
5、网站管理简单快捷，后台可以修改基本的前台显示信息，无需修改任何代码；
6、程序完全开源，无任何加密，不定时提供更新；
7、采用前端HTML5+CSS3响应式布局，多终端兼容（pc+手机+平板），数据同步，管理方便；
8、采集规则失效不用担心，我们有强大的技术团队，会提供更新规则服务；
9、图片默认使用远程地址，节省磁盘空间，可设置本地保存；
支持环境：Windows/linuxPHP5.3/4/5/6 7.1 mysql5.+
推荐环境：linux php7.1 mysql5.6
图片：
资源下载本资源下载价格120币，请先登录
免费的:爱站SEO工具包之网站站群查询工具使用方法
爱站seo工具包正式版是爱站推出的一款seo优化工具。这个软件其实是网站爱站的一个采集工具包。原爱站的各种功能，包括关键词查询挖掘、百度外链、关键词监控、SEO诊断和收录速率/死链接查询等多项功能，可以一目了然地显示主要网站的收录、索引和关键词信息。此外，软件还可以实时监控每日排名波动，让您轻松了解自己的网站在百度、搜狗、360等各大搜索引擎的排名变化趋势，从而实现< @网站 站长期望的排名。搜索引擎中良好的排名效果是大多数SEO从业者每天都在使用的工具。总之，通过这个软件，所有网站站长可以更好的推动网站的发展，是一个很好的辅助工具，欢迎有需要的朋友下载使用。
软件功能1、SEO诊断：快速查找网站SEO状态并自动给出评分和优化方向，方便网站及时改进。
2、关键词监控：带关键词实时排名查询，关键词索引查询，关键词排名变化监控，关键词历史排名，关键词排名数据分析等功能。
3、收录速率/死链接查询：可以快速抓取网址，准确查询网站的收录速率和死链接。
4、站群查询：站群查询工具的查询内容包括：收录、权重、PR、快照、反向链接、网站IP、导出链接、建站时间、ICP备案等查询功能，可批量查询站群的SEO状态。
5、网站日志分析：该工具可以自动识别不同搜索引擎蜘蛛的IIS、Apache、Nginx日志格式的访问次数、停留时间、总爬取量、状态码分析、计数和生成图表。
6、关键词查询：爱站SEO工具包的关键词查询工具原名爱站@开发的飞达路长尾词查询工具>。技术升级后，新版本的体验比飞达如更好。它可以高效地挖掘长尾词并查询 关键词 索引。
7、百度外链处理：百度外链助手工具是通过采集百度外链和爱站数据中心辅助站长处理百度拒外链的神器对站点数据进行筛选和处理，快速生成需要拒绝的外部链接。
<p>8、综合查询：爱站SEO Toolkit的综合查询工具是一个包括：百度权重、百度快照、谷歌PR、预期百度链接、爱站外链、外链的工具、首页内链、24小时收录、一周收录、一月收录、
内容分享:php小说漫画网站源码高仿歪歪漫画系统带分销和采集功能
采集交流 • 优采云 发表了文章 • 0 个评论 • 122 次浏览 • 2022-09-23 16:11
内容分享:php小说漫画网站源码高仿歪歪漫画系统带分销和采集功能
本套源码以thinkphp开发的小说漫画网站程序手机版为核心。界面风格以歪曲漫画系统为蓝本。它有自己的分发系统和采集 功能。发布网站任务，管理站点用户权限，查看系统操作日志，充值管理，商品管理，皮肤管理等。是一款非常强大的小说和漫画系统，系统内置小说和漫画规则采集，今天分享给大家，供大家休闲娱乐研究！
运行环境
本站测试环境为：Apache2.4+php5.6（openssl扩展）+mysql5.6，本程序据说使用mysql5.@ >7 如果是这样，性能会翻倍，不知道是真是假，我没有测试过。
安装教程
1、上传源码到网站根目录
2、修改数据库配置文件信息，Application/Common/Conf/db.php
3、导入数据库文件ym3.sql
4、添加伪静态规则，Apache环境不需要单独添加，会自动添加。其他环境请自行配置伪静态规则。在宝塔上选择thinkphp的伪静态。
5、进入后台设置网站的各个方面，后台地址：你的网站/admin，账号：kangjia，密码：；
亲测截图
资源下载本资源下载价格为5金币，请先登录
如无特别说明，本文资源的解压密码为：或
提示：源代码采集于互联网，不保证其完整性和安全性。请自行下载测试FAQ
本文由网友投稿或“jucode源码网”整理自互联网。如需转载，请注明出处：
如果本站发布的内容侵犯了您的权益，请联系zhangqy2022#删除，我们会及时处理！
最新版本:苹果CMS插件插件-全自动采集文章内容伪原创插件
为什么要使用免费的 Apple cms 插件？如何使用 Apple cms 插件对 网站收录 和 关键词 进行排名。对于很多站长来说，有一个漂亮的网站首页，但是没有排名，或者首页上只有一两个词排名。应该清楚的是，网站的排名不仅与首页有关，还与每个内页有关。内页的优化实际上决定了网站在网站中的排名。只有对每个内页进行优化，才能提高网站的整体排名。
1：单个页面上的样板文本过多
在每一页上重复的内容称为样板文本，换句话说，它是为了减少单页和单页之间的重复率。比如底部版权信息、在线QQ弹框、顶部无用导航、首页banner图片、侧边栏等信息、友情链接信息，这些都是常见的样板文字。
2：标题重复率太高
可能很多站长通过cms系统建立了网站，通过cms自带的SEO机制使用默认标题方式，导致大部分或者某个栏目标题基本一致. 造成很多重复，比如首页标题出现在每个页面上，会让百度认为这个标题没有价值，也会让搜索引擎无法区分页面的焦点。
3：内容布局
布局干净整洁。最好用图文并茂的模式来赢得客户的第一印象。搜索引擎也会根据页面的清洁度给一个不错的分数。
4：内部链接太多
单页做首页链接是对的，但是如果独立页太内向，会被搜索引擎考虑为了排名而排名，反而是自残。文章中的反向链接太多，需要做符合用户搜索的内容。
5：代码优化
CSS代码优化：常用h1、h2、h3。一对h1页面就够了，CSS样式也尽量使用外部调用的方式。JS代码优化：每个独立页面最好少出现js或flash程序。不要忘记图像的 alt 标签。
网站 更新得越频繁，搜索引擎蜘蛛就会越频繁地出现。因此，我们可以利用苹果cms插件实现采集伪原创自动发布，主动推送给搜索引擎，提高搜索引擎的抓取频率，从而提高网站@ >收录 和 关键词 排名。
一、免费苹果cms插件
免费苹果 cms采集 插件特点：
1、只需将关键词导入到采集相关的关键词文章，同时创建几十或几百个采集任务（一个任务可以be 支持上传1000个关键词)，支持过滤关键词。
2、支持多消息源：问答和各种消息源（可同时设置多个采集消息源采集/采集消息源稍后添加）
3、过滤其他促销信息
4、图片本地化/图片水印/图片第三方存储
5、文章交流+翻译（简体中文和繁体翻译+百度翻译+有道翻译+谷歌翻译+147翻译）
6、自动批量挂机采集，与各大cms发布者无缝对接，采集后自动发布——实现采集发布全自动挂机。
二、在所有平台上发布插件
全平台cms发布者的特点：
1、cms发布：目前市面上唯一支持Empirecms、易友、ZBLOG、dedecms、WordPress、PBoot、Applecms、迅锐cms、PHPcms、苹果cms、人人网cms、米拓cms、云游cms、小旋风站群 , THINKCMF, 建站ABC, 凡客cms, 一骑cms, 海洋cms, 飞飞cms, 本地发布, 搜外 等cms ，并同时进行批量管理和发布的工具
2、全网推送（百度/360/搜狗/神马）
3、伪原创（标题+内容）
4、替换图片防止侵权
5、强大的SEO功能（自动图片放置/插入内外链接/标题和文章前后插入内容/标题关键词与内容一致关键词/随机插入图片/随机属性添加页面原创度）
6、对应栏：对应文章可以发布对应栏/支持多栏发布
7、定期发布：可控发布间隔/每天发布总数
8、监控数据：直接监控已经发布、待发布的软件，是否为伪原创、发布状态、URL、程序、发布时间等。
网站优化收录的问题一直是seoer比较关心和头疼的问题。百度关键词排名，一个很重要的指标就是网站收录的量。网站收录量大与内容的高品质、更新的规律性、域名的时间长等因素有关，但还有一些其他因素影响优化网站收录。
1、查看标题中是否有与正文无关的关键字填充
这是一个比较常见的问题。搜索引擎强调网站的标题和内容的对应关系。可以搜索标题中涉及的关键词，但内容中没有相关关键词。引擎认为它在作弊。体现了相对严格的规章制度，值得思考的是搜索引擎用什么手段来判断内容和标题的相关性？出现在标题中的关键词和内容一定要出现吗？例如：“SEO、seo优化、SEO优化基础”可能都归入同一类索引，所以才会判断相关性。因此，虽然强调了内容与标题的呼应，但仍有很大的灵活余地。
2、查看网站优化是否过度影响用户体验
如果页面针对搜索引擎优化过多，影响了用户正常体验的负面影响，那么网站很可能会被百度丢弃。什么是过度优化，比如：语义写作完全贴近搜索引擎，但用户阅读困难。这通常针对 SEO 进行优化。如何在不引起过度优化的情况下进行优化？把自己看成一个网友。从用户的角度来看，什么样的页面不会引起你的反感，但你愿意接受。但是不同的人可能有不同的看法。例如，我认为网页上不应该有广告。站长是否应该删除广告？立足全局，分析公众认可度进行优化。
3、查看网站内容是否被重复一千次或高度重复
百度蜘蛛喜欢新鲜的东西，众所周知。所以，如果你的网站上的内容是其他网站重复了很多次，甚至上千次的东西，百度蜘蛛肯定不会喜欢的。所以在做网站内容的时候，一定要注意原创色情内容。
4、友情链接交换有量无质
用一些垃圾邮件 网站 交换附属链接，最终结果是您自己的网站也受到负面影响。有“近朱为红，近墨为黑”的说法。这是事实。事物若分门别类，难免会被“杀死”。不要给搜索引擎一个在友好链接上放弃你的理由。搜索引擎从未承诺任何网站都不会被放弃。即使你做得很好，也会因为一些外部链接而被放弃。
看完这篇文章，如果觉得不错，不妨采集一下，或者发给需要的朋友同事。关注博主，每天给你展示各种SEO经验，让你的网站也能快速获得收录和关键词的排名！ 查看全部
本套源码以thinkphp开发的小说漫画网站程序手机版为核心。界面风格以歪曲漫画系统为蓝本。它有自己的分发系统和采集 功能。发布网站任务，管理站点用户权限，查看系统操作日志，充值管理，商品管理，皮肤管理等。是一款非常强大的小说和漫画系统，系统内置小说和漫画规则采集，今天分享给大家，供大家休闲娱乐研究！
运行环境
本站测试环境为：Apache2.4+php5.6（openssl扩展）+mysql5.6，本程序据说使用mysql5.@ >7 如果是这样，性能会翻倍，不知道是真是假，我没有测试过。
安装教程
1、上传源码到网站根目录
2、修改数据库配置文件信息，Application/Common/Conf/db.php
3、导入数据库文件ym3.sql
4、添加伪静态规则，Apache环境不需要单独添加，会自动添加。其他环境请自行配置伪静态规则。在宝塔上选择thinkphp的伪静态。
5、进入后台设置网站的各个方面，后台地址：你的网站/admin，账号：kangjia，密码：；
亲测截图
资源下载本资源下载价格为5金币，请先登录
如无特别说明，本文资源的解压密码为：或
提示：源代码采集于互联网，不保证其完整性和安全性。请自行下载测试FAQ
本文由网友投稿或“jucode源码网”整理自互联网。如需转载，请注明出处：
如果本站发布的内容侵犯了您的权益，请联系zhangqy2022#删除，我们会及时处理！
最新版本:苹果CMS插件插件-全自动采集文章内容伪原创插件
为什么要使用免费的 Apple cms 插件？如何使用 Apple cms 插件对 网站收录 和 关键词 进行排名。对于很多站长来说，有一个漂亮的网站首页，但是没有排名，或者首页上只有一两个词排名。应该清楚的是，网站的排名不仅与首页有关，还与每个内页有关。内页的优化实际上决定了网站在网站中的排名。只有对每个内页进行优化，才能提高网站的整体排名。
1：单个页面上的样板文本过多
在每一页上重复的内容称为样板文本，换句话说，它是为了减少单页和单页之间的重复率。比如底部版权信息、在线QQ弹框、顶部无用导航、首页banner图片、侧边栏等信息、友情链接信息，这些都是常见的样板文字。
2：标题重复率太高
可能很多站长通过cms系统建立了网站，通过cms自带的SEO机制使用默认标题方式，导致大部分或者某个栏目标题基本一致. 造成很多重复，比如首页标题出现在每个页面上，会让百度认为这个标题没有价值，也会让搜索引擎无法区分页面的焦点。
3：内容布局
布局干净整洁。最好用图文并茂的模式来赢得客户的第一印象。搜索引擎也会根据页面的清洁度给一个不错的分数。
4：内部链接太多
单页做首页链接是对的，但是如果独立页太内向，会被搜索引擎考虑为了排名而排名，反而是自残。文章中的反向链接太多，需要做符合用户搜索的内容。
5：代码优化
CSS代码优化：常用h1、h2、h3。一对h1页面就够了，CSS样式也尽量使用外部调用的方式。JS代码优化：每个独立页面最好少出现js或flash程序。不要忘记图像的 alt 标签。
网站 更新得越频繁，搜索引擎蜘蛛就会越频繁地出现。因此，我们可以利用苹果cms插件实现采集伪原创自动发布，主动推送给搜索引擎，提高搜索引擎的抓取频率，从而提高网站@ >收录 和 关键词 排名。
一、免费苹果cms插件
免费苹果 cms采集 插件特点：
1、只需将关键词导入到采集相关的关键词文章，同时创建几十或几百个采集任务（一个任务可以be 支持上传1000个关键词)，支持过滤关键词。
2、支持多消息源：问答和各种消息源（可同时设置多个采集消息源采集/采集消息源稍后添加）
3、过滤其他促销信息
4、图片本地化/图片水印/图片第三方存储
5、文章交流+翻译（简体中文和繁体翻译+百度翻译+有道翻译+谷歌翻译+147翻译）
6、自动批量挂机采集，与各大cms发布者无缝对接，采集后自动发布——实现采集发布全自动挂机。
二、在所有平台上发布插件
全平台cms发布者的特点：
1、cms发布：目前市面上唯一支持Empirecms、易友、ZBLOG、dedecms、WordPress、PBoot、Applecms、迅锐cms、PHPcms、苹果cms、人人网cms、米拓cms、云游cms、小旋风站群 , THINKCMF, 建站ABC, 凡客cms, 一骑cms, 海洋cms, 飞飞cms, 本地发布, 搜外 等cms ，并同时进行批量管理和发布的工具
2、全网推送（百度/360/搜狗/神马）
3、伪原创（标题+内容）
4、替换图片防止侵权
5、强大的SEO功能（自动图片放置/插入内外链接/标题和文章前后插入内容/标题关键词与内容一致关键词/随机插入图片/随机属性添加页面原创度）
6、对应栏：对应文章可以发布对应栏/支持多栏发布
7、定期发布：可控发布间隔/每天发布总数
8、监控数据：直接监控已经发布、待发布的软件，是否为伪原创、发布状态、URL、程序、发布时间等。
网站优化收录的问题一直是seoer比较关心和头疼的问题。百度关键词排名，一个很重要的指标就是网站收录的量。网站收录量大与内容的高品质、更新的规律性、域名的时间长等因素有关，但还有一些其他因素影响优化网站收录。
1、查看标题中是否有与正文无关的关键字填充
这是一个比较常见的问题。搜索引擎强调网站的标题和内容的对应关系。可以搜索标题中涉及的关键词，但内容中没有相关关键词。引擎认为它在作弊。体现了相对严格的规章制度，值得思考的是搜索引擎用什么手段来判断内容和标题的相关性？出现在标题中的关键词和内容一定要出现吗？例如：“SEO、seo优化、SEO优化基础”可能都归入同一类索引，所以才会判断相关性。因此，虽然强调了内容与标题的呼应，但仍有很大的灵活余地。
2、查看网站优化是否过度影响用户体验
如果页面针对搜索引擎优化过多，影响了用户正常体验的负面影响，那么网站很可能会被百度丢弃。什么是过度优化，比如：语义写作完全贴近搜索引擎，但用户阅读困难。这通常针对 SEO 进行优化。如何在不引起过度优化的情况下进行优化？把自己看成一个网友。从用户的角度来看，什么样的页面不会引起你的反感，但你愿意接受。但是不同的人可能有不同的看法。例如，我认为网页上不应该有广告。站长是否应该删除广告？立足全局，分析公众认可度进行优化。
3、查看网站内容是否被重复一千次或高度重复
百度蜘蛛喜欢新鲜的东西，众所周知。所以，如果你的网站上的内容是其他网站重复了很多次，甚至上千次的东西，百度蜘蛛肯定不会喜欢的。所以在做网站内容的时候，一定要注意原创色情内容。
4、友情链接交换有量无质
用一些垃圾邮件 网站 交换附属链接，最终结果是您自己的网站也受到负面影响。有“近朱为红，近墨为黑”的说法。这是事实。事物若分门别类，难免会被“杀死”。不要给搜索引擎一个在友好链接上放弃你的理由。搜索引擎从未承诺任何网站都不会被放弃。即使你做得很好，也会因为一些外部链接而被放弃。
看完这篇文章，如果觉得不错，不妨采集一下，或者发给需要的朋友同事。关注博主，每天给你展示各种SEO经验，让你的网站也能快速获得收录和关键词的排名！ 查看全部
内容分享:php小说漫画网站源码高仿歪歪漫画系统带分销和采集功能
本套源码以thinkphp开发的小说漫画网站程序手机版为核心。界面风格以歪曲漫画系统为蓝本。它有自己的分发系统和采集 功能。发布网站任务，管理站点用户权限，查看系统操作日志，充值管理，商品管理，皮肤管理等。是一款非常强大的小说和漫画系统，系统内置小说和漫画规则采集，今天分享给大家，供大家休闲娱乐研究！
运行环境
本站测试环境为：Apache2.4+php5.6（openssl扩展）+mysql5.6，本程序据说使用mysql5.@ >7 如果是这样，性能会翻倍，不知道是真是假，我没有测试过。
安装教程
1、上传源码到网站根目录
2、修改数据库配置文件信息，Application/Common/Conf/db.php
3、导入数据库文件ym3.sql
4、添加伪静态规则，Apache环境不需要单独添加，会自动添加。其他环境请自行配置伪静态规则。在宝塔上选择thinkphp的伪静态。
5、进入后台设置网站的各个方面，后台地址：你的网站/admin，账号：kangjia，密码：；
亲测截图
资源下载本资源下载价格为5金币，请先登录
如无特别说明，本文资源的解压密码为：或
提示：源代码采集于互联网，不保证其完整性和安全性。请自行下载测试FAQ
本文由网友投稿或“jucode源码网”整理自互联网。如需转载，请注明出处：
如果本站发布的内容侵犯了您的权益，请联系zhangqy2022#删除，我们会及时处理！
最新版本:苹果CMS插件插件-全自动采集文章内容伪原创插件
为什么要使用免费的 Apple cms 插件？如何使用 Apple cms 插件对 网站收录 和 关键词 进行排名。对于很多站长来说，有一个漂亮的网站首页，但是没有排名，或者首页上只有一两个词排名。应该清楚的是，网站的排名不仅与首页有关，还与每个内页有关。内页的优化实际上决定了网站在网站中的排名。只有对每个内页进行优化，才能提高网站的整体排名。
1：单个页面上的样板文本过多
在每一页上重复的内容称为样板文本，换句话说，它是为了减少单页和单页之间的重复率。比如底部版权信息、在线QQ弹框、顶部无用导航、首页banner图片、侧边栏等信息、友情链接信息，这些都是常见的样板文字。
2：标题重复率太高
可能很多站长通过cms系统建立了网站，通过cms自带的SEO机制使用默认标题方式，导致大部分或者某个栏目标题基本一致. 造成很多重复，比如首页标题出现在每个页面上，会让百度认为这个标题没有价值，也会让搜索引擎无法区分页面的焦点。
3：内容布局
布局干净整洁。最好用图文并茂的模式来赢得客户的第一印象。搜索引擎也会根据页面的清洁度给一个不错的分数。
4：内部链接太多
单页做首页链接是对的，但是如果独立页太内向，会被搜索引擎考虑为了排名而排名，反而是自残。文章中的反向链接太多，需要做符合用户搜索的内容。
5：代码优化
CSS代码优化：常用h1、h2、h3。一对h1页面就够了，CSS样式也尽量使用外部调用的方式。JS代码优化：每个独立页面最好少出现js或flash程序。不要忘记图像的 alt 标签。
网站 更新得越频繁，搜索引擎蜘蛛就会越频繁地出现。因此，我们可以利用苹果cms插件实现采集伪原创自动发布，主动推送给搜索引擎，提高搜索引擎的抓取频率，从而提高网站@ >收录 和 关键词 排名。
一、免费苹果cms插件
免费苹果 cms采集 插件特点：
1、只需将关键词导入到采集相关的关键词文章，同时创建几十或几百个采集任务（一个任务可以be 支持上传1000个关键词)，支持过滤关键词。
2、支持多消息源：问答和各种消息源（可同时设置多个采集消息源采集/采集消息源稍后添加）
3、过滤其他促销信息
4、图片本地化/图片水印/图片第三方存储
5、文章交流+翻译（简体中文和繁体翻译+百度翻译+有道翻译+谷歌翻译+147翻译）
6、自动批量挂机采集，与各大cms发布者无缝对接，采集后自动发布——实现采集发布全自动挂机。
二、在所有平台上发布插件
全平台cms发布者的特点：
1、cms发布：目前市面上唯一支持Empirecms、易友、ZBLOG、dedecms、WordPress、PBoot、Applecms、迅锐cms、PHPcms、苹果cms、人人网cms、米拓cms、云游cms、小旋风站群 , THINKCMF, 建站ABC, 凡客cms, 一骑cms, 海洋cms, 飞飞cms, 本地发布, 搜外 等cms ，并同时进行批量管理和发布的工具
2、全网推送（百度/360/搜狗/神马）
3、伪原创（标题+内容）
4、替换图片防止侵权
5、强大的SEO功能（自动图片放置/插入内外链接/标题和文章前后插入内容/标题关键词与内容一致关键词/随机插入图片/随机属性添加页面原创度）
6、对应栏：对应文章可以发布对应栏/支持多栏发布
7、定期发布：可控发布间隔/每天发布总数
8、监控数据：直接监控已经发布、待发布的软件，是否为伪原创、发布状态、URL、程序、发布时间等。
网站优化收录的问题一直是seoer比较关心和头疼的问题。百度关键词排名，一个很重要的指标就是网站收录的量。网站收录量大与内容的高品质、更新的规律性、域名的时间长等因素有关，但还有一些其他因素影响优化网站收录。
1、查看标题中是否有与正文无关的关键字填充
这是一个比较常见的问题。搜索引擎强调网站的标题和内容的对应关系。可以搜索标题中涉及的关键词，但内容中没有相关关键词。引擎认为它在作弊。体现了相对严格的规章制度，值得思考的是搜索引擎用什么手段来判断内容和标题的相关性？出现在标题中的关键词和内容一定要出现吗？例如：“SEO、seo优化、SEO优化基础”可能都归入同一类索引，所以才会判断相关性。因此，虽然强调了内容与标题的呼应，但仍有很大的灵活余地。
2、查看网站优化是否过度影响用户体验
如果页面针对搜索引擎优化过多，影响了用户正常体验的负面影响，那么网站很可能会被百度丢弃。什么是过度优化，比如：语义写作完全贴近搜索引擎，但用户阅读困难。这通常针对 SEO 进行优化。如何在不引起过度优化的情况下进行优化？把自己看成一个网友。从用户的角度来看，什么样的页面不会引起你的反感，但你愿意接受。但是不同的人可能有不同的看法。例如，我认为网页上不应该有广告。站长是否应该删除广告？立足全局，分析公众认可度进行优化。
3、查看网站内容是否被重复一千次或高度重复
百度蜘蛛喜欢新鲜的东西，众所周知。所以，如果你的网站上的内容是其他网站重复了很多次，甚至上千次的东西，百度蜘蛛肯定不会喜欢的。所以在做网站内容的时候，一定要注意原创色情内容。
4、友情链接交换有量无质
用一些垃圾邮件 网站 交换附属链接，最终结果是您自己的网站也受到负面影响。有“近朱为红，近墨为黑”的说法。这是事实。事物若分门别类，难免会被“杀死”。不要给搜索引擎一个在友好链接上放弃你的理由。搜索引擎从未承诺任何网站都不会被放弃。即使你做得很好，也会因为一些外部链接而被放弃。
看完这篇文章，如果觉得不错，不妨采集一下，或者发给需要的朋友同事。关注博主，每天给你展示各种SEO经验，让你的网站也能快速获得收录和关键词的排名！
网站程序自带的采集器采集文章里面的句子是可以的
采集交流 • 优采云 发表了文章 • 0 个评论 • 93 次浏览 • 2022-09-08 20:15
网站程序自带的采集器采集文章里面的句子是可以的
网站程序自带的采集器采集文章里面的句子是可以的。但是你要引导读者，这是要在标题前面设置诱饵的。一篇文章5000左右，没什么诱惑力，而且你还需要配合锚文本才有效果。具体怎么设置你可以在奇速英语官网，奇速英语论坛文章里面找攻略。
给自己做了个百度文库同步到搜狗-360网盘同步器，传上去时选的是“收费文章”，系统自动识别关键词，自动加上去的内容非免费文章的排名也比较好。
我做了3个月的文档也是一篇没有，
可以理解为你去过度展示，“说人话”和“变卖专业”，使文章质量下降，隐患是打击写手的积极性，暂时看来解决方法还是建议你把关键词加大力度设置在页面的顶部，这样显得不特别突兀，因为文章会比较小众，同时你还要进行过滤，比如苹果可以以及有时尚感什么的作为专业关键词，不然很容易引起反感，当然还有一个办法，你可以尝试将微信公众号的文章格式复制粘贴到这里面，可以过滤掉一部分不专业的文章。
最后说一句，将商业靠近，会让读者失去消费冲动，现在很多中小型企业已经把市场策略转向本地化，如果能解决有害用户体验的问题（如同步作弊问题），你的文章会异常的受欢迎。总之，要符合企业利益，而不是只为市场。
首先分析背景，这个产品是打着内容产出平台在做，很显然这不是用户需求，对吗？其次，分析需求背后有无痛点，用户需求在哪里，但问题在于你提供的方法是别人能够拿到，你不能拿到，这说明你的方法很难以用户所能接受。再次，你要想痛点，痛点是什么？比如卖某个产品很好，消费者可以买到，你就成功了。那解决方法有几个，a吸粉，这是整个内容产出平台的命根子。
b提高内容质量，尽量不要打广告，不要捆绑推广，无论是否可以做到，都是出路。c做高端产品，对接精准用户。d向用户卖内容，只卖他想卖的。e想尽一切办法把用户留住，能多卖就多卖。f放弃一切（做个app或做个平台）。需要你多考虑你是什么样的产品？即用户是什么样的。g做一个线上平台，方便用户采集百度文库内容，做信息交换。 查看全部
网站程序自带的采集器采集文章里面的句子是可以的。但是你要引导读者，这是要在标题前面设置诱饵的。一篇文章5000左右，没什么诱惑力，而且你还需要配合锚文本才有效果。具体怎么设置你可以在奇速英语官网，奇速英语论坛文章里面找攻略。
给自己做了个百度文库同步到搜狗-360网盘同步器，传上去时选的是“收费文章”，系统自动识别关键词，自动加上去的内容非免费文章的排名也比较好。
我做了3个月的文档也是一篇没有，
可以理解为你去过度展示，“说人话”和“变卖专业”，使文章质量下降，隐患是打击写手的积极性，暂时看来解决方法还是建议你把关键词加大力度设置在页面的顶部，这样显得不特别突兀，因为文章会比较小众，同时你还要进行过滤，比如苹果可以以及有时尚感什么的作为专业关键词，不然很容易引起反感，当然还有一个办法，你可以尝试将微信公众号的文章格式复制粘贴到这里面，可以过滤掉一部分不专业的文章。
最后说一句，将商业靠近，会让读者失去消费冲动，现在很多中小型企业已经把市场策略转向本地化，如果能解决有害用户体验的问题（如同步作弊问题），你的文章会异常的受欢迎。总之，要符合企业利益，而不是只为市场。
首先分析背景，这个产品是打着内容产出平台在做，很显然这不是用户需求，对吗？其次，分析需求背后有无痛点，用户需求在哪里，但问题在于你提供的方法是别人能够拿到，你不能拿到，这说明你的方法很难以用户所能接受。再次，你要想痛点，痛点是什么？比如卖某个产品很好，消费者可以买到，你就成功了。那解决方法有几个，a吸粉，这是整个内容产出平台的命根子。
b提高内容质量，尽量不要打广告，不要捆绑推广，无论是否可以做到，都是出路。c做高端产品，对接精准用户。d向用户卖内容，只卖他想卖的。e想尽一切办法把用户留住，能多卖就多卖。f放弃一切（做个app或做个平台）。需要你多考虑你是什么样的产品？即用户是什么样的。g做一个线上平台，方便用户采集百度文库内容，做信息交换。 查看全部
网站程序自带的采集器采集文章里面的句子是可以的
网站程序自带的采集器采集文章里面的句子是可以的。但是你要引导读者，这是要在标题前面设置诱饵的。一篇文章5000左右，没什么诱惑力，而且你还需要配合锚文本才有效果。具体怎么设置你可以在奇速英语官网，奇速英语论坛文章里面找攻略。
给自己做了个百度文库同步到搜狗-360网盘同步器，传上去时选的是“收费文章”，系统自动识别关键词，自动加上去的内容非免费文章的排名也比较好。
我做了3个月的文档也是一篇没有，
可以理解为你去过度展示，“说人话”和“变卖专业”，使文章质量下降，隐患是打击写手的积极性，暂时看来解决方法还是建议你把关键词加大力度设置在页面的顶部，这样显得不特别突兀，因为文章会比较小众，同时你还要进行过滤，比如苹果可以以及有时尚感什么的作为专业关键词，不然很容易引起反感，当然还有一个办法，你可以尝试将微信公众号的文章格式复制粘贴到这里面，可以过滤掉一部分不专业的文章。
最后说一句，将商业靠近，会让读者失去消费冲动，现在很多中小型企业已经把市场策略转向本地化，如果能解决有害用户体验的问题（如同步作弊问题），你的文章会异常的受欢迎。总之，要符合企业利益，而不是只为市场。
首先分析背景，这个产品是打着内容产出平台在做，很显然这不是用户需求，对吗？其次，分析需求背后有无痛点，用户需求在哪里，但问题在于你提供的方法是别人能够拿到，你不能拿到，这说明你的方法很难以用户所能接受。再次，你要想痛点，痛点是什么？比如卖某个产品很好，消费者可以买到，你就成功了。那解决方法有几个，a吸粉，这是整个内容产出平台的命根子。
b提高内容质量，尽量不要打广告，不要捆绑推广，无论是否可以做到，都是出路。c做高端产品，对接精准用户。d向用户卖内容，只卖他想卖的。e想尽一切办法把用户留住，能多卖就多卖。f放弃一切（做个app或做个平台）。需要你多考虑你是什么样的产品？即用户是什么样的。g做一个线上平台，方便用户采集百度文库内容，做信息交换。
网站程序自带的采集器采集文章无需web开发基础
采集交流 • 优采云 发表了文章 • 0 个评论 • 82 次浏览 • 2022-08-13 11:53
网站程序自带的采集器采集文章无需web开发基础
网站程序自带的采集器采集文章无需web开发基础，只要人工编写爬虫程序，按照url地址进行填充内容就可以。由于各种因素导致网站无法保存所有的文章数据。下面的应用程序可以获取到每篇文章的所有详细内容，包括完整的标题、摘要、内容链接、点赞数、评论数、收藏数、分享数、播放量、阅读时间、阅读页码、内容页的url、参考链接、阅读页的地址、参考文章。程序还可以从搜索引擎抓取所有的内容。完整程序代码及详细参考文档地址：。
如果你对数据有一定的了解的话，其实你可以自己做一个，说白了就是自己整合爬虫技术，将里面涉及到的相关操作按照自己的理解手写一遍。你去百度一下爬虫解决方案，很多方案已经是上年纪的了，既然你这么想一个人来做，那么我个人给你提个小建议，好好研究网上现有的爬虫解决方案，比如github或者类似的代码库，然后手敲一遍程序，照着网上别人的代码稍加修改就成了自己的了。
而如果你没有这方面的技术知识的话，那就当我是放屁，如果你真的决定要自己做，我建议你从简单的爬虫入手，word的商品描述爬虫。
常见爬虫工具如何使用爬虫在python中主要包括爬虫、beautifulsoup和scrapy，它们可以爬取网页信息，并提取内容结构。其中爬虫，也称爬虫爬虫本身，爬虫接受request并进行判断，然后会在浏览器中缓存。这样当网页重新更新时，它们就可以通过客户端缓存。beautifulsoup和scrapy主要用于获取页面的内容。
第一步：开始爬取首先要将网页链接的数据爬取下来。例如：这个是必须的，这是我们爬取的第一页。打开浏览器：然后进入第一页的url：//我们刚刚设置的是：然后我们一步一步爬，整理完第一页：爬取下来的内容就是第一页的内容：但是如果没有登录的话，还要继续进行两步：第二步：去sogou链接的后面抓取这个链接的内容到我们自己的数据库中：两步就可以爬取到相关的信息，可以用于后续的数据分析。爬虫的开发，主要分为爬虫程序开发和文章相关的代码开发，主要用于获取页面的页面数据。 查看全部
网站程序自带的采集器采集文章无需web开发基础，只要人工编写爬虫程序，按照url地址进行填充内容就可以。由于各种因素导致网站无法保存所有的文章数据。下面的应用程序可以获取到每篇文章的所有详细内容，包括完整的标题、摘要、内容链接、点赞数、评论数、收藏数、分享数、播放量、阅读时间、阅读页码、内容页的url、参考链接、阅读页的地址、参考文章。程序还可以从搜索引擎抓取所有的内容。完整程序代码及详细参考文档地址：。
如果你对数据有一定的了解的话，其实你可以自己做一个，说白了就是自己整合爬虫技术，将里面涉及到的相关操作按照自己的理解手写一遍。你去百度一下爬虫解决方案，很多方案已经是上年纪的了，既然你这么想一个人来做，那么我个人给你提个小建议，好好研究网上现有的爬虫解决方案，比如github或者类似的代码库，然后手敲一遍程序，照着网上别人的代码稍加修改就成了自己的了。
而如果你没有这方面的技术知识的话，那就当我是放屁，如果你真的决定要自己做，我建议你从简单的爬虫入手，word的商品描述爬虫。
常见爬虫工具如何使用爬虫在python中主要包括爬虫、beautifulsoup和scrapy，它们可以爬取网页信息，并提取内容结构。其中爬虫，也称爬虫爬虫本身，爬虫接受request并进行判断，然后会在浏览器中缓存。这样当网页重新更新时，它们就可以通过客户端缓存。beautifulsoup和scrapy主要用于获取页面的内容。
第一步：开始爬取首先要将网页链接的数据爬取下来。例如：这个是必须的，这是我们爬取的第一页。打开浏览器：然后进入第一页的url：//我们刚刚设置的是：然后我们一步一步爬，整理完第一页：爬取下来的内容就是第一页的内容：但是如果没有登录的话，还要继续进行两步：第二步：去sogou链接的后面抓取这个链接的内容到我们自己的数据库中：两步就可以爬取到相关的信息，可以用于后续的数据分析。爬虫的开发，主要分为爬虫程序开发和文章相关的代码开发，主要用于获取页面的页面数据。 查看全部
网站程序自带的采集器采集文章无需web开发基础
网站程序自带的采集器采集文章无需web开发基础，只要人工编写爬虫程序，按照url地址进行填充内容就可以。由于各种因素导致网站无法保存所有的文章数据。下面的应用程序可以获取到每篇文章的所有详细内容，包括完整的标题、摘要、内容链接、点赞数、评论数、收藏数、分享数、播放量、阅读时间、阅读页码、内容页的url、参考链接、阅读页的地址、参考文章。程序还可以从搜索引擎抓取所有的内容。完整程序代码及详细参考文档地址：。
如果你对数据有一定的了解的话，其实你可以自己做一个，说白了就是自己整合爬虫技术，将里面涉及到的相关操作按照自己的理解手写一遍。你去百度一下爬虫解决方案，很多方案已经是上年纪的了，既然你这么想一个人来做，那么我个人给你提个小建议，好好研究网上现有的爬虫解决方案，比如github或者类似的代码库，然后手敲一遍程序，照着网上别人的代码稍加修改就成了自己的了。
而如果你没有这方面的技术知识的话，那就当我是放屁，如果你真的决定要自己做，我建议你从简单的爬虫入手，word的商品描述爬虫。
常见爬虫工具如何使用爬虫在python中主要包括爬虫、beautifulsoup和scrapy，它们可以爬取网页信息，并提取内容结构。其中爬虫，也称爬虫爬虫本身，爬虫接受request并进行判断，然后会在浏览器中缓存。这样当网页重新更新时，它们就可以通过客户端缓存。beautifulsoup和scrapy主要用于获取页面的内容。
第一步：开始爬取首先要将网页链接的数据爬取下来。例如：这个是必须的，这是我们爬取的第一页。打开浏览器：然后进入第一页的url：//我们刚刚设置的是：然后我们一步一步爬，整理完第一页：爬取下来的内容就是第一页的内容：但是如果没有登录的话，还要继续进行两步：第二步：去sogou链接的后面抓取这个链接的内容到我们自己的数据库中：两步就可以爬取到相关的信息，可以用于后续的数据分析。爬虫的开发，主要分为爬虫程序开发和文章相关的代码开发，主要用于获取页面的页面数据。
网站程序自带的采集器采集文章的话，用第三方云采集
采集交流 • 优采云 发表了文章 • 0 个评论 • 119 次浏览 • 2022-08-01 16:05
网站程序自带的采集器采集文章的话，用第三方云采集
网站程序自带的采集器采集文章的话，用第三方云采集（微擎、速登）之类的网站插件采集微信后台的公众号文章，之后生成可用于企业品牌营销和发布公众号文章的png格式图片即可，只需要注意文章的基本版权之类的问题，都是有版权保障的。
难道不是一开始我们写的时候，就应该保证“侵权必究”么？自己采集的后来被用做发布公司产品等用途不也是侵权？多虑了，多想想。
这个就没办法保证了，建议使用搜狗微信采集器等专业的网站采集工具，可以保证文章的版权和原创性。
使用微擎的话是可以自动抓取的，一般专业的网站都会自带微擎，要不就是购买其他的插件。
您好，很高兴为您解答。您提到的问题我认为首先是要确保您自己的稿件被微信认可，至于开头和结尾的改动则可以通过修改后缀名等方式进行采集。按照你的情况，你可以把内容发送给别人，对方可以拿着您的内容给您进行授权，然后按照授权的的路径，拿去收集和排版即可。
自己写网站然后用第三方的采集器
一般就是需要版权保护等条件了，
第三方平台比如微擎采集器吧，配置很简单，
微信公众号文章本身也是采集的，想抓取，要么自己写专业网站采集工具，
可以用我们的云采集器，可以自动生成原创链接和二维码来抓取微信的文章，数据库自己写，不会侵权的。 查看全部
网站程序自带的采集器采集文章的话，用第三方云采集（微擎、速登）之类的网站插件采集微信后台的公众号文章，之后生成可用于企业品牌营销和发布公众号文章的png格式图片即可，只需要注意文章的基本版权之类的问题，都是有版权保障的。
难道不是一开始我们写的时候，就应该保证“侵权必究”么？自己采集的后来被用做发布公司产品等用途不也是侵权？多虑了，多想想。
这个就没办法保证了，建议使用搜狗微信采集器等专业的网站采集工具，可以保证文章的版权和原创性。
使用微擎的话是可以自动抓取的，一般专业的网站都会自带微擎，要不就是购买其他的插件。
您好，很高兴为您解答。您提到的问题我认为首先是要确保您自己的稿件被微信认可，至于开头和结尾的改动则可以通过修改后缀名等方式进行采集。按照你的情况，你可以把内容发送给别人，对方可以拿着您的内容给您进行授权，然后按照授权的的路径，拿去收集和排版即可。
自己写网站然后用第三方的采集器
一般就是需要版权保护等条件了，
第三方平台比如微擎采集器吧，配置很简单，
微信公众号文章本身也是采集的，想抓取，要么自己写专业网站采集工具，
可以用我们的云采集器，可以自动生成原创链接和二维码来抓取微信的文章，数据库自己写，不会侵权的。 查看全部
网站程序自带的采集器采集文章的话，用第三方云采集
网站程序自带的采集器采集文章的话，用第三方云采集（微擎、速登）之类的网站插件采集微信后台的公众号文章，之后生成可用于企业品牌营销和发布公众号文章的png格式图片即可，只需要注意文章的基本版权之类的问题，都是有版权保障的。
难道不是一开始我们写的时候，就应该保证“侵权必究”么？自己采集的后来被用做发布公司产品等用途不也是侵权？多虑了，多想想。
这个就没办法保证了，建议使用搜狗微信采集器等专业的网站采集工具，可以保证文章的版权和原创性。
使用微擎的话是可以自动抓取的，一般专业的网站都会自带微擎，要不就是购买其他的插件。
您好，很高兴为您解答。您提到的问题我认为首先是要确保您自己的稿件被微信认可，至于开头和结尾的改动则可以通过修改后缀名等方式进行采集。按照你的情况，你可以把内容发送给别人，对方可以拿着您的内容给您进行授权，然后按照授权的的路径，拿去收集和排版即可。
自己写网站然后用第三方的采集器
一般就是需要版权保护等条件了，
第三方平台比如微擎采集器吧，配置很简单，
微信公众号文章本身也是采集的，想抓取，要么自己写专业网站采集工具，
可以用我们的云采集器，可以自动生成原创链接和二维码来抓取微信的文章，数据库自己写，不会侵权的。
一文看懂无侵入微服务探针原理
采集交流 • 优采云 发表了文章 • 0 个评论 • 53 次浏览 • 2022-07-29 08:13
一文看懂无侵入微服务探针原理
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。类型名称说明长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性让我们编译一个简单的类`Demo.java`
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。JDK 自带的解析工具 javap ，可以以人类可读的方式打印 class 文件，其结果也和上述一致。
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode 的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
方法区：用于存放的类信息、常量、静态变量、即时编译器编译后的代码等数据堆：所有线程共享，放置 object 对象与数组，也是 GC (垃圾收集器的主要区域)虚机栈&程序计数器：线程私有的，每一个新的线程都会分配对应的内存对象。每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
启动时：将必要的类通过 ClassLoader 加载到内存
运行时：创建一个新实例时，优先从内存中寻找，否则加载进内存
执行方法：寻找方法的定义，将局部变量和方法的字节码放入虚机栈中，最终返回计算结果。当然静态方法会有所区别。
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：按照字节码的规范生成新的类使用 JVM TI ，命令 JVM 将类加载到对应的内存去。替换后，系统将使用我们增强过的方法。这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。javaagent 有两种使用 方式：启动时加入参数配置 agent 包路径：-javaagent:/${path}/agent.jar;运行时attach 到JVM 实例的pid ，将 jar 包附着上去：VirtualMachine.attach(pid);VirtualMachine.loadAgent("/
/agent.jar");使用第一种方式的 demo
public class PreMainTraceAgent {public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); }static class DefineTransformer implements ClassFileTransformer{@Overridepublic byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className);return classfileBuffer; } }}
Manifest-Version: 1.0Can-Redefine-Classes: trueCan-Retransform-Classes: truePremain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：最后打包成 agent.jar 包premain() ：-javaagent 方式进入的入口。顾名思义他是在main函数前执行的，制作 jar 包时需要在 MF 文件中指名入口Premain-Class: PreMainTraceAgent
Instrumentation：JVM 实例的句柄。无论是 -javaagent 还是 attach 上去，最终都会获得一个实例相关的 Instrumentation。inst 中比较重要的两个函数是redefineClasses(ClassDefinition... definitions)与retransformClasses(Class... classes)通过这两个函数，我们都可以将增强后字节码加入到 JVM中
redefineClasses() 和 retransformClasses() 的区别 ?<br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />redefineClasses() 适合将新加入的类做修改，而 retransformClasses() 可以将哪些已经加载到内存中的类定义做替换
ClassFileTransformer：这个接口里面有一个重要的方法transform()，使用者需要实现这个类。当这个类被加入 inst 的内的 Transformer 数组时，每一个类的加载或修改，都会调用到该方法。类的定义相关信息，比如类二进制定义classfileBufferaddTransformer() ：可以将实现了ClassFileTransformer的类加入Instrumentation中内置的数组。就像一个加工厂，上一个ClassFileTransformer处理过的类，会作为下一个ClassFileTransformer的参数。到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？大佬：我熟悉 JVM 规范，明白每一个字节码的含义，可以手动改class文件，为此我写了一个库 。高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。小白：字节码我是看不懂啦，大佬写的库我会用就行了。下面会介绍几个常见的字节码生成工具
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 1. OpenJDK的 lambda语法 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 2. Groovy 和 Koltin 的编译器 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 5. CGLIB ，ByteBuddy 这些动态类生成工具
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。以下是与其他工具的性能比较。
Java Proxy：JDK 自带的代理机制，可以做到托管用户的类，以便于扩展。但是必须给定一个接口，作用有限。Cglib：很有名气，但是开发的太早了，并没有随着 JDK 的特性一起更新。虽然它的库依旧很有用，但是也慢慢被被使用者从项目中移除。Javassit: 这个库企图模仿 javac 编译器，做到运行时转化源代码。这非常有雄心，然而这个难度很有挑战，目前为止和 javac 还有相当大的差距。在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
这是一个简单的 API，用来生成 trace 消息。
public class Tracer {public static Tracer newTracer() {return new Tracer(); }public Span newSpan() {return new Span(); }public static class Span {public void start() { System.out.println("start a span"); }public void end() { System.out.println("span finish");// todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
...<br />public static void main(String[] args) { Tracer tracer = Tracer.newTracer();// 生成新的span Tracer.Span span = tracer.newSpan();<br />// span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
将 trace 生成逻辑放入切面中去
public class TraceAdvice {public static Tracer.Span span = null;<br />public static void getCurrentSpan() {if (span == null) { span = Tracer.newTracer().newSpan(); } }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */@Advice.OnMethodEnterpublic static void onMethodEnter(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args) { getCurrentSpan(); span.start();<br /> }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */@Advice.OnMethodExit(onThrowable = Throwable.class)public static void onMethodExit(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args,@Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null;<br /> }}
1、onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。2、OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。将Javaagent 获取的Instrumentation句柄 ，传入给AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent {<br /><br />public static void premain(String agentArgs, Instrumentation inst) {<br />// Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges();<br /> agentBuilder = agentBuilder// 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() {@Overridepublic DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) {<br />return builder.visit(// 织入切面 Advice.to(TraceAdvice.class)// 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); }<br />// 本地启动public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation();<br />// 增强 premain(null, inst);// 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。——推荐阅读—— 查看全部
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。类型名称说明长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性让我们编译一个简单的类`Demo.java`
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。JDK 自带的解析工具 javap ，可以以人类可读的方式打印 class 文件，其结果也和上述一致。
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode 的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
方法区：用于存放的类信息、常量、静态变量、即时编译器编译后的代码等数据堆：所有线程共享，放置 object 对象与数组，也是 GC (垃圾收集器的主要区域)虚机栈&程序计数器：线程私有的，每一个新的线程都会分配对应的内存对象。每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
启动时：将必要的类通过 ClassLoader 加载到内存
运行时：创建一个新实例时，优先从内存中寻找，否则加载进内存
执行方法：寻找方法的定义，将局部变量和方法的字节码放入虚机栈中，最终返回计算结果。当然静态方法会有所区别。
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：按照字节码的规范生成新的类使用 JVM TI ，命令 JVM 将类加载到对应的内存去。替换后，系统将使用我们增强过的方法。这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。javaagent 有两种使用 方式：启动时加入参数配置 agent 包路径：-javaagent:/${path}/agent.jar;运行时attach 到JVM 实例的pid ，将 jar 包附着上去：VirtualMachine.attach(pid);VirtualMachine.loadAgent("/
/agent.jar");使用第一种方式的 demo
public class PreMainTraceAgent {public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); }static class DefineTransformer implements ClassFileTransformer{@Overridepublic byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className);return classfileBuffer; } }}
Manifest-Version: 1.0Can-Redefine-Classes: trueCan-Retransform-Classes: truePremain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：最后打包成 agent.jar 包premain() ：-javaagent 方式进入的入口。顾名思义他是在main函数前执行的，制作 jar 包时需要在 MF 文件中指名入口Premain-Class: PreMainTraceAgent
Instrumentation：JVM 实例的句柄。无论是 -javaagent 还是 attach 上去，最终都会获得一个实例相关的 Instrumentation。inst 中比较重要的两个函数是redefineClasses(ClassDefinition... definitions)与retransformClasses(Class... classes)通过这两个函数，我们都可以将增强后字节码加入到 JVM中
redefineClasses() 和 retransformClasses() 的区别 ?<br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />redefineClasses() 适合将新加入的类做修改，而 retransformClasses() 可以将哪些已经加载到内存中的类定义做替换
ClassFileTransformer：这个接口里面有一个重要的方法transform()，使用者需要实现这个类。当这个类被加入 inst 的内的 Transformer 数组时，每一个类的加载或修改，都会调用到该方法。类的定义相关信息，比如类二进制定义classfileBufferaddTransformer() ：可以将实现了ClassFileTransformer的类加入Instrumentation中内置的数组。就像一个加工厂，上一个ClassFileTransformer处理过的类，会作为下一个ClassFileTransformer的参数。到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？大佬：我熟悉 JVM 规范，明白每一个字节码的含义，可以手动改class文件，为此我写了一个库 。高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。小白：字节码我是看不懂啦，大佬写的库我会用就行了。下面会介绍几个常见的字节码生成工具
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 1. OpenJDK的 lambda语法 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 2. Groovy 和 Koltin 的编译器 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 5. CGLIB ，ByteBuddy 这些动态类生成工具
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。以下是与其他工具的性能比较。
Java Proxy：JDK 自带的代理机制，可以做到托管用户的类，以便于扩展。但是必须给定一个接口，作用有限。Cglib：很有名气，但是开发的太早了，并没有随着 JDK 的特性一起更新。虽然它的库依旧很有用，但是也慢慢被被使用者从项目中移除。Javassit: 这个库企图模仿 javac 编译器，做到运行时转化源代码。这非常有雄心，然而这个难度很有挑战，目前为止和 javac 还有相当大的差距。在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
这是一个简单的 API，用来生成 trace 消息。
public class Tracer {public static Tracer newTracer() {return new Tracer(); }public Span newSpan() {return new Span(); }public static class Span {public void start() { System.out.println("start a span"); }public void end() { System.out.println("span finish");// todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
...<br />public static void main(String[] args) { Tracer tracer = Tracer.newTracer();// 生成新的span Tracer.Span span = tracer.newSpan();<br />// span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
将 trace 生成逻辑放入切面中去
public class TraceAdvice {public static Tracer.Span span = null;<br />public static void getCurrentSpan() {if (span == null) { span = Tracer.newTracer().newSpan(); } }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */@Advice.OnMethodEnterpublic static void onMethodEnter(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args) { getCurrentSpan(); span.start();<br /> }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */@Advice.OnMethodExit(onThrowable = Throwable.class)public static void onMethodExit(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args,@Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null;<br /> }}
1、onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。2、OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。将Javaagent 获取的Instrumentation句柄 ，传入给AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent {<br /><br />public static void premain(String agentArgs, Instrumentation inst) {<br />// Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges();<br /> agentBuilder = agentBuilder// 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() {@Overridepublic DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) {<br />return builder.visit(// 织入切面 Advice.to(TraceAdvice.class)// 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); }<br />// 本地启动public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation();<br />// 增强 premain(null, inst);// 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。——推荐阅读—— 查看全部
一文看懂无侵入微服务探针原理
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。类型名称说明长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性让我们编译一个简单的类`Demo.java`
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。JDK 自带的解析工具 javap ，可以以人类可读的方式打印 class 文件，其结果也和上述一致。
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode 的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
方法区：用于存放的类信息、常量、静态变量、即时编译器编译后的代码等数据堆：所有线程共享，放置 object 对象与数组，也是 GC (垃圾收集器的主要区域)虚机栈&程序计数器：线程私有的，每一个新的线程都会分配对应的内存对象。每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
启动时：将必要的类通过 ClassLoader 加载到内存
运行时：创建一个新实例时，优先从内存中寻找，否则加载进内存
执行方法：寻找方法的定义，将局部变量和方法的字节码放入虚机栈中，最终返回计算结果。当然静态方法会有所区别。
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：按照字节码的规范生成新的类使用 JVM TI ，命令 JVM 将类加载到对应的内存去。替换后，系统将使用我们增强过的方法。这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。javaagent 有两种使用 方式：启动时加入参数配置 agent 包路径：-javaagent:/${path}/agent.jar;运行时attach 到JVM 实例的pid ，将 jar 包附着上去：VirtualMachine.attach(pid);VirtualMachine.loadAgent("/
/agent.jar");使用第一种方式的 demo
public class PreMainTraceAgent {public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); }static class DefineTransformer implements ClassFileTransformer{@Overridepublic byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className);return classfileBuffer; } }}
Manifest-Version: 1.0Can-Redefine-Classes: trueCan-Retransform-Classes: truePremain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：最后打包成 agent.jar 包premain() ：-javaagent 方式进入的入口。顾名思义他是在main函数前执行的，制作 jar 包时需要在 MF 文件中指名入口Premain-Class: PreMainTraceAgent
Instrumentation：JVM 实例的句柄。无论是 -javaagent 还是 attach 上去，最终都会获得一个实例相关的 Instrumentation。inst 中比较重要的两个函数是redefineClasses(ClassDefinition... definitions)与retransformClasses(Class... classes)通过这两个函数，我们都可以将增强后字节码加入到 JVM中
redefineClasses() 和 retransformClasses() 的区别 ?<br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />redefineClasses() 适合将新加入的类做修改，而 retransformClasses() 可以将哪些已经加载到内存中的类定义做替换
ClassFileTransformer：这个接口里面有一个重要的方法transform()，使用者需要实现这个类。当这个类被加入 inst 的内的 Transformer 数组时，每一个类的加载或修改，都会调用到该方法。类的定义相关信息，比如类二进制定义classfileBufferaddTransformer() ：可以将实现了ClassFileTransformer的类加入Instrumentation中内置的数组。就像一个加工厂，上一个ClassFileTransformer处理过的类，会作为下一个ClassFileTransformer的参数。到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？大佬：我熟悉 JVM 规范，明白每一个字节码的含义，可以手动改class文件，为此我写了一个库 。高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。小白：字节码我是看不懂啦，大佬写的库我会用就行了。下面会介绍几个常见的字节码生成工具
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 1. OpenJDK的 lambda语法 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 2. Groovy 和 Koltin 的编译器 <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" /> 5. CGLIB ，ByteBuddy 这些动态类生成工具
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。以下是与其他工具的性能比较。
Java Proxy：JDK 自带的代理机制，可以做到托管用户的类，以便于扩展。但是必须给定一个接口，作用有限。Cglib：很有名气，但是开发的太早了，并没有随着 JDK 的特性一起更新。虽然它的库依旧很有用，但是也慢慢被被使用者从项目中移除。Javassit: 这个库企图模仿 javac 编译器，做到运行时转化源代码。这非常有雄心，然而这个难度很有挑战，目前为止和 javac 还有相当大的差距。在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
这是一个简单的 API，用来生成 trace 消息。
public class Tracer {public static Tracer newTracer() {return new Tracer(); }public Span newSpan() {return new Span(); }public static class Span {public void start() { System.out.println("start a span"); }public void end() { System.out.println("span finish");// todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
...<br />public static void main(String[] args) { Tracer tracer = Tracer.newTracer();// 生成新的span Tracer.Span span = tracer.newSpan();<br />// span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
将 trace 生成逻辑放入切面中去
public class TraceAdvice {public static Tracer.Span span = null;<br />public static void getCurrentSpan() {if (span == null) { span = Tracer.newTracer().newSpan(); } }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */@Advice.OnMethodEnterpublic static void onMethodEnter(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args) { getCurrentSpan(); span.start();<br /> }<br />/** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */@Advice.OnMethodExit(onThrowable = Throwable.class)public static void onMethodExit(@Advice.This(optional = true) Object target,@Advice.Origin Class clazz,@Advice.Origin Method method,@Advice.AllArguments Object[] args,@Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null;<br /> }}
1、onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。2、OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。将Javaagent 获取的Instrumentation句柄 ，传入给AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent {<br /><br />public static void premain(String agentArgs, Instrumentation inst) {<br />// Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges();<br /> agentBuilder = agentBuilder// 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() {@Overridepublic DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) {<br />return builder.visit(// 织入切面 Advice.to(TraceAdvice.class)// 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); }<br />// 本地启动public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation();<br />// 增强 premain(null, inst);// 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。——推荐阅读——
爬虫实战：利用软件采集招聘信息（一）
采集交流 • 优采云 发表了文章 • 0 个评论 • 114 次浏览 • 2022-06-25 10:26
爬虫实战：利用软件采集招聘信息（一）
爬虫实战：利用软件采集招聘信息（一）
（基于优采云和优采云采集器软件——简易模式采集）
一、什么是爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫（百度复制粘贴内容^^）。
说白了，爬虫就是利用工具抓取网页上的内容（数据、文本、图片等），是不是感觉写论文找数据不止翻年鉴了......爬虫工具除了python等编程语言（手写的代码），还有就是通过一些第三方软件来采集（如优采云、优采云采集器、优采云采集器等等很多）。至于通过自己写代码的方式会在以后文章中介绍，本文从基础介绍利用软件傻瓜式爬虫，这种方式已经可以满足大部分采集需求，而且只需拖拉拽还不简单吗。
二、优采云采集器和优采云介绍
这两款采集器是作者认为市面上相对最好用的两款采集软件。优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件，该软件功能强大，操作简单，可谓是居家旅行随身神器。优采云大数据采集平台是深圳视界信息技术有限公司自主研发，整合了网页数据采集、移动互联网数据及API接口服务（包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份）等服务为一体的数据服务平台，连续4年蝉联互联网数据采集软件榜单第一名。两款软件的采集模式基本相同，主要有两种：智能模式采集或简易采集、自定义模式采集。本期主要介绍智能模式采集或简易采集。
三、简易模式
（1）优采云采集器
软件下载网址：，至于软件如何安装，就是一直下一步呗。
优采云采集器的智能模式采集只需要将你要爬取的页面放入网址框内，软件会自动识别出你可能需要爬取的内容。直接上例子，比如你要爬取某高校的就业网招聘信息（以北京大学为例），北京大学就业指导服务中心的网址为!recruitList.action?category=1（我也不知道后面你看到的时候是否失效、有没有反爬虫，反正我可以用，我可以用，我可以用）。
1.打开软件并选择智能模式
2.在右边方框输入爬取网址
3.点击下方立即创建后，可以看到软件自动识别需要爬取的内容
4.点击开始采集和启动，软件将会自动采集当前页面信息，并翻页。
5.软件正在爬取......（注意：由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息）
6.由于内容较多，作者选择强制结束。最后导出文件，可以选择导出excel格式。
7.最终excel数据如下
（2）优采云
软件下载网址：。优采云的简易更加方便，软件自带了非常多的常用网站和数据模板，如下图：
例如，要抓取百姓网的招聘信息，在百姓网中选择好需要爬取的职位，复制链接（以为例）。
1.点击百姓网模板，并选择点击采集
2.输入网址、翻页次数
3.选择启动本地采集
4.可以看到正在爬取数据
5.最终爬取的数据可以导出
以上便是本期内容：关于优采云采集器和优采云采集器的简易模式采集。下期将推送流程图式或自定义式如何采集数据。
最后！！！！！！送出彩蛋，解决前文使用优采云采集器时提到的由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息这一问题。
因为抓取的数据只是每个连接的标题，所以需要进入链接爬取里面的内容，优采云采集器提供了“深度采集”这一功能，意思就是可以进入链接采集。在这里：
点击“深度采集”会进入页面，这就是最外层链接里面的内容。此时下面会抓取本页面的内容。点击开始采集便可以采集每个标题链接里面的内容。
欢迎关注（数据皮皮侠） 查看全部
爬虫实战：利用软件采集招聘信息（一）
（基于优采云和优采云采集器软件——简易模式采集）
一、什么是爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫（百度复制粘贴内容^^）。
说白了，爬虫就是利用工具抓取网页上的内容（数据、文本、图片等），是不是感觉写论文找数据不止翻年鉴了......爬虫工具除了python等编程语言（手写的代码），还有就是通过一些第三方软件来采集（如优采云、优采云采集器、优采云采集器等等很多）。至于通过自己写代码的方式会在以后文章中介绍，本文从基础介绍利用软件傻瓜式爬虫，这种方式已经可以满足大部分采集需求，而且只需拖拉拽还不简单吗。
二、优采云采集器和优采云介绍
这两款采集器是作者认为市面上相对最好用的两款采集软件。优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件，该软件功能强大，操作简单，可谓是居家旅行随身神器。优采云大数据采集平台是深圳视界信息技术有限公司自主研发，整合了网页数据采集、移动互联网数据及API接口服务（包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份）等服务为一体的数据服务平台，连续4年蝉联互联网数据采集软件榜单第一名。两款软件的采集模式基本相同，主要有两种：智能模式采集或简易采集、自定义模式采集。本期主要介绍智能模式采集或简易采集。
三、简易模式
（1）优采云采集器
软件下载网址：，至于软件如何安装，就是一直下一步呗。
优采云采集器的智能模式采集只需要将你要爬取的页面放入网址框内，软件会自动识别出你可能需要爬取的内容。直接上例子，比如你要爬取某高校的就业网招聘信息（以北京大学为例），北京大学就业指导服务中心的网址为!recruitList.action?category=1（我也不知道后面你看到的时候是否失效、有没有反爬虫，反正我可以用，我可以用，我可以用）。
1.打开软件并选择智能模式
2.在右边方框输入爬取网址
3.点击下方立即创建后，可以看到软件自动识别需要爬取的内容
4.点击开始采集和启动，软件将会自动采集当前页面信息，并翻页。
5.软件正在爬取......（注意：由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息）
6.由于内容较多，作者选择强制结束。最后导出文件，可以选择导出excel格式。
7.最终excel数据如下
（2）优采云
软件下载网址：。优采云的简易更加方便，软件自带了非常多的常用网站和数据模板，如下图：
例如，要抓取百姓网的招聘信息，在百姓网中选择好需要爬取的职位，复制链接（以为例）。
1.点击百姓网模板，并选择点击采集
2.输入网址、翻页次数
3.选择启动本地采集
4.可以看到正在爬取数据
5.最终爬取的数据可以导出
以上便是本期内容：关于优采云采集器和优采云采集器的简易模式采集。下期将推送流程图式或自定义式如何采集数据。
最后！！！！！！送出彩蛋，解决前文使用优采云采集器时提到的由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息这一问题。
因为抓取的数据只是每个连接的标题，所以需要进入链接爬取里面的内容，优采云采集器提供了“深度采集”这一功能，意思就是可以进入链接采集。在这里：
点击“深度采集”会进入页面，这就是最外层链接里面的内容。此时下面会抓取本页面的内容。点击开始采集便可以采集每个标题链接里面的内容。
欢迎关注（数据皮皮侠） 查看全部
爬虫实战：利用软件采集招聘信息（一）
爬虫实战：利用软件采集招聘信息（一）
（基于优采云和优采云采集器软件——简易模式采集）
一、什么是爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫（百度复制粘贴内容^^）。
说白了，爬虫就是利用工具抓取网页上的内容（数据、文本、图片等），是不是感觉写论文找数据不止翻年鉴了......爬虫工具除了python等编程语言（手写的代码），还有就是通过一些第三方软件来采集（如优采云、优采云采集器、优采云采集器等等很多）。至于通过自己写代码的方式会在以后文章中介绍，本文从基础介绍利用软件傻瓜式爬虫，这种方式已经可以满足大部分采集需求，而且只需拖拉拽还不简单吗。
二、优采云采集器和优采云介绍
这两款采集器是作者认为市面上相对最好用的两款采集软件。优采云采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件，该软件功能强大，操作简单，可谓是居家旅行随身神器。优采云大数据采集平台是深圳视界信息技术有限公司自主研发，整合了网页数据采集、移动互联网数据及API接口服务（包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份）等服务为一体的数据服务平台，连续4年蝉联互联网数据采集软件榜单第一名。两款软件的采集模式基本相同，主要有两种：智能模式采集或简易采集、自定义模式采集。本期主要介绍智能模式采集或简易采集。
三、简易模式
（1）优采云采集器
软件下载网址：，至于软件如何安装，就是一直下一步呗。
优采云采集器的智能模式采集只需要将你要爬取的页面放入网址框内，软件会自动识别出你可能需要爬取的内容。直接上例子，比如你要爬取某高校的就业网招聘信息（以北京大学为例），北京大学就业指导服务中心的网址为!recruitList.action?category=1（我也不知道后面你看到的时候是否失效、有没有反爬虫，反正我可以用，我可以用，我可以用）。
1.打开软件并选择智能模式
2.在右边方框输入爬取网址
3.点击下方立即创建后，可以看到软件自动识别需要爬取的内容
4.点击开始采集和启动，软件将会自动采集当前页面信息，并翻页。
5.软件正在爬取......（注意：由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息）
6.由于内容较多，作者选择强制结束。最后导出文件，可以选择导出excel格式。
7.最终excel数据如下
（2）优采云
软件下载网址：。优采云的简易更加方便，软件自带了非常多的常用网站和数据模板，如下图：
例如，要抓取百姓网的招聘信息，在百姓网中选择好需要爬取的职位，复制链接（以为例）。
1.点击百姓网模板，并选择点击采集
2.输入网址、翻页次数
3.选择启动本地采集
4.可以看到正在爬取数据
5.最终爬取的数据可以导出
以上便是本期内容：关于优采云采集器和优采云采集器的简易模式采集。下期将推送流程图式或自定义式如何采集数据。
最后！！！！！！送出彩蛋，解决前文使用优采云采集器时提到的由于没有选择深度爬取，只会抓取当前页面，而不会进入链接里面抓取具体信息这一问题。
因为抓取的数据只是每个连接的标题，所以需要进入链接爬取里面的内容，优采云采集器提供了“深度采集”这一功能，意思就是可以进入链接采集。在这里：
点击“深度采集”会进入页面，这就是最外层链接里面的内容。此时下面会抓取本页面的内容。点击开始采集便可以采集每个标题链接里面的内容。
欢迎关注（数据皮皮侠）
最全面！一文让你看懂无侵入的微服务探针原理！！
采集交流 • 优采云 发表了文章 • 0 个评论 • 90 次浏览 • 2022-06-21 15:14
最全面！一文让你看懂无侵入的微服务探针原理！！
前言
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例
采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。
采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？
Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。
想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。
类型
名称
说明
长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性
让我们编译一个简单的类`Demo.java`
package com.httpserver;public class Demo { private int num = 1; public int add() { num = num + 2; return num; }}
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。
JDK 自带的解析工具 javap，可以以人类可读的方式打印 class 文件，其结果也和上述一致
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。
作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。
同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较
其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 的内存模型
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
双亲委派加载机制
Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派
一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。
JVM tool Interface
默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。
JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。
它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。
正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：
按照字节码的规范生成新的类
使用 JVM TI ，命令 JVM 将类加载到对应的内存去。
替换后，系统将使用我们增强过的方法。
这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。
Javaagent 简单示例
javaagent 有两种使用 方式：
使用第一种方式的 demo
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); } static class DefineTransformer implements ClassFileTransformer{ @Override public byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className); return classfileBuffer; } }}
Manifest-Version: 1.0
Can-Redefine-Classes: true
Can-Retransform-Classes: true
Premain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：
最后打包成 agent.jar 包
到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？
大佬：我熟悉 JVM 规范，明白每一个字节码的含义，我可以手动改class文件，为此我写了一个库 。
高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。
小白：字节码我是看不懂啦，大佬写的库我会用就行了。
下面会介绍几个常见的字节码生成工具
ASM
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：
初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br /> 1. OpenJDK的 lambda语法 <br /> 2. Groovy 和 Koltin 的编译器 <br /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br /> 5. CGLIB ，ByteBuddy 这些动态类生成工具。
BYTEBUDDY
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。
以下是与其他工具的性能比较。
在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。
但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
Tracer API
这是一个简单的 API，用来生成 trace 消息。
public class Tracer { public static Tracer newTracer() { return new Tracer(); } public Span newSpan() { return new Span(); } public static class Span { public void start() { System.out.println("start a span"); } public void end() { System.out.println("span finish"); // todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
... public static void main(String[] args) { Tracer tracer = Tracer.newTracer(); // 生成新的span Tracer.Span span = tracer.newSpan(); // span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
无侵入埋点
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
TraceAdvice
将 trace 生成逻辑放入切面中去
public class TraceAdvice { public static Tracer.Span span = null; public static void getCurrentSpan() { if (span == null) { span = Tracer.newTracer().newSpan(); } } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */ @Advice.OnMethodEnter public static void onMethodEnter(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args) { getCurrentSpan(); span.start(); } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */ @Advice.OnMethodExit(onThrowable = Throwable.class) public static void onMethodExit(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args, @Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null; }}
onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。
OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。
植入 Advice
将Javaagent 获取的Instrumentation句柄 ，传入给 AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { // Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges(); agentBuilder = agentBuilder // 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() { @Override public DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) { return builder.visit( // 织入切面 Advice.to(TraceAdvice.class) // 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); } // 本地启动 public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation(); // 增强 premain(null, inst); // 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。本地调试
打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。
实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。
What`s more ？
在实际的业务中，我们也积累不少踩坑经验 ：
1. 有没有一个好的探针框架，让我 "哼哧哼哧" 写业务就行 ？
2. 如何做到无感的热升级，让用户在产品上轻松设置埋点 ？
3.ByteBuddy到底该怎么用，切面的注解都是什么意思？
4. Javaagent + Istio 如何让 Dubbo 微服务治理框无感的迁移到 ServiceMesh 上 ？ 查看全部
前言
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例
采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。
采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？
Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。
想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。
类型
名称
说明
长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性
让我们编译一个简单的类`Demo.java`
package com.httpserver;public class Demo { private int num = 1; public int add() { num = num + 2; return num; }}
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。
JDK 自带的解析工具 javap，可以以人类可读的方式打印 class 文件，其结果也和上述一致
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。
作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。
同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较
其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 的内存模型
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
双亲委派加载机制
Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派
一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。
JVM tool Interface
默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。
JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。
它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。
正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：
按照字节码的规范生成新的类
使用 JVM TI ，命令 JVM 将类加载到对应的内存去。
替换后，系统将使用我们增强过的方法。
这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。
Javaagent 简单示例
javaagent 有两种使用 方式：
使用第一种方式的 demo
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); } static class DefineTransformer implements ClassFileTransformer{ @Override public byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className); return classfileBuffer; } }}
Manifest-Version: 1.0
Can-Redefine-Classes: true
Can-Retransform-Classes: true
Premain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：
最后打包成 agent.jar 包
到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？
大佬：我熟悉 JVM 规范，明白每一个字节码的含义，我可以手动改class文件，为此我写了一个库 。
高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。
小白：字节码我是看不懂啦，大佬写的库我会用就行了。
下面会介绍几个常见的字节码生成工具
ASM
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：
初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br /> 1. OpenJDK的 lambda语法 <br /> 2. Groovy 和 Koltin 的编译器 <br /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br /> 5. CGLIB ，ByteBuddy 这些动态类生成工具。
BYTEBUDDY
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。
以下是与其他工具的性能比较。
在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。
但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
Tracer API
这是一个简单的 API，用来生成 trace 消息。
public class Tracer { public static Tracer newTracer() { return new Tracer(); } public Span newSpan() { return new Span(); } public static class Span { public void start() { System.out.println("start a span"); } public void end() { System.out.println("span finish"); // todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
... public static void main(String[] args) { Tracer tracer = Tracer.newTracer(); // 生成新的span Tracer.Span span = tracer.newSpan(); // span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
无侵入埋点
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
TraceAdvice
将 trace 生成逻辑放入切面中去
public class TraceAdvice { public static Tracer.Span span = null; public static void getCurrentSpan() { if (span == null) { span = Tracer.newTracer().newSpan(); } } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */ @Advice.OnMethodEnter public static void onMethodEnter(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args) { getCurrentSpan(); span.start(); } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */ @Advice.OnMethodExit(onThrowable = Throwable.class) public static void onMethodExit(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args, @Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null; }}
onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。
OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。
植入 Advice
将Javaagent 获取的Instrumentation句柄 ，传入给 AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { // Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges(); agentBuilder = agentBuilder // 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() { @Override public DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) { return builder.visit( // 织入切面 Advice.to(TraceAdvice.class) // 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); } // 本地启动 public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation(); // 增强 premain(null, inst); // 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。本地调试
打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。
实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。
What`s more ？
在实际的业务中，我们也积累不少踩坑经验 ：
1. 有没有一个好的探针框架，让我 "哼哧哼哧" 写业务就行 ？
2. 如何做到无感的热升级，让用户在产品上轻松设置埋点 ？
3.ByteBuddy到底该怎么用，切面的注解都是什么意思？
4. Javaagent + Istio 如何让 Dubbo 微服务治理框无感的迁移到 ServiceMesh 上 ？ 查看全部
最全面！一文让你看懂无侵入的微服务探针原理！！
前言
随着微服务架构的兴起，应用行为的复杂性显著提高，为了提高服务的可观察性，分布式监控系统变得十分重要。
基于 Google 的 Dapper 论文，发展出了很多有名的监控系统：Zipkin、Jaeger、Skywalking 以及想一统江湖的 OpenTelemetry 等。一众厂家和开源爱好者围绕着监控数据的采集、收集、存储以及展示做出了不少出色的设计。
时至今日即使是个人开发者也能依赖开源产品，轻松的搭建一套完备的监控系统。但作为监控服务的提供者，必须要做好与业务的解绑，来降低用户接入、版本更新、问题修复、业务止损的成本。所以一个可插拔、无侵入的采集器成为一众厂家必备的杀手锏。
为了获取服务之间调用链信息，采集器通常需要在方法的前后做埋点。在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。下面围绕着 无侵入埋点的技术与原理为大家做一个全面的介绍。
无侵入的采集器（探针）
分布式监控系统中，模块可以分为：采集器（Instrument）、发送器（TransPort）、收集器（Collector）、存储（Srotage）、展示（API&UI）。
zipkin 的架构图示例
采集器将收集的监控信息，从应用端发送给收集器，收集器进行存储，最终提供给前端查询。
采集器收集的信息，我们称之为 Trace (调用链)。一条 Trace 拥有唯一的标识 traceId，由自上而下的树状 span 组成。每个 span 除了spanId 外，还拥有 traceId 、父 spanId，这样就可以还原出一条完整的调用链关系。
为了生成一条 span , 我们需要在方法调用的前后放入埋点。比如一次 http 调用，我们在 execute() 方法的前后加入埋点，就可以得到完整的调用方法信息，生成一个 span 单元。
在 Java 生态中，常见的埋点方式有两种：依赖 SDK 手动埋点；利用 Javaagent 技术来做无侵入埋点。不少开发者接触分布式监控系统，是从 Zipkin 开始的，最经典的是搞懂 X-B3 trace协议，使用 Brave SDK，手动埋点生成 trace。但是 SDK 埋点的方式，无疑和业务逻辑做了深深的依赖，当升级埋点时，必须要做代码的变更。
那么如何和业务逻辑解绑呢？
Java 还提供了另外一种方式：依赖 Javaagent 技术，修改目标方法的字节码，做到无侵入的埋点。这种利用 Javaagent 的方式的采集器，也叫做探针。在应用程序启动时使用-javaagent，或者运行时使用attach( pid)方式，就可以将探针包导入应用程序，完成埋点的植入。无侵入的方式，可以做到无感的热升级。用户不需要理解深层的原理，就可以使用完整的监控服务。目前众多开源监控产品已经提供了丰富的 java 探针库，作为监控服务的提供者，进一步降低了开发成本。
想要开发一个无侵入的探针，可以分为三个部分：Javaagent ，字节码增强工具，trace 生成逻辑。下面会为大家介绍这些内容。
基础概念
使用 JavaAgent 之前 让我们先了解一下 Java 相关的知识。
什么是字节码？
类 c 语言 Java 从1994年被 sun 公司发明以来，依赖着"一次编译、到处运行"特性，迅速的风靡全球。与 C++ 不同的是，Java 将所有的源码首先编译成class（字节码）文件，再依赖各种不同平台上的 JVM（虚拟机）来解释执行字节码，从而与硬件解绑。class文件的结构是一个table表，由众多struct对象拼接而成。
类型
名称
说明
长度
u4
magic
魔数，识别Class文件格式
4个字节
u2
minor_version
副版本号
2个字节
u2
major_version
主版本号
2个字节
u2
constant_pool_count
常量池计算器
2个字节
cp_info
constant_pool
常量池
n个字节
u2
access_flags
访问标志
2个字节
u2
this_class
类索引
2个字节
u2
super_class
父类索引
2个字节
u2
interfaces_count
接口计数器
2个字节
u2
interfaces
接口索引集合
2个字节
u2
fields_count
字段个数
2个字节
field_info
fields
字段集合
n个字节
u2
methods_count
方法计数器
2个字节
method_info
methods
方法集合
n个字节
u2
attributes_count
附加属性计数器
2个字节
attribute_info
attributes
附加属性集合
n个字节
字节码的字段属性
让我们编译一个简单的类`Demo.java`
package com.httpserver;public class Demo { private int num = 1; public int add() { num = num + 2; return num; }}
用16进制打开 Demo.class 文件，解析后字段也是有很多 struct 字段组成：比如常量池、父类信息、方法信息等。
JDK 自带的解析工具 javap，可以以人类可读的方式打印 class 文件，其结果也和上述一致
什么是JVM?
JVM（Java Virtual Machine)，一种能够运行 Java bytecode的虚拟机，是Java 体系的一部分。JVM 有自己完善的硬体架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息，使得Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以在多种平台上不加修改地运行，这便是 "一次编译，到处运行" 的真正含义 。
作为一种编程语言的虚拟机，实际上不只是专用于 Java 语言，只要生成的编译文件符合 JVM 对加载编译文件格式要求，任何语言都可以由JVM编译运行。
同时 JVM技术规范未定义使用的垃圾回收算法及优化 Java 虚拟机指令的内部算法等，仅仅是描述了应该具备的功能，这主要是为了不给实现者带来过多困扰与限制。正是由于恰到好处的描述，这给各厂商留下了施展的空间。
维基百科：已有的 JVM 比较
其中HotSpot(Orcale)与性能更好的OpenJ9(IBM)被广大开发者喜爱。
JVM 的内存模型
JVM 部署之后，每一个 Java 应用的启动，都会调用 JVM 的 lib 库去申请资源创建一个 JVM 实例。JVM 将内存分做了不同区域，如下是 JVM 运行时的内存模型：
双亲委派加载机制
Java 应用程序在启动和运行时，一个重要的动作是：加载类的定义，并创建实例。这依赖于 JVM 自身的 ClassLoader 机制。
双亲委派
一个类必须由一个 ClassLoader 负责加载，对应的 ClassLoader 还有父 ClassLoader ，寻找一个类的定义会自下而上的查找，这就是双亲委派模型。
为了节省内存，JVM并不是将所有的类定义都放入内存，而是
这样的设计让我们联想到：如果能在加载时或者直接替换已经加载的类定义，就可以完成神奇的增强。
JVM tool Interface
默默无闻的 JVM 屏蔽了底层的复杂，让开发者专注于业务逻辑。除了启动时通过 java -jar 带内存参数之外，其实有一套专门接口提供给开发者，那就是JVM tool Interface。
JVM TI是一个双向接口。JVM TI Client也叫 agent ，基于 event 事件机制。它接受事件，并执行对 JVM 的控制，也能对事件进行回应。
它有一个重要的特性 - Callback （回调函数）机制：JVM 可以产生各种事件，面对各种事件，它提供了一个 Callback 数组。每个事件执行时，都会调用 Callback 函数，所以编写JVM TI Client的核心就是放置 Callback 函数。
正是有了这个机制能让我们向 JVM 发送指令，加载新的类定义。
JavaAgent
现在我们试着思考下：如何去魔改应用程序中的方法的定义呢？
这有点像大象放入冰箱需要几步：
按照字节码的规范生成新的类
使用 JVM TI ，命令 JVM 将类加载到对应的内存去。
替换后，系统将使用我们增强过的方法。
这并不容易，但幸运的是，jdk已经为我们准备好了这样的上层接口instructment包。它使用起来也是十分容易，我们下面通过一个 agent 简单示例，来讲解instructment包的关键设计。
Javaagent 简单示例
javaagent 有两种使用 方式：
使用第一种方式的 demo
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { inst.addTransformer(new DefineTransformer(), true); } static class DefineTransformer implements ClassFileTransformer{ @Override public byte[] transform(ClassLoader loader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println("premain load Class:" + className); return classfileBuffer; } }}
Manifest-Version: 1.0
Can-Redefine-Classes: true
Can-Retransform-Classes: true
Premain-Class: PreMainTraceAgent
然后在 resources 目录下新建目录：META-INF，在该目录下新建文件：MANIFREST.MF：
最后打包成 agent.jar 包
到了这里就会发现，增强字节码也是如此的简单。
字节码生成工具
通过前面的了解，有种修改字节码也不过如此的感觉 ^_^ ！！！但是我们不得不重视另一个问题，字节的如何生成的？
大佬：我熟悉 JVM 规范，明白每一个字节码的含义，我可以手动改class文件，为此我写了一个库 。
高手：我知道客户的框架，我修改源码，重新编译，将二进制替换进去。
小白：字节码我是看不懂啦，大佬写的库我会用就行了。
下面会介绍几个常见的字节码生成工具
ASM
ASM 是一个纯粹的字节码生成和分析框架。它有完整的语法分析，语义分析，可以被用来动态生成 class 字节码。但是这个工具还是过于专业，使用者必须十分了解 JVM 规范，必须清楚替换一个函数究竟要在 class 文件做哪些改动。ASM 提供了两套API：
初步掌握字节码 与JVM 内存模型的知识，可以照着官方文档进行简单地类生成。
ASM 十分强大，被应用于 <br /> 1. OpenJDK的 lambda语法 <br /> 2. Groovy 和 Koltin 的编译器 <br /> 3. 测试覆盖率统计工具 Cobertura 和 Jacoco <br /> 4. 单测 mock 工具，比如 Mockito 和 EasyMock <br /> 5. CGLIB ，ByteBuddy 这些动态类生成工具。
BYTEBUDDY
ByteBuddy 是一款出众的运行时字节码生成工具，基于 ASM 实现，提供更易用的 API。被众多分布式监控项目比如 Skywalking、Datadog 等使用 作为 Java 应用程序的探针来采集监控信息。
以下是与其他工具的性能比较。
在我们实际的使用中，ByteBuddy的 API 确实比较友好，基本满足了所有字节码增强需求：接口、类、方法、静态方法、构造器方法、注解等的修改。除此之外内置的Matcher接口，支持模糊匹配，可以根据名称匹配修改符合条件的类型。
但也有缺点，官方文档比较旧，中文文档少。很多重要的特性，比如切面，并未详细介绍，往往需要看代码注释，和测试用例才弄懂真正的含义。如果对ByteBuddy这个工具有兴趣的同学，可以关注我们的公众号，后面的文章会就ByteBuddy做专门的分享。
Trace 数据的生成
通过字节码增强，我们可以做到无侵入的埋点，那么和 trace 的生成逻辑的关联才算是注入灵魂。下面我们通过一个简单例子，来展示这样的结合是如何做到的。
Tracer API
这是一个简单的 API，用来生成 trace 消息。
public class Tracer { public static Tracer newTracer() { return new Tracer(); } public Span newSpan() { return new Span(); } public static class Span { public void start() { System.out.println("start a span"); } public void end() { System.out.println("span finish"); // todo: save span in db } }}
仅有一个方法 sayHello(String name)目标类 Greeting
public class Greeting { public static void sayHello(String name) { System.out.println("Hi! " + name); }}
手动生成 trace 消息，我们需要在方法的前后加入埋点手动埋点
... public static void main(String[] args) { Tracer tracer = Tracer.newTracer(); // 生成新的span Tracer.Span span = tracer.newSpan(); // span 的开始与结束 span.start(); Greeting.sayHello("developer"); span.end();}...
无侵入埋点
字节增强可以让我们无需修改源代码。现在我们可以定义一个简单的切面，将 span 生成逻辑放入切面中，然后利用 Bytebuddy 将埋点植入。
TraceAdvice
将 trace 生成逻辑放入切面中去
public class TraceAdvice { public static Tracer.Span span = null; public static void getCurrentSpan() { if (span == null) { span = Tracer.newTracer().newSpan(); } } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 */ @Advice.OnMethodEnter public static void onMethodEnter(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args) { getCurrentSpan(); span.start(); } /** * @param target 目标类实例 * @param clazz 目标类class * @param method 目标方法 * @param args 目标方法参数 * @param result 返回结果 */ @Advice.OnMethodExit(onThrowable = Throwable.class) public static void onMethodExit(@Advice.This(optional = true) Object target, @Advice.Origin Class clazz, @Advice.Origin Method method, @Advice.AllArguments Object[] args, @Advice.Return(typing = Assigner.Typing.DYNAMIC) Object result) { span.end(); span = null; }}
onMethodEnter：方法进入时调用。Bytebuddy 提供了一系列注解，带有 @Advice.OnMethodExit 的静态方法，可以被植入方法开始的节点。我们可以获取方法的详细信息，甚至修改传入参数，跳过目标方法的执行。
OnMethodExit：方法结束时调用。类似 onMethodEnter，但是可以捕获方法体抛出的异常，修改返回值。
植入 Advice
将Javaagent 获取的Instrumentation句柄 ，传入给 AgentBuilder（Bytebuddy 的 API）
public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { // Bytebuddy 的 API 用来修改 AgentBuilder agentBuilder = new AgentBuilder.Default() .with(AgentBuilder.PoolStrategy.Default.EXTENDED) .with(AgentBuilder.InitializationStrategy.NoOp.INSTANCE) .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) .with(new WeaveListener()) .disableClassFormatChanges(); agentBuilder = agentBuilder // 匹配目标类的全类名 .type(ElementMatchers.named("baidu.bms.debug.Greeting")) .transform(new AgentBuilder.Transformer() { @Override public DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) { return builder.visit( // 织入切面 Advice.to(TraceAdvice.class) // 匹配目标类的方法 .on(ElementMatchers.named("sayHello")) ); } }); agentBuilder.installOn(inst); } // 本地启动 public static void main(String[] args) throws Exception { ByteBuddyAgent.install(); Instrumentation inst = ByteBuddyAgent.getInstrumentation(); // 增强 premain(null, inst); // 调用 Class greetingType = Greeting.class. getClassLoader().loadClass(Greeting.class.getName()); Method sayHello = greetingType.getDeclaredMethod("sayHello", String.class); sayHello.invoke(null, "developer"); }
除了制作 agent.jar 之外，我们本地调试时可以在 main 函数中启动，如上面提示的那样。本地调试
打印结果
WeaveListener onTransformation : baidu.bms.debug.Greetingstart a spanHi! developerspan finishDisconnected from the target VM, address: '127.0.0.1:61646', transport: 'socket'
可以看到，我们已经在目标方法的前后，已经加入 trace 的生成逻辑。
实际的业务中，我们往往只需要对应用程序使用的框做捕获，比如对 Spring 的 RestTemplate 方法，就可以获得准确的 Http 方法的调用信息。这种依赖这种字节码增强的方式，最大程度的做到了和业务解耦。
What`s more ？
在实际的业务中，我们也积累不少踩坑经验 ：
1. 有没有一个好的探针框架，让我 "哼哧哼哧" 写业务就行 ？
2. 如何做到无感的热升级，让用户在产品上轻松设置埋点 ？
3.ByteBuddy到底该怎么用，切面的注解都是什么意思？
4. Javaagent + Istio 如何让 Dubbo 微服务治理框无感的迁移到 ServiceMesh 上 ？
网站程序自带的采集器采集文章功能-w3school在线教程
采集交流 • 优采云 发表了文章 • 0 个评论 • 110 次浏览 • 2022-06-12 19:01
网站程序自带的采集器采集文章功能-w3school在线教程
网站程序自带的采集器采集文章功能。有些网站是通过网站程序的防抓取机制（如：js代码拦截）来实现抓取的。所以你点一下，进行跳转之后，其实你的采集器已经抓取了那篇文章。大部分都是一些在线工具。你可以进入其页面查看。
之前用的java的网站采集器，有一些直接是实现在地址栏点一下就直接跳转到搜索引擎。现在用的是selenium，可以用js文件访问页面进行操作。但还没有上手。
可以尝试百度云助手的页面抓取，不仅仅有日期页面，甚至可以抓到网站源代码，有兴趣可以尝试下。
个人用过的网站抓取工具有11480云采集和liux采集器、电脑型号采集器，但是作为一个刚开始学采集的新手我一直是采用11480云采集，先用11480云采集试一下再说吧。
用采集站抓取器，可以直接抓取链接，
给你提供一个最方便的方法。mendeley-wiki/library官网不提供下载，原因是我用的是百度云，所以直接上wiki啦。
网站采集可以找sendtwist，墙裂推荐。有个红色图标的，你可以去试试。
看一下我们的工具给你介绍的还不错。
感谢邀请。w3school在线教程|linux、windows、mac、android等主流系统教程等。
还有我们公司在做的帮你解决一切网站制作问题。 查看全部
网站程序自带的采集器采集文章功能。有些网站是通过网站程序的防抓取机制（如：js代码拦截）来实现抓取的。所以你点一下，进行跳转之后，其实你的采集器已经抓取了那篇文章。大部分都是一些在线工具。你可以进入其页面查看。
之前用的java的网站采集器，有一些直接是实现在地址栏点一下就直接跳转到搜索引擎。现在用的是selenium，可以用js文件访问页面进行操作。但还没有上手。
可以尝试百度云助手的页面抓取，不仅仅有日期页面，甚至可以抓到网站源代码，有兴趣可以尝试下。
个人用过的网站抓取工具有11480云采集和liux采集器、电脑型号采集器，但是作为一个刚开始学采集的新手我一直是采用11480云采集，先用11480云采集试一下再说吧。
用采集站抓取器，可以直接抓取链接，
给你提供一个最方便的方法。mendeley-wiki/library官网不提供下载，原因是我用的是百度云，所以直接上wiki啦。
网站采集可以找sendtwist，墙裂推荐。有个红色图标的，你可以去试试。
看一下我们的工具给你介绍的还不错。
感谢邀请。w3school在线教程|linux、windows、mac、android等主流系统教程等。
还有我们公司在做的帮你解决一切网站制作问题。 查看全部
网站程序自带的采集器采集文章功能-w3school在线教程
网站程序自带的采集器采集文章功能。有些网站是通过网站程序的防抓取机制（如：js代码拦截）来实现抓取的。所以你点一下，进行跳转之后，其实你的采集器已经抓取了那篇文章。大部分都是一些在线工具。你可以进入其页面查看。
之前用的java的网站采集器，有一些直接是实现在地址栏点一下就直接跳转到搜索引擎。现在用的是selenium，可以用js文件访问页面进行操作。但还没有上手。
可以尝试百度云助手的页面抓取，不仅仅有日期页面，甚至可以抓到网站源代码，有兴趣可以尝试下。
个人用过的网站抓取工具有11480云采集和liux采集器、电脑型号采集器，但是作为一个刚开始学采集的新手我一直是采用11480云采集，先用11480云采集试一下再说吧。
用采集站抓取器，可以直接抓取链接，
给你提供一个最方便的方法。mendeley-wiki/library官网不提供下载，原因是我用的是百度云，所以直接上wiki啦。
网站采集可以找sendtwist，墙裂推荐。有个红色图标的，你可以去试试。
看一下我们的工具给你介绍的还不错。
感谢邀请。w3school在线教程|linux、windows、mac、android等主流系统教程等。
还有我们公司在做的帮你解决一切网站制作问题。
网站程序自带的采集器采集文章标题和描述什么的还行
采集交流 • 优采云 发表了文章 • 0 个评论 • 127 次浏览 • 2022-06-04 04:10
网站程序自带的采集器采集文章标题和描述什么的还行
网站程序自带的采集器采集文章标题和描述什么的还行，要是遇到高权重的站群那就跟走钢丝一样。不是说不能采集，网站优化阶段发布任何东西都是有个有利的action来降低被封站的概率的。
上面的你是说新闻嘛?具体啥新闻啥标题不好说,就说下我知道的吧,你把域名下的文章以ab后缀方式发布到买域名的公司,公司会每天发几篇ab后缀的文章给域名所有者.其他也有不少ab后缀文章,但是新闻很少.
最简单的方法采集网页文章发到相关的站点去
说到底，网站的新闻类文章一般有两种采集方式：第一，快照采集。常见的是在360等搜索引擎提交信息，然后再百度收录。第二，url采集。常见的是用百度站长平台，把相关的文章url提交给百度收录。
采集快照，
新闻站被黑，最最直接的原因，是被爆出其他关键词关联，来一起黑你，不过主要是新闻站；如果关键词也是采集的，那就不好了，如果非得黑你，除非在百度新闻里有关键词排名而且收录页面少，不然采集出来新闻全是一个id码，你发邮件他回来，黑你邮件怎么写；也可以改站的方式搞新闻站，这里说的站名是类似高德，google这种搜索引擎，新闻站投诉比较难，如果是站名复制粘贴就很容易搞，一般新闻站只要发布东西，就能在关键词里投诉到，更何况有些企业站不注重管理，有账号恶意刷关键词，像这种怎么搞呢？百度站长平台搞很麻烦，其他站长平台不容易搞，才是万恶之源。 查看全部
网站程序自带的采集器采集文章标题和描述什么的还行，要是遇到高权重的站群那就跟走钢丝一样。不是说不能采集，网站优化阶段发布任何东西都是有个有利的action来降低被封站的概率的。
上面的你是说新闻嘛?具体啥新闻啥标题不好说,就说下我知道的吧,你把域名下的文章以ab后缀方式发布到买域名的公司,公司会每天发几篇ab后缀的文章给域名所有者.其他也有不少ab后缀文章,但是新闻很少.
最简单的方法采集网页文章发到相关的站点去
说到底，网站的新闻类文章一般有两种采集方式：第一，快照采集。常见的是在360等搜索引擎提交信息，然后再百度收录。第二，url采集。常见的是用百度站长平台，把相关的文章url提交给百度收录。
采集快照，
新闻站被黑，最最直接的原因，是被爆出其他关键词关联，来一起黑你，不过主要是新闻站；如果关键词也是采集的，那就不好了，如果非得黑你，除非在百度新闻里有关键词排名而且收录页面少，不然采集出来新闻全是一个id码，你发邮件他回来，黑你邮件怎么写；也可以改站的方式搞新闻站，这里说的站名是类似高德，google这种搜索引擎，新闻站投诉比较难，如果是站名复制粘贴就很容易搞，一般新闻站只要发布东西，就能在关键词里投诉到，更何况有些企业站不注重管理，有账号恶意刷关键词，像这种怎么搞呢？百度站长平台搞很麻烦，其他站长平台不容易搞，才是万恶之源。 查看全部
网站程序自带的采集器采集文章标题和描述什么的还行
网站程序自带的采集器采集文章标题和描述什么的还行，要是遇到高权重的站群那就跟走钢丝一样。不是说不能采集，网站优化阶段发布任何东西都是有个有利的action来降低被封站的概率的。
上面的你是说新闻嘛?具体啥新闻啥标题不好说,就说下我知道的吧,你把域名下的文章以ab后缀方式发布到买域名的公司,公司会每天发几篇ab后缀的文章给域名所有者.其他也有不少ab后缀文章,但是新闻很少.
最简单的方法采集网页文章发到相关的站点去
说到底，网站的新闻类文章一般有两种采集方式：第一，快照采集。常见的是在360等搜索引擎提交信息，然后再百度收录。第二，url采集。常见的是用百度站长平台，把相关的文章url提交给百度收录。
采集快照，
新闻站被黑，最最直接的原因，是被爆出其他关键词关联，来一起黑你，不过主要是新闻站；如果关键词也是采集的，那就不好了，如果非得黑你，除非在百度新闻里有关键词排名而且收录页面少，不然采集出来新闻全是一个id码，你发邮件他回来，黑你邮件怎么写；也可以改站的方式搞新闻站，这里说的站名是类似高德，google这种搜索引擎，新闻站投诉比较难，如果是站名复制粘贴就很容易搞，一般新闻站只要发布东西，就能在关键词里投诉到，更何况有些企业站不注重管理，有账号恶意刷关键词，像这种怎么搞呢？百度站长平台搞很麻烦，其他站长平台不容易搞，才是万恶之源。
为什么一些网站不做外链就不会被惩罚？-八维教育
采集交流 • 优采云 发表了文章 • 0 个评论 • 39 次浏览 • 2022-05-28 11:04
为什么一些网站不做外链就不会被惩罚？-八维教育
网站程序自带的采集器采集文章是加密和发给自己公司的站长。私人站长以及卖网站的才会购买这些站点。这些站点又称为“xx站”，就是你说的外链收藏等等。
网站程序本身带有收录规则，但这些收录规则是基于外链来的，外链主要方式有免费外链、付费外链、网站自身内部推广等。
已经有提问了：为什么一些网站不做外链就不会被惩罚？其实对于一些网站很多站长一般会有一个错误的认识，那就是“不做外链就不会被惩罚”，不做外链被惩罚主要是因为网站seo方面的工作做的不到位，不代表不做外链就是假的外链。比如说要判断搜索引擎是否为惩罚网站,就要看网站是否具有被惩罚的危险性，如果有危险性网站就是需要进行惩罚。
这里引用一个小网站的案例给大家参考。我先讲一下这个网站的seo及文章查询功能，seo技术上、文章上不带广告、不被惩罚、未更新的文章为博客,其他形式的不带广告、未更新的文章为文章。这个网站是做关键词排名，目标关键词很重要，做到前50名这个网站的重要性不言而喻，给大家可以看一下日权重以及分类排名，这个网站是关于车辆的，可以看到这个网站的权重排名是631，排名在我们这些渣网站中是很前面的了，大家再看一下它更新的文章的数量，这个网站更新文章数量多，中长篇的文章也多，大家如果有想要学习seo技术的朋友，可以在qq群474721048进行交流，如果有朋友看到这个网站的帖子可以给网站点个赞，网站有问题欢迎咨询我。
看日权重网站权重是272.平均在百分之40以上，这里给大家介绍一下百分之40可以有多厉害，如果我们单独把那两条“网站不能更新的几种情况：导致百分百死站”和百分之50可以有多厉害，百分之20也就是seo小白估计都知道的一条，如果有比这条百分之20多的网站，请给我点赞，我去学习更新更多的东西。此网站的权重也是非常高的，平均百分之40的日权重，并且还是三环的，百分之40是什么概念，基本上百分之50是前30名，百分之40是前30名，百分之50是前30名，可以说这个网站的权重可以说是非常高了，对于seo来说真正有问题的还不是网站，而是这种一站通技术的弊端，这样就导致很多网站进行不了优化，这是其中一个最大的弊端。
这个网站具体做了哪些工作呢，请大家继续往下看，接下来给大家举个实例：先打开这个网站，这里要讲一下不能更新哪几种网站内容：导致百分百死站是seo里面最常见的一种情况了，导致百分百死站的原因有很多种，常见的有：ip性质不友好、网站内容为企业内部宣传资料、网站内容为自己网站首页广告，以及网站内容低质量等等一般而言。 查看全部
网站程序自带的采集器采集文章是加密和发给自己公司的站长。私人站长以及卖网站的才会购买这些站点。这些站点又称为“xx站”，就是你说的外链收藏等等。
网站程序本身带有收录规则，但这些收录规则是基于外链来的，外链主要方式有免费外链、付费外链、网站自身内部推广等。
已经有提问了：为什么一些网站不做外链就不会被惩罚？其实对于一些网站很多站长一般会有一个错误的认识，那就是“不做外链就不会被惩罚”，不做外链被惩罚主要是因为网站seo方面的工作做的不到位，不代表不做外链就是假的外链。比如说要判断搜索引擎是否为惩罚网站,就要看网站是否具有被惩罚的危险性，如果有危险性网站就是需要进行惩罚。
这里引用一个小网站的案例给大家参考。我先讲一下这个网站的seo及文章查询功能，seo技术上、文章上不带广告、不被惩罚、未更新的文章为博客,其他形式的不带广告、未更新的文章为文章。这个网站是做关键词排名，目标关键词很重要，做到前50名这个网站的重要性不言而喻，给大家可以看一下日权重以及分类排名，这个网站是关于车辆的，可以看到这个网站的权重排名是631，排名在我们这些渣网站中是很前面的了，大家再看一下它更新的文章的数量，这个网站更新文章数量多，中长篇的文章也多，大家如果有想要学习seo技术的朋友，可以在qq群474721048进行交流，如果有朋友看到这个网站的帖子可以给网站点个赞，网站有问题欢迎咨询我。
看日权重网站权重是272.平均在百分之40以上，这里给大家介绍一下百分之40可以有多厉害，如果我们单独把那两条“网站不能更新的几种情况：导致百分百死站”和百分之50可以有多厉害，百分之20也就是seo小白估计都知道的一条，如果有比这条百分之20多的网站，请给我点赞，我去学习更新更多的东西。此网站的权重也是非常高的，平均百分之40的日权重，并且还是三环的，百分之40是什么概念，基本上百分之50是前30名，百分之40是前30名，百分之50是前30名，可以说这个网站的权重可以说是非常高了，对于seo来说真正有问题的还不是网站，而是这种一站通技术的弊端，这样就导致很多网站进行不了优化，这是其中一个最大的弊端。
这个网站具体做了哪些工作呢，请大家继续往下看，接下来给大家举个实例：先打开这个网站，这里要讲一下不能更新哪几种网站内容：导致百分百死站是seo里面最常见的一种情况了，导致百分百死站的原因有很多种，常见的有：ip性质不友好、网站内容为企业内部宣传资料、网站内容为自己网站首页广告，以及网站内容低质量等等一般而言。 查看全部
为什么一些网站不做外链就不会被惩罚？-八维教育
网站程序自带的采集器采集文章是加密和发给自己公司的站长。私人站长以及卖网站的才会购买这些站点。这些站点又称为“xx站”，就是你说的外链收藏等等。
网站程序本身带有收录规则，但这些收录规则是基于外链来的，外链主要方式有免费外链、付费外链、网站自身内部推广等。
已经有提问了：为什么一些网站不做外链就不会被惩罚？其实对于一些网站很多站长一般会有一个错误的认识，那就是“不做外链就不会被惩罚”，不做外链被惩罚主要是因为网站seo方面的工作做的不到位，不代表不做外链就是假的外链。比如说要判断搜索引擎是否为惩罚网站,就要看网站是否具有被惩罚的危险性，如果有危险性网站就是需要进行惩罚。
这里引用一个小网站的案例给大家参考。我先讲一下这个网站的seo及文章查询功能，seo技术上、文章上不带广告、不被惩罚、未更新的文章为博客,其他形式的不带广告、未更新的文章为文章。这个网站是做关键词排名，目标关键词很重要，做到前50名这个网站的重要性不言而喻，给大家可以看一下日权重以及分类排名，这个网站是关于车辆的，可以看到这个网站的权重排名是631，排名在我们这些渣网站中是很前面的了，大家再看一下它更新的文章的数量，这个网站更新文章数量多，中长篇的文章也多，大家如果有想要学习seo技术的朋友，可以在qq群474721048进行交流，如果有朋友看到这个网站的帖子可以给网站点个赞，网站有问题欢迎咨询我。
看日权重网站权重是272.平均在百分之40以上，这里给大家介绍一下百分之40可以有多厉害，如果我们单独把那两条“网站不能更新的几种情况：导致百分百死站”和百分之50可以有多厉害，百分之20也就是seo小白估计都知道的一条，如果有比这条百分之20多的网站，请给我点赞，我去学习更新更多的东西。此网站的权重也是非常高的，平均百分之40的日权重，并且还是三环的，百分之40是什么概念，基本上百分之50是前30名，百分之40是前30名，百分之50是前30名，可以说这个网站的权重可以说是非常高了，对于seo来说真正有问题的还不是网站，而是这种一站通技术的弊端，这样就导致很多网站进行不了优化，这是其中一个最大的弊端。
这个网站具体做了哪些工作呢，请大家继续往下看，接下来给大家举个实例：先打开这个网站，这里要讲一下不能更新哪几种网站内容：导致百分百死站是seo里面最常见的一种情况了，导致百分百死站的原因有很多种，常见的有：ip性质不友好、网站内容为企业内部宣传资料、网站内容为自己网站首页广告，以及网站内容低质量等等一般而言。
如何快速搭建实用的爬虫管理平台?
采集交流 • 优采云 发表了文章 • 0 个评论 • 73 次浏览 • 2022-05-17 10:44
如何快速搭建实用的爬虫管理平台?
本篇文章内容较多，涉及知识较广，请读者耐心阅读。
前言大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这会凭空增添很多附加的管理成本。同时，爬虫管理者还需要应对网站内容变更、持续增量抓取、任务失败等问题。因此一个成熟的爬虫管理流程应该包含一个管理系统，能够有效处理上述问题。理解什么是爬虫管理平台定义爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。当然，上述这个定义是狭义的，通常针对于技术人员或开发者或技术经理。
企业内部一般都会开发自己的内部爬虫管理系统，以应对复杂的爬虫管理需求。这样的系统就是上述定义的狭义的爬虫管理平台。广义爬虫管理平台而什么是广义的爬虫管理平台呢？您可能听说过优采云（后转型为优采云采集器）和优采云吧。前者是基于云服务的，可以在线上编写、运行和监控爬虫，在广义爬虫平台中最接近狭义定义的爬虫管理平台；后者是一个大众的商业爬虫抓取工具，可以让小白用户拖拉拽编写、运行爬虫，导出数据。您也可能见过各种 API 聚合服务商，例如聚合数据，这是一个可以直接调用网站接口获取数据的平台，这其实也算作爬虫平台的一个变种，只是它帮你完成了爬虫编写这一过程。而介于这两者之间的呢，国外有一家叫 Kimonolab 的公司，它开发了一个叫 Kimono 的 Chrome 插件，可以让用户在页面上可视化的点击元素并生成抓取规则，并在其网站上生成爬虫程序，用户提交任务，后台就可以自动在网站上抓取数据了。Kimono 是一个伟大的爬虫应用，但可惜的是，Kimonolab 已经被大数据公司 Plantir 收购，现在也就无法体验了。在本文中，我们主要关注狭义定义的爬虫管理平台，因此后面所讲到的爬虫管理平台都是指狭义的定义。爬虫管理平台模块以下是一个典型的爬虫管理平台所涉及的模块。
典型爬虫管理平台的模块主要包含以下内容：当然，有些爬虫管理平台可能还不止这些模块，它可能包括其他比较实用的功能，例如可配置的抓取规则、可视化配置抓取规则、代理池、Cookie 池、异常监控等等。为什么需要爬虫管理平台有了爬虫管理平台，开发者特别是爬虫工程师就能够方便的添加爬虫、执行任务、查看结果，而不用在命令行之间来回切换，非常容易出错。一个常见的场景就是爬虫工程师最初技术选型用了 scrapy 和 crontab 来管理爬虫任务，他不得不小心翼翼的选择定时任务的时间区间，以至于不会将服务器 CPU 或内存占满；更棘手的问题是，他还需要将 scrapy 产生的日志存到文件里，一旦爬虫出错了，他不得不用 shell 命令一个一个来查看日志来定位错误原因，严重时会花上一个整天；还有个严重的问题，爬虫工程师可能发现公司业务量在增加，他需要写上百个爬虫来满足公司的业务需求，而用 scrapy 和 crontab 来管理完全就是个噩梦。可怜的爬虫工程师其实完全可以选择一个合适爬虫管理平台来解决他的问题。如何选择一个合适的爬虫管理平台当您愿意解决前面提到的爬虫工程师遇到的困难问题，而转而想选择一个合适的爬虫管理平台时。您首先应该回答的问题是：我们是否需要从零开始开发一套系统（Start from scratch）？要回答这个问题，您应该先回答下面几个问题：我们的需求是否复杂到需要完全定制化开发一套新系统（例如要求复杂的权限管理）？我们的团队是否有足够的技术实力来开发这套系统（例如有经验丰富的前后端开发工程师）？我们的时间资源是否足够我们开发这套系统（例如项目计划周期为一年）？如果上述三个问题的答案任意一个为“否”，您应该好好考虑利用市面上已有的开源爬虫管理平台来满足您的需求。以下为市面上已有的开源爬虫管理平台：平台名称技术优点缺点
SpiderKeeper
Python Flask
基于 scrapyd，开源版 Scrapyhub，非常简洁的 UI 界面，支持定时任务
可能有些过于简洁了，不支持分页，不支持节点管理，不支持 scrapy 以外的爬虫
Gerapy
Python Django + Vue
Gerapy 是崔庆才大神开发的爬虫管理平台，安装部署非常简单，同样基于 scrapyd，有精美的 UI 界面，支持节点管理、代码编辑、可配置规则等功能
同样不支持 scrapy 以外的爬虫，而且据使用者反馈，1.0 版本有很多 bug，期待 2.0 版本会有一定程度的改进
Scrapydweb
Python Flask + Vue
精美的 UI 界面，内置了 scrapy 日志解析器，有较多任务运行统计图表，支持节点管理、定时任务、邮件提醒、移动界面，算是 scrapy-based 中功能完善的爬虫管理平台
同样不支持 scrapy 以外的爬虫，Python Flask 为后端，性能上有一定局限性
Crawlab
Golang + Vue
不局限于 scrapy，可以运行任何语言和框架的爬虫，精美的 UI 界面，天然支持分布式爬虫，支持节点管理、爬虫管理、任务管理、定时任务、结果导出、数据统计等功能
部署稍微有一些麻烦（不过利用 Docker 可以一键部署），最新版本暂时不支持可配置爬虫
总的来说，SpiderKeeper 可能是最早的爬虫管理平台，但功能相对来说比较局限；Gerapy 虽然功能齐全，界面精美，但有不少 bug 需要处理，建议有需求的用户等待 2.0 版本；Scrapydweb是一个比较完善的爬虫管理平台，不过和前两者一样，都是基于 scrapyd 的，因此只能运行 scrapy 爬虫；而Crawlab是一个非常灵活的爬虫管理平台，可以运行 Python、Nodejs、Java、PHP、Go 写的爬虫，而且功能比较齐全，只是部署起来相对于前三者来说要麻烦一些，不过对于 Docker 使用者来说可以做到一件部署（后面我们会讲）。
因此，对于重度 scrapy 爬虫依赖的、又不想折腾的开发者，可以考虑 Scrapydweb；而对于有各种类型的、复杂技术结构的爬虫开发者来说，应该优先考虑更灵活的 Crawlab。当然，不是说 Crawlab 对 scrapy 支持不友好，Crawlab 同样可以很好的集成 scrapy，后面会介绍。作为 Crawlab 的作者，不想王婆卖瓜，自卖自夸，作者仅仅希望将最好的技术选型推荐给开发者，让开发者根据自身的需求来决定该使用哪种爬虫管理平台。爬虫管理平台 Crawlab 介绍简介Crawlab 是基于 Golang 的分布式爬虫管理平台，支持 Python、NodeJS、Java、Go、PHP 等多种编程语言以及多种爬虫框架。Crawlab 自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用 Crawlab 搭建公司的爬虫平台。经过近数月的迭代，Crawlab 陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将平台变得得更加实用，更加全面，能够真正帮助用户解决爬虫管理困难的问题。如今在 Github 上有近 1k 的 star，相关社区（微信群、微信公众号）也建立起来，四分之一的用户表示已经将 Crawlab 应用于企业爬虫管理。可以看出，Crawlab 是受开发者们关注和喜欢的。解决问题Crawlab 主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂 scrapy 和 selenium 的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab 支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。界面及使用下面是 Crawlab 爬虫列表页面的截图。
用户只需要将爬虫上传到 Crawlab，配置执行命令，点击“运行”按钮，就可以执行爬虫任务了。爬虫任务可以在任何节点上运行。从上图可以看到，Crawlab 有节点管理、爬虫管理、任务管理、定时任务、用户管理等模块。整体架构以下是 Crawlab 的整体架构图，由五大部分组成：主节点（Master Node）：负责任务派发、API、部署爬虫等；工作节点（Worker Node）：负责执行爬虫任务；MongoDB 数据库：存储节点、爬虫、任务等日常运行数据；Redis 数据库：储存任务消息队列、节点心跳等信息。前端客户端：Vue 应用，负责前端交互和向后端请求数据。
关于 Crawlab 如何使用和详细原理超出了本篇文章的范围，感兴趣的可以去参考Github 主页或相关文档。Github地址及Demo使用 Docker 部署安装 CrawlabDocker 镜像Docker 是部署 Crawlab 最方便和简洁的方式。其他部署方式包括直接部署，不过对于想快速搭建平台的开发者来说不推荐。Crawlab 已在Dockerhub上注册了相关的镜像，开发者仅需要执行docker pull tikazyq/crawlab命令就可以将 Crawlab 的镜像下载下来。读者可以去 Dockerhub 上查看 Crawlab 的镜像，只有仅不到 300Mb。地址：/r/tikazyq/c…
安装 Docker要使用 Docker 来部署 Crawlab，您首先得保证 Docker 已经安装好。请参考以下文档来安装。操作系统文档
Mac
/docker-for-…
Windows
/docker-for-…
Ubuntu
/install/lin…
Debian
/install/lin…
CentOS
/install/lin…
Fedora
/install/lin…
其他 Linux 发行版
/install/lin…
安装 Docker Compose
Docker Compose 是简单的运行 Docker 集群的工具，非常轻量级，我们将用到 Docker Compose 来一键部署 Crawlab。Docker 的官方网站已经有如何安装 Docker Compose 的教程，点击链接查看。这里简单介绍一下。操作系统安装步骤
Mac
Docker Desktop for Mac 或 Docker Toolbox 自带，不用单独安装
Windows
Docker Desktop for Windows 或 Docker Toolbox 自带，不用单独安装
Linux
参考表格下面的命令
其他选择
通过pip安装，pip install docker-compose，如果没有virtualenv，需要用sudo
Linux 用户请用以下命令安装。
# 下载 docker-compose<br />sudo curl -L "https://github.com/docker/comp ... pose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose`<br /><br /># 将 docker-compose 变成执行文件<br />sudo chmod +x /usr/local/bin/docker-compose<br />
拉取镜像在拉取镜像之前，您需要配置一下镜像源。因为在国内，使用原有的镜像源速度不是很快，需要使用 DockerHub 在国内的加速器。请创建/etc/docker/daemon.json文件，输入如下内容。
{<br /> "registry-mirrors": ["https://registry.docker-cn.com"]<br />}<br />
然后拉取镜像，就会快很多了。当然，您也可以用其他镜像源，可以网上去搜索一下。执行以下命令将 Crawlab 镜像拉取下来。
docker pull tikazyq/crawlab:latest<br />
下图为拉取镜像时的命令行界面。
启动 Crawlab我们将用 Docker Compose 启动 Crawlab 以及其依赖的数据库 MongoDB 和 Redis。首先我们需要修改一下 Docker Compose 的 yaml 配置文件docker-compose.yml。这个配置文件定义了需要启动的容器服务（Container Services）以及网络配置（Network Configuration）。这里我们用 Crawlab 自带的docker-compose.yml。
version: '3.3' # Docker Compose 的版本号（请看后续说明）<br />services: # 服务<br /> master: # 服务名称<br /> image: tikazyq/crawlab:latest # 服务对应的镜像名称<br /> container_name: master # 服务对应的容器名称<br /> environment: # 这里定义传入的环境变量<br /> CRAWLAB_API_ADDRESS: "localhost:8000" # 前端调用的 API 地址，默认为 localhost:8000<br /> CRAWLAB_SERVER_MASTER: "Y" # 是否为主节点，Y/N<br /> CRAWLAB_MONGO_HOST: "mongo" # MongoDB host，由于在 Docker Compose 里，可以引用服务名称<br /> CRAWLAB_REDIS_ADDRESS: "redis" # Redis host，由于在 Docker Compose 里，可以引用服务名称<br /> ports: # 映射的端口<br /> - "8080:8080" # 前端端口<br /> - "8000:8000" # 后端端口<br /> depends_on: # 依赖的服务<br /> - mongo # MongoDB<br /> - redis # Redis<br /> worker: # 工作节点，与主节点配置类似，不重复写了<br /> image: tikazyq/crawlab:latest<br /> container_name: worker<br /> environment:<br /> CRAWLAB_SERVER_MASTER: "N"<br /> CRAWLAB_MONGO_HOST: "mongo"<br /> CRAWLAB_REDIS_ADDRESS: "redis"<br /> depends_on:<br /> - mongo<br /> - redis<br /> mongo: # MongoDB 服务名称<br /> image: mongo:latest # MongoDB 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "27017:27017"<br /> redis: # Redis 服务名称<br /> image: redis:latest # Redis 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "6379:6379"<br />
读者可以根据自己的要求来配置docker-compose.yml。尤其需要注意CRAWLAB_API_ADDRESS这个环境变量，很多初学使用者都是因为该变量配置不正确而导致无法登陆。大多数情况，您不用做任何配置更改。请参考Q&A来处理常见问题，以及详细的环境变量配置文档来帮助根据自身环境配置 Crawlab。然后，运行下列命令启动 Crawlab。可以加一个-d参数让 Docker Compose 后台运行。
docker-compose up<br />
运行上述命令后，Docker Compose 会去拉取 MongoDB 和 Redis 的镜像，这可能会花几分钟时间。拉取完毕后，四个服务会依次启动，您将会在命令行中看到如下内容。
正常情况下，您应该可以看到四个服务都启动成功，并能够顺利打印日志。如果启动不成功，请微信联系作者（tikazyq1）或在 Github 上提 Issue。如果您是在本机上启动的 Docker Compose，可以在浏览器中输入:8080，然后就能看到登陆界面了；如果您是在其他机器上启动的 Docker Compose，您需要在浏览器中输入:8080来看到登陆界面，是其他机器的 IP 地址（请保证 8080 端口在该机器已对外开放）。
初始登陆用户名密码是 admin/admin，您可以使用这个用户名密码来登陆。如果您的环境变量CRAWLAB_API_ADDRESS设置得不正确，您可能会看到点击登陆后登陆按钮会一直转圈而没有任何提示。这时请重新在docker-compose.yml中设置正确的CRAWLAB_API_ADDRESS（将localhost替换为），重新启动docker-compose up。然后在浏览器中输入:8080。登陆之后您将看到 Crawlab 的主页。
本篇文章主要介绍如何搭建爬虫管理平台 Crawlab，因此不会详细介绍如何使用 Crawlab（可能会创建另一篇文章来详细介绍，有兴趣者可以关注一下）。如果您有困惑，请查看相关文档来了解如何使用。同时，您也可以加作者微信（tikazyq1）并注明 Crawlab，作者将将您拉入讨论群，您可以在那里答疑解惑。如何将 Scrapy 等爬虫集成到 Crawlab众所周知，Scrapy 是非常受欢迎的爬虫框架，其灵活的框架设计、高并发、易用性以及可扩展性让很多开发者和企业大量采用。市面上的爬虫管理平台几乎都支持 Scrapy 爬虫，Crawlab 也不例外，但 Crawlab 可以运行 puppeteer、selenium 等其他爬虫。下面将介绍一下在 Crawlab 中如何运行 scrapy 爬虫。Crawlab 是执行爬虫基本原理Crawlab 执行爬虫的原理很简单，其实就是一个 shell 命令。用户在爬虫中输入执行爬虫的 shell 命令，例如scrapy crawl some_spider，Crawlab 执行器会读取这个命令，并在 shell 中直接执行。因此，每一次运行爬虫任务，就是执行了一次 shell 命令（当然，实际情况要比这个复杂很多，感兴趣的可以去参考官方文档）。Crawlab 是支持展示和导出爬虫结果的，不过这需要稍微多做一些工作。编写 Pipeline要集成 scrapy 爬虫，无非就是将爬虫抓取的数据存到 Crawlab 的数据库里，然后用任务 ID 关联起来。每次执行爬虫任务，任务 ID 会通过环境变量传到爬虫程序中，因此我们需要做的就是将任务 ID 加上结果存到数据库里（Crawlab 现在只支持 MongoDB，后期会开发 MySQL、SQL Server、Postgres 等关系型数据库，有需求的用户可以关注一下）。在 Scrapy 中，我们需要编写储存逻辑。示意代码如下：
# 引入相关的库，pymongo 是标准连接 MongoDB 的库<br />import os<br />from pymongo import MongoClient<br /><br /># MongoDB 配置参数<br />MONGO_HOST = '192.168.99.100'<br />MONGO_PORT = 27017<br />MONGO_DB = 'crawlab_test'<br /><br />class JuejinPipeline(object):<br /> mongo = MongoClient(host=MONGO_HOST, port=MONGO_PORT) # mongo 连接实例<br /> db = mongo[MONGO_DB] # 数据库实例<br /> col_name = os.environ.get('CRAWLAB_COLLECTION') # 集合名称，通过环境变量 CRAWLAB_COLLECTION 传过来<br /><br /> # 如果 CRAWLAB_COLLECTION 不存在，则默认集合名称为 test<br /> if not col_name:<br /> col_name = 'test'<br /><br /> col = db[col_name] # 集合实例<br /><br /> # 每一个传入 item 会调用的函数，参数分别为 item 和 spider<br /> def process_item(self, item, spider):<br /> item['task_id'] = os.environ.get('CRAWLAB_TASK_ID') # 将 task_id 设置为环境变量传过来的任务 ID<br /> self.col.save(item) # 保存 item 在数据库中<br /> return item<br />
同时，您也需要在items.py中加入task_id字段，已保证值能够被赋上（这很重要）。上传并配置爬虫在运行爬虫之前，您需要上传爬虫文件到主节点。步骤如下：将爬虫文件打包成 zip（注意，要保证在根目录下直接打包）；在侧边栏点击“爬虫”导航至爬虫列表，点击“添加爬虫”按钮，选择“自定义爬虫”；点击“上传”按钮，选择刚刚打包好的 zip 文件上传成功后，爬虫列表中会出现新添加的自定义爬虫，这样就算上传成功了。可以在爬虫详情中点击“文件”标签，选择一个文件，可以在文件中编辑代码。
接下来，您需要在“概览”标签中的“执行命令”一栏输入爬虫的 shell 执行命令。Crawlab 的 Docker 镜像里是内置了 scrapy 的，因此可以直接运行 scrapy 爬虫。命令就是scrapy crawl。点击“保存”按钮保存爬虫配置。运行爬虫任务然后就是运行爬虫任务了。其实很简单，在“概览”标签中点击“运行”按钮，爬虫任务就开始运行了。如果日志提示找不到 scrapy 命令，可以将scrapy改为绝对路径/usr/local/bin/scrapy，这样就会运行成功。任务运行情况会在“任务”页面或者爬虫“概览”里展现，会每 5 秒钟更新一次，大家可以在这上面查看。而且在爬虫“结果”标签里，可以预览结果的详情，还可以导出数据成 CSV 文件。构建持续集成（CI）工作流对于企业来说，软件开发一般是一个自动化过程。它会经历需求、开发、部署、测试、上线这几个步骤。而这个流程一般是不断迭代（Iterative）的，需要不断更新和发布。以爬虫为例，您上线了一个爬虫，这个爬虫会定期抓取网站数据。但突然有一天您发现数据抓不到了，您快速定位原因，发现原来是网站改版了，您需要更改爬虫抓取规则来应对网站的改版。总之，您需要发布一个代码更新。最快的做法是直接在线上更改代码。但这样做非常危险：第一，您无法测试您更新后的代码，只能通过不断调整线上代码来测试是否抓取成功；第二，您无法记录这次更改，后期如果出了问题您很可能会忽略掉这次更改，从而导致 bug。您需要做的，无非是将您的爬虫代码用版本管理工具管理起来。我们有很多版本管理工具，最常用的就是 git、subversion，版本管理平台包括 Gitlab、Bitbucket、自搭 Git 仓库等。当我们更新了代码，我们需要将更新后的代码发布到线上服务器。这时您需要用自己写部署脚本，或者更方便的，用 Jenkins 作为持续集成（Continuous Integration）管理平台。Jenkins 是一个持续集成平台，可以通过获取版本库来更新部署代码，是非常实用的工具，在很多企业中都有用到。下图是如何将 Crawlab 爬虫应用到持续集成工作流程中的例子。
要在 Crawlab 中创建或更新爬虫有两种方式：上传打包成后的 zip 文件；通过更改主节点中目录CRAWLAB_SPIDER_PATH中的爬虫文件。我们做持续集成，就是针对第二种方式。步骤如下：用 Gitlab 或其他平台搭建好代码仓库；在 Jenkins 中创建一个项目，在项目中将代码源指向之前创建的仓库；在 Jenkins 项目中编写工作流，将发布地址指向 Crawlab 的CRAWLAB_SPIDER_PATH，如果是 Docker 注意将该地址挂载到宿主机文件系统；Jenkins 项目的工作可以直接编写，也可以用 Jenkinsfile，具体可以查相关资料；这样，每一次代码更新提交到代码仓库后，Jenkins 就会将更新后的代码发布到 Crawlab 里，Crawlab 主节点会将爬虫代码同步到工作节点，以待抓取。总结本篇文章主要介绍了爬虫管理平台的定义、如何选择爬虫管理平台，着重介绍了如何搭建开源爬虫管理平台 Crawlab，另外还讲到了如何集成 scrapy 爬虫以及如何打造持续集成工作流。本篇文章没有涉及到的内容还有很多，包括如何 Crawlab 的原理和架构详情、如何使用 Crawlab、如何编写大规模爬虫、如何使用 Jenkins 等等。这些内容可能会在其他文章中发布，请感兴趣的读者多多关注。另外，Crawlab 还有一些需要提升的地方，例如异常监控（零值、空值）、可配置爬虫、可视化抓取、日志集中收集等等。这些功能都将在以后陆续开发和发布，请大家也多多关注。 查看全部
本篇文章内容较多，涉及知识较广，请读者耐心阅读。
前言大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这会凭空增添很多附加的管理成本。同时，爬虫管理者还需要应对网站内容变更、持续增量抓取、任务失败等问题。因此一个成熟的爬虫管理流程应该包含一个管理系统，能够有效处理上述问题。理解什么是爬虫管理平台定义爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。当然，上述这个定义是狭义的，通常针对于技术人员或开发者或技术经理。
企业内部一般都会开发自己的内部爬虫管理系统，以应对复杂的爬虫管理需求。这样的系统就是上述定义的狭义的爬虫管理平台。广义爬虫管理平台而什么是广义的爬虫管理平台呢？您可能听说过优采云（后转型为优采云采集器）和优采云吧。前者是基于云服务的，可以在线上编写、运行和监控爬虫，在广义爬虫平台中最接近狭义定义的爬虫管理平台；后者是一个大众的商业爬虫抓取工具，可以让小白用户拖拉拽编写、运行爬虫，导出数据。您也可能见过各种 API 聚合服务商，例如聚合数据，这是一个可以直接调用网站接口获取数据的平台，这其实也算作爬虫平台的一个变种，只是它帮你完成了爬虫编写这一过程。而介于这两者之间的呢，国外有一家叫 Kimonolab 的公司，它开发了一个叫 Kimono 的 Chrome 插件，可以让用户在页面上可视化的点击元素并生成抓取规则，并在其网站上生成爬虫程序，用户提交任务，后台就可以自动在网站上抓取数据了。Kimono 是一个伟大的爬虫应用，但可惜的是，Kimonolab 已经被大数据公司 Plantir 收购，现在也就无法体验了。在本文中，我们主要关注狭义定义的爬虫管理平台，因此后面所讲到的爬虫管理平台都是指狭义的定义。爬虫管理平台模块以下是一个典型的爬虫管理平台所涉及的模块。
典型爬虫管理平台的模块主要包含以下内容：当然，有些爬虫管理平台可能还不止这些模块，它可能包括其他比较实用的功能，例如可配置的抓取规则、可视化配置抓取规则、代理池、Cookie 池、异常监控等等。为什么需要爬虫管理平台有了爬虫管理平台，开发者特别是爬虫工程师就能够方便的添加爬虫、执行任务、查看结果，而不用在命令行之间来回切换，非常容易出错。一个常见的场景就是爬虫工程师最初技术选型用了 scrapy 和 crontab 来管理爬虫任务，他不得不小心翼翼的选择定时任务的时间区间，以至于不会将服务器 CPU 或内存占满；更棘手的问题是，他还需要将 scrapy 产生的日志存到文件里，一旦爬虫出错了，他不得不用 shell 命令一个一个来查看日志来定位错误原因，严重时会花上一个整天；还有个严重的问题，爬虫工程师可能发现公司业务量在增加，他需要写上百个爬虫来满足公司的业务需求，而用 scrapy 和 crontab 来管理完全就是个噩梦。可怜的爬虫工程师其实完全可以选择一个合适爬虫管理平台来解决他的问题。如何选择一个合适的爬虫管理平台当您愿意解决前面提到的爬虫工程师遇到的困难问题，而转而想选择一个合适的爬虫管理平台时。您首先应该回答的问题是：我们是否需要从零开始开发一套系统（Start from scratch）？要回答这个问题，您应该先回答下面几个问题：我们的需求是否复杂到需要完全定制化开发一套新系统（例如要求复杂的权限管理）？我们的团队是否有足够的技术实力来开发这套系统（例如有经验丰富的前后端开发工程师）？我们的时间资源是否足够我们开发这套系统（例如项目计划周期为一年）？如果上述三个问题的答案任意一个为“否”，您应该好好考虑利用市面上已有的开源爬虫管理平台来满足您的需求。以下为市面上已有的开源爬虫管理平台：平台名称技术优点缺点
SpiderKeeper
Python Flask
基于 scrapyd，开源版 Scrapyhub，非常简洁的 UI 界面，支持定时任务
可能有些过于简洁了，不支持分页，不支持节点管理，不支持 scrapy 以外的爬虫
Gerapy
Python Django + Vue
Gerapy 是崔庆才大神开发的爬虫管理平台，安装部署非常简单，同样基于 scrapyd，有精美的 UI 界面，支持节点管理、代码编辑、可配置规则等功能
同样不支持 scrapy 以外的爬虫，而且据使用者反馈，1.0 版本有很多 bug，期待 2.0 版本会有一定程度的改进
Scrapydweb
Python Flask + Vue
精美的 UI 界面，内置了 scrapy 日志解析器，有较多任务运行统计图表，支持节点管理、定时任务、邮件提醒、移动界面，算是 scrapy-based 中功能完善的爬虫管理平台
同样不支持 scrapy 以外的爬虫，Python Flask 为后端，性能上有一定局限性
Crawlab
Golang + Vue
不局限于 scrapy，可以运行任何语言和框架的爬虫，精美的 UI 界面，天然支持分布式爬虫，支持节点管理、爬虫管理、任务管理、定时任务、结果导出、数据统计等功能
部署稍微有一些麻烦（不过利用 Docker 可以一键部署），最新版本暂时不支持可配置爬虫
总的来说，SpiderKeeper 可能是最早的爬虫管理平台，但功能相对来说比较局限；Gerapy 虽然功能齐全，界面精美，但有不少 bug 需要处理，建议有需求的用户等待 2.0 版本；Scrapydweb是一个比较完善的爬虫管理平台，不过和前两者一样，都是基于 scrapyd 的，因此只能运行 scrapy 爬虫；而Crawlab是一个非常灵活的爬虫管理平台，可以运行 Python、Nodejs、Java、PHP、Go 写的爬虫，而且功能比较齐全，只是部署起来相对于前三者来说要麻烦一些，不过对于 Docker 使用者来说可以做到一件部署（后面我们会讲）。
因此，对于重度 scrapy 爬虫依赖的、又不想折腾的开发者，可以考虑 Scrapydweb；而对于有各种类型的、复杂技术结构的爬虫开发者来说，应该优先考虑更灵活的 Crawlab。当然，不是说 Crawlab 对 scrapy 支持不友好，Crawlab 同样可以很好的集成 scrapy，后面会介绍。作为 Crawlab 的作者，不想王婆卖瓜，自卖自夸，作者仅仅希望将最好的技术选型推荐给开发者，让开发者根据自身的需求来决定该使用哪种爬虫管理平台。爬虫管理平台 Crawlab 介绍简介Crawlab 是基于 Golang 的分布式爬虫管理平台，支持 Python、NodeJS、Java、Go、PHP 等多种编程语言以及多种爬虫框架。Crawlab 自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用 Crawlab 搭建公司的爬虫平台。经过近数月的迭代，Crawlab 陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将平台变得得更加实用，更加全面，能够真正帮助用户解决爬虫管理困难的问题。如今在 Github 上有近 1k 的 star，相关社区（微信群、微信公众号）也建立起来，四分之一的用户表示已经将 Crawlab 应用于企业爬虫管理。可以看出，Crawlab 是受开发者们关注和喜欢的。解决问题Crawlab 主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂 scrapy 和 selenium 的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab 支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。界面及使用下面是 Crawlab 爬虫列表页面的截图。
用户只需要将爬虫上传到 Crawlab，配置执行命令，点击“运行”按钮，就可以执行爬虫任务了。爬虫任务可以在任何节点上运行。从上图可以看到，Crawlab 有节点管理、爬虫管理、任务管理、定时任务、用户管理等模块。整体架构以下是 Crawlab 的整体架构图，由五大部分组成：主节点（Master Node）：负责任务派发、API、部署爬虫等；工作节点（Worker Node）：负责执行爬虫任务；MongoDB 数据库：存储节点、爬虫、任务等日常运行数据；Redis 数据库：储存任务消息队列、节点心跳等信息。前端客户端：Vue 应用，负责前端交互和向后端请求数据。
关于 Crawlab 如何使用和详细原理超出了本篇文章的范围，感兴趣的可以去参考Github 主页或相关文档。Github地址及Demo使用 Docker 部署安装 CrawlabDocker 镜像Docker 是部署 Crawlab 最方便和简洁的方式。其他部署方式包括直接部署，不过对于想快速搭建平台的开发者来说不推荐。Crawlab 已在Dockerhub上注册了相关的镜像，开发者仅需要执行docker pull tikazyq/crawlab命令就可以将 Crawlab 的镜像下载下来。读者可以去 Dockerhub 上查看 Crawlab 的镜像，只有仅不到 300Mb。地址：/r/tikazyq/c…
安装 Docker要使用 Docker 来部署 Crawlab，您首先得保证 Docker 已经安装好。请参考以下文档来安装。操作系统文档
Mac
/docker-for-…
Windows
/docker-for-…
Ubuntu
/install/lin…
Debian
/install/lin…
CentOS
/install/lin…
Fedora
/install/lin…
其他 Linux 发行版
/install/lin…
安装 Docker Compose
Docker Compose 是简单的运行 Docker 集群的工具，非常轻量级，我们将用到 Docker Compose 来一键部署 Crawlab。Docker 的官方网站已经有如何安装 Docker Compose 的教程，点击链接查看。这里简单介绍一下。操作系统安装步骤
Mac
Docker Desktop for Mac 或 Docker Toolbox 自带，不用单独安装
Windows
Docker Desktop for Windows 或 Docker Toolbox 自带，不用单独安装
Linux
参考表格下面的命令
其他选择
通过pip安装，pip install docker-compose，如果没有virtualenv，需要用sudo
Linux 用户请用以下命令安装。
# 下载 docker-compose<br />sudo curl -L "https://github.com/docker/comp ... pose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose`<br /><br /># 将 docker-compose 变成执行文件<br />sudo chmod +x /usr/local/bin/docker-compose<br />
拉取镜像在拉取镜像之前，您需要配置一下镜像源。因为在国内，使用原有的镜像源速度不是很快，需要使用 DockerHub 在国内的加速器。请创建/etc/docker/daemon.json文件，输入如下内容。
{<br /> "registry-mirrors": ["https://registry.docker-cn.com"]<br />}<br />
然后拉取镜像，就会快很多了。当然，您也可以用其他镜像源，可以网上去搜索一下。执行以下命令将 Crawlab 镜像拉取下来。
docker pull tikazyq/crawlab:latest<br />
下图为拉取镜像时的命令行界面。
启动 Crawlab我们将用 Docker Compose 启动 Crawlab 以及其依赖的数据库 MongoDB 和 Redis。首先我们需要修改一下 Docker Compose 的 yaml 配置文件docker-compose.yml。这个配置文件定义了需要启动的容器服务（Container Services）以及网络配置（Network Configuration）。这里我们用 Crawlab 自带的docker-compose.yml。
version: '3.3' # Docker Compose 的版本号（请看后续说明）<br />services: # 服务<br /> master: # 服务名称<br /> image: tikazyq/crawlab:latest # 服务对应的镜像名称<br /> container_name: master # 服务对应的容器名称<br /> environment: # 这里定义传入的环境变量<br /> CRAWLAB_API_ADDRESS: "localhost:8000" # 前端调用的 API 地址，默认为 localhost:8000<br /> CRAWLAB_SERVER_MASTER: "Y" # 是否为主节点，Y/N<br /> CRAWLAB_MONGO_HOST: "mongo" # MongoDB host，由于在 Docker Compose 里，可以引用服务名称<br /> CRAWLAB_REDIS_ADDRESS: "redis" # Redis host，由于在 Docker Compose 里，可以引用服务名称<br /> ports: # 映射的端口<br /> - "8080:8080" # 前端端口<br /> - "8000:8000" # 后端端口<br /> depends_on: # 依赖的服务<br /> - mongo # MongoDB<br /> - redis # Redis<br /> worker: # 工作节点，与主节点配置类似，不重复写了<br /> image: tikazyq/crawlab:latest<br /> container_name: worker<br /> environment:<br /> CRAWLAB_SERVER_MASTER: "N"<br /> CRAWLAB_MONGO_HOST: "mongo"<br /> CRAWLAB_REDIS_ADDRESS: "redis"<br /> depends_on:<br /> - mongo<br /> - redis<br /> mongo: # MongoDB 服务名称<br /> image: mongo:latest # MongoDB 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "27017:27017"<br /> redis: # Redis 服务名称<br /> image: redis:latest # Redis 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "6379:6379"<br />
读者可以根据自己的要求来配置docker-compose.yml。尤其需要注意CRAWLAB_API_ADDRESS这个环境变量，很多初学使用者都是因为该变量配置不正确而导致无法登陆。大多数情况，您不用做任何配置更改。请参考Q&A来处理常见问题，以及详细的环境变量配置文档来帮助根据自身环境配置 Crawlab。然后，运行下列命令启动 Crawlab。可以加一个-d参数让 Docker Compose 后台运行。
docker-compose up<br />
运行上述命令后，Docker Compose 会去拉取 MongoDB 和 Redis 的镜像，这可能会花几分钟时间。拉取完毕后，四个服务会依次启动，您将会在命令行中看到如下内容。
正常情况下，您应该可以看到四个服务都启动成功，并能够顺利打印日志。如果启动不成功，请微信联系作者（tikazyq1）或在 Github 上提 Issue。如果您是在本机上启动的 Docker Compose，可以在浏览器中输入:8080，然后就能看到登陆界面了；如果您是在其他机器上启动的 Docker Compose，您需要在浏览器中输入:8080来看到登陆界面，是其他机器的 IP 地址（请保证 8080 端口在该机器已对外开放）。
初始登陆用户名密码是 admin/admin，您可以使用这个用户名密码来登陆。如果您的环境变量CRAWLAB_API_ADDRESS设置得不正确，您可能会看到点击登陆后登陆按钮会一直转圈而没有任何提示。这时请重新在docker-compose.yml中设置正确的CRAWLAB_API_ADDRESS（将localhost替换为），重新启动docker-compose up。然后在浏览器中输入:8080。登陆之后您将看到 Crawlab 的主页。
本篇文章主要介绍如何搭建爬虫管理平台 Crawlab，因此不会详细介绍如何使用 Crawlab（可能会创建另一篇文章来详细介绍，有兴趣者可以关注一下）。如果您有困惑，请查看相关文档来了解如何使用。同时，您也可以加作者微信（tikazyq1）并注明 Crawlab，作者将将您拉入讨论群，您可以在那里答疑解惑。如何将 Scrapy 等爬虫集成到 Crawlab众所周知，Scrapy 是非常受欢迎的爬虫框架，其灵活的框架设计、高并发、易用性以及可扩展性让很多开发者和企业大量采用。市面上的爬虫管理平台几乎都支持 Scrapy 爬虫，Crawlab 也不例外，但 Crawlab 可以运行 puppeteer、selenium 等其他爬虫。下面将介绍一下在 Crawlab 中如何运行 scrapy 爬虫。Crawlab 是执行爬虫基本原理Crawlab 执行爬虫的原理很简单，其实就是一个 shell 命令。用户在爬虫中输入执行爬虫的 shell 命令，例如scrapy crawl some_spider，Crawlab 执行器会读取这个命令，并在 shell 中直接执行。因此，每一次运行爬虫任务，就是执行了一次 shell 命令（当然，实际情况要比这个复杂很多，感兴趣的可以去参考官方文档）。Crawlab 是支持展示和导出爬虫结果的，不过这需要稍微多做一些工作。编写 Pipeline要集成 scrapy 爬虫，无非就是将爬虫抓取的数据存到 Crawlab 的数据库里，然后用任务 ID 关联起来。每次执行爬虫任务，任务 ID 会通过环境变量传到爬虫程序中，因此我们需要做的就是将任务 ID 加上结果存到数据库里（Crawlab 现在只支持 MongoDB，后期会开发 MySQL、SQL Server、Postgres 等关系型数据库，有需求的用户可以关注一下）。在 Scrapy 中，我们需要编写储存逻辑。示意代码如下：
# 引入相关的库，pymongo 是标准连接 MongoDB 的库<br />import os<br />from pymongo import MongoClient<br /><br /># MongoDB 配置参数<br />MONGO_HOST = '192.168.99.100'<br />MONGO_PORT = 27017<br />MONGO_DB = 'crawlab_test'<br /><br />class JuejinPipeline(object):<br /> mongo = MongoClient(host=MONGO_HOST, port=MONGO_PORT) # mongo 连接实例<br /> db = mongo[MONGO_DB] # 数据库实例<br /> col_name = os.environ.get('CRAWLAB_COLLECTION') # 集合名称，通过环境变量 CRAWLAB_COLLECTION 传过来<br /><br /> # 如果 CRAWLAB_COLLECTION 不存在，则默认集合名称为 test<br /> if not col_name:<br /> col_name = 'test'<br /><br /> col = db[col_name] # 集合实例<br /><br /> # 每一个传入 item 会调用的函数，参数分别为 item 和 spider<br /> def process_item(self, item, spider):<br /> item['task_id'] = os.environ.get('CRAWLAB_TASK_ID') # 将 task_id 设置为环境变量传过来的任务 ID<br /> self.col.save(item) # 保存 item 在数据库中<br /> return item<br />
同时，您也需要在items.py中加入task_id字段，已保证值能够被赋上（这很重要）。上传并配置爬虫在运行爬虫之前，您需要上传爬虫文件到主节点。步骤如下：将爬虫文件打包成 zip（注意，要保证在根目录下直接打包）；在侧边栏点击“爬虫”导航至爬虫列表，点击“添加爬虫”按钮，选择“自定义爬虫”；点击“上传”按钮，选择刚刚打包好的 zip 文件上传成功后，爬虫列表中会出现新添加的自定义爬虫，这样就算上传成功了。可以在爬虫详情中点击“文件”标签，选择一个文件，可以在文件中编辑代码。
接下来，您需要在“概览”标签中的“执行命令”一栏输入爬虫的 shell 执行命令。Crawlab 的 Docker 镜像里是内置了 scrapy 的，因此可以直接运行 scrapy 爬虫。命令就是scrapy crawl。点击“保存”按钮保存爬虫配置。运行爬虫任务然后就是运行爬虫任务了。其实很简单，在“概览”标签中点击“运行”按钮，爬虫任务就开始运行了。如果日志提示找不到 scrapy 命令，可以将scrapy改为绝对路径/usr/local/bin/scrapy，这样就会运行成功。任务运行情况会在“任务”页面或者爬虫“概览”里展现，会每 5 秒钟更新一次，大家可以在这上面查看。而且在爬虫“结果”标签里，可以预览结果的详情，还可以导出数据成 CSV 文件。构建持续集成（CI）工作流对于企业来说，软件开发一般是一个自动化过程。它会经历需求、开发、部署、测试、上线这几个步骤。而这个流程一般是不断迭代（Iterative）的，需要不断更新和发布。以爬虫为例，您上线了一个爬虫，这个爬虫会定期抓取网站数据。但突然有一天您发现数据抓不到了，您快速定位原因，发现原来是网站改版了，您需要更改爬虫抓取规则来应对网站的改版。总之，您需要发布一个代码更新。最快的做法是直接在线上更改代码。但这样做非常危险：第一，您无法测试您更新后的代码，只能通过不断调整线上代码来测试是否抓取成功；第二，您无法记录这次更改，后期如果出了问题您很可能会忽略掉这次更改，从而导致 bug。您需要做的，无非是将您的爬虫代码用版本管理工具管理起来。我们有很多版本管理工具，最常用的就是 git、subversion，版本管理平台包括 Gitlab、Bitbucket、自搭 Git 仓库等。当我们更新了代码，我们需要将更新后的代码发布到线上服务器。这时您需要用自己写部署脚本，或者更方便的，用 Jenkins 作为持续集成（Continuous Integration）管理平台。Jenkins 是一个持续集成平台，可以通过获取版本库来更新部署代码，是非常实用的工具，在很多企业中都有用到。下图是如何将 Crawlab 爬虫应用到持续集成工作流程中的例子。
要在 Crawlab 中创建或更新爬虫有两种方式：上传打包成后的 zip 文件；通过更改主节点中目录CRAWLAB_SPIDER_PATH中的爬虫文件。我们做持续集成，就是针对第二种方式。步骤如下：用 Gitlab 或其他平台搭建好代码仓库；在 Jenkins 中创建一个项目，在项目中将代码源指向之前创建的仓库；在 Jenkins 项目中编写工作流，将发布地址指向 Crawlab 的CRAWLAB_SPIDER_PATH，如果是 Docker 注意将该地址挂载到宿主机文件系统；Jenkins 项目的工作可以直接编写，也可以用 Jenkinsfile，具体可以查相关资料；这样，每一次代码更新提交到代码仓库后，Jenkins 就会将更新后的代码发布到 Crawlab 里，Crawlab 主节点会将爬虫代码同步到工作节点，以待抓取。总结本篇文章主要介绍了爬虫管理平台的定义、如何选择爬虫管理平台，着重介绍了如何搭建开源爬虫管理平台 Crawlab，另外还讲到了如何集成 scrapy 爬虫以及如何打造持续集成工作流。本篇文章没有涉及到的内容还有很多，包括如何 Crawlab 的原理和架构详情、如何使用 Crawlab、如何编写大规模爬虫、如何使用 Jenkins 等等。这些内容可能会在其他文章中发布，请感兴趣的读者多多关注。另外，Crawlab 还有一些需要提升的地方，例如异常监控（零值、空值）、可配置爬虫、可视化抓取、日志集中收集等等。这些功能都将在以后陆续开发和发布，请大家也多多关注。 查看全部
如何快速搭建实用的爬虫管理平台?
本篇文章内容较多，涉及知识较广，请读者耐心阅读。
前言大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这会凭空增添很多附加的管理成本。同时，爬虫管理者还需要应对网站内容变更、持续增量抓取、任务失败等问题。因此一个成熟的爬虫管理流程应该包含一个管理系统，能够有效处理上述问题。理解什么是爬虫管理平台定义爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。当然，上述这个定义是狭义的，通常针对于技术人员或开发者或技术经理。
企业内部一般都会开发自己的内部爬虫管理系统，以应对复杂的爬虫管理需求。这样的系统就是上述定义的狭义的爬虫管理平台。广义爬虫管理平台而什么是广义的爬虫管理平台呢？您可能听说过优采云（后转型为优采云采集器）和优采云吧。前者是基于云服务的，可以在线上编写、运行和监控爬虫，在广义爬虫平台中最接近狭义定义的爬虫管理平台；后者是一个大众的商业爬虫抓取工具，可以让小白用户拖拉拽编写、运行爬虫，导出数据。您也可能见过各种 API 聚合服务商，例如聚合数据，这是一个可以直接调用网站接口获取数据的平台，这其实也算作爬虫平台的一个变种，只是它帮你完成了爬虫编写这一过程。而介于这两者之间的呢，国外有一家叫 Kimonolab 的公司，它开发了一个叫 Kimono 的 Chrome 插件，可以让用户在页面上可视化的点击元素并生成抓取规则，并在其网站上生成爬虫程序，用户提交任务，后台就可以自动在网站上抓取数据了。Kimono 是一个伟大的爬虫应用，但可惜的是，Kimonolab 已经被大数据公司 Plantir 收购，现在也就无法体验了。在本文中，我们主要关注狭义定义的爬虫管理平台，因此后面所讲到的爬虫管理平台都是指狭义的定义。爬虫管理平台模块以下是一个典型的爬虫管理平台所涉及的模块。
典型爬虫管理平台的模块主要包含以下内容：当然，有些爬虫管理平台可能还不止这些模块，它可能包括其他比较实用的功能，例如可配置的抓取规则、可视化配置抓取规则、代理池、Cookie 池、异常监控等等。为什么需要爬虫管理平台有了爬虫管理平台，开发者特别是爬虫工程师就能够方便的添加爬虫、执行任务、查看结果，而不用在命令行之间来回切换，非常容易出错。一个常见的场景就是爬虫工程师最初技术选型用了 scrapy 和 crontab 来管理爬虫任务，他不得不小心翼翼的选择定时任务的时间区间，以至于不会将服务器 CPU 或内存占满；更棘手的问题是，他还需要将 scrapy 产生的日志存到文件里，一旦爬虫出错了，他不得不用 shell 命令一个一个来查看日志来定位错误原因，严重时会花上一个整天；还有个严重的问题，爬虫工程师可能发现公司业务量在增加，他需要写上百个爬虫来满足公司的业务需求，而用 scrapy 和 crontab 来管理完全就是个噩梦。可怜的爬虫工程师其实完全可以选择一个合适爬虫管理平台来解决他的问题。如何选择一个合适的爬虫管理平台当您愿意解决前面提到的爬虫工程师遇到的困难问题，而转而想选择一个合适的爬虫管理平台时。您首先应该回答的问题是：我们是否需要从零开始开发一套系统（Start from scratch）？要回答这个问题，您应该先回答下面几个问题：我们的需求是否复杂到需要完全定制化开发一套新系统（例如要求复杂的权限管理）？我们的团队是否有足够的技术实力来开发这套系统（例如有经验丰富的前后端开发工程师）？我们的时间资源是否足够我们开发这套系统（例如项目计划周期为一年）？如果上述三个问题的答案任意一个为“否”，您应该好好考虑利用市面上已有的开源爬虫管理平台来满足您的需求。以下为市面上已有的开源爬虫管理平台：平台名称技术优点缺点
SpiderKeeper
Python Flask
基于 scrapyd，开源版 Scrapyhub，非常简洁的 UI 界面，支持定时任务
可能有些过于简洁了，不支持分页，不支持节点管理，不支持 scrapy 以外的爬虫
Gerapy
Python Django + Vue
Gerapy 是崔庆才大神开发的爬虫管理平台，安装部署非常简单，同样基于 scrapyd，有精美的 UI 界面，支持节点管理、代码编辑、可配置规则等功能
同样不支持 scrapy 以外的爬虫，而且据使用者反馈，1.0 版本有很多 bug，期待 2.0 版本会有一定程度的改进
Scrapydweb
Python Flask + Vue
精美的 UI 界面，内置了 scrapy 日志解析器，有较多任务运行统计图表，支持节点管理、定时任务、邮件提醒、移动界面，算是 scrapy-based 中功能完善的爬虫管理平台
同样不支持 scrapy 以外的爬虫，Python Flask 为后端，性能上有一定局限性
Crawlab
Golang + Vue
不局限于 scrapy，可以运行任何语言和框架的爬虫，精美的 UI 界面，天然支持分布式爬虫，支持节点管理、爬虫管理、任务管理、定时任务、结果导出、数据统计等功能
部署稍微有一些麻烦（不过利用 Docker 可以一键部署），最新版本暂时不支持可配置爬虫
总的来说，SpiderKeeper 可能是最早的爬虫管理平台，但功能相对来说比较局限；Gerapy 虽然功能齐全，界面精美，但有不少 bug 需要处理，建议有需求的用户等待 2.0 版本；Scrapydweb是一个比较完善的爬虫管理平台，不过和前两者一样，都是基于 scrapyd 的，因此只能运行 scrapy 爬虫；而Crawlab是一个非常灵活的爬虫管理平台，可以运行 Python、Nodejs、Java、PHP、Go 写的爬虫，而且功能比较齐全，只是部署起来相对于前三者来说要麻烦一些，不过对于 Docker 使用者来说可以做到一件部署（后面我们会讲）。
因此，对于重度 scrapy 爬虫依赖的、又不想折腾的开发者，可以考虑 Scrapydweb；而对于有各种类型的、复杂技术结构的爬虫开发者来说，应该优先考虑更灵活的 Crawlab。当然，不是说 Crawlab 对 scrapy 支持不友好，Crawlab 同样可以很好的集成 scrapy，后面会介绍。作为 Crawlab 的作者，不想王婆卖瓜，自卖自夸，作者仅仅希望将最好的技术选型推荐给开发者，让开发者根据自身的需求来决定该使用哪种爬虫管理平台。爬虫管理平台 Crawlab 介绍简介Crawlab 是基于 Golang 的分布式爬虫管理平台，支持 Python、NodeJS、Java、Go、PHP 等多种编程语言以及多种爬虫框架。Crawlab 自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用 Crawlab 搭建公司的爬虫平台。经过近数月的迭代，Crawlab 陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将平台变得得更加实用，更加全面，能够真正帮助用户解决爬虫管理困难的问题。如今在 Github 上有近 1k 的 star，相关社区（微信群、微信公众号）也建立起来，四分之一的用户表示已经将 Crawlab 应用于企业爬虫管理。可以看出，Crawlab 是受开发者们关注和喜欢的。解决问题Crawlab 主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂 scrapy 和 selenium 的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab 支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。界面及使用下面是 Crawlab 爬虫列表页面的截图。
用户只需要将爬虫上传到 Crawlab，配置执行命令，点击“运行”按钮，就可以执行爬虫任务了。爬虫任务可以在任何节点上运行。从上图可以看到，Crawlab 有节点管理、爬虫管理、任务管理、定时任务、用户管理等模块。整体架构以下是 Crawlab 的整体架构图，由五大部分组成：主节点（Master Node）：负责任务派发、API、部署爬虫等；工作节点（Worker Node）：负责执行爬虫任务；MongoDB 数据库：存储节点、爬虫、任务等日常运行数据；Redis 数据库：储存任务消息队列、节点心跳等信息。前端客户端：Vue 应用，负责前端交互和向后端请求数据。
关于 Crawlab 如何使用和详细原理超出了本篇文章的范围，感兴趣的可以去参考Github 主页或相关文档。Github地址及Demo使用 Docker 部署安装 CrawlabDocker 镜像Docker 是部署 Crawlab 最方便和简洁的方式。其他部署方式包括直接部署，不过对于想快速搭建平台的开发者来说不推荐。Crawlab 已在Dockerhub上注册了相关的镜像，开发者仅需要执行docker pull tikazyq/crawlab命令就可以将 Crawlab 的镜像下载下来。读者可以去 Dockerhub 上查看 Crawlab 的镜像，只有仅不到 300Mb。地址：/r/tikazyq/c…
安装 Docker要使用 Docker 来部署 Crawlab，您首先得保证 Docker 已经安装好。请参考以下文档来安装。操作系统文档
Mac
/docker-for-…
Windows
/docker-for-…
Ubuntu
/install/lin…
Debian
/install/lin…
CentOS
/install/lin…
Fedora
/install/lin…
其他 Linux 发行版
/install/lin…
安装 Docker Compose
Docker Compose 是简单的运行 Docker 集群的工具，非常轻量级，我们将用到 Docker Compose 来一键部署 Crawlab。Docker 的官方网站已经有如何安装 Docker Compose 的教程，点击链接查看。这里简单介绍一下。操作系统安装步骤
Mac
Docker Desktop for Mac 或 Docker Toolbox 自带，不用单独安装
Windows
Docker Desktop for Windows 或 Docker Toolbox 自带，不用单独安装
Linux
参考表格下面的命令
其他选择
通过pip安装，pip install docker-compose，如果没有virtualenv，需要用sudo
Linux 用户请用以下命令安装。
# 下载 docker-compose<br />sudo curl -L "https://github.com/docker/comp ... pose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose`<br /><br /># 将 docker-compose 变成执行文件<br />sudo chmod +x /usr/local/bin/docker-compose<br />
拉取镜像在拉取镜像之前，您需要配置一下镜像源。因为在国内，使用原有的镜像源速度不是很快，需要使用 DockerHub 在国内的加速器。请创建/etc/docker/daemon.json文件，输入如下内容。
{<br /> "registry-mirrors": ["https://registry.docker-cn.com"]<br />}<br />
然后拉取镜像，就会快很多了。当然，您也可以用其他镜像源，可以网上去搜索一下。执行以下命令将 Crawlab 镜像拉取下来。
docker pull tikazyq/crawlab:latest<br />
下图为拉取镜像时的命令行界面。
启动 Crawlab我们将用 Docker Compose 启动 Crawlab 以及其依赖的数据库 MongoDB 和 Redis。首先我们需要修改一下 Docker Compose 的 yaml 配置文件docker-compose.yml。这个配置文件定义了需要启动的容器服务（Container Services）以及网络配置（Network Configuration）。这里我们用 Crawlab 自带的docker-compose.yml。
version: '3.3' # Docker Compose 的版本号（请看后续说明）<br />services: # 服务<br /> master: # 服务名称<br /> image: tikazyq/crawlab:latest # 服务对应的镜像名称<br /> container_name: master # 服务对应的容器名称<br /> environment: # 这里定义传入的环境变量<br /> CRAWLAB_API_ADDRESS: "localhost:8000" # 前端调用的 API 地址，默认为 localhost:8000<br /> CRAWLAB_SERVER_MASTER: "Y" # 是否为主节点，Y/N<br /> CRAWLAB_MONGO_HOST: "mongo" # MongoDB host，由于在 Docker Compose 里，可以引用服务名称<br /> CRAWLAB_REDIS_ADDRESS: "redis" # Redis host，由于在 Docker Compose 里，可以引用服务名称<br /> ports: # 映射的端口<br /> - "8080:8080" # 前端端口<br /> - "8000:8000" # 后端端口<br /> depends_on: # 依赖的服务<br /> - mongo # MongoDB<br /> - redis # Redis<br /> worker: # 工作节点，与主节点配置类似，不重复写了<br /> image: tikazyq/crawlab:latest<br /> container_name: worker<br /> environment:<br /> CRAWLAB_SERVER_MASTER: "N"<br /> CRAWLAB_MONGO_HOST: "mongo"<br /> CRAWLAB_REDIS_ADDRESS: "redis"<br /> depends_on:<br /> - mongo<br /> - redis<br /> mongo: # MongoDB 服务名称<br /> image: mongo:latest # MongoDB 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "27017:27017"<br /> redis: # Redis 服务名称<br /> image: redis:latest # Redis 镜像名称<br /> restart: always # 重启策略为“总是”<br /> ports: # 映射端口<br /> - "6379:6379"<br />
读者可以根据自己的要求来配置docker-compose.yml。尤其需要注意CRAWLAB_API_ADDRESS这个环境变量，很多初学使用者都是因为该变量配置不正确而导致无法登陆。大多数情况，您不用做任何配置更改。请参考Q&A来处理常见问题，以及详细的环境变量配置文档来帮助根据自身环境配置 Crawlab。然后，运行下列命令启动 Crawlab。可以加一个-d参数让 Docker Compose 后台运行。
docker-compose up<br />
运行上述命令后，Docker Compose 会去拉取 MongoDB 和 Redis 的镜像，这可能会花几分钟时间。拉取完毕后，四个服务会依次启动，您将会在命令行中看到如下内容。
正常情况下，您应该可以看到四个服务都启动成功，并能够顺利打印日志。如果启动不成功，请微信联系作者（tikazyq1）或在 Github 上提 Issue。如果您是在本机上启动的 Docker Compose，可以在浏览器中输入:8080，然后就能看到登陆界面了；如果您是在其他机器上启动的 Docker Compose，您需要在浏览器中输入:8080来看到登陆界面，是其他机器的 IP 地址（请保证 8080 端口在该机器已对外开放）。
初始登陆用户名密码是 admin/admin，您可以使用这个用户名密码来登陆。如果您的环境变量CRAWLAB_API_ADDRESS设置得不正确，您可能会看到点击登陆后登陆按钮会一直转圈而没有任何提示。这时请重新在docker-compose.yml中设置正确的CRAWLAB_API_ADDRESS（将localhost替换为），重新启动docker-compose up。然后在浏览器中输入:8080。登陆之后您将看到 Crawlab 的主页。
本篇文章主要介绍如何搭建爬虫管理平台 Crawlab，因此不会详细介绍如何使用 Crawlab（可能会创建另一篇文章来详细介绍，有兴趣者可以关注一下）。如果您有困惑，请查看相关文档来了解如何使用。同时，您也可以加作者微信（tikazyq1）并注明 Crawlab，作者将将您拉入讨论群，您可以在那里答疑解惑。如何将 Scrapy 等爬虫集成到 Crawlab众所周知，Scrapy 是非常受欢迎的爬虫框架，其灵活的框架设计、高并发、易用性以及可扩展性让很多开发者和企业大量采用。市面上的爬虫管理平台几乎都支持 Scrapy 爬虫，Crawlab 也不例外，但 Crawlab 可以运行 puppeteer、selenium 等其他爬虫。下面将介绍一下在 Crawlab 中如何运行 scrapy 爬虫。Crawlab 是执行爬虫基本原理Crawlab 执行爬虫的原理很简单，其实就是一个 shell 命令。用户在爬虫中输入执行爬虫的 shell 命令，例如scrapy crawl some_spider，Crawlab 执行器会读取这个命令，并在 shell 中直接执行。因此，每一次运行爬虫任务，就是执行了一次 shell 命令（当然，实际情况要比这个复杂很多，感兴趣的可以去参考官方文档）。Crawlab 是支持展示和导出爬虫结果的，不过这需要稍微多做一些工作。编写 Pipeline要集成 scrapy 爬虫，无非就是将爬虫抓取的数据存到 Crawlab 的数据库里，然后用任务 ID 关联起来。每次执行爬虫任务，任务 ID 会通过环境变量传到爬虫程序中，因此我们需要做的就是将任务 ID 加上结果存到数据库里（Crawlab 现在只支持 MongoDB，后期会开发 MySQL、SQL Server、Postgres 等关系型数据库，有需求的用户可以关注一下）。在 Scrapy 中，我们需要编写储存逻辑。示意代码如下：
# 引入相关的库，pymongo 是标准连接 MongoDB 的库<br />import os<br />from pymongo import MongoClient<br /><br /># MongoDB 配置参数<br />MONGO_HOST = '192.168.99.100'<br />MONGO_PORT = 27017<br />MONGO_DB = 'crawlab_test'<br /><br />class JuejinPipeline(object):<br /> mongo = MongoClient(host=MONGO_HOST, port=MONGO_PORT) # mongo 连接实例<br /> db = mongo[MONGO_DB] # 数据库实例<br /> col_name = os.environ.get('CRAWLAB_COLLECTION') # 集合名称，通过环境变量 CRAWLAB_COLLECTION 传过来<br /><br /> # 如果 CRAWLAB_COLLECTION 不存在，则默认集合名称为 test<br /> if not col_name:<br /> col_name = 'test'<br /><br /> col = db[col_name] # 集合实例<br /><br /> # 每一个传入 item 会调用的函数，参数分别为 item 和 spider<br /> def process_item(self, item, spider):<br /> item['task_id'] = os.environ.get('CRAWLAB_TASK_ID') # 将 task_id 设置为环境变量传过来的任务 ID<br /> self.col.save(item) # 保存 item 在数据库中<br /> return item<br />
同时，您也需要在items.py中加入task_id字段，已保证值能够被赋上（这很重要）。上传并配置爬虫在运行爬虫之前，您需要上传爬虫文件到主节点。步骤如下：将爬虫文件打包成 zip（注意，要保证在根目录下直接打包）；在侧边栏点击“爬虫”导航至爬虫列表，点击“添加爬虫”按钮，选择“自定义爬虫”；点击“上传”按钮，选择刚刚打包好的 zip 文件上传成功后，爬虫列表中会出现新添加的自定义爬虫，这样就算上传成功了。可以在爬虫详情中点击“文件”标签，选择一个文件，可以在文件中编辑代码。
接下来，您需要在“概览”标签中的“执行命令”一栏输入爬虫的 shell 执行命令。Crawlab 的 Docker 镜像里是内置了 scrapy 的，因此可以直接运行 scrapy 爬虫。命令就是scrapy crawl。点击“保存”按钮保存爬虫配置。运行爬虫任务然后就是运行爬虫任务了。其实很简单，在“概览”标签中点击“运行”按钮，爬虫任务就开始运行了。如果日志提示找不到 scrapy 命令，可以将scrapy改为绝对路径/usr/local/bin/scrapy，这样就会运行成功。任务运行情况会在“任务”页面或者爬虫“概览”里展现，会每 5 秒钟更新一次，大家可以在这上面查看。而且在爬虫“结果”标签里，可以预览结果的详情，还可以导出数据成 CSV 文件。构建持续集成（CI）工作流对于企业来说，软件开发一般是一个自动化过程。它会经历需求、开发、部署、测试、上线这几个步骤。而这个流程一般是不断迭代（Iterative）的，需要不断更新和发布。以爬虫为例，您上线了一个爬虫，这个爬虫会定期抓取网站数据。但突然有一天您发现数据抓不到了，您快速定位原因，发现原来是网站改版了，您需要更改爬虫抓取规则来应对网站的改版。总之，您需要发布一个代码更新。最快的做法是直接在线上更改代码。但这样做非常危险：第一，您无法测试您更新后的代码，只能通过不断调整线上代码来测试是否抓取成功；第二，您无法记录这次更改，后期如果出了问题您很可能会忽略掉这次更改，从而导致 bug。您需要做的，无非是将您的爬虫代码用版本管理工具管理起来。我们有很多版本管理工具，最常用的就是 git、subversion，版本管理平台包括 Gitlab、Bitbucket、自搭 Git 仓库等。当我们更新了代码，我们需要将更新后的代码发布到线上服务器。这时您需要用自己写部署脚本，或者更方便的，用 Jenkins 作为持续集成（Continuous Integration）管理平台。Jenkins 是一个持续集成平台，可以通过获取版本库来更新部署代码，是非常实用的工具，在很多企业中都有用到。下图是如何将 Crawlab 爬虫应用到持续集成工作流程中的例子。
要在 Crawlab 中创建或更新爬虫有两种方式：上传打包成后的 zip 文件；通过更改主节点中目录CRAWLAB_SPIDER_PATH中的爬虫文件。我们做持续集成，就是针对第二种方式。步骤如下：用 Gitlab 或其他平台搭建好代码仓库；在 Jenkins 中创建一个项目，在项目中将代码源指向之前创建的仓库；在 Jenkins 项目中编写工作流，将发布地址指向 Crawlab 的CRAWLAB_SPIDER_PATH，如果是 Docker 注意将该地址挂载到宿主机文件系统；Jenkins 项目的工作可以直接编写，也可以用 Jenkinsfile，具体可以查相关资料；这样，每一次代码更新提交到代码仓库后，Jenkins 就会将更新后的代码发布到 Crawlab 里，Crawlab 主节点会将爬虫代码同步到工作节点，以待抓取。总结本篇文章主要介绍了爬虫管理平台的定义、如何选择爬虫管理平台，着重介绍了如何搭建开源爬虫管理平台 Crawlab，另外还讲到了如何集成 scrapy 爬虫以及如何打造持续集成工作流。本篇文章没有涉及到的内容还有很多，包括如何 Crawlab 的原理和架构详情、如何使用 Crawlab、如何编写大规模爬虫、如何使用 Jenkins 等等。这些内容可能会在其他文章中发布，请感兴趣的读者多多关注。另外，Crawlab 还有一些需要提升的地方，例如异常监控（零值、空值）、可配置爬虫、可视化抓取、日志集中收集等等。这些功能都将在以后陆续开发和发布，请大家也多多关注。
网站程序自带的采集器采集文章后，复制到wordpress中去
采集交流 • 优采云 发表了文章 • 0 个评论 • 109 次浏览 • 2022-05-05 10:01
网站程序自带的采集器采集文章后，复制到wordpress中去
网站程序自带的采集器采集文章后，复制到wordpress中去，可以一键导出。还可以在手机中导出到pdf文件。在公众号“sfkw”内，回复“wordpress导出pdf”可以得到如下链接。-欢迎关注我的公众号“sfkw”，一个分享ppt干货的公众号，
必须搭建,问题很复杂,花费时间也长,而且不同行业，对专业程度要求也不同。要一劳永逸的话，那就别从本站下载,整套.net语言包即可。当然如果你非要反复研究选择性整合,那其实也可以搭建，但是成本比较高,而且还需要对自己的网站熟悉（不涉及公司信息）。如何选择建站语言，
建议使用最新的hexo+python建站系统wordpress/，对比下优劣势，根据使用需求来做决定。
有个国外专门做ppt模板下载的专业网站，也支持用ppt建站，做app或h5网站，服务很赞。不仅能用ppt建站，还有一些ppt教程。 查看全部
网站程序自带的采集器采集文章后，复制到wordpress中去，可以一键导出。还可以在手机中导出到pdf文件。在公众号“sfkw”内，回复“wordpress导出pdf”可以得到如下链接。-欢迎关注我的公众号“sfkw”，一个分享ppt干货的公众号，
必须搭建,问题很复杂,花费时间也长,而且不同行业，对专业程度要求也不同。要一劳永逸的话，那就别从本站下载,整套.net语言包即可。当然如果你非要反复研究选择性整合,那其实也可以搭建，但是成本比较高,而且还需要对自己的网站熟悉（不涉及公司信息）。如何选择建站语言，
建议使用最新的hexo+python建站系统wordpress/，对比下优劣势，根据使用需求来做决定。
有个国外专门做ppt模板下载的专业网站，也支持用ppt建站，做app或h5网站，服务很赞。不仅能用ppt建站，还有一些ppt教程。 查看全部
网站程序自带的采集器采集文章后，复制到wordpress中去
网站程序自带的采集器采集文章后，复制到wordpress中去，可以一键导出。还可以在手机中导出到pdf文件。在公众号“sfkw”内，回复“wordpress导出pdf”可以得到如下链接。-欢迎关注我的公众号“sfkw”，一个分享ppt干货的公众号，
必须搭建,问题很复杂,花费时间也长,而且不同行业，对专业程度要求也不同。要一劳永逸的话，那就别从本站下载,整套.net语言包即可。当然如果你非要反复研究选择性整合,那其实也可以搭建，但是成本比较高,而且还需要对自己的网站熟悉（不涉及公司信息）。如何选择建站语言，
建议使用最新的hexo+python建站系统wordpress/，对比下优劣势，根据使用需求来做决定。
有个国外专门做ppt模板下载的专业网站，也支持用ppt建站，做app或h5网站，服务很赞。不仅能用ppt建站，还有一些ppt教程。
网站程序自带的采集器采集文章结构嵌入联盟处理
采集交流 • 优采云 发表了文章 • 0 个评论 • 98 次浏览 • 2022-05-03 16:01
网站程序自带的采集器采集文章结构嵌入联盟处理
网站程序自带的采集器采集文章结构嵌入seo联盟，seo联盟对文章结构进行了标签化加工处理。所以，seo联盟可以抓取你网站的任何内容，抓取的内容来源于搜索引擎。当然，直接站外挖掘，也是可以的。
除非你的网站是采用自建的pc页面，否则蜘蛛爬行本质上，爬行的还是内容本身的爬行者。如果你的网站上有网友分享文章页面，如果网站文章页面加载方式在所有网站中算是友好的，那么就会很大概率被抓取。
内容是一样的
新闻类网站大多用wordpress搭建，就是用结构化的内容抓取网站自带爬虫抓取。ps：seo联盟对返利网站，其实也是帮网站做内容抓取来推广的。
免费的phphtml模拟蜘蛛抓取都有问题，都不靠谱，稍有价值的也就是收费的seo联盟了，其实只抓来很少的精准流量，大部分是通过搜索引擎跳转，上了seo联盟就是给各种返利网站做外链。
seo联盟无论站点自带抓取还是phphtml或者wordpress,都会被使用谷歌extra搜索引擎抓取
被抓取的非常多。你网站爬虫做的差，积累的多，就被反反复复抓取。爬虫我也是比较熟悉，这里给你推荐个微信公众号，里面有很多的爬虫基础知识，你可以看看一下。
严格来说，首先不存在“爬虫”，而是用爬虫方式进行了蜘蛛抓取。但是为什么所有网站的爬虫都会自动抓取呢？原因很简单，一是很多网站访问量很大，需要大量的快照索引；二是搜索引擎也需要外链，需要蜘蛛通过抓取来增加自己的蜘蛛池；三是可能需要收录别人网站的文章，也需要蜘蛛爬取。结合以上三点，搜索引擎就可以对网站大量爬虫抓取了。 查看全部
网站程序自带的采集器采集文章结构嵌入seo联盟，seo联盟对文章结构进行了标签化加工处理。所以，seo联盟可以抓取你网站的任何内容，抓取的内容来源于搜索引擎。当然，直接站外挖掘，也是可以的。
除非你的网站是采用自建的pc页面，否则蜘蛛爬行本质上，爬行的还是内容本身的爬行者。如果你的网站上有网友分享文章页面，如果网站文章页面加载方式在所有网站中算是友好的，那么就会很大概率被抓取。
内容是一样的
新闻类网站大多用wordpress搭建，就是用结构化的内容抓取网站自带爬虫抓取。ps：seo联盟对返利网站，其实也是帮网站做内容抓取来推广的。
免费的phphtml模拟蜘蛛抓取都有问题，都不靠谱，稍有价值的也就是收费的seo联盟了，其实只抓来很少的精准流量，大部分是通过搜索引擎跳转，上了seo联盟就是给各种返利网站做外链。
seo联盟无论站点自带抓取还是phphtml或者wordpress,都会被使用谷歌extra搜索引擎抓取
被抓取的非常多。你网站爬虫做的差，积累的多，就被反反复复抓取。爬虫我也是比较熟悉，这里给你推荐个微信公众号，里面有很多的爬虫基础知识，你可以看看一下。
严格来说，首先不存在“爬虫”，而是用爬虫方式进行了蜘蛛抓取。但是为什么所有网站的爬虫都会自动抓取呢？原因很简单，一是很多网站访问量很大，需要大量的快照索引；二是搜索引擎也需要外链，需要蜘蛛通过抓取来增加自己的蜘蛛池；三是可能需要收录别人网站的文章，也需要蜘蛛爬取。结合以上三点，搜索引擎就可以对网站大量爬虫抓取了。 查看全部
网站程序自带的采集器采集文章结构嵌入联盟处理
网站程序自带的采集器采集文章结构嵌入seo联盟，seo联盟对文章结构进行了标签化加工处理。所以，seo联盟可以抓取你网站的任何内容，抓取的内容来源于搜索引擎。当然，直接站外挖掘，也是可以的。
除非你的网站是采用自建的pc页面，否则蜘蛛爬行本质上，爬行的还是内容本身的爬行者。如果你的网站上有网友分享文章页面，如果网站文章页面加载方式在所有网站中算是友好的，那么就会很大概率被抓取。
内容是一样的
新闻类网站大多用wordpress搭建，就是用结构化的内容抓取网站自带爬虫抓取。ps：seo联盟对返利网站，其实也是帮网站做内容抓取来推广的。
免费的phphtml模拟蜘蛛抓取都有问题，都不靠谱，稍有价值的也就是收费的seo联盟了，其实只抓来很少的精准流量，大部分是通过搜索引擎跳转，上了seo联盟就是给各种返利网站做外链。
seo联盟无论站点自带抓取还是phphtml或者wordpress,都会被使用谷歌extra搜索引擎抓取
被抓取的非常多。你网站爬虫做的差，积累的多，就被反反复复抓取。爬虫我也是比较熟悉，这里给你推荐个微信公众号，里面有很多的爬虫基础知识，你可以看看一下。
严格来说，首先不存在“爬虫”，而是用爬虫方式进行了蜘蛛抓取。但是为什么所有网站的爬虫都会自动抓取呢？原因很简单，一是很多网站访问量很大，需要大量的快照索引；二是搜索引擎也需要外链，需要蜘蛛通过抓取来增加自己的蜘蛛池；三是可能需要收录别人网站的文章，也需要蜘蛛爬取。结合以上三点，搜索引擎就可以对网站大量爬虫抓取了。
