分享文章:微信公众号文章爬虫采集
　　捕捉场景
　　进入搜狗微信首页，（），采集【热点】分类下的文章列表数据。同时点击每篇文章的链接，进入文章详情页，采集
文章的文字和图片。
　　集合字段
　　标题、文章链接、封面图片、介绍、出处、发布时间、正文、图片链接。
　　将鼠标放在图片上，点击鼠标右键，选择【在新标签页中打开图片】即可查看高分辨率大图
　　下面的其他图片也一样
　　采集结果
　　采集结果可以导出为Excel、CSV、HTML、数据库等格式。导出到 Excel 的示例：
　　教程说明
　　本文制作时间：2020/4/24 优采云
版本：V8.1.8
　　如因网页改版导致网址或步骤失效，导致无法采集目标数据，请联系官方客服，我们会及时更正。
　　采集步骤
　　第一步：打开网页，使用【智能识别】
　　Step 2. 调整使用【智能识别】生成的采集流程
　　第三步：点击文章链接进入详情页，采集
图文
　　步骤 4. 开始采集
　　以下是具体步骤：
　　Step 1. 打开网页，使用【智能识别】
　　在首页【输入框】输入目标网址，点击【开始采集
】，优采云
会自动打开网页。
　　点击【自动识别网页】，成功识别文章列表中的数据和翻页。
　　点击【生成采集
设置】，将自动识别的列表数据和翻页生成为一个采集
过程，方便我们使用和修改。
　　特别提示：
　　
　　一个。本文使用【自动识别】自动识别网页上的列表、滚动和翻页。识别成功后会生成采集规则，然后调整采集规则采集目标数据。如果【自动识别】结果与上图不同，您可以点击【取消识别】自行配置采集流程或联系客服反馈。详情点击查看【自动识别】教程
　　Step 2. 调整使用【智能识别】生成的采集流程
　　【智能识别】对我们建立收款规则很有帮助，可以调整优化规则。
　　2.编辑字段
　　在【当前页数据预览】面板中，可以删除多余字段、修改字段名称、移动字段顺序等。
　　第三步：点击文章链接进入详情页，采集
图文
　　1.点击文章链接进入详情页
　　进入【循环列表】设置页面，查看当前文章列表（当前列表为蓝色背景，其他项目为白色背景），在网页中找到对应的当前文章列表（蓝色高亮显示）。
　　在当前文章列表中选择文章链接，在操作提示框中点击【点击链接】，优采云
会自动进入文章详情页面。
　　特别提示：
　　一个。一定要选择当前文章列表中的文章链接做【点击链接】，否则【点击元素】步骤无法与【循环】中的文章列表链接，会一直点击某个文章链接多次进入其文章详情页，无法依次点击每篇文章链接。
　　b. 如何找到当前的文章列表？【流通】中当前文章列表为蓝色背景，其他条目为白色背景。网页当前文章列表会以蓝色高亮显示，与【循环】中的当前列表一一对应。
　　2.采集
文字
　　选中一个段落，在操作提示框中点击最后一个DIV（代表整个文本块），然后点击【采集
该元素的文本】，文本就会被采集
。
　　特别提示：
　　一个。为什么先选一个段落，再选DIV？搜狗微信文章格式复杂，文字也选不好。我们先选择一个段落，然后直接点击最后一个DIV（代表整个文本块）来选择文本。这里涉及到一定的XPath知识。点击查看XPath学习和实例教程
　　3.创建【循环列表】，提取文本中所有图片地址
　　一篇文章中可能有多张图片。通过以下步骤采集
文章中的所有图片地址：
　　① 文本提取步骤后，点击+号添加循环步骤
　　② 将循环方式改为【不固定元素列表】，输入XPath://div[@id='js_content']//img，点击应用，采集
所有文章中的所有图片地址。
　　③ 点击页面第一张图片，在操作提示框中点击【采集
图片链接】，会自动生成采集
图片链接的步骤
　　
　　特别提示：
　　一个。经过以上3个连续的步骤，【循环-提取数据】就创建好了。[Loop]中的项对应页面中的所有图片，[Extract Data]中的字段对应每张图片的图片地址。开始抓取后，优采云
会按照循环中的顺序依次提取每张图片的地址。
　　b. 为什么可以通过以上3步建立【循环-提取数据】？点击查看榜单数据采集教程。
　　特别提示：
　　一个。为什么要修改[Circular List 1]的XPath？这是因为默认生成的XPath无法采集
到所有文章的图片地址。我们需要手动写一个XPath来定位所有的图片。这里需要一些 XPath 知识。点击查看XPath学习和示例教程。
　　b. 默认是一个图像地址和一个数据。如果要将同一篇文章的图片地址合并到同一个数据中，需要进入【提取列表数据1】设置页面，勾选【自定义数据合并方式】【多次提取同一字段和一个排]。
　　步骤 4. 开始采集
　　1.启动本地采集，查找并修正图片地址乱码问题
　　点击【采集
】和【开始本地采集
】。启动后，优采云
开始自动采集
数据。
　　采集
了部分数据导出到excel后，发现图片地址有很多重复的乱码，并不是真实的图片地址。
　　特别提示：
　　一个。【本地采集】是使用自己的电脑进行采集，【云采集】是使用优采云
提供的云服务器进行采集，点击查看本地采集和云端采集的详细说明。
　　这是因为打开详情页后，需要滚动页面才能采集
真实图片地址。进入【点击元素】步骤的设置页面，勾选【页面加载后向下滚动】，滚动方式为【向下滚动一屏】，【滚动次数】为20次，【每次间隔】为1秒，设置完成稍后保存。
　　特别提示：
　　一个。真实图片地址是什么？微信文章中的图片，需要先滚动页面，让图片在当前屏幕显示一段时间，然后再加载真实图片地址，否则会出现重复乱码。请根据采集需求和网页图片加载情况，在设置中设置滚动次数和时间间隔。它们不是静态的。详情请点击查看处理滚动加载数据的网页教程
　　2.重新开始采集
　　优采云
打开文章详情页，滚动到采集
实图地址，如下图：
　　3.导出数据
　　采集完成后，选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML、数据库等，这里导出为Excel，示例数据：
　　分享文章:如何一键采集网页的文章到自己的网站
　　首先需要懂编程语言，采集软件的开发比较简单。如果要采集
某个网站，需要先采集
源码内容，然后取需要的内容，然后写后台动作打开自己的网站，包括自动填写账号密码，然后打开发帖界面, 然后选择列。
　　公众号采集
文章插件，什么是公众号文章采集
插件，公众号文章采集
插件有什么用？公众号采集
插件是一款可以自动采集
公众号文章的插件工具。市面上采集
公众号的工具或软件很多，并不是所有的都能适合你的网站，满足你的需求。今天给大家介绍一个。一款免费全能的公众号采集
插件，支持各大公众号采集
并发布到各大网站。可以直接在编辑器中编辑发布，也可以将收录的文章自动伪原创发布。详见图1、图2、图3、图4、图5、
　　对于企业网站来说，产品展示是网站最重要的部分，也是我们内链的一部分。对各种商品进行分类，可以很好的建立导航链之间的联系，同时进行商品搜索或者站内搜索，在很大程度上增加了链接。
　　企业网站的另一个重要板块是文章页。很多人喜欢在文章底部留下关键词锚文本链接，以增加网站权重。但是我认为，这当然可以提高关键词的排名，但是在一个有200篇文章的站点中，很容易产生过多的关键词优化。尽量在文章的内页放置超链接，减少内页的权重来增加所有站点的权重。
　　百度官方优化指南中提到，在页面中添加导航栏，可以方便搜索引擎定位各个页面在网站结构中的层级，起到链接作用。在页面内容过多的地方，采用面包屑填充的方式。比如百度知道在数据包芯片导航中：
　　
　　在对歌曲进行排名时，我们总是关注关注的问题。如何更好的积累网站权重，提高关键词的排名，稳定关键词的排名，这些关键点是搜索引擎优化研究的目的。很多姐妹城市都会遇到这样的问题。网站上的文章数量继续稳步增长。每天都有很多PV和独立访客。为什么关键字排名不能提高？关于这些问题，笔者今天就对问题进行全面的分析，找出问题的根源。
　　很多公司在大量的页面上都使用同一个标题，这样对搜索引擎是很不友好的。当搜索引擎抓取页面时，标题将直接出现在搜索结果中。如果标题反复出现，对用户体验来说是倒霉的。关键词 散布运气不好。页面的每个部分都有一组不同的关键字，可以实现出色的关键字分布。死链接就不多说了，网站会实时处理死链接，能收录和不能收录的页面就是收录的页面。如果页面无法访问，会设置所有404，及时处理丢失。
　　关于seo，虽然互联网时代的不断发展取得了长足的进步，网站和线下实体的使用同步提升已经成为企业或者团队建设的基本方式，但是做网站的时候，面临着激烈的竞争，各种行业网站，还必须考虑你的网站如何吸引客户。SEO优化是网站管理和维护的根本方法。要保证更好的优化效果，一定要把握好优化的内容，尤其是关键词要找到合适的，这样起点就醒目，吸引人。
　　如何使用软件对网站文章进行采集和采集
？
　　网站做的好不好是专业建站者要求的，但是网站管理和维护的好不好就是另外一回事了。为了使网站不断更新，它总是可以非常有特色。除了考虑基本的优化方法外，就是把握住关键词的内容，保证常量优化准确可靠。. SEO优化的重点是关键词，关键词也可以扩展关键词，有了这一点，就可以从源头完成更有效的引渡。
　　
　　关键词很重要，如果内容可以很丰富很吸引人，可以提高转化率。这是在一系列seo优化服务过程中，可以充分利用网站建设的基本标准，达到更可靠的优化服务条件。许多网站的成功经验证明，选择正确的方式，优化提供外包等专业服务，可以节省能源和人力，确保效果。尤其是把握关键词这一点，一定要分离网站引擎的支持，正确识别和使用。
　　寻找关键词是利用互联网的基本功能实现的，使用关键词成为SEO优化内容的重点。注重适应网络平台特点，有效实现网络提升。这种以专业的优化服务为基础的方法，在相对专业的层面上，给人更好的机会，更多的享受专业的服务，轻松打造一流的网站。目的。当然，任何网络功能都具有网络特性，关键词成为网站优化的核心。
　　采集
采集
网站文章，现在市面上有很多工具，不仅可以采集
保存在本地，还可以发送到网站优采云
智能文章采集
系统等，不需要代码基础，这也是可能的。
　　目前采集
器很多，需要自己去探索和学习，比如优采云
、VG浏览器、优采云
采集
器等，都可以使用。 查看全部

　　解决方案:用了8年MQ！聊聊消息队列的技术选型，哪个最香！
　　说到消息队列，心里还是有些波澜。
　　消息队列、缓存和分库分表是高并发解决方案的三把剑，而消息队列是我最喜欢的，也是我思考最多的技术。
　　下面分享一下我在消息队列这四个阶段的故事，也是对自己技术成长经历的回顾。
　　1 认识ActiveMQ1.1异步&解耦
　　2011年初，我在一家互联网彩票公司做研发。
　　我负责用户中心系统，提供用户注册、查询、修改等基本功能。用户注册成功后，需要给用户发送一条短信。
　　因为本来就是面向过程的编程，所以我把新建用户模块和短信发送模块组合在一起。
　　一开始还好，但是慢慢的问题就出现了。
　　第一个问题，我可以采取线程池的方式来做，主要是异步的。但是第二个问题让我很困惑。
　　于是向技术经理请教，他让我引入消息队列来解决这个问题。
　　这时候我才明白，消息队列的核心功能就是异步和解耦。
　　1.2 调度中心
　　彩票系统的业务比较复杂。在彩票订单的生命周期中，有创建、子订单拆分、出票、中奖计算等多个环节。每个环节需要不同的业务处理，每个系统都有自己独立的表，业务功能相对独立。如果每个应用程序都修改订单主表中的信息，那将是相当混乱的。
　　该公司的建筑师设计了调度中心的服务。调度中心的职责是维护订单核心状态机、订单奖励流程、彩票核心数据的生成。
　　调度中心通过消息队列、票务网关、奖品计算服务等系统进行信息传递和交换。
　　在我当时幼小的眼里，这种设计就像是水滴对战人类舰队，降维打击。
　　随着对业务理解的不断加深，我隐约感觉到：“好的架构是简洁的，应该是易于维护的”。
　　当彩票业务日均交易量几千万的时候，调度中心只有两个研发和维护人员。调度中心源码中的业务逻辑、日志、代码规范都很优秀。
　　在以后的编程生活中，我也会下意识地模仿调度中心的编码方式，“别耍花样，代码是给人看的”。
　　1.3 重启大法
　　随着彩票业务的爆发式增长，日新闻量从30万条猛增到150万到200万条左右，一切似乎都趋于平稳。
　　某一天，双色球投注结束，调度中心无法消费消息队列中的数据。消息总线处于发送状态，没有接收状态。整个技术团队都处于极度焦急的状态，“如果不能出票，那将是几百万的损失，如果用户中了两个双色球？那就是几千万了。” 每个人都急得像热锅上的蚂蚁。
　　这也是整个技术团队第一次遇到消费积累，大家都没有经验。
　　首先想到的是多部署几个调度中心服务。部署完成后，调度中心消费了上千条消息还是挂了。这时架构师只能采用重启策略。你没看错，就是重启大法。说起来真的很惭愧，但当时真的是只能这样了。
　　调度中心重启后，花了1万到2万元又挂了。只能重新开始。来回20多次，像挤牙膏一样。而随着开票期限的临近，这种精神上的紧张和恐惧也变得更加强烈。最后，经过1个小时的手动重启，消息终于被消费了。
　　当时刚好在看毕轩的《分布式Java应用基础与实践》。想是不是线程被阻塞了，于是用Jstack命令查看堆栈状态。果然不出所料，线程阻塞在提交数据的方法上。
　　我们第一时间与DBA沟通，发现oracle数据库执行了很多大事务，每个大事务执行需要30多分钟，导致调度中心的调度票线程阻塞。
　　技术部门后来采用了以下方案来避免堆积问题：
　　生产者发送消息时，将超大消息拆分成多批消息，降低调度中心执行大事务的概率；数据源配置参数，如果事务执行超过一定时间，则自动抛出异常并回滚。1.4 回顾
　　Spring封装的ActiveMQ API非常简单易用，用起来真的很舒服。
　　受限于当时彩票技术团队的技术水平和眼界，我们在使用ActiveMQ的过程中遇到了一些问题。
　　高吞吐量，当消息累积到一定数量时很容易hold
　　技术团队发现，在吞吐量特别高的场景下，如果消息的堆积越大，ActiveMQ Hanging的几率就越低。
　　票务网关消息量很大，有些消息不需要立即消费，但是为了避免消息队列Hang的问题，票务网关在消费数据时，先将消息持久化到本地磁盘，生成本地 XML 文件，然后异步和周期性地执行消息。这样，我们大大提高了票务网关的消费速度，基本消除了票务网关排队的堆积。
　　但是这个方法感觉很奇怪。消费新闻时，必须在本地存储另一份数据。新闻存储在本地。如果磁盘出现故障，也有丢失消息的风险。
　　高可用机制有待完善
　　我们采用master/slave部署方式，一主一从，服务器配置为4核8G。
　　这种部署方式可以同时运行两个ActiveMQ，并且只允许一个slave连接Master，也就是说一个集群只能有2个MQ，两个服务之间有数据备份通道. 单向数据备份。该方案在实际生产线上使用不便，因为当Master挂掉后，Slave无法自动接收Client发送的邀请，需要人工干预，必须先停止Slave再重启恢复负载集群。
　　还有一些非常奇怪的消息丢失事件。producer发送消息成功，但是master控制台查询不到，但是slave控制台确实可以查询到消息。
　　但是消费者没有办法消费slave上的消息，只能手动处理。
　　2 进阶Redis&RabbitMQ
　　2014年在艺龙网从事红包系统和优惠券系统的优化工作。
　　2.1 Redis可以做消息队列吗？
　　酒店优惠券计算服务采用第一代流式计算框架Storm。Storm这里就不详细介绍了，可以参考下面的逻辑图：
　　这里我们Storm集群的水源（数据源）是redis集群，使用list数据结构实现消息队列的push/pop功能。
　　流式计算的整体流程：
　　酒店信息服务向Redis集群A/B发送酒店信息；Storm的spout组件从Redis集群A/B获取数据，获取成功后发送tuple消息给Bolt组件；数据被清理；最后，Storm将处理后的数据发送到Redis集群C；存储服务从Redis集群C获取数据，存储到数据库中；搜索团队扫描数据库表并生成索引。
　　风暴的描述
　　这个流计算服务每天处理数千万条数据，处理起来比较流畅。但该计划在团队内部仍有不同的声音：
　　我认为使用Redis作为消息队列应该满足以下条件：
　　容忍小概率消息丢失，通过定时任务/手动触发实现最终一致的业务场景；消息堆积概率低，有相关告警监控；消费者的消费模式应该足够简单。2.2 RabbitMQ 是管道而不是池
　　
　　RabbitMQ 是用 erlang 语言编写的。RabbitMQ 满足了我的两个需求：
　　高可用性机制。艺龙内部采用的是镜像高可用模式，这种模式在艺龙内部已经使用了很长时间，其稳定性也得到了一定程度的验证。在我负责的红包系统中，RabbitMQ的日吞吐量在百万条消息左右，消息的发送和消费都相当完善。
　　优惠券服务最初使用的是SqlServer。由于数据量大，技术团队决定采用分库分表的策略，使用公司自研的分布式数据库DDA。
　　因为是第一次使用分布式数据库，为了测试DDA的稳定性，我们模拟发送1000万条消息到RabbitMQ，然后优惠券重构服务消费消息后，根据hash到不同的mysql库用户号码。
　　RabbitMQ集群模式是镜像高可用，3台服务器，每台配置4核8G。
　　我们以每小时 300 万条消息的速度发送消息。第一个小时生产者和消费者的表现都很好，但是由于消费者的速度跟不上生产者的速度，消息队列出现了积压。第三个小时，消息队列已经积累了超过500万条消息，生产者发送消息的速度从最初的2毫秒提升到500毫秒左右。RabbitMQ的控制台当场有血溅，红标告警。
　　这是一个无意的测试。从测试情况来看，RabbitMQ是优秀的，但是RabbitMQ对消息堆积的支持不是很好。当大量消息积压时，RabbitMQ的性能会急剧下降。
　　有朋友跟我说：“RabbitMQ明明是个管道，你非要把他当成池子吗？”
　　随着整个互联网数据量的快速增长，在很多业务场景中允许适当的积累，只要消费者消费顺畅，整个业务波动不大。
　　我心里越来越相信：消息队列既可以作为管道，也可以作为池。
　　3 升华 MetaQ
　　Metamorphosis的由来是我从学习linkedin的开源MQ开始的——现在转入apache的kafka。这是一个设计独特的MQ系统。它使用拉机制而不是一般的 MQ 推模型。它大量使用Zookeeper做服务发现和偏移量存储。我很欣赏也很认同它的设计理念。我强烈建议您阅读它的设计文档。总的来说，蜕变的设计是完全符合它的。---庄晓丹，MetaQ作者
　　3.1 惊人的消费模式
　　2015年主要从事中国专用车订单的研发工作。
　　MetaQ满足了我对消息队列的幻想：“分布式、高吞吐、高积累”。
　　MetaQ支持两种消费模型：集群消费和广播消费，因为之前使用的消费模型都是使用队列模型。刚开始接触这种发布-订阅模式的时候，我还是很惊叹的。
　　集群消费
　　订单创建成功后，发送消息给MetaQ。此消息可由调度服务或 BI 服务使用。
　　广播消费
　　当调度服务将订单分配给司机时，它会向司机发送一条推送消息。推送是使用广播消费的方式实现的。
　　一般过程是：
　　驱动端的推送服务是一个TCP服务。启动后，以广播方式消费MetaQ的PushTopic；驱动端会定时向推送服务发送TCP请求。认证成功后，推送服务会保存司机号和通道的引用；单服务向MetaQ发送推送消息；推送服务的每台机器都会收到消息，然后判断内存中是否有驱动程序的通道引用，如果有则推送消息。
　　这是一个非常经典的广播消费案例。我曾经研究过京麦TCP网关的设计，它的推送也是类似的方式。
　　3.2 积极削峰
　　2015年是出租车大战硝烟弥漫的一年。
　　就神州专车而言，随着订单的不断增长，业绩压力与日俱增。早晚高峰时段，用户打车时，往往点击下单，往往没有反应。在系统层面，私家车API网关发现大范围超时，订单服务性能急剧下降。数据库层面的压力就更大了，高峰期插入一条记录需要8秒。
　　整个技术团队需要尽快提升私家车系统的性能，之前已经按照模块字段拆分了数据库。但是系统的瓶颈还是很明显的。
　　我们设计了现在看起来有点激进的东西：
　　设计订单缓存。如果大家对缓存的方案感兴趣，我们以后再说，有很多点可以详细讨论；在订单的生命周期中，订单的修改操作首先修改缓存，然后发送消息给MetaQ，下单服务消费消息，判断订单信息是否正常（如是否乱序), 如果订单数据是正确的，它将被存储在数据库中。
　　这里有两个细节：
　　消费者消费时，需要顺序消费。实现方式是根据订单号路由到不同分区。相同序号的消息每次发送到同一个分区；
　　一个守护任务，定时轮询当前顺序，当缓存与数据不一致时，修复数据，并发出告警。
　　本次优化大大提升了订单服务的整体性能，也为后续的订单服务分库分表、异构化打下了坚实的基础。根据我们的统计数据，缓存和数据库之间基本没有最后的不一致。但是这个方案对缓存的高可用要求比较高，有点激进。
　　3.3 消息SDK包
　　做过基础架构的同学可能会有这样的体会：“三方组件都会封装一层”，中国架构团队也将metaq-client封装在一层。
　　在我看来，封装一层可以减少研发人员使用第三方组件的心智投入，统一技术栈，仅此而已。
　　直到一场意外发生，我的思维升级了。那是一个下午，整个乘车服务崩溃了很长一段时间。技术团队发现：“专车使用zookeeper进行服务发现，zk集群的leader机器挂了，一直在选举leader。”
　　经过临时解决，我们发现MetaQ和服务发现都使用了同一套zk集群，消费者的offset提交和负载均衡都会对zk集群进行大量的写操作。
　　为了减少MetaQ对zk集群的影响，我们的目标是：“MetaQ使用独立的zk集群”。
　　需要部署一个新的zk集群；MetaQ的zk数据需要同步到新集群；保证切换到新集群，应用服务基本无感知。
　　好奇的问了建筑系的同学。他说新集群已经部署好了，但是zk数据需要同步到新集群。他在客户端添加了双写操作。也就是说：除了在原来的zk集群中写一份数据，我们还要在新的zk集群中写一份数据。几周后，MetaQ 使用单独的 zk 集群的任务已经完成。
　　这次经历给我带来了很多感慨：“我还能这样玩吗？” 这也让我想到：三方组件的封装并没有想象的那么简单。
　　我们可以看看快手消息的SDK打包策略：
　　对外只提供了最基本的API，所有访问都必须通过SDK提供的接口。简洁的 API 就像冰山一角。除了简单的外部接口外，以下所有内容都可以在不破坏兼容性的情况下进行升级和替换；业务开发也很简单，只要提供Topic（全局唯一）和Group即可生产和消费，无需提供环境、NameServer地址等。在SDK内部，会根据需要解析集群NameServer的地址到主题，然后连接到相应的集群。生产环境和测试环境会解析不同的地址，从而实现隔离；上图分为3层，第二层一般，第三层对应具体的MQ实现。因此理论上可以用其他Message中间件替代，客户端程序不需要修改；SDK集成了热改机制，可以在不重启Client的情况下动态配置，比如下发路由策略（更换集群NameServer的地址，或者连接到另一个集群Go），Client的线程数，超时时间期等。通过Maven的强制更新机制，可以保证业务使用的SDK基本是最新的。
　　3.4 重构MetaQ，形成自成一体的系统
　　我有一个习惯：“我经常找运维、DBA、架构师，了解当前系统有没有问题，以及他们解决问题的思路，这样我就有了另一个角度来审视运维公司系统。”
　　MetaQ也有他的缺点。
　　MetaQ的基础通信框架是gecko，MetaQ偶尔会出现rpc无响应，应用卡顿的情况，不易定位问题；MetaQ的运维能力较弱，只有简单的Dashboard界面，无法实现自动主题申请、消息追踪等功能。
　　有一天，我发现测试环境的一台消费者服务器启动后，一直报链接异常，CPU占用率高。我立即用 netstat 命令查看，发现已经创建了数百个链接。出于好奇，打开源码，发现网络通信框架gecko已经被netty取代了。我们会第一时间联系建筑系的同学。
　　那时我才意识到：他们已经开始重构 MetaQ。我从来没有想过重构一个开源软件，因为它离我太远了。或者那个时候觉得自己能力不行。
　　后来中国自研的消息队列成为了自己的系统，在生产环境中一直运行的很好。
　　时至今日，我仍然很佩服中国建筑团队。他们自己开发了消息队列、DataLink（数据异构中间件）、分库分表中间件等。他们乐于创新，勇于做出更好的技术产品。
　　我从他们身上学到了很多。
　　
　　可能是看到他们重构MetaQ的那一刻，心里就种下了一颗种子。
　　4 热爱RocketMQ4.1开源盛宴
　　2014年的时候，搜了很多关于淘宝消息队列的资料。我知道MetaQ的版本已经升级到MetaQ 3.0，但是开源版本还没有发布。
　　大约在秋天，我加入了 RocketMQ 技术组。石佳（RocketMQ创始人）在群里说：“最近开源要发布了，发布了大家抓紧fork一下。” 他这句话发到群里后，群里炸开了锅。心里更加高兴了，期待早日看到阿里自己的内部消息中间件。
　　最后，RocketMQ终于开源了。我迫不及待地想看他一眼。
　　因为想学网络编程，而RocketMQ的通讯模块remoting底层也是Netty写的。因此，RocketMQ的通信层是我学习的起点。
　　我模仿了RocketMQ的remoting，写了一个玩具rpc，大大提升了自信心。巧合的是，艺龙举办了科技创新活动。我想了想，不如试试用Netty重写Cobar的通信模块。于是参考Cobar的源码，花了两周的时间写了一个netty版的proxy，其实很粗糙，很多功能还不完善。后来这次活动给了我一个鼓励奖，现在想想都觉得有趣。
　　因为在UCAR中使用了MetaQ，所以我在学习RocketMQ方面也比较得心应手。为了真正理解源码，我经常参考RocketMQ的源码，写一些轮子来验证自己的学习效果。
　　虽然自己也做过一些练习，但是从来没有在商业环境中使用过。2018年是我真正使用RocketMQ的一年，也是收获的一年。
　　短信服务
　　短信服务应用广泛，比如用户注册登录验证码、营销短信、下单成功短信通知等。当初设计短信服务的时候，想了解一下业界是怎么做的。于是目标就锁定在了腾讯云的短信服务上。腾讯云的短信服务具有以下特点：
　　所以，我参考了这个设计思路。
　　模仿腾讯云SDK设计，提供简单易用的短信接口；设计短信服务API，接收短信请求，发送短信信息到消息队列；worker服务消费消息，根据负载均衡算法Interface调用不同通道提供者的SMS消息；Dashboard可以查看短信发送记录，配置渠道商信息。
　　短信服务是我第一次真正意义上在生产环境中使用RocketMQ。当短信一条一条发出去的时候，还是挺有成就感的。
　　MQ控制台
　　用过RocketMQ的朋友一定对上图的控制台不陌生。当时团队有多个 RocketMQ 集群，每个集群需要部署一个单独的控制台。所以我想：我能不能稍微修改一下控制台来支持多集群。
　　所以，我卷起袖子开始工作。在开源版本的基础上修改了可以支持多组集群的版本，用了大概20天。做完之后，虽然能满足我最初的想法，但是很粗糙。而且，搜狐还开源了自己的MQCloud。看了他们的设计，感觉离一个消息管理平台还差得很远。
　　后来又看了两篇《网易云音乐的消息队列改造之路》和《今日头条在消息服务平台和容灾体系建设中的实践与思考》。我越痒，我就越想做。它是一个真正的消息管理平台。可惜一直没有场景和机会。
　　最近看了单车架构专家梁勇的一篇《Hello在分布式消息治理和微服务治理方面的实践》，推荐大家阅读。
　　一个窗口，启动自研组件
　　后来尝试用RocketMQ更进一步。
　　这些做完之后，我们就自己开发了注册中心，配置中心，任务调度系统。在设计这些系统的时候，我从RocketMQ的源码中汲取了很多营养。虽然看起来设计上还有很多不完善的地方，代码质量也有待提高，但是在做完这些系统之后，我的自信心得到了很大的提升。
　　RocketMQ为我打开了一扇窗，让我看到了更广阔的Java世界。对我来说，这是开源的盛宴。
　　4.2 Kafka：大数据生态不可或缺的一部分
　　Kafka是一个分布式消息流处理中间件，具有高吞吐、持久、水平可扩展、支持流式数据处理等特点。、在线/离线系统分析、实时监控等领域有着广泛的应用。
　　日志同步
　　在大型业务系统设计中，为了快速定位问题，全链路跟踪日志，及时监控故障，通常需要对各个系统应用的日志进行集中分析处理。
　　Kafka设计的初衷是为了应对大量的日志传输场景。应用程序将日志消息以可靠和异步的方式同步到消息服务，然后使用其他组件实时或离线分析日志。它还可以用于采集
关键日志信息以进行应用程序监控。
　　日志同步主要有三个关键部分：日志采集客户端、Kafka消息队列、后端日志处理应用。
　　日志采集客户端负责用户各种应用服务的日志数据采集，将日志以消息的形式“批量”、“异步”发送给Kafka客户端。Kafka客户端批量提交和压缩消息，对应用服务的性能影响很小。Kafka 将日志存储在消息文件中以提供持久性。一个日志处理应用程序，如Logstash，在Kafka中订阅和消费日志消息，最后提供文件搜索服务来检索日志，或者Kafka将消息传递给其他大数据应用程序，如Hadoop进行系统存储和分析。
　　日志同步示意图：
　　流计算处理
　　在股市走势分析、气象数据测控、网站用户行为分析等诸多领域，由于数据生成速度快、实时性强、体量大，很难统一采集这些数据并进行分析。加工前将它们存放在仓库中。因此，传统的数据处理架构无法满足需求。Kafka、Storm、Samza、Spark等流计算引擎的出现，就是为了更好的解决这类数据处理过程中遇到的问题。流计算模型可以在数据流动过程中实现对数据的实时捕获和处理。处理，并根据业务需求进行计算分析，最后将结果保存或分发到需要的组件中。
　　数据传输中心
　　近10年来，KV存储（HBase）、搜索（ElasticSearch）、流处理（Storm、Spark、Samza）、时序数据库（OpenTSDB）等专用系统应运而生。这些系统诞生时心中只有一个目标，因为它们的简单性使得在商品硬件上构建分布式系统变得更加容易和更具成本效益。通常，需要将相同的数据集注入多个专用系统。例如，当应用日志用于离线日志分析时，搜索单独的日志记录也是必不可少的，建立独立的工作流来采集
每一类数据，然后将它们导入到自己的专用系统中显然是不切实际的。使用消息队列 Kafka 版本充当数据传输中心，
　　下图是美团MySQL数据实时同步到Hive的架构图，也是一个非常经典的案例。
　　4.3 如何选择技术
　　2018年去哪儿QMQ开源，2019年腾讯TubeMQ开源，2020年Pulsar如火如荼。
　　消息队列的生态如此繁荣，那么我们该如何选择模型呢？
　　我认为我们不必局限于消息队列，我们​​可以扩展它。只是谈谈我的看法。
　　数据库正在专业化——“一刀切”的方法不再适用 ----- MongoDB 设计哲学
　　第一点：先有场景，再有适应这个场景的技术。什么样的场景选择什么样的技术。
　　第二点：现实往往很复杂。当我们真正进行技术选型并需要实施时，技术储备和成本是我们需要重点关注的两个因素。
　　技术储备
　　成本
　　最后一点是人的因素，尤其是管理者的因素。每一次重大的技术选型，都考验着技术管理者的眼光、布局和管理智慧。
　　5 写到最后
　　我觉得这个世界上没有不合理的事情。真的，没有多多的积累，多多的思考，是做不成事情的。. . 总之，体验了这部电影，感觉自己要学习的东西太多了。这个世界上有能力的人太多了。你认为的极限，如果没有做好，只是别人的起点。所以唯有不断进取，才能不丢人。好吧，人们不必上学，但他们必须学习，真的。------韩寒《未来永无止境》演讲
　　我学习消息队列的过程就是一个不断思考和实践的过程。虽然我觉得极限不好，只是别人的起点，但至少现在，当我面对这个技术的时候，我的内心充满了好奇。心亦无惧。
　　我始终相信：每天学一点，就是比昨天好一点。
　　微信8.0让好友达到10000，好友可以加我plus size，先到先得，过后就没了
　　扫描下方二维码加我微信，2022，抱在一起取暖，一起帅。
　　案例研究:强化学习如何做数据分析？新加坡国立等TKDE 2022综述论文
　　【新致远简介】数据分析是现在必备的技能之一。传统上，静态算法或规则多用于数据分析，但在现实场景中，往往面临复杂的交互环境，如何学习更好的策略是一个非常现实的问题。幸运的是，强化学习可以作为解决此类问题的有效方法。新加坡南洋理工大学的学者在 TKDE 发表了一篇关于“深度强化学习数据处理和分析”的综述论文，全面回顾了近期的工作，重点是使用 DRL 改进数据处理和分析。
　　数据处理和分析是基础和普遍的。算法在数据处理和分析中起着至关重要的作用，许多算法设计结合了人类知识和经验的启发式和一般规则以提高其有效性。
　　近年来，强化学习，尤其是深度强化学习（DRL）在许多领域得到了越来越多的探索和利用，因为与静态设计的算法相比，它可以在复杂的交互环境中学习到更好的策略。在这种趋势的推动下，我们对最近的工作进行了全面回顾，重点是使用 DRL 改进数据处理和分析。
　　首先，我们介绍 DRL 中的关键概念、理论和方法。接下来，我们将讨论DRL在数据库系统上的部署，以方便数据组织、调度、调优和索引等各个方面的数据处理和分析。
　　然后，我们研究 DRL 在数据处理和分析中的应用，从数据准备和自然语言处理到医疗保健、金融科技等。
　　最后，我们讨论了在数据处理和分析中使用 DRL 的重要挑战和未来的研究方向。
　　论文链接：
　　在大数据时代，数据处理和分析是基本的、无处不在的，对于许多正在数字化旅程中改善和转变其业务和运营的组织来说至关重要。数据分析通常需要其他关键操作，例如数据采集、数据清理、数据集成、建模等，然后才能提取见解。
　　从医疗保健到零售，大数据可以在许多行业释放巨大的价值创造。然而，数据的复杂性（例如，大容量、高速度和高多样性）对数据分析提出了许多挑战，使其难以获得有意义的见解。为了迎接这一挑战，促进高效、有效的数据处理和分析，研究人员和从业者设计了大量的算法和技术，也开发了大量的学习系统，如Spark MLlib和Rafiki。
　　为了支持快速的数据处理和准确的数据分析，大量算法依赖于基于人类知识和经验制定的规则。例如，“最短作业优先”是一种调度算法，选择执行时间最短的作业进行下一次执行。但与没有充分利用工作负载特性的基于学习的调度算法相比，其性能较差。另一个例子是计算机网络中的数据包分类，它将数据包与一组规则中的一个相匹配。一种解决方案是使用手动调整的分类启发式方法来构建决策树。具体来说，启发式算法是为一组特定的规则而设计的，因此可能不适用于具有不同特征的其他工作负载。
　　
　　我们观察到现有算法的三个局限性：
　　首先，该算法是次优的。规则可能会忽略或未充分利用数据分布等有用信息。其次，该算法缺乏自适应能力。为特定工作负载设计的算法在不同的工作负载中表现不佳。第三，算法设计是一个耗时的过程。开发人员必须花费大量时间尝试许多规则才能找到一个凭经验行得通的规则。
　　基于学习的算法也用于数据处理和分析。常用的学习方法有两种：监督学习和强化学习。他们通过直接优化性能目标来实现更好的性能。监督学习通常需要一组丰富的高质量带注释的训练数据，而获取这些数据既困难又具有挑战性。例如，配置调整对于优化数据库管理系统 (DBMS) 的整体性能非常重要。在离散和连续空间中可能有数百个相互关联的调谐旋钮。此外，不同的数据库实例、查询工作负载和硬件特性使得数据采集
不可用，尤其是在云环境中。
　　强化学习比监督学习具有更好的性能，因为它采用试错法搜索并且需要更少的训练样本来为云数据库找到良好的配置。
　　另一个具体的例子是查询处理中的查询优化。数据库系统优化器的任务是为查询找到最佳的执行计划，以降低查询成本。传统的优化器通常会枚举许多候选计划并使用成本模型来找到成本最低的计划。优化过程可能缓慢且不准确。
　　在不依赖不准确的成本模型的情况下，深度强化学习 (DRL) 方法通过与数据库交互（例如，更改表连接顺序）来改进执行计划。
　　当查询被发送到代理（即 DRL 优化器）时，代理通过表征基本信息（例如访问的关系和表）来生成状态向量。代理将状态作为输入，并使用神经网络生成一个动作集的概率分布，其中可以收录
所有可能的连接操作作为潜在动作。
　　每个操作代表一对表的部分连接计划，一旦执行操作，状态就会更新。在采取可能的行动之后，生成一个完整的计划，然后由 DBMS 执行以获得奖励。
　　在这个查询优化问题中，可以根据实际延迟计算奖励。在使用奖励信号进行训练期间，代理可以改进其策略，从而产生更好的连接顺序（即更少的延迟）和更高的奖励。
　　用于查询优化的 DRL 工作流
　　强化学习 (RL) 侧重于学习在环境中智能地行动。RL 算法通过基于探索和开发的环境反馈来改进自身。在过去的几十年里，强化学习在理论和技术上都取得了长足的进步。
　　
　　值得注意的是，DRL 结合了深度学习 (DL) 技术来处理复杂的非结构化数据，旨在从历史数据中学习和自我探索，以解决众所周知的困难和大规模问题（例如 AlphaGo）。
　　近年来，来自不同社区的研究人员提出了 DRL 解决方案，以解决数据处理和分析中的问题。我们从系统和应用程序的角度使用 DRL 对现有作品进行分类。
　　从系统的角度来看，我们专注于基础研究主题，从一般的（例如调度）到特定于系统的（例如数据库查询优化）。我们还应该强调它是如何被表述为马尔可夫决策过程的，并讨论与传统方法相比如何更有效地解决 DRL 问题。由于实际系统中的工作负载执行和数据获取时间比较长，因此采用采样、模拟等技术来提高DRL训练的效率。
　　从应用的角度，我们将涵盖数据处理和数据分析中的各种关键应用，以全面了解 DRL 的可用性和适应性。许多领域通过采用 DRL 进行转换，这有助于学习有关应用程序的特定领域知识。
　　在这篇综述中，我们旨在对使用深度强化学习解决数据系统、数据处理和分析问题的最新进展进行广泛而系统的综述。
　　强化学习技术分类
　　参考：
　　[1] J. Manyika、M. Chui、B. Brown、J. Bughin、R. Dobbs、C. Roxburgh、A. Hung Byers 等，大数据：创新、竞争和生产力的下一个前沿。麦肯锡全球研究院，2011 年。
　　[2] X. Meng、J. Bradley、B. Yavuz、E. Sparks、S. Venkataraman、D. Liu、J. Freeman、D. Tsai、M. Amde、S. Owen 等人，“Mllib：机器在 apache spark 中学习，”机器学习研究杂志，卷。17，没有。1，第 1235–1241 页，2016 年。
　　[3] W.Wang、J. Gao、M. Zhang、S.Wang、G. Chen、TK Ng、BC Ooi、J. Shao 和 M. Reyad，“Rafiki：机器学习作为分析服务系统”， VLDB，卷。12，没有。2，第 128–140 页，2018 年。 查看全部

　　最新版本:android音频开发6
　　前面的文章介绍了如何使用Android提供的AudioRecord在Java层采集音频，使用AudioTrack播放音频，使用MediaCodec编解码。这些API是Android提供的Java层API。无论是采集、播放还是编解码，这些API接口都需要将音频数据从Java复制到native层，或者从native层复制到Java。如果想减少拷贝，开发更高效的Android音频应用，推荐使用Android NDK提供的OpenSL ES API接口。它支持直接在本机层处理音频数据。
　　OpenSL ES从Android 2.3开始就提供了，但是关于OpenSL ES的Android官方文档很少，网上资料也比较少。另外，它的接口使用了面向对象的C接口，不是特别简单易懂，所以学起来也不是那么容易，我打算通过两篇文章来介绍这个框架，希望对初学者有所帮助。
　　本文无意介绍OpenSL ES的工作原理和功能使用（这些将在下一篇文章中介绍），而是从宏观的角度简单介绍一下OpenSL ES的概况，让初学者了解这个API是干什么的，以及可以做哪些事情，哪些事情不能做，最后给出了一些参考示例代码和资源链接。
　　1. 什么是 OpenSL ES？
　　OpenSL ES的全称是：Open Sound Library for Embedded Systems，是一套免授权、跨平台、针对嵌入式系统优化的硬件音频加速API。为本地应用开发者在嵌入式移动多媒体设备上提供标准化、高性能、低响应时间的音频功能实现方法，实现软硬件音频性能的直接跨平台部署，降低执行难度，促进先进音响市场。开发。（来自百度百科）
　　一句话概述：OpenSL ES是一套针对嵌入式平台的音频标准。
　　2、Android和OpenSL ES有什么关系？
　　Android 2.3 (API 9) 开始支持 OpenSL ES 标准。通过NDK提供相应的API开发接口。下图是Android官方给出的关系图（来源：这里）：
　　从图中可以看出，Android实现的OpenSL ES只是OpenSL 1.0.1的一个子集，并进行了扩展。因此，对于OpenSL ES API的使用，我们需要特别注意Android支持哪些，哪些不支持。有的，具体相关文档地址位于NDK docs目录：
　　1个
　　2个
　　NDKroot/docs/Additional_library_docs/opensles/index.html
　　
　　NDKroot/docs/Additional_library_docs/opensles/OpenSL_ES_Specification_1.0.1.pdf
　　3.可以做什么？什么不能做？
　　下面总结了 Android OpenSL ES 的特性和不支持的功能。
　　特征：
　　(1) C语言接口，兼容C++，需要在NDK下开发，可以更好的集成到原生应用中
　　(2) 运行在native层，需要自己管理资源的申请和释放，没有Dalvik虚拟机的垃圾回收机制
　　(3) 支持PCM数据采集，支持配置：16bit位宽，16000Hz采样率，单通道。（其他配置不保证兼容所有平台）
　　(4) 支持PCM数据播放，支持配置：8bit/16bit位宽，单通道/双通道，little endian模式，采样率（8000、11025、12000、16000、22050、24000、32000、44100、48000Hz）
　　（5）支持播放的音频数据来源：res文件夹下的音频、assets文件夹下的音频、sdcard目录下的音频、在线网络音频、代码中定义的音频二进制数据等。
　　不支持：
　　(1) 不支持Android 2.3(API 9)以下版本的设备
　　(2) 并非OpenSL ES定义的所有特性和功能都得到实现
　　(3) 不支持 MIDI
　　(4) 不支持直接播放DRM或加密内容
　　
　　(5) 不支持音频数据的编解码器。如果需要编解码器，则需要MediaCodec API或第三方库
　　(6) 音频延迟方面，与上层API相比，没有明显改善
　　4. 使用 OpenSL ES 开发音频应用程序有什么好处？
　　(1)避免在native层和java层频繁拷贝音频数据，提高效率
　　(2) 与Java API相比，可以更灵活地控制参数
　　(3) 由于是C代码，可以进行深度优化，比如使用NEON优化
　　(4) 代码细节更难被反编译
　　（五）其他，待补充
　　5.示例代码
　　老外（Victor Lazzarini）写了一篇很好的Android OpenSL ES API介绍，并给出了一些示例代码，链接如下：
　　我提取了其中两个文件，对其进行了修改，并将它们组织到我的 AudioDemo 示例中。我个人认为它具有更好的示范效果。地址如下：
　　6.有什么好的资源？
　　“Android.NDK.Beginner's.Guide.pdf”
　　七、总结
　　官方发布:seo优化 | 网站被百度降权后该怎么办？
　　作为一个网站SEO优化师，最不想看到也是最害怕的就是自己负责的网站被降级。这里说的降级指的是多个关键词排名下降，即使在前100之外，网站流量也大幅下降，SEO优化的负责人会承受不小的压力，尤其是服务的SEOer人员公司。你吃顿饭，不然直接开除。
　　这个时候，“吃苦耐劳”的SEOer人员只能忍着了，因为这个时候你跟老板解释就没有意义了。他只会说你在找借口。如果老板懂一点SEO知识，他可能会来找你，和你亲切的聊聊，出现这种情况是什么原因，怎么解决等等。
　　总之，不管是什么情况，当网站降级的时候，我们都应该冷静下来想一想为什么会降级，我们在优化网站的时候是不是做了什么违反搜索引擎规则的事情。思考过后，再修正优化方法等。
　　那么，网站降级后，您会立即做什么？我做SEO好几年了，也经历过网站被K的情况，下面我就用SEM来分析一下这种情况，我会怎么做，给大家提供一个参考。
　　1、冷静思考分析网站被降级的原因
　　当网站被确认降级后，我们应该冷静下来分析原因，不要感到天塌下来的恐慌。说到这里，我会回忆一下我去年优化过的东西。一个关于SEO的企业网站。当时，该网站是一个全新的网站。上线不到两周，我用SEO工具查了一下，发现权重从2变成了0，同时发现指数也从百降到单。算起来，第一页和第二页都找不到网站域名的首页。这时候我就确定网站已经降级了。也就是在这个时候，我并没有像新手那样惊慌失措，而是冷静的思考分析了它功率下降的原因，那个时候，
　　1.查看百度站长平台的消息提醒
　　相信现在大部分站长做网站排名优化，主要是针对百度的。既然是为百度搜索引擎做的，那怎么能不在站长平台上验证自己的网站呢？经核实，如果网站出现问题，一般百度站长平台会有及时的信息通知，如：机器人封禁、抓取异常等。这些通知可能是您的网站被剥夺权利的原因。
　　2. 分析同一IP下的站点
　　因为同一个IP下其他网站如果被处罚，也会对本站产生影响，严重的还会导致网站降级。这种情况出现的几率是比较小的，但是在网站降级的时候，我们还是需要分析每一个可能导致网站降级的因素，所以还是要检查每个网站在同一个IP下，没有网站在同一个IP下会被惩罚。那么，这个因素就可以排除了。
　　3、查看每个页面是否正常
　　如果我们在站长平台上没有得到任何重要的新闻提醒，那么检查我们网站的首页、栏目页、内容页是否正常，主要是检查页面中的代码是否被黑链接、被攻击、等等
　　4、查看网站近期是否有重大改版改版
　　
　　网站大改版意味着关键词的排名和采集
会有很大的波动。当然，这种波动可能会让网站变得更贵，也可能会降低权威。网站的大改版会引起波动。百度方面也明确表示，当然如果我们的修改是基于给用户带来更好的体验，那么你们网站的降电是短期的事情，很快就会恢复。可能会有更好的排名。
　　如果一个网站改版处理不当，被降权的概率是非常高的。如果处理得当，不会造成降级。那个时候百度没有什么改版工具，很多东西基本都是靠自己的经验。现在百度推出了网站改版工具，当您需要网站改版的时候，可以好好利用网站改版工具，减少不必要的损失。
　　5.是否有作弊
　　作弊行为当然包括常见的购买链接、黑链接、群发垃圾链接等。这些行为都是搜索引擎明令禁止的作弊行为。很有可能这个站点已经被百度发现是购买链接的行为，链接到它的链接很可能会受到联合处罚。
　　6、各大搜索引擎排名
　　每个搜索引擎都会有自己的一套收录和排名规则，但是搜索引擎也会有相同的规则，比如以用户为导向，用户体验好的网站会得到好的排名，如果你的网站在各种情况下的话你在搜索引擎中被降级，你的网站肯定有很大的问题，而且这些问题绝对不是一天两天的事情，有可能你自己已经发现了，所以你得去找及时解决这些问题并改正。
　　7、检查服务器是否正常
　　服务器的稳定性是绝对影响排名和采集
的最重要因素之一。很多网站经常因为服务器不稳定而降级。这种不稳定主要体现在网站经常打不开，或者只能在某些区域打开，或者打开速度很慢，尤其是百度，非常重视服务器的稳定性。
　　凡德的服务器不稳定，导致无法访问。十有八九网站会降级，而且宕机时间长，很难恢复到以前的状态。当然，搜索引擎这么看重这个服务器也是正常的。因为搜索引擎是相当“用户”的，一个用户往往打不开你的网站，那么搜索引擎把你排名上去有什么意义呢？
　　用户点了你的网站也打不开，严重影响用户体验。这严重违背了搜索引擎所倡导的具有良好用户体验的网站。因此，被剥夺权利也是恰当的。这个时候，我应该尽快去做。恢复并确保服务器稳定性。
　　8.查看网站日志
　　一般网站的服务器都会存储每天的网站日志。这些日志包括用户和搜索引擎的一些行为轨迹。从这些网站日志中，我们可以查看降级前后的几天里，哪些页面被搜索引擎蜘蛛抓取过？爬取页面返回的信息是什么？有问题吗？
　　目前，网上有相当多的网站日志查看工具。相信大家都知道怎么查看这个网站的日志。
　　9、分析网站的外部链接
　　因为我优化过的SEO网站是改版网站，域名之前也优化过，所以很有可能是之前做的外链有问题，所以我用百度站长工具里的外链分析工具检测并分析了外链，不出所料，发现了大量黄色和赌博外链。同时制作了大量黄色和赌博的锚文本。此类外部链接有 2,000 多个。再说说网站被这种垃圾外链包围会不会降级。答案将是不言而喻的，所以我将一一拒绝此类外部链接。我花了将近两天的时间。
　　
　　2.制定网站SEO策略，解决权重恢复问题
　　网站降级的原因找到并处理好之后，接下来就是解决恢复网站权重和排名的问题了，那么一个被降级的网站如何恢复权重呢？这是很多站长，尤其是新手站长每天都在站长群里问的问题，也是他们最苦恼的问题。接下来，马海翔再次以优化后的SEO网站为例，说说我是如何让被降级的网站重振旗鼓的。
　　1、定期定量更新网站原有价值内容
　　网站内容建设的重要性已经是老生常谈了。百度官方多次强调内容质量，并明确表示将优先提供更优质、有利于用户体验的内容页面。因此，我会坚持每天写几篇SEO行业相关的原创文章，上午写，下午发表。坚持了一段时间后，发现百度已经开始重新收录了。一些长尾关键词也有排名，这是很好的体重恢复表现。
　　2.优质外链建设
　　与往年相比，外链不是很有效，但指的是一些低质量的外链和一些被称为垃圾的外链。百度搜索引擎仍然更加重视高质量的外部链接。权重高，那么什么是高质量的外链呢？官方的标准是用户主动自愿给的链接才叫优质外链
　　当时在优化网站的时候，为了建设高质量的外链，除了做一些相关行业的友情链接，马海翔还坚持写了一篇跟SEO相关的文章，也跟站长、SEO或者互联网相关每天向A5站长投稿到知名门户网站如、站长之家等，文章审核通过后将被大量转发，源源不断带来大量高- 优化网站的优质外部链接。
　　这样不仅可以引导蜘蛛抓取网站，还可以增加整个网站的权重，提高网站的关键词排名，对恢复权重也起到至关重要的作用。
　　3、恢复网站权重一定要有毅力，执行力要强
　　一个被剥夺权利的网站要想恢复，不仅要改变一些不当的优化方式，还需要不断重复以上两点：
　　(1)定期、定量更新网站原有价值内容。
　　(2) 建立高质量的外部链接
　　很多站长失败的原因就是不够坚持。有的站长坚持更新半个月，看网站没有任何变化就放弃了。其实网站优化是一个日积月累的过程，从量变到质变。在恢复SEO站点权重的时候，我坚持了5个月。在这5个月的时间里，我也想过放弃，但是想了想还是要坚持做下去，这样才能考验自己的判断能力，所以一直坚持了5个月，终于把网站做完了百花齐放，很多关键词排名都很好。
　　注释：
　　网站被降级并不可怕。在我看来，这是锻炼自己，提高自身能力的最好方式。和朋友聊天的时候经常会说这句话。如果一个SEOer工作者没有经历过网站降级到恢复的过程，那么你就不是一个合格的SEOer。说实话，在优化这个SEO网站的过程中，从降权到恢复，我学到了很多东西。同时，自身的能力也有了质的飞跃！ 查看全部

　　推荐文章:手把手写个爬取it博客的网站-框架搭建
　　折腾了一周的网站陆续上线了。地址在这里
　　本站主要汇集了一些优秀IT博客的文章索引。用户在这里可以看到很多全网大牛和牛X团队的技术博客，可以说干货满满。
　　对于本站的实现过程，分8篇来讲解：
　　0.手写一个爬取IT博客的网站-大纲
　　1.手写一个爬取IT博客的网站——需求分析
　　2.手写一个爬取IT博客的网站——技术选型
　　3、手写一个爬取IT博客的网站——框架搭建
　　4.写一个爬取IT博客的网站——数据采集
　　5.手写一个爬取IT博客的网站-数据展示
　　6、写一个爬取IT博客的网站——域名申请及服务器采购
　　7.手写一个爬取IT博客的网站-系统上线
　　8.手写一个爬取IT博客的网站——网站优化
　　本文是本系列文章的第二篇：手写一个爬取IT博客的网站——框架搭建
　　项目框架搭建的基本过程其实就是最基本的spring boot项目的启动过程。网上有很多资料。下面简单介绍一下项目建设的关键过程。
　　新项目
　　使用idea新建一个maven项目，在pom.xml中引入核心依赖：
　　

org.springframework.boot
spring-boot-dependencies
${spring.boot.version}
pom
import


org.springframework.boot
spring-boot-starter-data-jpa
${spring.boot.jpa.version}


org.springframework
spring-context-support
${springframework.version}



org.xerial
sqlite-jdbc
3.20.0


org.apache.commons
commons-dbcp2
2.1.1


org.hibernate
hibernate-entitymanager
5.0.3.Final


com.enigmabridge
<p>
hibernate4-sqlite-dialect
0.1.2



org.ehcache
ehcache
${ehcache.version}


net.sf.ehcache
ehcache-core
${ehcache.core.version}



org.projectlombok
lombok
compile
${lombok.version}



org.jsoup
jsoup
1.8.1



com.baidu.aip
java-sdk
4.4.1


org.springframework.boot
spring-boot-starter-test
test
${spring.boot.version}

</p>
　　在之前的技术选型中提到：
　　核心配置
　　server.port=8081
#模版热部署
spring.thymeleaf.cache=false
spring.thymeleaf.mode=LEGACYHTML5
#数据库配置
spring.jpa.show-sql=true
<p>
spring.jpa.database-platform=com.enigmabridge.hibernate.dialect.SQLiteDialect
spring.jpa.generate-ddl=true
sqlite.url=jdbc:sqlite:/data/website/blog.db
#百度自然语言处理api调用参数
api.baidu.nlp.app.id=myAppid
api.baidu.nlp.app.key=myAppkey
api.baidu.nlp.secret.key=myKey
</p>
　　sqlite数据库配置
　　数据库使用sqlite，需要配置其数据源
　　@Configuration
public class DataSourceConfiguration
{
@Value("${sqlite.url}")
private String sqliteUrl;
@Bean(destroyMethod = "", name = "EmbeddeddataSource")
public DataSource dataSource() {
DataSourceBuilder dataSourceBuilder = DataSourceBuilder.create();
dataSourceBuilder.driverClassName("org.sqlite.JDBC");
dataSourceBuilder.url(sqliteUrl);
dataSourceBuilder.type(SQLiteDataSource.class);
return dataSourceBuilder.build();
}
}
　　定时采集任务配置
　　@Component
public class ScheduledCollect {
private Logger logger = LoggerFactory.getLogger(ScheduledCollect.class);
@Autowired
CollectorRepository collectorRepository;
@Autowired
private ApplicationContext applicationContext;
/**
* 每天夜里23点采集数据
**/
@Scheduled(cron="0 0 23 * * ?")
public void collect() {
List collectors = collectorRepository.findAllByState(true);
for(Collector collector :collectors){
AbstractCollect collect = (AbstractCollect) applicationContext.getBean(collector.getClassName());
logger.info("采集:{}",collector.getAuthor());
collect.collect();
}
}
}
　　使用百度自然语言处理API对文章进行分类标注
　　虽然主要抓取IT博客，但不排除有些博客会发布一些非技术文章，可以使用上述API对这些非技术文章进行分类。这里推荐百度自然语言处理API。腾讯等其他大公司也有类似的API。百度的这些API没有调用限制，只有QPS限制（不超过5个），基本可以满足我的需求。百度上有很全的文档介绍如何使用，这里就不赘述了。
　　以上就是项目主体的关键配置和代码，剩下的就是实现各个模块：数据库层、采集层、页面等，就不一一赘述了。
　　推荐文章:网站如何不被收录（网站最近不收录了怎么办）
　　今天我将与您分享该网站如何不是
　　收录
在知识中，这也将解释如果最近没有收录的网站怎么办，如果你能碰巧解决你现在面临的问题，别忘了关注这个网站，现在就开始吧！
　　本文目录：
　　如何解决网站未收录的问题？
　　如何解决网站未收录的问题？
　　一、新网站，一个月没收录
　　首先，您需要消除服务器访问和攻击缓慢的情况，其次排除网站上的灰色和非法内容，然后在网站源代码中排除DIV+CSS的问题。
　　以上都没问题，那就去发外链，最简单的，百度搜索“超级外链工具”，这个是免费的。
　　如果你觉得免费还不够，你可以购买付费的外部链接，几十美元和几百个酒吧。
　　然后你可以去百度站长平台提交反馈，请百度工作人员帮忙排查原因，发布首页收录。一般
　　情况下，新网站的首页一般在两周到一个月之间收录，如果超过一个月没有收录，大概率就是有问题，如果你的外部链接、好友链接都做过了，文章也是每天按时发布的，那么基本上你可以判断网站服务器， 网站内容、源码这三者，肯定有问题，那么就需要进一步深入调查了！
　　二、
　　企业站已经建了一段时间，首页已经收录，但新发布的文章没有收录
　　首先排查原因：
　　网站是否
　　修改或更改首页关键词中途，这是影响百度收录的一个很大因素，尽量不要对网站做太大改动，关键词要在网站开头就确定。
　　企业站，基本上有一个通病，就是内容一般不持续更新或者更新次数少，导致百度抓取次数相对较少，如果抓取不及时，会导致收录缓慢或者没有收录。
　　而且企业网站存在内容同质化问题的严重问题，很多网站采集
复制内容，文章原创性差。
　　3. 网站降级或K，内容页面未收录怎么办？
　　如果网站是
　　KED或降级，首先要找出降级的原因，期间要保证网站能够正常访问，保证网站正常更新，及时提交新链接。
　　一个好的网站被K处罚了，那一定是自己的问题，百度官方后台是记录每个网站是否被处罚，可以查具体程度。
　　如果首页是K，请继续通过内容页面进行补救，需要很长时间;如果栏目或
　　频道页面为K，请打开其他栏目或二级域名救济，时间较长;
　　优化网站还是需要形式化的方法，否则成本非常大！
　　网站被K或降级的恢复周期一般从1个月开始，3-6个月是正常的！
　　
　　4.
　　网站新添加的聚合页面不包括或排名聚合页面
　　想要有索引和排名，最常见的是标签实践，它通过标签的超链接增加聚合页面的权重。
　　在分析了许多客户的网站后，标签页面的收录和排名通常优于文章页面。
　　如果您的聚合网页未编入索引和排名，则问题可能是：
　　1.标题的写作方式有问题
　　例如，TDK没有设置，标题只是一堆关键词或几个关键词，并没有扩展和延伸其他相关需求。
　　2、聚合页面内容相关性低，内容质量小
　　作为聚合页面，
　　它必须需要大量的文章内容来支持，建议每个聚合页面至少有10条内容，并且尽可能没有空白页。
　　3.网站本身权重低
　　网站的首页没有权限，更别说二次聚合页面了，建议适当交换一些内部页面友情链接，最好是相关，10个左右，不要太多！
　　5. 企业站分类栏目排名的SEO优化方法
　　企业网站的重心一般会集中在产品列表页，但一般来说，产品列表页很难获得比较大的流量，所以可以直接将产品页面设置为首页，因为首页的收录会比栏目页面快很多， 并且通过主页上的营销页面，有助于更快地对产品关键词进行排名，但应该注意的是，主页必须始终更新！
　　如果网站页面未收录
在内，我该怎么办？
　　如果网站页面未收录
在内，我该怎么办？
　　如果收录
网站的主页，
　　但是不包括网站的内部页面，这对网站优化也是极其不利的。因为对于一个网站来说，搜索引擎只是一个收录
网站的空壳。鉴于网站上页面未收录的情况，本文将提出几点。
　　一、内页处于审核期
　　搜索引擎中内页的显示并不意味着百度不包括在内。有时百度可能已经收录
了内页，但尚未发布。因为百度收录的文章也需要审核时间，蜘蛛抓到成功的索引内容会被录入数据库，这也需要两次审核是否判断为SPAM，然后发布和参与排名，具体的发布时间和网站的权重有相对直接的关系， 而百度循环更新只发布收录在新网站中更为常见。
　　解决方案：如果希望内页尽快发布，需要保证内容定时定量更新，并对网站日志进行观察和分析。只要蜘蛛正常爬行，那么就可以静静等待，百度会给你惊喜。
　　二、机器人设置问题
　　机器人设置还可能导致网站内的页面无法被搜索引擎索引。如果机器人、搜索引擎蜘蛛在设置网站机器人时受到太大限制，自然搜索引擎蜘蛛就不会抓取网站内部的页面。
　　解决方案：检查语法错误是否阻止爬虫爬行，包括元机器人和nofollow标签。
　　三、内部链接有问题
　　不正确的网站内部链接也会给搜索引擎爬行带来极大的困扰。例如，如果大量的不良链接，不良链接，蜘蛛爬行顺畅，或者根本无法抓取，那么这些不良URL也会导致网站降级。
　　解决方案：百度会检查网站首页、频道等重要页面的错误链接，会检查留言板、评论区等网友可以互动功能的不良链接，因此站长需要尽量避免不良的网站链接。
　　
　　4. 在网站内部页面作弊
　　如果网站的页面是设置的，则有很多作弊方法。例如，通过设置黑色链接，关键词堆叠等作弊方法，自然搜索引擎蜘蛛也会减少此类页面的抓取。
　　解决方案：不做关键词堆，不分组发送，不做黑链等黑帽行为，网站保持稳定，网站优化是一步一步进行的，不进行一些作弊，那么网站优化会越来越好。
　　4. 与文章原创性的相关性
　　标题标签的设置会导致类似的重复页面，或者当采集
的页面太多时，百度的数据库中已经有大量类似的信息并且不包括你，如果是长期操作，会导致百度降级。
　　解决方法：保持文章原创性（高度伪原创）质量比数量更重要，最好能够每天定时定量更新，这样百度也有守时的好习惯。
　　5. 服务器访问
　　如果网站服务器出现问题，例如无法访问，速度慢，挂起等。当百度蜘蛛来索引内容时，反复识别出网站有大量服务器无法访问的乱码或遭遇，那么该网站也会被列入观察名单。
　　解决方案：做好网站代码优化，提高页面阅读速度，选择安全空间服务商，成熟网站程序编码，定期更新补丁，定期跟踪修改文件的痕迹。
　　;
　　如何防止您的网站被纳入百度
　　百度严格遵循搜索引擎机器人协议。用户可以设置漫游器文件，以限制您网站的所有页面或目录中的某些页面收录
在百度中。
　　如果系统在将“漫游器”文件设置为在以下时间后被屏蔽之前未抓取您的网站
　　被百度编入索引后，新的 Robots 文件通常会在 48 小时内生效，生效日期后新页面将不再编入索引。需要注意的是，机器人.txt禁止收录
以前来自百度的内容，并且可能需要几个月的时间才能将其从搜索结果中删除。
　　如果你拒绝收录的需求非常紧急，可以在反馈中心反馈，百度会尽快处理。
　　新手应该如何学习SEO技术？ 新手快速学习SEO的———方法。
　　现在很多朋友都喜欢在网上找视频资料来学习SEO，但是只是看视频而没有人指导你，你学不到SEO技术，一个人能自己学的只是皮。而且很多视频已经过时且无用！
　　如果你想成为SEO技术大师，学习真正的SEO干货，可以来这条裙子，前面是192，中间是586，最后是795！这里有最新的网站优化课程免费学习也有很多人指导你进步，不需要你付出任何代价，只要你真的想学，随便看就不要加，加也是浪费大家的时间。
　　如何将网站设置为禁止抓取工具收录
　　1.网站建好了，当然我们希望搜索引擎收录的网页越多越好，但有时候我们也会遇到网站不需要被搜索引擎收录的情况。要启用新域名作为镜像网站，主要用于PPC推广，此时，我们必须找到一种方法来防止搜索引擎蜘蛛抓取和索引我们镜像网站的所有页面。因为如果镜像网站也收录
在搜索引擎中，很可能会影响官方网站在搜索引擎中的权威性。
　　2.阻止主流搜索引擎爬虫（蜘蛛）抓取/索引/索引网页的几种想法。这是一个全站范围的封锁，是尽可能屏蔽主流搜索引擎的所有爬虫。
　　3、通过机器人.txt
　　文件筛选，可以说机器人.txt文件是最重要的渠道（可以与搜索引擎建立直接对话）。要阻止元标记，请将以下语句添加到页面的所有头文件中：meta name=“robots” content=“noindex， nofollow”。直接通过服务器（例如 Linux/nginx）配置文件设置过滤蜘蛛/机器人的 IP 范围。
　　这是
　　最后介绍网站如何不包括，如果网站最近没有收录怎么办，不知道你是否从中找到你需要的信息？如果您仍然想了解更多信息，请记住关注此网站。 查看全部

　　教程:「按键精灵安卓版」「基础知识」按键post基本写法
　　大家好，我是三分钟学院公众号郭丽媛~
　　本期我们就来聊一聊button post的写法。我们希望通过对这个问题的研究，可以写出常见的投稿。
　　下面开始解释：
　　1.使用的命令：url.httppost
　　之所以选择这条命令，是因为它的参数比较齐全。
　　2、post请求的参数有哪些（可能会用到，不是全部）
　　①url 提交请求的URL
　　②请求数据：post的核心参数就是向服务器发送什么数据
　　③header 协议头，协议头中的参数：
　　Content-Type：内容类型
　　字符集：编码
　　
　　User-Agent：设备信息，用户代理，用来伪装成浏览器或其他
　　④cookie：我理解为缓存，在本地存储一些数据，就像我们登录一个网站，第一次登录后，第二次打开网站发现自动登录了，这个跟饼干。
　　这些是常用的参数。当我写post请求时，我不会写所有的。根据不同的项目，我省略了能省略的。
　　3.不同类型的脚本执行贴
　　① 连接到指定的api。这种post请求是按照api文档的要求写的。写任何你需要的参数。通常，这种类型的一些参数可以省略。
　　②协议抓包，通过抓包工具获取的post数据，此类post请求需要填写所有参数。
　　4.写post请求的脚本注意事项
　　请求数据的类型，常见的有3种脚本类型
　　提交字符串，提交表单，提交json
　　具体的提交类型取决于Content-Type，例如
　　Content-Type application/json
　　这个就是提交json格式的，这个很重要。如果选择错误的类型，即使数据正确，也不会提交成功。
　　
　　投稿种类较多，请注意不要填错。
　　五、post请求码显示
　　Dim uri = "网址"
Dim data = "" //参数格式根据Content-Type来定
Dim header ={"User-Agent":"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 ", "Content-Type":"application/json"}
Dim cookie=""
Dim ret = Url.HttpPost({"url":uri,"data":data,"code":"UTF-8", "cookie":cookie, "header":header})
TracePrint ret
　　这个模板可以直接套用，大部分post请求都可以完成。
　　为了防止脚本的post请求因为写错而不能正常运行，我们还可以使用在线post测试工具来测试我们提交的数据是否正确。
　　所有这些网站都很好。测试顺利完成后，就可以放心编写脚本了。
　　关键词 文章采集 教程:dedeCMS插件-dedeCMS插件大全
　　什么是dedeCMS插件，
　　顾名思义，dedeCMS插件是搜索引擎优化过程中使用的辅助插件。而很多SEO朋友不知道如何使用dedeCMS插件？今天，博主将教您借助免费的dedeCMS插件快速提高网站包容性和关键词排名。其实网站SEO优化并不是很难做到的，只要你理清思路，掌握正确的优化方法和技巧，不断探索和研究，你一定能做好网站SEO优化。
　　使用免费的dedeCMS创建大量内容
　　1. 通过dedeCMS生成行业关键词，从下拉词、相关搜索词和长尾词关键词。您可以设置自动移除不相关的字词。根据文章的关键词集合，可以创建不同的网站栏目来采集
不同的关键词文章，并支持不同的域名集合。
　　2.自动过滤和采集
文章中其他网站的信息
　　3.支持多平台源采集（覆盖全网行业新闻源，海量内容库，采集最新内容）。
　　4.支持在其他平台上进行图像本地化或存储
　　5.自动挂机采集
！它可以在本地采集
，也可以通过软件设置自动更新到网站，每更新的文章都会自动推送到搜索引擎。促进网站包容性
　　
　　详细说明：如果一个网站想要大量的流量，它需要大量的关键词排名。网站页面上有限的关键词需要大量的关键词页面，大量的关键词需要大量的关键词文章。
　　二、dedeCMS插件-SEO优化功能提供页面原创性
　　1.标题后缀设置（实现标题差异化和更好的收录）。
　　2.内容关键词插入（增加关键词密度以提高关键词排名）。
　　3.自动图片匹配（当文章没有被工具图片时实现自动图片匹配）。
　　4、搜索引擎推送（文章发布成功后，主动将文章推送到搜索引擎，保证新链接能及时被搜索引擎收录）。
　　5.随机点赞-随机阅读-随机作者（提高页面原创性，增强用户体验）。6.内容与标题
　　一致（使内容与标题100%相关，提高排名）。
　　7.自动内部链接（文章内容自动生成内部链接的功能，有助于引导页面蜘蛛抓取，提高页面权限）。
　　8.定期发布（定期发布网站内容可以让搜索引擎养成定期抓取网页的习惯，从而提高网站的收录率）。
　　详细说明：通过上述SEO优化功能提高网站页面的原创性，以及增加网页关键词密度，吸引蜘蛛抓取更多页面，并给予关键词更高的排名。
　　C. 免费 dedeCMS - 批量管理网站
　　
　　1.批量监控不同的CMS网站数据（无论您的网站是帝国、易游、ZBLOG、dedeCMS、WP、小旋风、站群、PB、苹果、索威等各大CMS，都可以同时批量监控管理和发布工具）。
　　2.设置批量发布次数（可以设置发布时间/单日发布总数）。
　　3.可以设置不同关键词的文章发布不同的栏目
　　4.伪原创保留字（将文章原创时的核心词设置为不伪原创）。
　　5.软件直接监控发布，待发布，是否是伪原创，发布状态，URL，程序，发布时间等
　　6.通过软件，可以直接查看每日蜘蛛，索引和网站权限！
　　详细说明：批量监控管理网站，省去了每个网站登录后查看数据的需要，让数据在插件工具中一目了然。
　　要使网站
　　注重方法和效率，还要不断优化问题的细节，通过免费的dedeCMS插件工具可以节省很多时间把问题的其他细节做得更好，只有这样网站的排名流量才会上升得更快！看完这篇文章，如果你觉得不错，不妨采集
或者发给需要的朋友和同事，每天关注博主带你了解各种SEO经验，打通你的仁都两条脉络！ 查看全部

　　推荐文章:【API爬虫】30分钟百万条新浪新闻信息爬取。python得极速之旅
　　请参考源码，文字为第一思路，未作进一步改动。要更新的源代码
　　前期准备：requests库：使用pip install requests进行安装。
　　pymongo 库：使用 pip install pymongo 安装。
　　先分析目标url：
　　这个url的规律很好找。通过改变索引后面的数字，我们可以翻页，遍历所有页面。
　　然后我们查看网页源代码，发现html页面中保存链接和新闻标题的部分，还有时间。
　　发现li标签下保存了我们需要的所有信息，这里我们可以使用正则表达式获取我们需要的所有信息（title, link, date）
<p>pattern = re.compile(r&#39; 查看全部

　　解决方案:Z-Blog1.7使用api发布文章,Z-Blog1.7优采云
采集器发布模块
　　新版Z-Blog1.7已经发布有一段时间了。新版本自带api接口，可以用来开发小程序和发布文章。今天教大家如何使用优采云
调用这个api来发布文章。首先需要启用API协议，加入后台，点击网站设置---API设置，如下图：
　　要使用此 API，您需要获取身份验证令牌。获取方法非常简单。将以下代码保存为cs.php，上传到服务器浏览器打开生成token。令牌是一个长字符串。请注意，代码中有三个地方需要更改为您的。
　　下载我提供的release模块（Z-Blog1.7使用官方api release module 3.12），在写采集规则的时候添加免登录密码字段（或者直接新建采集规则导入release模块）并填写上面刚才生成的免登录密码字段的值。
　　优采云
采集
器释放模块标签说明，
　　参考资料： 新版Z-Blog1.7使用api发布文章示例PHP版
　　注：没有标题重复检测，只是使用官方API接口发布文章。这儿存在一个问题。如果token错误，会提示非法操作。每次采集都要重新获取token很麻烦，所以推荐使用《Z-Blog免登录采集发布评论教程+插件3.2下载+支持最新的Z-Blog1.7》 .
　　Z-Blog免登录采集
发布评论教程+插件3.2下载+支持最新Z-Blog1.7
　　解读:悲了！文章采集免费现在还存在这般的解析角度!
　　看到本文内容不要惊讶，因为本文由考拉SEO平台批量编辑，仅用于SEO引流。使用Kaola SEO，轻轻松松一天产出几万篇优质SEO文章！如果您还需要批量编辑SEO文章，可以进入平台用户中心试用！
　　我很抱歉！现在您进入当前文章时，您可能获得的文章不收录
文章采集
的免费回复。这是因为这篇文章是我们工具站自动编写的流量落地页。如果你对这个AI写的文章内容有好感，那就先放弃免费收文这件事，我来教你如何通过软件一天写一万篇引流好文章！大部分朋友看了我们的广告都以为这是伪原创剧本，大错特错！其实本站是一个原创工具，内容和范文都是大家自己创作的。很难在网上看到与导出文章相同程度的相似度。工作。我们究竟是如何创建它的？下面，本站就为您解析！
　　
　　想要结识免费收文的客户，其实大家关心的也是上面讨论的话题。其实创造几篇好的搜索文章很简单，但是一篇文章能创造的流量实在是微不足道。期待用新闻版面来达到引流的目的，最重要的策略就是自动化！如果 1 一篇 SEO 文章可以产生一个访问者（每 24 小时）。如果我们能写10000篇文章，平均每天可以增加10000个用户。但是简单来说，其实我写的时候24小时只能出30篇左右，再厉害也只能出70篇左右。如果应用到伪原创工具上，也就只有百篇文章的样子了！看完这篇，
　　什么是seo认可的原创性？原创文案不仅仅等于关键词一一原创输出！在各种搜索引擎的程序定义中，原创并不意味着没有重复的段落。按道理来说，如果你的文章和其他网页的内容不一样，那么被抓取的几率就会大大增加。一篇高质量的文案，内容吸睛十足，保持相同的目标词，只要没有雷同的段落，就意味着这篇文章被搜索引擎抓取的概率很高，甚至成为一击。就像小编的文章，你大概是免费搜索神马的文章，然后点击查看，告诉大家：
　　
　　本系统的自动化原创软件，准确的说应该是一款原创文章工具，可以实现一天上千篇优质网站网页文章的撰写。我们的网站权重通常足够高，索引率可以高达80%。一般的使用，在用户中心都有视频介绍和新手指南，大家不妨多试一试！非常抱歉没有免费为大家带来文章合集的详细内容。但是如果你对这款产品感兴趣，不妨点击一下导航栏，这样我们的优化结果每天都会增加几万个UV，是不是很美味呢？ 查看全部

　　解决方案:埋点数据采集和应用生命周期
　　埋地数据采集
和应用程序生命周期
　　作者介绍
　　@hrd-0.618 (徐凡)
　　新网银行数据分析师。
　　专注于数据分析、埋点采集和用户行为分析、BI数据可视化。
　　“数据人类创造者联盟”成员。
　　1 背景介绍
　　产品的精细化运营、千人个性化推荐等各类业务，都依赖于标准化、高质量的嵌入式数据。但埋点数据的上传、解析、存储、分析整个过程耗时长，需要多团队协作。为了让有兴趣的读者有一个整体的了解，本节将结合工作实践和应用生命周期重点介绍H5埋点数据采集。
　　2 埋点采集内容
　　3 埋点数据流
　　3.1 向日志采集服务发送数据
　　前端+后端--&gt;日志采集服务
　　前后端数据以类json格式实时异步发送到日志采集服务进行分析。
　　3.1.1 用户事件：user
　　{data:[{userid: 用户唯一ID, equipment: {//header, 包括浏览器、设备、网络等 equipment_os: 操作系统, equipment_os_version: 操作系统版本, equipment_brand: 品牌...}, location: {gps :{gps_lon: 经度, gps_lat: 纬度, gps_country: gps 国家, gps_province: gps 省, gps_city: gps 城市, gps_district: gps 区}, ip:{...}}}] , time: 时间, cookie: 序列号, event_type :user ,from:{ channel:channel,product:product} }
　　3.1.2 页面事件：page
　　{data:[{ page_id: 页面ID, page_name: 页面名称, page_url: 页面url, src_page_url: 源页面url }] , time: 时间, cookie: 序列号, event_type: page , from: { channel: 频道, product:产品} }
　　3.1.4 接口事件：interface
　　{data:[{ interface_id: 接口ID, interface_name: 接口名称, result: 接口调用结果, result_remarks: 接口调用描述, response_time: 接口响应时长}], start_time: 接口调用开始时间, end_time: 接口调用结束时间, cookie : 序列号, event_type: interface, from: { channel: channel, product: product} }
　　3.2 实时数仓建模
　　日志采集服务--&gt;实时数仓（kafka）
　　
　　3.2.1 基本字段处理
　　一个。分析日志采集服务采集到的四个事件的json数据，得到四个事件的基本字段，实时写入到kafka消息队列的四个主题中。
　　b. 通过Flink/StreamSQL，实时或微批量消费4条topic数据，存储在4张HBase表中。
　　3.2.2 将用户事件链接到行为事件
　　消费用户事件主题，根据序列码cookie将用户信息与行为信息相关联，构建实时用户行为宽表。
　　3.3 离线数据仓库建模
　　3.3.1 粘贴源层
　　通过 ETL 提取 4 个事件 HBase 表。
　　3.3.2 模型层
　　根据源层4个事件的序列码cookie，将用户信息与行为信息相关联，构建离线用户行为宽表。
　　4 埋点数据应用
　　4.1.1 用户行为
　　根据实时用户宽表，将数据写入Elasticsearch，或者将数据写入外部接口，可以查询到实时的用户行为记录。
　　根据线下用户宽表，将数据写入Elasticsearch，或者将数据写入外部接口，可以查询线下用户行为记录。
　　4.1.2 用户行为统计
　　根据四大事件主题数据，结合用户行为指标体系，通过聚合统计分析方法，得到不同维度的用户行为指标。
　　页面级别：
　　数据日期
　　频道名称
　　操作系统
　　日期类型：日、7日、30日、总计
　　维度类型：页面/段/频道
　　可视字段：频道名称、链接、页面名称、PV、UV、访问用户数、平均停留时间、页面跳出次数、页面跳出率
　　
　　按钮级别：
　　数据日期
　　频道名称
　　操作系统
　　日期类型：日、7日、30日、总计
　　4.1.3 用户留存分析
　　方面：
　　数据日期：2021-08-02
　　频道名称：如“xxx”，无摘要
　　用户类别：摘要，新用户
　　数据类型：留存数、留存率
　　产品层级，以及留存人数的选择
　　选择保留的产品级别
　　功能层面：比如美团APP对使用“单车”功能的用户进行留存分析。
　　4.1.4 用户行为标签及客户群体筛选
　　构建用户行为标签，筛选目标客户群。
　　根据客户的实时/线下业务状态，当满足一定的行为特征时，为业务人员筛选出不同的目标客户群，通过营销平台以不同的方式触达。
　　针对产品品类较少的企业，将不同场景的客群实时推送给业务人员，并与营销平台联动，精准营销。
　　当然，对于产品品类较多的企业，比如电商相关场景，基于用户行为构建实时推荐系统是行业主流。
　　4.1.5 基于用户行为断点
　　可以结合实时和线下的用户行为和业务状态，为有行为断点的用户进行外呼或其他方式。
　　5 结论
　　本文主要结合实际工作中的一些经验做一个简单的概述。埋点采集主要是代码埋点，人工维护成本比较高。未来可以结合实际场景更好的采集
行业内的数据；用户行为分析也需要逐步完善。，欢迎大家批评指正，有兴趣的朋友可以联系我一起讨论。
　　解决方案:大规模分布式链路分析计算在字节跳动的实践
　　一、概述
　　微服务架构的快速发展使得分布式链路跟踪系统成为观测系统中越来越重要的组成部分。经过几年的发展，字节跳动的分布式链路追踪系统已经覆盖了字节跳动的大部分在线业务，完成了数万个微服务和数百万微服务实例的在线链路追踪。在经典的指标观察分析和单请求链路跟踪的基础上，如何从浩瀚的分布式链路数据中进一步挖掘更高层次的信息，为业务架构优化、服务治理、成本等场景提供服务优化。提供更高效的数据支持，成为下一步亟待解决的问题。
　　本次分享主要介绍了我们构建海量链路数据分析计算系统的实践经验，以及一些具体的落地场景。
　　2. 可观察性和链接追踪
　　2.1 基本概念
　　为了方便读者更好地理解“链接分析”，我们先来说说什么是“可观察性”和“链接跟踪”。已经熟悉“可观察性”和“链接追踪”概念的读者可以跳过本章。
　　随着微服务架构的快速发展，软件系统正在从单一的应用发展为由大量微服务节点组成的复杂应用。为了更好地管理和控制复杂的软件系统，“可观察性”工具变得越来越重要。可观察性工具建立在可观察性数据的基础上，一般包括以下几个部分：Link Tracking Trace、Logging、Timing Metrics、Code-level Profiling、Event Event和与元数据相关的CMDB等。
　　为了帮助大家对可观察性工具有更直观的体验，这里举例说明如何基于可观察性工具解决工作中的实际问题：某服务告警通知值班人员的故障率在增加，点击Correlate到error indicator对应的Trace，在Trace中定位到错误的来源，查看源头的关键异常日志和代码栈，发现源头的报错服务正在执行变更操作，所以基本定位到这个变化很可能是导致这个失败的原因。有了高质量的可观测性数据和工具，一个对系统不是很熟悉的值班人员也可以快速完成对本次故障的排查和止损。
　　分布式链路追踪（Trace）是可观测系统的组成部分之一。Trace从狭义上讲是对单个请求的详细跟踪，记录请求在每个环节的调用关系，耗时，以及各种详细的标签和事件。同时Trace也起到了链接各种可观察性数据的作用，即同一个Request Context的数据载体。分布式请求上的各类信息（Metrics/Logs..）通过Trace可靠关联，进而可以构建各种可观察性数据的上下滚动钻取的跳转功能。
　　2.2 字节链接跟踪系统
　　经过几年的发展，字节链接跟踪系统现已覆盖公司大部分在线业务。整体开发流程如下：
　　2019年：Trace 1.0完成Trace组件能力建设。
　　2020年：Trace 2.0实现Metrics/Trace/Log的融合，升级数据协议和技术架构，开始打造一站式观测平台Argos。
　　2021年：实现与字节跳动大部分主流框架组件的默认集成，微服务在公司所有业务线的覆盖率&gt;80%。
　　2022：构建和探索场景化、智能化的场景，比如本次分享聊天中的“链接分析”。
　　Byte Link Tracker 当前状态数据（2022 年 10 月）：
　　覆盖范围：50,000 多个微服务/FAAS，300 万多个容器实例。
　　使用：每日UV 6,000+，每日PV 40,000+。
　　吞吐量：跨度数 2000 万+/s（默认 0.1% 采样）。
　　资源配比：100+ CPU核心支持100万Span/s。
　　SDK性能：单线程40w Span/s。
　　查询性能：TraceID 枚举 P50 &lt; 100 ms，P99 &lt; 500 ms。
　　数据生成到可检索延迟：AVG &lt; 1 分钟，P99 &lt; 2 分钟。
　　存储资源：10 PB（3 个副本 TTL 15 天）。
　　字节链追踪系统从数据接入端、消费存储端、查询平台端的整体架构如下图所示。更多详情请阅读之前的分享。上次的分享比较详细地介绍了如何从零到一搭建分布式链路跟踪系统。本文主要讲链路跟踪系统中的链路聚合计算和分析部分。
　　3.链接分析技术实践
　　3.1 需求场景
　　经常使用Trace的同学可能对Trace的印象是通过TraceID或者一些Tags可以检索到一个或者一些Traces，然后从Trace数据中仔细查看详细的调用traces和各种Tags来分析一些具体的问题，比如为什么一个请求很慢，或者请求出错的原因。
　　但是我们也面临着一些更高层次的问题，比如面对一个不断变化的复杂微服务系统：
　　
　　这些问题的答案很难通过人工一条一条地查看迹线来获得可靠的结果。但是，它可以从大量的Trace数据中自动计算出来，为最终的决策提供可靠的数据支持。我们称这种大量踪迹链接分析的聚合计算。
　　3.2 基本原则
　　链路分析的基本原理是聚合计算大量的迹线。一般遵循MapReduce计算模型。在这个过程中，可能会结合一些订阅规则和其他数据，得到计算结果，然后应用到具体的场景应用中。
　　3.3 技术架构
　　适用于大量链路数据的聚合计算的可选模式主要有三种，即基于在线数据流的流式计算、基于离线数据流从在线存储中查询有限踪迹后的即兴（抽样）计算。bins的离线计算。这三种计算方式的特点分析如下表所示。
　　在分析了三种聚合计算模式的特点之后，分析了链路分析场景所面临的技术需求。
　　基于以上分析，我们认为没有一种计算模型可以解决所有问题，所以我们最终选择的技术方案是流式、即兴、离线一体化的技术方案：基于统一的基础数据模型和逻辑算子，支持三种不同的计算引擎，满足不同的场景需求。
　　在实施该方案的过程中，我们总结了一些有益的实践经验：
　　Trace本身的数据结构比较复杂，其分析计算逻辑往往具有一定的复杂性。算子和引擎的分离，便于将同一个逻辑算子应用到不同的计算引擎上，可以更好的提高研发效率和代码可维护性。例如，性能瓶颈分析相关的算法既可以用于即兴计算，也可以用于离线计算。
　　Trace数据往往存在一些数据不规则性，比如超高维的接口名称，导致聚合后的数据维度远超预期，影响计算任务的稳定性。自动化的异常数据发现和封禁或降级机制可以起到更好的保护作用。
　　尽量保留聚合分析结果对应的具有代表性的原创
（极端）Trace样本，可以提高分析结果的可解释性和用户信任度。
　　大数据计算成本高，非基础功能可采用按需订阅模式提高ROI；构建任务灵活降级能力，资源紧张时优先保证高频基础功能的高可用。
　　4.链路分析实现场景
　　介绍完链接分析的底层技术架构，我们再介绍一些具体的实现场景。
　　4.1 精确链路拓扑计算
　　链路分析中使用频率最高、使用场景最广的就是链路拓扑的计算。这里所说的“链路拓扑”是指进入任意一个服务节点，获取所有流经该节点的trace的聚合路径，从而清楚地知道该服务节点的上下游依赖拓扑。
　　由于字节微服务数量众多，中端和基础服务种类繁多，调用关系相对复杂，因此我们进行拓扑计算的目标是：
　　举例说明什么是精度要求：如下图，“抖音.X”和“火山.Y”都调用“中台.Z”，但对于“抖音.X”的流量，“中台. Z" "会用到"Redis.Volcano"，而"中台.Z"会用到"Redis.Volcano"给"Volcano.Y"的流量，所以实际上没有"抖音.X"和"Redis.Volcano" ”直接依赖。那么当我们搜索“Douyin.X”时，想要的拓扑是[“Douyin.X”，“Zhongtai.Z”，“Redis.Douyin”]而不是“Redis.Volcano”。
　　举例说明什么是灵活性需求：如下图，不仅可以根据入口检索拓扑，还可以根据中间节点“Zhongtai.Z”或存储组件检索拓扑节点“Redis.抖音”；不仅可以按照服务+接口的粒度检索拓扑，还可以按照服务粒度、服务+集群粒度、服务+机房粒度等其他粒度进行检索。
　　面对这样的技术需求，我们研究了业界现有的一些拓扑计算方案：
　　结合字节场景的实际需求，权衡准确率、成本和检索速度，我们最终设计了新的方案。
　　精确的链路拓扑具有广泛的应用场景。下面是一些具体的例子：
　　4.2 全链路流量估算
　　全链路流量预估主要回答的问题是：
　　
　　全链路流量估计是在精确拓扑计算的基础上实现的，因此也采用流计算来估计每条路径上的踪迹数以及踪迹对应的采样率数据。计算结果的格式如下图所示。每个拓扑中的每个边都对应于一个估计的流量和流量比。基于这样的数据，我们可以针对任何微服务接口给出上述两个问题的答案。
　　全链路流量预估的主要应用场景如下：
　　4.3 强弱依赖分析
　　强弱依赖信息是服务稳定性治理场景的重要数据支撑，也可以通过在线Trace数据自动计算。
　　强依赖：当异常发生时，影响核心业务流程和系统可用性的依赖称为强依赖。
　　弱依赖：当异常发生时，不影响核心业务流程，不影响系统可用性的依赖称为弱依赖。
　　如下图所示，当A调用B失败时，如果A仍能成功响应其Client，则B为A的弱依赖；当A调用B失败时，如果A不能成功响应它的Client，那么B就是A依赖的强依赖。
　　强弱依赖计算的技术目标包括：
　　为了尽可能满足数据的完整性和时效性要求，我们选择了流式计算方式，从数据流中选择Trace with Error来计算强弱依赖。需要注意的是，短期的实时数据样本往往是不够的，需要结合历史积累的数据进行联合判断才能下结论。
　　强弱依赖分析的主要挑战：
　　强弱依赖分析的主要应用场景包括：
　　4.4 全链路性能反模式分析
　　在实践中，我们观察到有一些非常典型的性能反模式问题，可以从Trace数据中自动发现。常见的性能反模式包括：
　　性能反模式问题的发现也有以下两个要求：
　　因此，性能反模式分析任务需要自动发现最严重的反模式问题，给出极值样本，并关联这些问题所在路径的流量和入口优先级，帮助业务优化延迟和服务成本。尽早解决与它们相关的潜在稳定性风险。
　　4.5 全链路性能瓶颈分析
　　单个请求的分布式跟踪视图清晰直接，但局限性在于观察者无法确定单个请求呈现的跟踪模式是普遍现象还是特殊现象。因此，从大量Trace数据中分析链路性能瓶颈，找出整体性能模式和worst case样本，也是链路分析的需求场景。
　　链路性能模式是从批量跟踪中聚合和计算的，满足临时模式和离线模式的要求。在即兴模式下，可满足筛选任意时间段、灵活条件（多种标签、耗时区间）的批次痕迹，快速获得分析结果。离线订阅模式可以满足更完整地分析全量Trace数据的整体性能模式，观察长期趋势的需求。因此，我们将在即兴和离线计算模式下重用链路性能分析聚合算子。
　　分析结果示例：
　　4.6 误差传播链分析
　　单个Error Trace可以观察到一条错误传播路径，但观察者无法确认一条错误传播路径是否一定代表了一个普遍问题，也无法回答错误传播的影响。因此聚合大量的Error Trace来分析整体的错误来源、传播路径、影响面也是链路分析的需求场景。
　　与链路性能分析类似，错误传播路径是从批量跟踪中聚合和计算的，这在临时模式和离线模式下都是必需的。我们还将错误传播链分析算子应用于临时和离线计算模式。Ad hoc模式可以满足任意时间段、灵活条件（各种标签）批量过滤Error Trace的需求，快速得到聚合分析结果。离线订阅模式可以满足更完整的全量Error Trace数据聚合分析需求，观察长期趋势，助力业务长期稳定优化。
　　分析结果示例：
　　五、总结与展望
　　本文主要介绍在从零到一建立链路追踪基础能力后，如何聚合分析海量链路数据，回答更高层次的场景化问题。我们分享了我们具体的技术选型过程和实施技术架构，以及一些成功的实施案例。 查看全部

　　文章采集api 解决方案:API是什么？为什么它很重要？
　　要想全面了解科技新闻，就必须或多或少地了解一些技术术语。API这个词很常见。
　　iOS 7 正式版
　　已经上线了，更新了很多老的API，也增加了很多新的API。如果你自己的工作用到了API，那你肯定已经很清楚它的重要性了。但是其他一些读者可能会问：什么是 API，为什么我们如此重视它？
　　下面就带你了解一下。
　　API：编程之窗
　　API这个词，全称是Application Programming Interfaces（应用程序编程接口）。简单地说，它是一组用于管理应用程序之间通信的需求。API 并不是什么新鲜事物，它们允许您在使用 PC 或笔记本电脑时在程序之间传输数据。例如，剪切 LibreOffice 文档的一段并将其传输到 Excel 电子表格。系统级 API 允许 LibreOffice 等程序在 Windows 等操作系统上运行。
　　在 Internet 上，API 允许其他应用程序使用一些大型服务，例如 Google Maps 和 Facebook。例如 Yelp，它在谷歌地图上显示附近的餐馆；以及允许用户通过 Facebook 与其他玩家聊天、分享分数等的游戏。
　　
　　API是通过对外开放程序的一些内部功能来实现的，允许应用程序根据自己的兴趣共享数据，不需要开发者公开所有的软件代码。开源项目也是如此。您可以将其视为门、窗或杠杆。无论您使用什么比喻，程序与外部软件世界之间的通信都是由 API 定义的。
　　API 是如何工作的？
　　API 现在非常重要，因为它们决定了开发人员如何将他们新开发的应用程序连接到大规模 Web 服务。例如，一个游戏应用的开发者可以使用Dropbox的API让用户将游戏数据存储在Dropbox的云端，而无需开发自己的云存储服务。
　　API也可以节省时间。比如你在国外用Facebook账号，在国内用QQ账号，就可以直接登录很多应用和网站，免去注册的麻烦。这也是通过API实现的。
　　从更广泛的角度来看，API 支持各种“混搭”网络服务，开发人员可以混合和匹配来自 Google、Facebook 或 Twitter 的 API，以创建全新的应用程序和服务。在许多方面，可以说主流服务 API 的广泛可用性使现代 Web 体验成为可能。
　　叫喊
　　安卓
　　
　　例如，当您搜索附近的餐馆时，位置信息将显示在 Google 地图上。Yelp 还没有开发自己的地图。Yelp 应用程序通过 Google Maps 的 API 将自己的信息——餐厅地址、用户评论等——发送到内部的 Google Maps 功能，最终得到一张带有周围餐厅位置的地图显示给用户，这显示在应用程序内的 Yelp 上。
　　这类API很常见，比如雷锋网文章下分享到新浪微博和QQ空间的图标。点击后，这些链接会向相关服务的API发送请求，允许用户在不离开当前页面的情况下分享文章内容。.
　　API出现问题时
　　API 现在可用并不意味着它将来也可用。以推特为例，
　　一年前因限制第三方应用程序使用其 API 而臭名昭著
　　，这种做法杀死了所有第三方推特客户端，让用户只能使用推特自己的网站和应用，推特靠展示广告赚钱。推特表示，坚持这样做是为了保持统一的推特用户体验。
　　一些公司可能会关闭服务和 API。例如，谷歌总是关闭一些看不到利润的服务。最近的例子是谷歌阅读器。如果您的应用程序依赖于这些 API 来运行，那么问题就会接踵而至。
　　API 的世界虽然并不完美，但依然挡不住开发者对它的热情，挡不住它所催生的各种应用和服务。
　　免费的:免费文章采集工具（免费文章采集工具）
　　目录：
　　1.免费文章采集软件
　　2.文章收录网站
　　一个简单易用的文章采集器，不需要我们输入采集规则，就可以全网采集我们感兴趣的文章。文章采集器有关键词文章采集和指定网站文章采集可视化。实用性体现在我们不需要输入太多的指令，只需要用鼠标点击一下，就可以完成文章的采集工作。
　　3.热门文章采集
　　4.万能文章采集器安卓版
　　关键词采集需要我们进入我们的核心关键词，选择我们需要采集的自媒体和其他相关平台，然后我们就可以完成采集任务设置，关键词采集器会自动通过关键词匹配大量实时热门文章，为我们创作提供大量文章素材。
　　
　　5.文章资源采集
　　可视化指定采集
，如果您对我们的网页感兴趣，可以通过点击鼠标完成指定采集
设置。支持英文等外文网站的采集
，并内置翻译功能。在本地导出或发布到我们的 CMS 时，它是一键式翻译。支持段落标签被保留。
　　6.万能文章采集
神器
　　通过指定采集的监控页面功能，我们可以监控采集固定页面，适合采集实时更新的网站内容，也可以采集论坛评论，让我们实时关注舆情动向，及时掌握我论坛的节奏。
　　7、网站文章自动采集发布
　　网站优化离不开我们的原创美和搜索引擎优化（SEO）。什么是原创内容？如果我们想让我们的 SEO 策略发挥作用，让我们的观众信任我们，那么用户体验也是一类原创，而且它也很容易实现。
　　8.文章批量采集
　　继续阅读以发现在为任何在线渠道创建新文章时应该实施的一些最佳实践
　　
　　9.文章采集
及原创软件生成
　　仔细检查和校对我们的内容，在点击“发布”新内容之前采取的第一个行动当然是审查它记住，原创性也包括自我原创性——（经常）不小心复制和发布自己以前的作品，但声称它是原创的
　　10.免费文章站点集合
　　因此，请确保我们投入足够的时间来执行所有必要的检查，以保护我们的内容免受任何复制或自我复制问题。检查内容的可读性、语法、结构和关键字。如果有任何内容听起来像是重复的或非原创的，请标记它并确保在公开之前阅读我们文章的底部。
　　如何始终创建我们的原创内容，如果我们正在为在线商店编写产品描述，这可能会特别棘手。在这些情况下，很容易对仅颜色或尺寸不同的项目使用完全相同的内容。然而，尝试在每一个描述中保持原创是至关重要的。
　　发挥创意并为每件作品添加一些独特的东西，无论是谈论特定颜色可能适合的心情，还是我们如何穿着该物品
　　文章采集器
的分享到此结束。什么样的文章采集器好用？当然，它是基于用户体验，降低了用户学习成本，拥有强大的采集器。如果你喜欢这篇文章，不妨采集
一下，点赞，一键三连。
　　图片 查看全部

　　解决方案:api接口怎么写？（写api接口的6个方法）
　　在日常的项目开发过程中，接口文档是必不可少的。后端工程师和前端工程师之间需要接口文档来定义数据传输协议，系统暴露的接口需要文档来解释，系统相互调用需要文档来记录接口协议等等。对于一个完整的项目，接口文档是至关重要的。那么我们如何编写接口文档呢？今天就来说说接口文档的几个重要元素。
　　应用程序接口
　　一、界面概述
　　接口概览主要对本接口文档涉及的业务功能点、面向的阅读对象、接口文档中主要包括哪些业务接口进行说明，让读者有一个直观的认识。例如：本文档定义了面向外部接入方的中台系统数据协议接口，主要包括：用户注册接口、用户同步、授权认证等接口。适合的阅读对象是接入中台开发者或外部合作伙伴……这样的描述可以让读者对整个接口文档有一个大概的了解。
　　界面概览
　　2.权限说明
　　部分接口调用需要授权鉴权，这部分需要说明。如果接口仅根据分配的令牌进行身份验证，则文档需要说明令牌的获取方式。如果接口需要签名认证，这里需要说明签名的具体方法。
　　api权限说明
　　
　　sign参数的生成规则要详细说明，最好有例子，比如：
　　签名方式
　　这样接入方就可以验证自己的签名方式是否正确。
　　三、编码方式
　　接口请求过程中，出现乱码可能是编码造成的。因此，接口必须就编码方式达成一致。参考下面的写法：
　　编码
　　4.请求说明
　　接口文档的请求说明主要说明接口请求的域名和请求的数据格式：
　　
　　要求澄清
　　5.接口列表
　　接口列表是接口文档的主要内容。这部分需要列出所有的接口名称、接口地址、接口请求方法、接口请求参数、响应格式。在接口的请求参数中，需要说明每个参数的含义、类型、是否需要属性。对于接口响应结果，如果有业务字段，也需要说明。这是一个更完整的例子：
　　接口示例
　　六、状态码说明
　　接口的响应体一般都有响应状态码，比如成功、失败等，状态码帮助接入方判断接口调用的状态。喜欢：
　　状态码
　　如果接口文档能够体现以上要素，就可以认为是一个完整的接口文档，可以很好地被访问方阅读和理解。
　　解决方案:网站建设怎样保证采集网站内容的质量?
　　网站建设需要在自己的网站上加入优质的网站内容。由于采集
了一些网站的部分内容，因此网站内容的质量难免会存在一些问题。由于网站收录的文章非原创，会影响网站的权重和流量。那么，我们应该如何保证所采集到的网站内容的质量才会来呢？
　　1、修改标题吸引用户注意力，让用户进入网站，满足用户对热点内容的好奇心，搜索引擎会以一定的方式对热点内容进行优先排序。对于关键词标签和描述，这些头条党也会更加关注搜索引擎抓取和用户点击的好奇心。所以，我们在采集内容的时候，要尽可能的借鉴标题党的一些方法，对标题、描述、关键词标签进行一些修改，这样才能拥有区分的三大要素页面的原创
内容。
　　
　　其次，要想与原创内容网站区分开来，就必须做出与之不同的排版方式。比如做分页，我们可以把内容组织在一起，这样搜索引擎就可以很容易的抓取全部内容，用户不需要翻页就可以查看。可以说，这种方法在排版上有所不同，也提高了用户体验。，排版要不同；
　　3、文章标题清楚，读者就知道这篇文章讲的是什么。如果这篇文章的主题不明确，会使读者失去阅读兴趣。因此，站长在收录文章内容的时候，需要适当区分段落，加上一些小标题，让读者很容易知道这篇文章讲的是什么。
　　第四，采集内容尽量不要超过一定的时间。在一定时期内，搜索引擎很难抓取到相同的内容。我们可以利用这一点，搜索引擎对新文章的偏好，在收录内容的时候，尽量收录一天之内的内容。永远不要抓取已经存在很长时间的内容。
　　
　　5、对于一些没有图片的文章，我们可以添加一些图片来增加视觉感。因为我们采集
的是别人的内容，所以不能原样复制粘贴，我们必须做一些修改，这样搜索引擎才不会觉得有抄袭的嫌疑。所以，在采集
别人的文章时，最好修改一下自己的文章，或者加点图片。
　　最后，想要自己网站采集的内容有一定的质量，就不要无意义的复制粘贴。只有对网站上的文章内容进行一定的改动，才会产生一定的效果，才能体现出为网站增加内容的作用。
　　如果您想与我们合作，请致电： 更多精彩推荐：***.*****.***/ 查看全部

　　最新版本:谷歌正式推出 “密钥登录”，逐步取代传统密码登录
　　点击上面java那些东西，选择star公众号
　　都几岁了，还在用传统密码？10月12日，谷歌宣布在Android和Chrome中正式实施密钥登录“PassKey”，逐步取代长期密码登录“PassWord”。
　　推出的一键登录可以认为是“生物密码”和“授权登录”的结合。用户可以在安卓手机上创建基于公钥加密的密钥凭证。创建密钥时，他们需要进行生物特征识别，例如“指纹”或“面部识别”。
　　
　　创建后，此密钥凭据可用于解锁所有在线帐户——包括您的 Android 手机和附近所有设备上的帐户。是的，这个FIDO密钥登录功能是微软/苹果/谷歌联合出品的，是行业标准。所以它是跨平台的，包括 Windows、macOS 和 iOS 以及 ChromeOS。换句话说，您可以使用 Android 手机的密钥凭据解锁上述所有系统上的帐户和网站。
　　在谷歌看来，密码登录的旧认证方式容易受到网络钓鱼或黑客攻击等手段的影响，安全性不高。密钥登录则大不相同，不能重复使用，不会暴露服务器漏洞，还能保护用户免受钓鱼攻击和忘记密码。即使手机丢失，也可以从云端备份FIDO密钥，安全同步到新手机。
　　不过这个一键登录功能现在还不完善，只是一个重要的里程碑，实现了两个关键功能：
　　
　　用户可以在他们的 Android 设备上创建和使用密钥，并且密钥通过 Google 密码管理器同步。开发人员可以使用 Chrome 通过 WebAuthn API、Android 和其他受支持的平台为网站上的用户构建关键支持。
　　要向网站添加基于密钥的登录功能，开发人员需要注册 Google Play 服务测试版并使用 Chrome Canary 版本。
　　关键登录功能的下一个里程碑是原生 Android 应用程序 API。本机 API 将为应用程序提供多种登录方法。用户可以选择使用密钥登录或使用保存的密码。
　　
　　最新版:2022 TG营销助手破解版 多功能
　　软件介绍
　　Telegram营销助手/TG营销助手是一款集阅读量采集、用户群租用、批量拉人、自动回复、自动聊天（炒群）等功能于一体的软件。需要的话可以用 试试研究下，难怪最近被tg私信骚扰，原来有这么个软件，处理私信骚扰最简单粗暴的方法就是取消用户名设置。
　　1：滑动频道阅读量（增加频道阅读量增加人气）
　　2：用户精准采集（采集同行群中的客户，拉入自己的群实现交易）
　　3：精准群采集（输入关键词采集相关群链接，直达自动群营销）
　　4：批量拉人（软件后台自动批量拉人，可将提前采集
的精准客户批量拉到指定群）
　　5：自动群发/回复（可自行编辑群发内容和群）
　　6：自动进群聊天，营造活跃的群内气氛（导入小号，编辑话术即可）
　　7：群内精准客户自动私信
　　软件截图
　　教程
　　软件必须先设置好api_id和api_hash这两个参数才可以使用！！
　　1.设置
　　设置代理ip接口地址 接口地址必须以文本格式返回ip+端口号的形式，此处设置的代理ip用于批量注册
　　
　　批量修改账号信息，可以修改账号名称和头像。名称分别是 config/first_name.txt 和 config/last_name.txt 中的第一行。
　　2. 手动登录/注册
　　填写区号+手机号，点击获取验证码。收到验证码后，输入验证码，账户会自动登录。session文件存放在sessions目录下
　　3.批量注册
　　当前软件对接的打码平台可以找一个联系人获取登录页面
　　设置好账号信息、注册次数、间隔时间后，就可以开始批量注册了
　　first_name.txt和last_name.txt放置注册时指定的用户昵称（名字），如果文件不存在或文件内容为空，软件会随机生成一个英文名字
　　Avatars 文件夹收录
注册时使用的头像，软件会随机选择其中一个。目前仅支持 .png 和 .jpg 格式。
　　所有登录、注册、保存的本地账号都在sessions文件夹下，都是.session文件
　　4.采集
用户
　　给定一个或多个公共群的群链接，选择要采集
的信息，ID和用户名就不多说了，昵称就是用户名，时间就是上次登录时间
　　在线范围是采集
指定时间内登录的用户。这里我采集
了一天之内登录的用户。
　　所有运行软件都会自动读取sessions文件夹下的账号登录
　　所有采集
的用户名都保存在 CollectData 文件夹中的 users.txt 中
　　五、征集组
　　
　　直接填写关键词，软件会自动采集
相关组别
　　所有采集
的数据都在 CollectData 文件夹中的 groups.txt 中
　　下面是序号、频道或群名、群链接
　　软件中所有按钮点击一次即可，确认所有操作完成后继续点击
　　6.分批拉人
　　软件可以根据用户名拉人，拉入群链接填写自己的群，可以是公群也可以是私群，但必须是完整的群链接
　　我们先从其他组采集点数据进来。这里我们只需要选择采集
用户名，然后筛选群组管理员即可。后面的数据中只会采集
用户名，方便使用。这里我们会主动过滤机器人和现有用户。经销商编号
　　把所有数据放在users.txt里面，拉人读取这个文件的数据
　　每次拉取是每个账号拉取的总人数
　　总次数为每个线程登录的账号总数
　　多线程数是指多少个账号会同时拉人
　　所以总拉人数=每次拉进来的多线程总数
　　每个拉入软件都有限制，每天最多50个
　　多线程数最好在10以下，太多可能导致batch ban
　　最好用老号拉人，新号容易被封，我这里用的都是老号 查看全部

　　内容分享:用户日志采集
　　大数据日志采集
　　
　　细细品味，细细品味，今天我们就来看看日渐流行的日志服务在数据中的作用。1、为什么要采集
日志？谈到大数据，第一步总是数据采集
。只有有了原创
数据，才能进行后续的存储、处理、分析、应用和展示。数据采集
有两个难点，一是如何采集
数据（技术问题），二是如何获取非公司数据（政策问题）。政策问题更多的是依靠双方的平等交流来为数据提供者带来利益。与技术问题相比，这个问题更难得到有效和永久的解决。今天我们重点讨论如何采集
数据的技术问题。？二、如何采集
日志数据？一般来说，采集
数据有两种技术方法。一种是直接从数据库中提取已经存储在数据库中的数据，另一种是从用户的使用行为中自行采集
数据。我们关注第二个，如何采集
行为数据。如Html网页、H5手机页面，WWW服务器会自动将访问网页的行为检测探针连同真实网页内容返回给客户端PC和手机。一方面，我们可以进行分流处理，将关键和非关键日志发送到不同的日志服务器。另一方面，对于同一类型的日志，可以通过Hash等方式选择日志服务器，尽量让更多的日志服务分担任务。另一种是从用户的使用行为中自行采集
数据。我们关注第二个，如何采集
行为数据。如Html网页、H5手机页面，WWW服务器会自动将访问网页的行为检测探针连同真实网页内容返回给客户端PC和手机。一方面，我们可以进行分流处理，将关键和非关键日志发送到不同的日志服务器。另一方面，对于同一类型的日志，可以通过Hash等方式选择日志服务器，尽量让更多的日志服务分担任务。另一种是从用户的使用行为中自行采集
数据。我们关注第二个，如何采集
行为数据。如Html网页、H5手机页面，WWW服务器会自动将访问网页的行为检测探针连同真实网页内容返回给客户端PC和手机。一方面，我们可以进行分流处理，将关键和非关键日志发送到不同的日志服务器。另一方面，对于同一类型的日志，可以通过Hash等方式选择日志服务器，尽量让更多的日志服务分担任务。WWW服务器会自动将访问网页的行为检测探针连同真实网页内容返回给客户端PC和手机。一方面，我们可以进行分流处理，将关键和非关键日志发送到不同的日志服务器。另一方面，对于同一类型的日志，可以通过Hash等方式选择日志服务器，尽量让更多的日志服务分担任务。WWW服务器会自动将访问网页的行为检测探针连同真实网页内容返回给客户端PC和手机。一方面，我们可以进行分流处理，将关键和非关键日志发送到不同的日志服务器。另一方面，对于同一类型的日志，可以通过Hash等方式选择日志服务器，尽量让更多的日志服务分担任务。
　　
　　276
　　干货教程:神技能-不用Python，采集98％网页公开数据（教程）
　　满足福利：
　　（公众号回复009可获得以下三本书）
　　《白手起家》简介
　　《从零开始运营》进阶篇
　　第39次《中国互联网络发展状况统计报告》
　　用于数据分析喵
　　十年生死
　　数据人，忙
　　好日子的美景增添了我的凄凉
　　早晚不安
　　研究紧迫
　　报告疯子
　　思绪在夜里闪过
　　寻找笔记
　　怕忘记
　　多变的需求
　　所以呢
　　预计半夜加班
　　听家人的话
　　打鼾声
　　以上是一个资深数据分析师写的自嘲段子，却是很多分析师的真实写照。在耀眼的职业光环下，数据分析师的成长几乎伴随着孤独，他们是在高级杂务中锻造的。
　　很多做生意的小伙伴
　　感觉吉吉也是假数据分析师，
　　因为需要参考各种资料，
　　支持决策，
　　数据的严谨性，
　　决定决策的成败。
　　（也决定了老板会不会放你走）
　　因此，运营商往往需要借助爬虫来抓取自己想要的数据。比如他们想获取一个电商网站的评论数据，往往需要写一段代码，用python抓取相应的内容。
　　说到代码，我好像看到了很多芭比娃娃绝望的样子。
　　你想学习Excel函数吗？
　　你想学习 SQL 吗？
　　你想学习 Python 吗？
　　你想学R吗？
　　看代码头疼怎么办？
　　没有编程基础怎么办？
　　所以，你不明白代码，
　　易于新手使用的工具
　　看着这个宝贝真诚的眼神
　　你有没有在黑暗中看到一丝光的兴奋
　　这并不奇怪
　　
　　惊不惊？
　　1个
　　什么是爬行动物
　　什么是爬行动物？爬虫就是网络爬虫，一种自动获取网页内容的程序。它是搜索引擎的重要组成部分，所以搜索引擎优化很大程度上是针对爬虫进行优化的。
　　简单来说，它可以采集
网页上的数据信息。当然，国内外也有很多老牌的爬虫工具。使用难度和采集准确度不同，适用人群也有差异。
　　今天要给大家介绍的这个工具叫做：优采云
Collector。
　　新手可以用它来处理一些大批量的数据，高手也可以扩展它更高级的功能。
　　2个
　　采集
资料有什么用
　　网络数据采集其实是一个可以影响各行各业的行业。从PC时代到现在，它的用途非常广泛。
　　这里介绍一些比较常见的用途，包括但不限于这些用途，所以如果要仔细罗列，也可以写成百上千。因为，同一份数据，不同的人有不同的用法。
　　1.财务数据，如季报、年报、财报，包括自动采集最新的每日净值。
　　2、各大新闻门户网站实时监控，自动更新上传最新消息。
　　3、监控竞争对手的最新信息，包括商品价格、库存等。
　　4. 监控各大社交网站和博客，自动抓取对企业产品的相关评论。
　　5、采集
最新最全的职位招聘信息。
　　6、关注各大房地产相关网站，采集
最新的新房、二手房市场行情。
　　7. 从各大汽车网站采集
特定的新车和二手车信息。
　　8、发现并采集
潜在客户信息。
　　9. 从行业网站采集
产品目录和产品信息。
　　10.同步各大电商平台的商品信息，做到在一个平台发布，在其他平台自动更新。
　　3个
　　操作演示
　　门户网站：
　　首先进入官网，下载并注册
　　（是的，是的，这是胡说八道）
　　网友提示：目前优采云
采集器只支持Windows系列操作系统。下面我就通过采集
几个网站的数据来给大家演示一下。
　　进入优采云
采集器首页，可以看到一个搜索栏，这是SMART模式，可以不配置规则进行采集。
　　SMART模式暂时只支持采集带有列表或表格信息的网页，例如：电商网站、一些生活服务类网站的商品列表的商品信息等。
　　（本图为58广州同城搜集的租房信息）
　　但是，SMART模式的适用范围较窄。让我们谈谈其他两种模式。第一种向导模式适合新手用户。在这种模式下，我们不需要配置任何规则。
　　只需按照向导提示输入相应信息或进行相应操作即可实现简单的数据采集功能。
　　但是功能比较有限。仅支持单网页采集、列表或表格采集、列表和详情采集、URL列表采集。这里给大家演示一下，点击开始采集
。
　　接下来，让我们谈谈其他两种模式。第一种向导模式适合新手用户。在这种模式下，我们不需要配置任何规则。
　　只需按照向导提示输入相应信息或进行相应操作即可实现简单的数据采集功能。
　　但是功能比较有限。仅支持单网页采集、列表或表格采集、列表和详情采集、URL列表采集。这里给大家演示一下，点击开始采集
。
　　这里我选择列表并采集
详细信息给大家演示一下，比较直观。
　　给任务起个任务名并创建一个任务组，将要采集的网址复制粘贴到下方的采集地址栏中。
　　
　　选择打开页面中的第一家和最后一家店铺，采集器会自动采集它们之间的所有店铺，如红框所示。
　　向导模式没有先设置翻页，然后我们直接采集字段，就是你进入某个店铺后要采集的数据，比如店名或者地址。
　　采集完成后点击下一步，这里选择开始单机采集，因为我用的是免费版，所以没有云采集功能，采集效率会比较慢。
　　如下图所示，我们采集到的数据会以表格的形式展示出来。采集速度一开始会有点慢，之后会稳定在一个比较高的速度，主要是受网速的影响。
　　二是进阶模式。有一定基础的朋友可以使用这个模式。需要自己配置规则，就是采集的范围，是否需要翻页。
　　我就用豆瓣网的电影合集给大家演示一下。大家都知道豆瓣的评分是比较靠谱的，所以这样的数据对于我们的分析非常有用，比如建立类似的网站。
　　高级模式有两个进入途径，第一个是右侧高级模式中的“开始采集
”按钮框，另一个是直接点击左下角的快速启动（适合熟练者）。
　　任务名称和任务组可以参照向导方式在这里填写。这里先说一下设计流程。这是整个优采云
采集
器中比较重要的一个部分，因为它会影响到后续采集
的成功与否。
　　按照第一步，将左上角的网页框拖到竖线上，然后按第二步，在出现的页面地址栏中输入要采集的网址。还有一种采集
网址的方法，直接在浏览器下面的搜索栏里输入网址，然后点击右边的小地球图标。
　　由于之前已经配置好了规则，涉及到正则表达式、替换和翻页循环，这里就不演示第二步的其他操作了。这个对于初学者来说有点复杂，图文并茂不好解释，所以直接进入第三步设置执行计划。
　　勾选禁止浏览器加载图片可以让采集速度变快，因为有些网站在采集过程中会一直加载网页，导致采集速度过慢。
　　采集
的电影数据非常详细。
　　然后就可以导出采集到的数据了，一般我都是导出为表格。注意：因为我用的是免费版，每次导出需要支付一定的积分，导出10条数据需要1积分，以此类推。
　　在优采云
官网注册账号，然后每天签到获得30积分，完善以下部分合作网站账号每个获得1000积分，这样还可以使用免费版导出数据。
　　我这里也采集
了58同城和美团外卖的一些数据。限于篇幅，这里附上图给大家看看，省略配置采集过程，操作类似豆瓣网采集。
　　同城58租房信息
　　美团外卖门店信息
　　将采集到的数据导出到表格中，然后将导出的表格导入到Micromap中，可以帮助我们更直观的分析数据。微地图会自动将采集到的数据制作成饼图、柱状图、词云图、比例情况等。
　　你可能还有一个疑问，如果我辛辛苦苦配置的规则被关闭了，我是不是还要重新设置？这不是很麻烦吗？以后我会采集
那个领域的资料。
　　针对这种情况，我们可以找到之前创建的任务，比如58同城出租的任务，右键选择导出任务，即导出其规则。
　　即使以后不在同一台电脑上操作，将导出的规则文件导入其他电脑的优采云
采集器也很方便。
　　让我向您介绍另一种方法。比如遇到一些我们不知道如何配置的采集规则，其实可以登录左多官网下载一个采集规则来使用。
　　比如下图中的淘宝商品信息合集，下载后我们可以省略自己配置的过程。当然，还有一些收费规则，这里就不推荐了。
　　对于优采云
采集
器的学习，我现在也只是略知一二。还有很多高级功能有待发掘，各种精致的采集
需要不断的学习和再学习。
　　- 结尾 -
　　延伸阅读 查看全部

　　解决方案:从0到1搭建高性能实时日志系统
　　建筑师(JiaGouX) 我们都是建筑师！
　　共创未来，你会来吗？
　　因公众号推送规则变更，请第一时间点击“在看”加“星”获取精彩技术分享
　　你是否经常遇到需要在线查看日志却又长时间联系不到用户上报日志的情况？或者你是否经常陷入存储空间不足导致日志无法写入的尴尬？本文介绍美团如何从0到1搭建高性能的终端实时日志系统，彻底解决了日志丢失和写满的问题。希望能给您带来一些帮助和启发。
　　2 设计实现
　　3 稳定性保证
　　4 成就
　　5 未来规划
　　1 背景 1.1 Logan简介 Logan是美团统一的终端日志服务。已支持移动APP、Web、小程序、IoT等多种环境，具备日志采集、存储、上传、查询、分析等能力。帮助用户定位研发问题，提升排查效率。同时，Logan也是业界较早开源的大型前端日志系统，具有写入性能高、安全性高、日志防丢失等优点。1.2 登录工作流程 为了方便读者更好的理解登录系统的工作原理，下图是一个简化的登录系统工作流程。主要分为以下几个部分：
　　图1 登录系统工作流程图 1.3 为什么需要实时日志？前文提到，这种“本地存储+主动上报”的模式虽然解决了大前端场景下基本的日志使用需求，但随着业务复杂度的不断提升，用户对日志的要求也越来越高。当前 Logan 架构存在的问题也越来越突出，主要体现在以下几个方面： 部分场景下日志的上报受限：因为用户在 Web 和小程序上的一般使用场景是离开后使用，当在线出现问题时，联系用户主动上报日志。整个处理周期长，可能会错过最佳故障排除时机。缺乏实时分析和告警能力：目前，缺乏实时分析和告警能力。用户多次提到，他们想监控线上的异常日志，当出现符合规则的异常日志时，接收告警信息。缺乏全链路跟踪能力：目前多端日志分散在各个系统中。研发人员在定位问题时需要手动关联日志，操作起来非常不方便。美团缺乏通用的全链路跟踪解决方案。针对以上痛点，我们提出了Logan实时日志的构建，旨在提供一个统一的、高性能的实时日志服务，解决美团不同业务系统想要登录云端的需求。这个阶段。1.4 什么是Logan实时日志？Logan实时日志是一个服务于手机App的实时日志解决方案，Web、小程序、IoT等终端场景。旨在提供高扩展性、高性能、高可靠性的实时日志服务，包括日志采集、上传、处理、消费、投递、查询和分析能力。
　　图2 洛根实时日志产品功能 图2 设计与实现 2.1 总体架构
　　
　　图3 洛根实时日志的整体架构如上图所示。整体架构主要分为五个部分，分别是： 2.2 采集通用采集端架构，解决跨平台复用采集Device SDK用于设备端日志采集和需求在各种终端环境中实施。但由于终端和平台众多，技术栈和运行环境不一致，多终端的开发和维护成本会比较高。因此，我们设计了一套核心逻辑复用的通用采集端架构，具体的平台相关代码单独适配。我们推出了微信、MMP、Web、MRN终端，逻辑层代码已经完全复用。采集
　　图4 采集端SDK架构图 关键模块介绍：磁盘缓存+报表恢复防止日志丢失 为了方便读者更好的理解端日志采集流程，下面将介绍采集详细结束流程设计。采集端初始化API开始调用时，首先创建Logger、Encryptor、Storage等实例对象，并异步拉取环境配置文件。初始化完成后，首先检查是否有放置成功，但报告失败的日志，如果有，则立即恢复上传过程。正常调用写日志接口时，将原创日志加密后加入当前上报组。当报告事件（时间、条目数、导航等）发生时 )被触发，当前上报组的所有日志加入上报队列并上传。采集终端详细流程图如下：
　　图5 采集SDK流程图 2.3 数据接入层 对于实时日志系统，接入层需要满足以下要求： (1) 支持公网域名上报；(2) 支持高并发处理；(3) 实时性高，延时在分钟级；(4) 支持向Kafka消息队列投递数据。经过对比，美团统一的日志采集通道都满足以上需求，所以我们选择了统一的日志采集通道作为接入层。采集端SDK通过独立的公共域名上报日志后，采集通道将日志数据汇总后投递到指定的Kafka消息队列。如果读者公司没有类似的日志采集渠道，
　　图6 接入层流程图 2.4 数据处理层 在数据处理框架的技术选择上，我们考虑了传统架构（Java应用）、Storm架构、Flink架构三种方案。尺寸对比数据如下：
　　表1 技术选型对比表 总的来说，传统架构虽然成熟度和灵活性都比较好，但是在扩展性、容错性、性能等方面不能满足系统的要求，而Flink架构和Storm架构则相对优秀。扩展性和容错性，但是Flink架构在延迟和吞吐量方面表现更好，所以我们最终选择了Flink架构作为数据处理框架。Flink：业界领先的流式计算引擎，具有高吞吐、低延迟、高可靠、精准计算等特点。它对事件窗口的支持非常好，被业界许多公司认为是首选的流计算引擎。在日志处理流程的设计中，日志数据经过接入层处理后投递到summary topic，再通过Flink job的逻辑处理分发到下游。处理流程如下图所示：
　　图7 日志处理层流程图 汇总的日志数据处理和分发依赖于实时计算平台的实时运算能力。底层使用Flink数据处理引擎，主要负责日志数据的解析，日志内容的解密，拆分到下游。元数据解析：通过实时运算能力将原创日志数据解析为JSON对象数据。内容解密：对加密后的内容进行解密，其中使用非对称协商计算出对称加密密钥，然后进行解密。服务维度拆分：通过topic字段将日志分发到各个业务系统所属的topic中，实现业务日志的相互隔离。数据自定义处理：根据用户自定义的处理语法模板，实时消费处理从服务主题到自定义主题的数据。2.5 数据消费层
　　对于大多数用户来说，Logan实时日志提供的日志采集、处理、检索能力可以满足他们的大部分需求。但在与用户交流的过程中，我们发现还有一些更高层次的需求，比如指标监控、前后端链路对接、离线数据计算等。因此，我们将Logan标准化的日志统一下发到Kafka流处理平台，并提供一些通用的数据转换能力，方便用户按需接入不同的第三方系统。数据消费层设计如下图所示：
　　图 8 数据消费层设计图 数据消费层的一些典型应用场景： 网络全链路跟踪：现阶段前后端日志可能分布在不同的系统中，前端日志系统主要记录代码级日志、端到端日志等，后端日志系统记录链接关系、服务耗时等信息。通过罗根实时日志开放的数据消费能力，用户可以根据自己的需求拼接多端日志，实现网络全链路跟踪。指标聚合统计&amp;告警：实时日志也是一种实时数据流，可以作为指标数据上报的载体。如果日志数据接入数据统计平台，可实现指标监测和报警。离线数据分析：如果某些需求场景需要对数据进行长期存储或离线分析，可以将数据导入Hive来实现。2.6 日志平台
　　
　　日志平台的核心功能是为用户提供日志检索支持。日志平台提供用户ID、自定义标签、关键字等多种检索过滤方式。在底层日志存储架构的选择上，目前业界普遍采用Elasticsearch。考虑到计费和运维成本的关系，美团已经有了统一的框架可以使用，所以我们也选择了Elasticsearch架构。同时，我们也通过一个单独的接口层来支持其他的存储引擎。日志查询流程如下：
　　图9 日志查询流程设计图 Elasticsearch：是分布式开源搜索分析引擎，具有访问成本低、扩展性高、近实时等优点，更适合大数据的全文检索服务3 稳定性保障 3.1 核心监控 为了衡量终端实时日志系统的可用性，我们制定了以下核心SLA指标：
　　表2 核心SLA指标表 除了核心指标监控，我们还搭建了全程监控面板，涵盖了子端上报成功率、域名可用性、域名QPS、作业吞吐量等重要观察指标，以及聚合记录的平均数量。针对上报成功率、域名QPS、作业吞吐量等，配置一体化告警。当线上出现异常时，第一时间发现并处理。3.2 蓝绿发布
　　实时日志依赖于实时作业的处理和计算能力，但是实时作业的发布和部署目前还不能无缝对接，中间可能会出现真空。重启作业时，需要先停止原来的作业，然后再启动新的作业。如果遇到代码故障或者系统资源不足，就会导致作业启动失败，直接面临消息积压严重，数据延迟增加的问题，这是实时日志系统无法承受的。
　　Blue Green Deployment 是一种平滑过渡的发布模式。在蓝绿发布模型中，应用程序必须首先被分成两个相等的组，蓝色和绿色。蓝色组发布新产品代码并引入一点线上流量，绿色组继续运行旧产品代码。当新产品代码跑上线，观察没有问题时，逐渐引入更多的线上流量，直到所有流量都接入蓝组的新产品。因此，蓝绿发布可以保证整个系统的稳定性，可以在产品发布的早期发现问题并解决问题，保证其影响可控。
　　目前，美团对于实时运营有不同的蓝绿部署方案。由于洛根实时日志访问业务系统较多，数据量较大，经过综合考虑，我们决定实施适合当前系统的蓝绿方案。部署方案。为了保证系统的稳定性，在作业运行过程中又启动了一个相同的作业。当新作业运行没有问题时，旧作业被切换。蓝绿发布流程图如下：
　　图10 蓝绿发布流程图 使用蓝绿部署后，彻底解决了因资源不足或参数不正确导致上线失败的问题，平均部署切换时间保持在1分钟以内，基本避免了因资源不足或参数错误导致的日志消耗释放延迟问题。4 实施结果 洛根实时日志在建设初期就受到了各业务的广泛关注。程序、优选商户、餐饮SaaS等大体量业务。以下是业务系统接入的一些典型使用场景，供大家参考： 核心链路还原：道家C端小程序使用Logan实时记录程序核心链路的关键日志和异常日志。当网上有客户投诉出现问题时，可以查看实时日志，第一时间定位问题。项目上线后，客户投诉的平均定位时间从之前的10分钟缩短到3分钟以内，排查效率显着提升。内测阶段排查问题：某企业平台前端项目，由于2.0改版后发生了较大变化，所以在内测阶段使用Logan实时日志，增加更多调试日志，方便定位在线问题。项目上线后，不仅为用户每次排错上报日志节省了10-15分钟的时间，而且杜绝了因存储空间不足而无法获取用户日志的情况。日志数据分析：美团到店团队利用Logan实时日志分析前后端交互过程中的请求头、请求参数、响应体等数据是否符合规范规范。经过一个多月的试运行，一期版本上线后，覆盖300+前端页面，500+前端界面，共发现1000+规范问题。5 未来规划 龙光实时日志经过半年的建设和推广，系统基本能力已经完成，可以满足用户对实时日志的基本需求。但不支持日志数据的深度加工清洗、日志统计、告警等高层次需求。所以，
　　如果喜欢本文，请点击右上角分享文章到朋友圈
　　想了解学习的技术要点，欢迎给若飞留言安排分享
　　·结尾·
　　<p style="outline: 0px;max-width: 100%;color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;overflow-wrap: break-word !important;">相关阅读：一张图看懂微服务架构路线<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />基于Spring Cloud的微服务架构分析微服务等于Spring Cloud？了解微服务架构和框架<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />如何构建基于 DDD 领域驱动的微服务？
　　小团队真的适合引入SpringCloud微服务吗？<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　DDD兴起的原因以及与微服务的关系
　　微服务之间的最佳调用方式<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　微服务架构设计总结实践<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />
　　基于 Kubernetes 的微服务项目设计与实现
　　微服务架构-设计总结
　　为什么微服务一定要有网关？
　　主流微服务全链路监控系统之战<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />微服务架构实施原理详解<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />微服务的简介和技术栈微服务场景下的数据一致性解决方案设计一个容错的微服务架构</p>
　　解决方案:WPJAM Basic 详细介绍：一键搞定 WordPress 功能屏蔽和增强优
　　WPJAM Basic插件的“优化设置”是WPJAM Basic的初始功能。可以说是我爱水煮鱼博客根据多年使用WordPress的经验整理出来的优化插件。
　　以上是该功能的完整视频介绍。当时的想法是为各种不用的功能，或者可能影响性能的功能提供开关，让你只需要一键即可完成WordPress定制开发。经过几年的发展，我的优化设置的功能分为功能屏蔽和增强优化两部分：
　　功能掩蔽
　　从上图可以清楚的看出，功能屏蔽就是让你屏蔽掉WordPress中一些不用的功能，也给出了一些简单的理由以及哪些场景可以屏蔽这个功能。当前支持阻止以下功能：
　　1.
　　文章 改版时会往Posts表中插入多条历史数据，导致Posts表冗余。建议屏蔽文章修改功能，提高数据库效率。
　　2.
　　Trackbacks协议被滥用，会在博客上产生大量垃圾信息。建议完全关闭 Trackbacks。
　　3.
　　WordPress使用图片渲染Emoji表情文字，但是渲染后的图片经常打不开，现在主流浏览器已经支持Emoji文字，建议屏蔽Emoji功能。
　　4.
　　WordPress会将一些纯文本字符转换成格式化的HTML实体，但是这些转换不适合中文环境，所以我们最好去掉这些字符转换。
　　5.
　　WordPress feeds主要用于阅读器，但现在使用阅读器的用户越来越少，feeds更多用于采集，造成不必要的资源消耗，建议关闭本站feeds。
　　6.
　　管理员每六个月重新登录一次后，就会看到站点管理员的邮箱验证界面。如果您认为没有必要，可以屏蔽邮箱验证。
　　7.
　　GDPR 是欧洲的通用数据保护条例。为了适应这个规律，WordPress在后台设置了很多隐私功能。如果您只在中国运营博客，您可以在后台删除与隐私相关的页面。
　　8.
　　WordPress更新服务器位于国外，经常打不开。建议关闭WordPress后台和自动更新功能，手动或通过SSH更新WordPress。
　　
　　9.
　　Auto Embeds 协议允许您插入视频网站 或照片分享网站 的链接，链接中收录的视频或图片将自动显示。不过这个功能支持的网站都是国外的。建议禁用自动嵌入功能以加快页面解析。
　　10.
　　文章Embed 功能允许您将 WordPress文章 嵌入本站点或 WordPress 站点中的其他站点。如果不需要，可以屏蔽文章Embed 功能。
　　11.
　　WordPress 5.0发布带来的Gutenberg编辑器很酷，但是很多人不习惯，还是喜欢原来简单的编辑器，可以屏蔽Gutenberg。
　　12.
　　XML-RPC协议用于在客户端发布文章，如果只在后台发布，可以关闭XML-RPC功能。
　　增强优化
　　加速优化是清理WordPress产生的无用代码，加速优化一些WordPress资源。目前，它具有以下功能：
　　Google 字体非常易于使用和方便。很多WordPress主题也使用谷歌字体，但是谷歌在线字体在国内的速度不是很快，有时甚至打不开。这就是为什么 WordPress 在中国有时速度不够快的原因。
　　WPJAM Basic允许您选择第三方Google Font字体加速服务，也可以自定义输入加速服务地址：
　　详细介绍：
　　Gravatar部分CDN服务器在国内访问困难，存在无法显示头像的问题，而且WordPress后台或评论页面有时会默认加载Gravatar头像图片，可能会导致页面卡顿。
　　WPJAM Basic允许您选择第三方Gravatar图片加速服务，也可以自定义输入加速服务地址：
　　详细介绍：
　　WPJAM Basic允许您直接在后台设置Frame嵌入，避免点击劫持，增强网站的安全性：
　　详细介绍：
　　
　　删除类别类别和 WordPress 页面的 URL。这两个页面的页面重写规则是否相同？那么我们可以直接使用页面重写规则来处理。
　　WPJAM Basic 还添加了一个附加选项。如果博客自定义了其他自定义分类模式，您可以选择将此功能应用于哪种分类模式：
　　详细介绍：
　　如果长时间上传的图片名称是1.jpg，那么上传一张图片就会导致数据库执行几十到上百条SQL查询。上传的时候要改一下图片的名字，图片的名字要多加一个时间戳，这样几乎可以保证图片名字不能重复：
　　详细介绍：
　　WordPress会在页面头部输出版权信息和其他服务发现代码。版权信息代码会让用户知道你当前运行的 WordPress 版本，服务发现代码会告诉用户你的博客支持哪些服务。
　　这些代码会在前台造成一些安全问题，最好一键删除。
　　详细介绍：
　　一般不建议在网站前台显示WordPress工具栏，可以一键移除。
　　详细介绍：
　　如果熟悉WordPress的用户，就会知道如何写出正确的WordPress模式，所以从效率的角度来说，没有必要在这个转换上浪费时间，也可以一键移除。
　　详细介绍：
　　在很多WordPress后台页面的右上角，比如后台文章列表页面，都会有“显示选项”和“帮助”两个按钮。一个用于显示和设置本页面的选项，另一个用于获取页面的帮助信息：
　　首先，这两个按钮在右上角。很多用户没有特别注意，以至于忘记操作，帮助文档对用户的帮助也不是很大。建议两者都去掉。
　　详细介绍：
　　最后，如果大家对使用WPJAM Basic有什么疑问，或者有什么功能需求，欢迎给我留言。
　　点击卡片关注“WordPress Jam”
　　每天分享 WordPress 技巧 查看全部

　　解决方案:我所读过的最好的一篇分布式技术文章
　　（点击上方公众号快速关注）。
　　资料来源：foreach_break，
　　前言
　　这是一份学习笔记。
　　学习材料来自Jay Kreps的日志博客文章。
　　原文很长，但我坚持阅读，收获颇丰，对 Jay 的技术能力、架构能力和对分布式系统的深刻理解印象深刻。同时，他有点沾沾自喜，因为他的一些理解与周杰伦的观点相吻合。
　　Jay Kreps是前LinkedIn首席参谋工程师，Confluent现任联合创始人兼首席执行官，以及Kafka和Samza的主要作者。
　　所谓笔记，读文章背，因为周杰伦哥自己在这一章里组织得太好了，他自己的科学素养和哲学素养也很高，所以他觉得很精彩的就不省略了。
　　I. 信息来源
　　日志：每个软件工程师都应该知道的关于实时数据的统一抽象（）
　　2. 注意事项
　　2.1 日志的值
　　1）日志是以下系统的核心：
　　2）日志可能与计算机一样古老，是分布式数据系统和实时计算系统的核心。
　　3）日志有很多名称：
　　4）不懂日志，就不能完全看懂
　　它
　　2.2 什么是日志？
　　2.2.1 概述
　　记录的顺序定义了时间等概念。
　　因为越靠左，记录越早。
　　条目的序号作为一种时间戳的概念，以及记录的顺序作为时间的概念可能看起来很奇怪，但正如您很快就会发现的那样，它可以很容易地将“时间”与任何特定的物理时钟分离。
　　日志与普通文件和表没有太大区别。
　　这样，你可能会觉得日志这么简单，还有需要讨论的吗？
　　其实日志的核心含义是：
　　日志记录发生了什么以及何时发生。
　　而这个通常是分布式系统最核心的东西。
　　请注意，这里有必要澄清几个概念：
　　2.2.2 数据库中的日志
　　Log的起源是未知的，就像发明二进制查找的人一样，很难意识到这项发明是一项发明。
　　日志早在IBM的System R中就出现了。
　　在数据库中，当数据库崩溃时，您需要使各种数据结构和索引保持同步。
　　为了确保原子性和持久性，数据库需要在修改数据结构和索引之前记录要修改的内容。
　　因此，日志记录何时发生某些事情，每个表和索引本身就是此历史信息的映射。
　　由于日志是立即持久的，因此在发生崩溃时，它将成为还原其他持久结构的可靠来源。
　　日志已经从 ACID 功能的实现发展成为数据库之间数据复制的一种方式。
　　显然，数据库中发生的一系列数据变化已经成为维持数据库之间同步最需要的信息。
　　Oracle，MySQL和PostgreSQL都收录日志传输协议，该协议将部分日志发送到用于持久复制的从属服务器。Oracle
　　的XStreams和GoldenState使用日志作为通用数据订阅机制，为非Oracle数据库提供订阅数据。
　　MySQL和PostgreSQL提供了类似的组件，这些组件是数据系统架构的核心。
　　面向机器的日志不仅可以用于数据库，还可以用于：
　　2.2.3 分布式系统中的日志
　　日志解决了分布式数据系统中的两个重要问题：
　　1） 有序数据更改
　　2） 数据分发
　　所谓的状态机复制原理：
　　如果两个确定性进程，从相同的状态开始，以相同的顺序，接收相同的输入，那么它们将产生相同的输出并以相同的状态结束。
　　确定性意味着处理过程与时间无关，并且处理结果不受其他输入的影响。
　　可以通过非确定性示例来理解：
　　所谓状态可以是机器上的任何数据，无论是在机器的内存中，还是处理完成后的磁盘上。值得注意的是，相同的
　　输入以相同的顺序产生相同的结果，这就是为什么日志如此重要的原因，这是一个直观的概念：如果你将相同的日志输入两个确定性程序，它们将产生相同的输出。
　　在分布式系统的构建中，认识到这一点，可以使：
　　让所有机器做同样的事情，协议是：
　　构建分布式、一致的日志系统，为所有处理系统提供输入。
　　日志系统的作用是分散所有输入流之上的不确定性，并确保处理相同输入的所有复制节点同步。
　　这种方法最好的一点是，您可以将索引日志的时间戳视为所有复制节点的时钟：通过使用复制节点处理的日志
　　中最大的时间戳作为复制节点的唯一 ID，时间戳与日志相结合可以唯一地表示节点的整个状态。
　　还有许多方法可以应用此方法：
　　从理论上讲，我们可以记录一系列机器指令，或者调用的方法的名称和参数，只要数据处理过程的行为相同，这些过程就可以保证节点之间的一致性。
　　玩数据库的人通常以不同的方式处理逻辑日志和物理日志：
　　对于分布式系统，通常有两种方法来处理复制和数据处理：
　　1） 状态机模型（主动 – 主动）
　　2） 主回模型（主动 – 被动）
　　如下图所示：
　　为了理解上述两种方法之间的区别，让我们看一个简单的例子：
　　现在，集群需要提供一个简单的服务来执行算术运算，例如加法和乘法。最初，维护一个数字，例如 0。
　　上面的例子也说明了为什么顺序是复制节点之间一致性的关键因素，如果这些操作的顺序被打乱，将获得不同的结果。
　　分布式日志，可以作为一些共识算法的数据结构：
　　表示有关下一个值的一系列决策的日志。
　　2.2.4 更新日志
　　从数据库的角度来看，记录数据更改的一组更改日志和表是双重且可互操作的。
　　1） 基于记录数据更改的日志，可以重构处于特定状态的表（也可以是非关系存储系统中带有键的记录）。
　　2）相反，如果表发生变化，则可以在日志中计算更改。
　　这正是您想要的准实时副本的秘密所在！
　　这与版本控制的作用非常相似：管理分布式、并发、状态更改。
　　版本控制工具（用于维护反映更改的修补程序）本质上是日志，您可以与签出的分支快照进行交互，该快照等效于数据库中的表。您会发现复制在版本控制和分布式系统中都是基于日志的：更新版本时，只需提取反映版本更改的修补程序并将其应用于当前分支快照。
　　2.3 数据集成
　　2.3.1 数据集成的含义数据
　　集成是为组织中的所有服务和系统提供数据。
　　事实上，数据的有效利用非常符合马斯洛的需求层次。
　　金字塔的底部是采集数据并将其集成到应用程序中（无论是实时计算引擎，文本文件还是Python脚本）。
　　并且需要转换这些数据，以保持易于阅读和处理的统一、标准化和整洁的格式。
　　一旦满足了上述要求，就可以开始考虑各种数据处理方法，如map-reduce或实时查询系统。
　　显然，如果没有可靠、完整的数据流，Hadoop 只是一个昂贵的、难以集成的加热器（集群是耗电的吗？）。
　　相反，如果可以确保数据流可靠、可用且完整，则可以考虑更高级的游戏玩法、更好的数据模型以及一致、更易于理解的语义。
　　然后，注意力可以转移到可视化、报告、算法和预测（挖掘器、深度）上。
　　2.3.2 数据集成的两种复杂性
　　事件事件
　　数据记录事件如何发生，而不仅仅是发生的情况，通常用作应用程序日志，因为它通常由应用程序系统写入。但这实际上混淆了日志的功能。
　　事实上，谷歌的财富是由建立在（用户）点击流和好恶（体验）上的关联管道产生的，点击流和展示是事件。
　　各种专业数据系统的爆炸式增长
　　为什么这些系统存在：
　　显然，将数据集成到这样的系统中对于数据集成来说是极其困难的。
　　2.3.3 基于日志结构的数据流
　　可以根据日志对每个逻辑数据源进行建模。
　　数据源可以是记录事件（命中和 PV）的应用程序，也可以是接受更改的数据库表。
　　每个订阅者都尽快从这些数据源生成的日志中获取新记录，将其应用于本地存储系统，并改善其在日志中的读取偏移。订阅者可以是任何数据系统，例如缓存、Hadoop、另一个站点的数据库或搜索引擎。
　　登录事实上，提供了一个逻辑时钟，用于测量不同订阅者
　　的状态以响应数据变化，因为这些订阅者在日志中具有不同且独立的读取偏移量，这就像时间意义上的“时刻”。
　　考虑这样一个示例、数据库和一些缓存服务器：
　　
　　日志提供了同步所有缓存服务器并推送它们所处的“时刻”的能力。
　　假设我们写一个编号为 X 的日志，读取来自缓存服务器
　　的数据，为了不读取旧数据，我们只需要确保在缓存服务器将数据（同步）复制到 X 位置之前我们不会从该缓存中读取任何内容。
　　此外，日志还提供了充当缓冲区的功能，以异步方式支持生产者和使用者的行为。
　　支持异步的最关键原因之一是订阅系统可能会崩溃，离线进行维护，然后重新上线，在这种情况下，每个订阅者都按照自己的节奏使用数据。
　　批处理系统（如 Hadoop 或数据仓库）使用数据
　　每小时或每天一次，而实时系统通常在几秒钟内消耗数据。
　　数据源或日志对使用数据的订阅者一无所知，因此需要在管道中无缝添加和删除订阅者。
　　更重要的是，订阅者只需要知道日志，不需要知道他们消费的数据来源，无论是RDBMS，Hadoop还是新流行的K-V数据库。之所以讨论日志，而不是消息系统，是因为不同的消息系统
　　保证了不同的特性，而word消息系统很难完全准确地表达某种语义，因为消息系统更重要的是重定向消息。
　　但是，日志可以理解为提供持久性保证和强有序语义的消息系统，这在通信系统中称为原子广播。
　　2.4 LinkedIn
　　LinkedIn目前的主要系统包括（注：2013年）：
　　每个系统在其专业领域都提供专门的高级功能。
　　（这一段太长太长了，周杰伦哥很擅长，所以挑重点记住！
　　1）引入数据流的概念是因为在Oracle数据库中的表之上建立了抽象缓存层，为搜索引擎索引构建和社交图谱更新提供扩展能力。
　　2）为了更好的处理LinkedIn的一些推荐算法，我开始构建Hadoop集群，但团队在这方面的经验还不多，所以我走了不少弯路。
　　3）一开始，这只是一个粗略的想法，即将数据从Oracle数据仓库中提取出来并将其扔到Hadoop中是可以的。结果发现：首先，从Oracle数据仓库快速导出数据是一场噩梦;其次，也是更糟糕的是，数据仓库中的一些数据没有得到正确处理，导致Hadoop批处理任务无法按预期输出结果，并且通过Hadoop批处理执行的任务通常是不可逆的，尤其是在报告出来之后。
　　4）最后，团队离开数据仓库，直接进入数据库和日志作为数据源。接下来，建造了一个轮子：K-V 存储（伏地魔）。
　　5）即使是像数据复制这样普通的工作也会占用团队的大量时间来处理，更糟糕的是，一旦数据处理管道中存在一个点，Hadoop立即变得浪费，因为无论算法在错误数据上运行多么出色，只有一个后果，那就是产生更多错误的数据。
　　6）即使团队在高度抽象上构建了一些东西，每个数据源也需要特定的配置，这是许多错误和失败的根源。
　　7）大量的程序员想要跟进，每个程序员都有大量的想法，集成这个系统，添加这个功能，集成这个功能，或者想要自定义数据源。
　　8）周杰伦弟兄开始意识到：
　　首先，他们修建的管道虽然还很粗糙，但价值极高。即使解决数据在新系统（如Hadoop）中可用的问题，也可以解锁大量可能性。以前难以进行的计算开始成为可能。只需从其他系统解锁数据并集成它们，即可轻松创建新产品和分析。其次，很明显，可靠的数据加载
　　需要更坚实的支持，如果可以捕获所有结构，Hadoop数据加载可以完全自动化，而无需添加新数据源或手动修改数据的模式。数据会神奇地出现在HDFS中，当添加新的数据源时，Hive的表会自动自适应地生成相应的列。
　　第三，数据覆盖面远远不够。很难处理许多新的数据源。
　　9）为了解决添加新数据源后的数据加载问题，团队开始了这样的尝试：
　　很快，他们发现这行不通，因为发布和订阅，生产和消费，数据流通常仍然是双向的，这变成了O（n^2）问题。
　　所以，他们需要的是这样的模型：
　　每个使用者都需要与数据源隔离，理想情况下只与一个数据存储库交互，该存储库为他们提供对任意数据的访问权限。
　　10）消息系统+日志=卡夫卡，卡夫卡诞生了。
　　2.5 日志ETL与数据仓库的关系
　　2.5.1 数据仓库
　　1） 一个干净、结构化、集成的数据存储库，用于分析。
　　2）虽然这个想法很棒，但获取数据的方式有点过时了：定期从数据库中获取数据并将其转换为更易读的格式。
　　3）以前的数据仓库问题是干净的数据和数据仓库是高度耦合的。
　　数据仓库应该是一组查询功能的集合，服务于报表、搜索、广告热分析，包括计数、聚合、过滤等操作，所以它应该是一个批处理系统。
　　但是干净数据与这种批处理系统的高度耦合意味着这些数据不能被实时系统消费，例如搜索引擎索引，实时计算和实时监控系统等。
　　2.5.2 ETL
　　Jay认为ETL只做两件事：
　　1）数据提取和清理，从特定系统解锁数据
　　2）重构数据，以便可以通过数据仓库进行查询。例如，更改数据类型以适应关系数据库的类型，将架构转换为星形或雪花图案，或将其分解为面向列的存储格式。
　　但是将这两件事结合在一起是一个大问题，因为集成的、干净的数据应该被其他实时系统、索引系统和低延迟处理系统使用。数据仓库团队
　　负责采集和清理数据，但这些数据的生产者往往不知道数据仓库团队的数据处理需求，导致数据难以提取和清理。
　　同时，由于核心业务团队对跟上公司其他部门的步伐不敏感，真正可以处理的数据覆盖率很低，数据流很脆弱，很难快速响应变化。
　　所以，一个更好的方法：
　　如果要在干净的数据集上做一些搜索、实时监控趋势图、实时告警，不宜使用原创数据仓库或Hadoop集群作为基础设施。更糟糕的是，ETL为数据仓库构建的数据加载系统对其他（实时）系统几乎没有用处。
　　最好的模型是完成在数据发布者发布数据之前进行数据
　　清理过程，因为只有发布者最了解其数据的外观。在此阶段完成的所有操作都应该是令人满意的无损和可逆的。
　　所有丰富的语义或附加值的实时转换都应在原创日志后处理之后进行后处理，包括为事件数据建立会话或添加某些感兴趣的字段。原创日志仍然可以单独使用，但此类实时应用程序也会派生新的参数化日志。
　　最后，只有与特定目标系统相对应的数据聚合操作才应成为数据加载的一部分，例如转换为星形或雪花图案，以便在数据仓库中进行分析和报告。因为这个阶段，就像传统的ETL一样，由于一个非常干净和标准化的数据流，（带日志）现在非常简单。
　　2.6 日志文件和事件
　　一
　　以日志为核心的架构还有一个额外的好处，那就是易于实现无耦合、事件驱动的系统。
　　捕获用户活动和系统变化的传统方法是将这些信息写入文本日志，然后将其提取到数据仓库或 Hadoop 集群中进行聚合和处理，这类似于前面描述的数据仓库和 ETL 问题：数据与数据仓库高度耦合。
　　在LinkedIn，它构建了一个基于kafka的事件数据处理系统。为各种操作定义了数百种事件类型，从 PV、广告展示、搜索到服务调用和应用程序异常。
　　要了解上述事件驱动系统的好处，请考虑一个简单的事件示例：
　　在“工作机会”页上，提供机会。此页面应仅负责如何呈现机会，不应收录太多其他逻辑。但是，您会发现在相当大的网站中执行此操作很容易涉及越来越多的与演示机会无关的逻辑。
　　例如，我们要集成以下系统功能：
　　1）我们需要将数据发送到Hadoop和数据仓库进行离线处理。
　　2）我们需要计算页面浏览量，以确保某些视图不是用于抓取Web内容或任何东西。
　　3） 我们需要汇总此页面上的浏览信息，以显示在业务机会发布商的分析页面上。
　　4）我们需要记录一个用户浏览这个页面的历史记录，以确保我们为这个用户提供任何适合这个用户的工作机会，有价值和良好的体验，而不是一遍又一遍地反复向这个用户展示一个机会（想想只有老婆不在家的时候才能玩的游戏， 红绿蓝闪烁的特效，配上轰轰烈烈的DJ风格舞曲，或是事业巅峰和穿短裙的女生的摇摆焦点，再点击发现是标题党的广告！）。
　　5）我们的推荐系统需要记录此页面的浏览历史记录，以正确跟踪此工作机会的受欢迎程度。
　　很快，仅显示机会的页面的逻辑变得复杂。当我们把这个机会也添加到移动端时，我们也不得不迁移逻辑，这增加了复杂性。诀窍是，在此页面上工作的工程师需要了解其他系统，以确保正确集成上述功能。
　　这只是一个非常简单的例子，在实践中，情况只会变得更加复杂。
　　事件驱动可以使这变得容易。负责展示机会的页面
　　只需要展示机会并记录一些与演示相关的因素，例如工作机会的属性、查看页面的人员以及其他有用的演示相关信息。页面不需要维护其他系统的知识和知识，例如推荐系统、安全系统、机会发布者分析系统、数据仓库等，所有这些系统只需要以订阅者的身份订阅事件，然后独立处理，而提供机会的页面不需要修改新的订阅者或消费者加入。
　　2.7 构建可扩展日志
　　分离发布者和订阅者并不是什么新鲜事，但日志系统很难确保多个订阅者可以实时处理消息，同时确保可扩展性。如果日志构建
　　速度不快、开销低且可扩展，那么在此日志系统之上构建的所有好处都消失了。
　　许多人可能认为日志记录系统在分布式系统中是一项缓慢而昂贵的工作，并且仅用于处理元数据等信息，类似于 ZooKeeper 更适合处理的内容。
　　但是LinkedIn现在每天在kafka中处理600亿次不同的消息写入（如果算上数据中心镜像，则为数千亿次写入）。
　　周杰伦兄弟，他们是怎么做到的？
　　1） 对日志进行分区
　　2） 通过批量读取和写入优化吞吐量
　　3） 避免不必要的数据复制
　　通过将日志切片为多个分区来提供可扩展性：
　　1）每个分区都是有序日志，但分区之间没有全局顺序。
　　2）将消息写入哪个分区完全由编写器控制，方法是根据某种类型的键（例如user_id）对其进行拆分。
　　3）拆分允许在不协调分片的情况下执行日志的附加操作，同时保证系统的吞吐量与Kafka集群的大小呈线性相关。
　　4）虽然没有全局顺序（实际上有成千上万的消费者或订阅者，讨论他们的全局顺序通常没有什么价值），但Kafka提供了一个保证，发送方以什么顺序向一个分区发送消息，以及消息从这个分区传递的顺序（以什么顺序，以什么顺序）。
　　5）每个分区按照配置的编号进行复制，如果一个领导节点挂起，其他节点将成为新的主节点。
　　6）一个日志，就像文件系统一样，线性读写模式可以优化，这样一个小的读写日志就可以组成更大的、高吞吐量的操作。卡夫卡在这件事上做得很艰难。批处理用于各种场景，例如客户端向服务器发送数据、将数据写入磁盘、在服务器之间复制数据、向消费者传输数据、确认提交数据等。
　　7）最后，Kafka对内存日志，磁盘日志和通过网络发送的日志使用非常简单的二进制格式，以方便使用各种优化技术，例如零拷贝数据传输。
　　许多优化技术结合在一起，允许您以磁盘或网络可以提供的最大容量读取和写入数据，即使内存已满也是如此。
　　2.8 日志和实时处理
　　你认为周杰伦提供了一种如此漂亮的方法来复制数据并复制它吗？
　　你！错！完成！日志是
　　流式处理的另一种说法，日志是流处理的核心。
　　2.8.1 什么是流处理
　　？
　　周杰伦哥认为：
　　1）流处理是连续数据处理的基础设施。
　　2）流处理的计算模型，如MapReduce或其他分布式处理框架，只需要保证低延迟。
　　3）批处理式数据采集模式导致批量式数据处理模式。
　　4）连续的数据采集模式，导致连续的数据处理模式。
　　5）杰伊哥讲解美国人口普查方式解释批处理。
　　在LinkedIn，活动数据和数据库更改都是连续的。
　　
　　批处理每天处理数据，类似于连续计算，将窗口设置为一天。
　　因此，流处理是一个这样的过程：
　　6）在处理数据时，有时间的概念，不需要维护数据的静态快照，因此结果可以以用户定义的频率输出，而无需等待数据集达到某个“结束”状态。
　　7）从这个意义上说，流处理是批处理的泛化，鉴于实时数据的普及，这是一个极其重要的泛化。
　　8）许多商业公司无法构建流处理引擎，通常是因为他们无法构建流数据采集引擎。
　　9） 流处理弥合了实时响应服务和离线批处理基础设施之间的差距。
　　10）日志系统，解决了流处理模式下的许多关键问题，其中最大的问题是如何在实时多订阅者模式下提供可用数据（流数据采集）。
　　2.9 数据流图
　　关于流处理最有趣的事情是它扩展了源的概念。
　　无论是日志、源还是事件，逐行数据记录都来自应用程序的活动。
　　但是，流式处理还允许我们处理来自其他源的数据，这些数据与提供给消费者的原创数据一样好，并且这些派生源可以收录任何级别的复杂性。
　　流处理任务应如下所示：从日志中读取数据并将输出写入日志或其他系统。
　　作为输入和输出日志，进程本身和其他进程连接起来形成一个图。
　　事实上，以日志为中心的系统允许您从组织捕获、转换和流式传输数据，作为一系列日志和写入日志处理的组合。
　　流处理程序不必很高：它可以是一个进程或一组进程，但可以提供一些额外的基础结构和支持，以便更轻松地管理用于处理的代码。
　　引入日志有两个目的：
　　1）确保数据集可以支持多个订阅者模式并且有序。
　　2）可以用作应用程序的缓冲区。这一点很重要，因为在异步数据处理过程中，如果上游生产者更快地生成数据并且使用者无法跟上，则要么阻塞该过程，要么引入缓冲区，要么丢弃数据。
　　丢弃数据似乎不是一个好的选择，阻塞处理进程会导致处理进程在所有数据流的处理图中卡住.log另一方面是一个大的、超大的、非常大的缓冲区，它允许重启处理进程，这样如果一个进程失败， 它不会影响流处理图中的其他进程。这对于大型组织扩展数据流至关重要，因为不同的团队有不同的处理任务，显然整个流处理过程不会因为一个任务中的错误而停滞不前。
　　Storm 和 Samza 就是这样的流处理引擎，它们都可以使用 Kafka 或其他类似的系统作为它们的日志系统。
　　（注：周杰伦哥哥挺凶悍的，卡夫卡在前，三轮在后。
　　2.10 有状态实时处理许多流处理
　　引擎是无状态的，一次一条记录，但许多用例需要在一定的时间窗口内进行复杂的计数、聚合和联接操作才能进行流处理。
　　例如，在点击流中，联接用户信息。
　　然后，此用例需要状态支持。在处理数据的地方，需要维护特定数据的状态。
　　问题是，在处理器可能挂断的情况下，如何保持正确？
　　在内存中维护状态可能是最简单的，但它不会承受崩溃。
　　如果状态仅在某个时间窗口内保持，则当发生挂起或故障时，则可以将处理直接重放回窗口的开头，但如果窗口长达 1 小时，则可能不起作用。
　　另一种简单的解决方案是将状态存储在远程存储系统或数据库中，但这会丢失数据的局部性并产生大量的网络往返。
　　回想一下上面提到的数据库中表和日志的双重性。
　　可以使用本地存储或索引来维护状态的流处理组件：
　　通过记录有关本地索引的更改日志，它用于在崩溃后还原状态。实际上，此机制还揭示了一种通用状态，该状态可以存储为任意索引类型，并与输入流同时进行共分区。
　　当处理过程崩溃时，它可以从更改日志中恢复索引，更改日志充当本地状态基于时间备份的某种增量记录的转换器。
　　这种机制也提供了一个非常优雅的能力：进程本身的状态也可以记录为日志，显然其他进程可以订阅这个状态。
　　结合数据库中的日志技术，对于数据集成的场景，你经常可以做非常强大的事情：
　　通过从数据库中提取日志并在各种流处理系统中为它们编制索引，可以联接不同的事件流。
　　2.11 日志合并
　　显然，不可能使用日志来记录全职和全职状态变化信息。
　　Kafka 使用日志合并或日志垃圾回收技术：
　　1） 对于事件数据，Kafka 只保留一个时间窗口（可按时间配置为天或按空间配置）。
　　2）对于键控更新，Kafka使用压缩技术。这种类型的日志可用于通过另一个系统中的重放技术重建源系统的状态。
　　如果全时保存日志，随着时间的推移，数据会越来越大，重放过程也会越来越长。
　　Kafka 不是简单地丢弃旧的日志信息，而是使用合并方法来丢弃过时的记录，例如消息的主键最近是否更新。
　　2.12 系统构建
　　2.12.1 分布式系统
　　日志，在数据流系统和分布式数据库的数据集成中所扮演的角色是相同的：
　　您可以将组织中的应用程序和数据流视为单个分布式数据库。
　　将面向查询的独立系统（如 Redis、SOLR、Hive 表等）视为特殊的数据顶级索引。
　　将 Storm 和 Samza 等流处理系统视为精心设计的触发器或物化视图机制。
　　各种数据系统，爆发式涌现，其实这种复杂性早已存在。在关系数据库
　　的鼎盛时期，公司或组织的光学关系数据库有很多种。显然，不可能
　　把所有东西都扔到Hadoop集群中，并期望它能解决所有问题。那么，如何构建一个好的系统，可能是这样的：
　　要构建一个分布式系统，每个组件都是一个小集群，每个集群可能无法提供完整的安全性、性能隔离或良好的可扩展性，但每个问题都可以（专业地）解决。
　　Jay认为，各种系统之所以爆炸式增长，是因为构建一个强大的分布式系统非常困难。如果将用例限制为查询等简单场景，则每个系统都有足够的能力来解决问题，但很难集成这些系统。
　　杰伊弟兄认为，未来构建系统有三种可能：
　　1）维持现状。在这种情况下，数据集成仍然是最大的问题，因此外部日志系统很重要（kafka！）
　　2）一个强大的（关系数据库，如辉煌的日子）系统似乎不太可能解决所有问题。
　　3）新一代系统大多是开源的，这揭示了第三种可能：数据基础设施可以离散化为一组服务，以及面向应用的系统API，每个都不完整，但可以专业解决专门的问题，其实现有的Java技术栈可见一斑：
　　从某个
　　从这个角度来看，构建这样的分布式系统就像某个版本的乐高。这显然与更关心 API 的最终用户没有太大关系，但它揭示了构建健壮系统并保持简单性的途径：
　　显然，如果构建分布式系统的时间从几年下降到几周，构建大型独立系统的复杂性就会消失，而这肯定是因为出现了更可靠和灵活的“构建块”。
　　2.12.2 登录在系统建设中的作用
　　如果系统受外部日志系统支持，
　　那么每个独立的系统都可以通过共享一个日志来降低自身的复杂性，Jay Ge认为日志的作用是：
　　1）处理数据一致性问题。可以通过序列化节点上的并发操作来实现即时和最终一致性。
　　2） 提供节点间的数据复制。
　　3）提供“提交”的语义。例如，如果您认为写入操作不会丢失，则为操作确认。
　　4） 提供外部系统可以订阅的源。
　　5） 提供在节点因故障而丢失数据时恢复或重建新复制节点的功能。
　　6） 处理节点之间的负载均衡。
　　以上可能是完整分布式系统中应该提供的大多数功能（Jay 确实喜欢 Log！剩下的就是客户端 API，构建索引等内容（如全文索引）需要获取所有分区，而针对主键的查询只需要提取分区中的数据。
　　（那剩下的就照顾好了，周杰伦哥哥！
　　该系统可以分为两个逻辑组件（这种强大的理解和力量）：
　　1） 日志层
　　2） 服务层
　　日志层以序列化和有序的方式捕获状态更改，而服务层存储外部查询所需的索引，例如，K-V 存储可能需要 B 树和稳定索引，而搜索服务需要倒排索引。
　　写入操作可以直接输入到日志层中，也可以通过服务层代理。写入日志会产生逻辑时间戳（日志索引），例如数字 ID，如果系统已分区，则服务层和日志层将具有相同的分区（但它们各自的机器编号可能不同）。
　　服务层订阅日志层，并在以
　　最快的速度顺序存储日志，并将数据和状态变化同步到自己的本地索引中。
　　客户端将获得读写语义：
　　通过携带写入任一节点（服务节点）的时间时间戳Layer 接收此查询，将时间戳
　　与其本地索引进行比较，如有必要，为了防止返回过期的旧数据，请推迟请求的执行，直到此服务节点的索引同步跟上时间戳。
　　服务层中的节点可能需要也可能不需要知道领导者的概念。在许多简单的用例中，服务层无法构建领导节点，因为日志是事实的来源。
　　还有一个问题是如何处理节点故障后的恢复。这可以通过在日志中保留固定大小的时间窗口同时维护数据的快照来完成。您还可以让 Log 保留数据的完整备份，并使用日志合并技术完成 Log 本身的垃圾回收。这种方法将服务层的大部分复杂性转移到日志层，因为服务层是特定于系统的，并且日志层可以是通用的。
　　基于日志系统，可以提供一套完整的API供开发和使用，可以作为其他系统的ETL数据源，供其他系统订阅。
　　全栈 ！ ：
　　显然，以日志为核心的分布式系统立即成为可以为其他系统提供数据加载支持和数据流处理的角色。同样，流处理系统可以同时使用多个数据流，并通过索引这些数据流然后输出它们来向外部世界提供服务。系统基于
　　日志层和服务层构建，使查询相关因素与系统的可用性和一致性脱钩。
　　也许很多人认为在日志中维护数据的单独备份，尤其是制作数据的完整副本，太浪费和奢侈，但事实并非如此：
　　1）LinkedIn的Kafka生产集群每个数据中心维护75TB的数据，应用集群比Kafka集群需要更高的存储空间和存储条件（SSD+更多内存）。
　　2）全文搜索索引最好全部加载到内存中，日志可以便宜使用，大容量磁盘因为它们是线性读写的。
　　3） 由于 Kafka 集群实际上以多订阅者模型运行，多个系统使用数据，因此日志集群的开销被摊销。
　　4）由于所有这些原因，外部日志系统（kafka或类似系统）的开销变得非常小。
　　2.13 结论
　　最后，周杰伦哥不仅大方地留下了大量有价值的学术和工程论文和参考链接，还虚心留下了这样一句话：
　　如果你做到了这一步，你就知道我对日志的大部分了解。
　　认为这篇文章对您有帮助吗？请与更多人分享
　　关注“进口新品”查看技术干货
　　解决方案:网站优化排名软件有哪些，seo优化必备的5种工具
　　2019年哪些工具可以辅助SEO网站优化？
　　很多公司在做优化的时候都想知道有哪些工具可以辅助优化？这是每个seo都会遇到的问题。哪些工具可以辅助优化？网站 可以排名更好吗？哪些工具可以经常使用 什么？下面小编就为大家详细讲解一下。
　　推荐几款专业的SEO网站优化工具？
　　SEO工具是搜索引擎优化的各种工具，如查询工具、排名工具、流量分析软件、站群软件等，善用各种工具可以节省大量时间，让SEO服务更轻松.
　　1.站长平台
　　
　　1：百度站长平台：百度站长工具提供Sitemap提交、死链接提交、网站安全检测、URL优化建议、百度索引查询等功能。
　　2：搜狗站长平台：搜狗站长工具提供Sitemap提交、匹配网站logo、域名更改、爬虫压力反馈、死链接提交、URL提交、收录索引量和关键词排名查询等功能。
　　3：360站长平台：360站长平台提供与上述两个站长平台几乎相同的功能，主要包括：数据提交、网站数据分析、网站保护和网站安全检测和其他功能。
　　2.SEO综合查询工具
　　1：爱站：一个非常好用的SEO网站优化综合查询工具，可用于查询百度权重、亲情链接、百度索引量、备案信息、关键词挖掘等信息。
　　2：站长工具：站长工具的功能和爱站差不多。这里值得一提的是，使用站长工具和爱站工具查询数据的结果有些不同。这是因为两个工具的数据计算不同是正常现象。
　　3：5118：5118是SEO网站优化师的必备工具，也是挖掘长尾词的最佳工具。通过此，您可以了解SEO数据的实时变化和关键词排名的具体趋势变化，指导关键词的建设。
　　拼多多的运营工具有哪些（揭秘拼多多营销工具攻略）
　　
　　免费推广工具有哪些（推广工具内部情况综合分析）
　　有哪些网络推广软件（好用工具分享）
　　微信推广软件有哪些（微信推广3款工具解析）
　　常用的ui设计工具有哪些（最好用的7款ui设计工具）
　　公众号文章排版工具有哪些（最实用的3款排版工具）
　　【本文标题及网址，转载请注明出处】网站优化排名软件有哪些，SEO优化必备的5个工具
　　内容更新时间（UpDate）：2022年11月18日星期五 查看全部

　　解决方案:opencart选项库存,magento2操作培训
　　Magento 模板：
　　Magento 模板有很多，包括付费和免费，这里有几个免费模板：F2、TitanyShop Katie、VES Dream、HandyStore、VESBAKEROP、Ebajes、HelloWired 等。
　　Magento 功能
　　
　　1、强大的产品属性组合。它可以支持任何类型的产品，无论你是卖服装、电器还是家具，Magento都可以完美支持产品的所有属性，并且可以灵活修改和管理。
　　2. 购物车价格规则。完整的逻辑关系处理，可以创建任意的优惠方式，让您轻松制定促销方案。
　　3.灵活的模板系统。允许您一键切换模板。动动手指即可更改所有 网站 页面的样式，包括电子邮件营销样式。
　　4.多店系统。它允许您配置多个在线商店和多个域名，但使用统一的管理控制台来节省您的管理时间和成本。
　　
　　5.完善的插件系统。可以灵活地为系统增减功能。无需修改现有代码，只需安装相应功能的插件即可实现。大大降低了新功能复杂的开发成本。
　　6.安全加密。Magento支持前后台数据SSL加密传输，支持后台权限分级控制，确保您的数据安全。
　　7. 企业应用集成。Magento 的WebService 开放API 系统可以与您企业的其他系统无缝集成。无论是ERP还是CRM，Magento都能保证数据的同步性和准确性，最大限度地提高您企业应用的效率。
　　通用解决方案:sdk
　　前言
　　埋点一般可以分为客户端埋点和后端埋点。因为客户端埋点更贴近业务，更直观，所以称为市面上主流的数据采集方式。对于iOS端的埋点，目前市面上主流的代码埋点和全埋点两种方案。其中，代码嵌入点是显式调用数据采集SDK提供的接口给采集数据，在采集能力上有比较大的优势，但需要额外开发和易用性相对欠缺；全埋点无需额外编写代码，使用方便快捷，但采集能力不足，兼容性问题较多。两种方案并无优劣之分，各有各的适用场景。根据市场需求，强烈推荐两种方案综合使用。
　　数据分析的一般流程是：
　　
　　因此，数据采集是分析和运行的基本来源。
　　一、数据采集SDK简介
　　Data采集 SDK一般需要收录两个基本功能：
　　1. 通过埋点采集采集数据
　　2. 将 采集 数据传输到指定的服务器。
　　
　　主流的埋葬方式包括三种：
　　1. 代码嵌入：应用集成嵌入SDK后，在程序启动时初始化嵌入SDK，然后在触发事件时调用嵌入SDK提供的方法触发事件。
　　2. 全埋点：无需编写应用程序或仅需编写少量代码，即可预先自动采集大部分用户行为数据，然后根据实际业务分析需求筛选出需要的数据进行分析。
　　3. 可视化埋点：在产品界面中以可视化的方式进行筛选，形成可视化的全埋点事件。
　　2.搭建SDK框架
　　1. 创建 Cocoa Touch 框架
　　第一步：启动Xcode创建项目，双击Framework &amp; library栏下的Framework项。
　　
　　第二步：填写Product Name相关信息，然后点击Next按钮，选择SensorsSDK Project的存放位置，点击Create按钮，Xcode会打开创建好的项目。
　　
　　
　　2.新工作区
　　第一步：依次点击File -&gt; New -&gt; Workspace（或者使用快捷键Control + Command -&gt; N），会出现如下弹框，将Workspace名称填写为SensorsSDK，点击保存即可SensorsSDK 项目的根目录。然后单击保存按钮，Xcode 将打开 SensorsSDK 工作区窗口。
　　
　　第二步：在当前的Sensors Workspace窗口中，将SensorsSDK Project添加到SensorsSDK Workspace中。（在 SensorsSDK 工作区窗口中单击文件 -&gt; 将文件添加到“SensorsSDK”，或使用 Option + Command + A 快捷方式）。
　　
　　此时SensorsSDK Workspace的目录结构如图：
　　
　　3.新建一个demo工程 查看全部

　　解决方案:个人开发者必备，API 快速生成工具
　　文章首发于微信公众号“GitHub黑板报”，欢迎大家关注。打开微信，使用“搜索”，搜索“GitHub Blackboard News”，即可关注。
　　大家好，我是章鱼猫。
　　
　　我们每天都有大量的静态数据，格式种类繁多，excel、csv、json、sqlite等，如果数据量不大，用默认的软件打开是没有问题的。但是只要数据量稍大一些，比如excel中几万条数据，用软件打开就会很慢，尤其是有时候需要做一些复杂的查询操作。还有一个不方便的地方就是，如果你想把这些静态数据开放给他人，或者自己开发一个前端展示网页，你需要为这些数据提供一个暴露的API。单独开发费时费力。
　　今天要推荐的一个工具roapi，可以快速为静态数据生成可读性强的开放API。其中，API查询形式支持多种类型，如rest API、SQL查询、GraphQL等。下图是工具roapi的整体交互流程图。
　　roapi工具主要分为四个部分，分别是查询层、查询计划执行层、数据层和数据返回层。大致过程是前端查询层会通过不同的查询方式在查询计划执行层生成不同的执行计划，最终对数据执行查询。将不同的数据格式统一抽象成单独的数据抽象层，以屏蔽不同数据格式的差异。
　　
　　使用 pip install roapi-http 安装并开始使用。下图是具体的使用方法，可以说是非常简单方便了。
　　有关更多项目详细信息，请参阅下面的链接。
　　开源项目地址：
　　事实:帆软填报增加记录提交成功后没有_报表工具不可或缺的数据填报功能
　　【概括】
　　在实际业务场景中，报表工具不仅仅是用来展示数据，还可以满足用户各种数据填写需求。润干报表工具的数据填写功能更加强大：
　　1.不仅支持演示，还支持数据录入。
　　2.数据录入可独立来去，来去自如。
　　3、网页录入可实现数据合法性校验和自动计算。
　　4.结合集算器，可录入任何数据源。
　　去甘学院了解一下：报表工具不可或缺的数据填充功能
　　复制摘要
　　BI软件市场越来越热闹，但这也给软件用户带来了“选择恐惧症”。在看似功能相似的情况下，用户会把目光转向哪个软件更酷、更方便、更容易上手。但其实BI系统中需要的实用功能还是有很多的，就像本文介绍的数据录入一样，即使不在BI常规意义上的分析和呈现的范围内，也是一个在业务流程中的重要初始环节，如果录入人员能够按照格式清晰、含义明确的形式进行录入，将对数据的有效性和完整性有很大的帮助。
　　既然报表是表格，而表格是可以填写的，那么用户自然希望报表能够支持填写。使用报表填写和输入各种业务数据。例如通过销售合同表录入新合同，通过员工信息表录入新员工信息。操作自然，意思清楚。是挣钱养家、居家旅游必备的功能。但是很多BI类的报表工具是不支持填表的，处理需要填表或者修改的表格非常麻烦。
　　现在好了，用了润干的报表再也不用担心了，除了高端的大屏显示功能，炫酷的统计图表，移动端随时随地查看报表，秒出大报表，导出打印一口气等等等等，润干报表还有一个强大的功能：数据填写。
　　数据填写功能的载体称为填写表格。润干填表可以满足各种填表需求，无论标准还是复杂，设计过程简单高效。
　　
　　1.数据呈现和录入的多样性以网格格式填写报告
　　这种表格填写类似于纸质注册过程。数据记录以列表的形式垂直列出。一条记录是一行。
　　· 基于行的表单填写
　　在报表应用中，有时不仅仅是修改数据或在空白处输入数据。很多时候，我们可能还需要在显示的数据中插入新数据和删除数据。这时候，基于行的报表填充是最好的选择。
　　在润千报表中，添加行、插入行、删除行可以一次完成。
　　· 填写自由格式
　　以上两种报表显示时，会同时显示多条用户数据，在某些情况下是不合理或不方便的。尤其是为了数据含义的直观性和页面的美观性，需要将一条记录设计成多行多列的形式。这种填表称为自由填表。
　　同时，您还可以在填写报表时使用参数模板查询定位具体数据。
　　· 多源报表填写
　　在实际应用中，经常会出现填写报表的一条数据需要同时保存在多个物理表中，并且需要多个表之间的数据库事务一致性。这种报表填写称为多源报表填写。
　　比较常见的多源报表是主子报表，通过它把用户输入的数据同时存储在多个物理表中。传统报表工具遇到这种报表填报，因为要保证一致性，只能通过编程来实现。而在润钱报表中，使用润钱报表的填充模型，无需编程即可轻松实现。
　　
　　比如下面的主分表，上层数据来自订单表，下层数据来自订单明细表，填写后一起提交更新到对应的数据表。
　　· 填表组
　　在很多业务系统中，还需要同时编辑多个报表，然后批量提交到数据库，或者批量导入/导出excel等等。这种多表同时填表的功能称为一个填表组，例如：
　　订单：
　　订单详细信息：
　　2.数据处理
　　在润干填表的数据处理部分，数据源和数据去向分别配置，很容易实现数据来来去去的自由和无关性，从而支持以下甚至更多的使用场景：
　　3、填表智能设置及数据合法性校验
　　为了保证信息准确地存入数据库，填写报表往往需要在进入客户端页面时进行合法性检查，比如检查输入的是否为数字，是否符合规定的格式或数据范围，等等。这可以通过设置单元格验证属性和编辑验证表达式来验证。
　　比如工资填写表（H3）要求填写的数据在3000到10000之间，那么可以设置单元格的校验表达式为：H3&gt;=3000&amp;&amp; H3 查看全部

　　解决方案:收集我对 API 发现的想法
　　我正在尝试将所有 API 发现体验加载到我的脑海中，以便进行一些即将到来的对话。因此，我坐下来总结了迄今为止的 API 发现研究，以帮助我重新记住发生了什么以及我们是如何走到这一步的。API 发现是 API 领域中我个人致力于帮助推动事情向前发展的少数几层之一，能够看到所有移动部分一起帮助我继续这样做。让我们回顾一下我对过去 15 年 API 发现演变的记忆，这样我就可以更连贯地与不同的人谈论所有这些。
　　可编程网站
　　Programmable Web 是第一个能够发现 API 的来源，到 2020 年，它仍然是您寻找 API 的地方。ProgrammableWeb 在过去十五年中没有太大变化，除了所有者和运营商以及网站外观和感觉。它仍然是您查找新 API 和现有 API 的地方，也是您在 Google 时查找 API 的地方。
　　我对为 ModerableWeb 写作有着美好的回忆，它 网站 对我来说仍然是一个重要的信息来源，但我很沮丧 PW 多年来没有以任何有趣的方式推进 API 发现对话。我只是认为这是一个错失的机会，并且在 API 领域反映了很多，我认为这阻碍了我们所有人。
　　混搭 -&gt; Express API
　　在可编程 Web 之后，API 世界的下一个演变是 MASHAPE，现在称为 Rapid API。API市场诞生于API管理时代，提供基础管理功能和API发现服务。提供一组非常丰富的 API，您可以使用 Quick API Marketplace 搜索和加载这些 API。
　　Marshall 和 Fast API 无疑推动了 API 发现对话，但就像可编程 Web 一样，它就此止步。当谈到 SEO 游戏时，RapidAPI 肯定会与可编程网络竞争，但除了简单 API 市场的基础知识之外，RapidAPI 确实没有太多东西——这很好，但我一直在瞭望台向前移动。
　　美国联邦政府 Data.json 索引
　　接下来，我将绕道而行，但我保证它与 API 发现有关。2013 年，我进入奥巴马政府工作，致力于帮助联邦机构使用 API 发布其公共数据资产。我在退伍军人事务部工作，但也花时间与其他机构合作，按照总统的授权在 15 个执行机构的 网站 域的根目录中发布所谓的 data.json 文件 - 你仍然可以找到今天可用的 15 个文件。
　　我已经设置了一个工作区来提取所有 15 个 data.json 文件，我正在研究它们以查看已发布的内容，并查看我在 2013 年开始的工作的状态。作为这项工作的一部分，我学到了很多关于数据发现的知识以及在大型官僚机构中进行数据发现的实际情况，这是我在参观后带回家的东西，并开始将我想看到的应用到主流 API 发现中。
　　APIIs.json / APIs.yaml
　　离开华盛顿特区后不久，我与 Steve Wilmott 合作从 3Scale 创建了一种名为 API.json 的新 API 发现格式。与 data.json 文件一样，API.json 将为 API 提供一种发现格式，但我会改进以更好地适应我认为需要的格式，以帮助推进政府内外的 API 发现对话。提供一种索引单个 API、API 集合、工作流和其他我们发现 API 并使它们自动和手动工作所需的方法的方法。
　　我即将将该规范推入下一个版本，并将继续致力于规范的发展。我有超过 40K 个 API.json 文件，用于我确定拥有 API、正在使用 API 或怀疑拥有 API 的公司、组织、机构和政府机构。随着我继续扩展我抓取和发现 API 的方式，我将继续尝试遍历列表中的每个条目。
　　APIs.io
　　当我们推出 API.json 时，我们也推出了第一个 API 搜索引擎。我们希望实施 API 发现规范，以展示推动 API 提供商了解更多信息并开始发布规范作为其运营一部分的潜力。APIs.io 还开始轮询其索引的 API.json 文件的更新，并开始考虑如何搜索新文件。使其成为第一个 API 搜索引擎，允许您在搜索 API 的同时以自动方式查找更新和扩展目录。
　　遗憾的是，我知道 APIs.io 没有得到维护。人们仍在向它添加 API，但如果 网站 出现故障，我想没人能回家让它恢复运行。网站 在 Red Hat 收购 3Scale，然后 IBM 收购 Red Hat 的洗牌中迷失了方向。虽然 网站 不是 API 发现对话的活跃部分，但它仍然在塑造讨论中发挥作用。
　　接口规范
　　
　　随着可编程 Web、RapidAPI 的发展以及 API.json 和 APIs.io 的引入，出现了各种有助于改进 API 生命周期的规范，这些都有助于使 API 更加有形并最终被发现。这些 API 规范中的每一个都使查找 API 变得更加容易，无论您是在 Web 上、通过 Github 还是在本地网络的某个地方查找它。
　　在 API 发现方面，API 规范提供了一个非常关键的构建块。这些机器可读的规范描述了 API 的表面区域，同时提供了标题、描述和其他有助于使 API 更容易被发现的元数据。将 API 规范组织到市场、目录或中心将是 API 发现对话中的下一个明确步骤。
　　炫耀
　　在 Smart Bear 将 Swag 作为 OpenAPI 放入 Linux Foundation 后，他们启动了 Swag Hub 以帮助 API 提供商发布他们的 OpenAPI，使它们可供发现。正如它所说，该平台提供了一个 swag 中心，现在是 OpenAPI。允许开发人员发布和搜索不同类型的 API，同时还能够在整个 API 生命周期中使用它们进行编辑和编排。
　　SwaggerHub 绝对是一个 API 发现解决方案，但它从一个非常不同的位置关注它。它更多地是关于编辑和设计 API，然后使它们在 API 生命周期的多个站点可用，包括发现。以领先的 API 规范为基础，但重点关注如何在整个 API 生命周期中使用它。
　　API大师
　　与 SwaggerHub 类似，API.guru 中出现了另一种更开源的方法，它也聚合了 Swagger 和 OpenAPI 定义，但作为一个 GitHub 存储库，在其上构建了一个简单的搜索 网站。为一些最著名的 API 提供丰富的 OpenAPI 定义目录。提供一个单一位置，您可以在其中下载或分叉 OpenAPI 以获取各种 API，使搜索变得非常简单。
　　我喜欢 API.guru 的方法。Github 上的 API Discovery 对我来说很有意义。GitHub 不仅仅是管理代码，还提供了丰富的功能，可以使用 OpenAPI 等规范来推广不同的 API。您可以分叉整个 API.guru OpenAPI 目录，使其成为一个非常便携且可分叉的 API 发现解决方案，您可以在任何地方运行。
　　邮递员网络
　　当所有这些其他事情发生时，Postman 发布了他们自己的 API 目录，称为 Postman API 网络。提供由 Postman 自己的 API 规范定义的不同 API 的列表，称为集合。Postman 用户可以将自己的采集发布到 API Network，消费者可以通过分类浏览 API，或者通过关键字搜索 API。
　　使用最新版本的 Postman 平台，您现在可以在发布工作区中找到由 OpenAPI、RAML 或 GraphQL 定义的 API，以及集合、监视器、模拟服务器和其他组件。想想 Github 存储库，但专为 API 设计。此外，还开发了对 Postman 网络的搜索，以更详细地了解公共 API 以及您在个人或团队工作区中私下使用的 API。
　　更多接口目录
　　然后，我们开始看到更多 API 目录和弹出目录。最终消失的不止这些，但这显示了已出现的 API 发现解决方案类型的一个很好的横截面——帮助我们所有人在我们的应用程序中找到我们需要的 API。
　　大多数 API 目录都会启动，然后在休眠或完全消失之前收到一波又一波的更新。我自己创建了几个目录，只有在它们过时时才删除它们。保持 API 目录的最新和最新是一项大量的工作，而且确实没有多少钱可以做——至少现在还没有。
　　有目的的 API 发现
　　最近，我们开始看到新一波 API 发现解决方案的出现，但这种解决方案不仅仅是寻找 API。它是关于寻找 API，以便您可以解决其他一些更紧迫的需求，例如安全性或合规性。这里有一些新颖的方法来寻找 API，帮助我们理解我们越来越依赖的非常抽象和无形的基础设施，这些基础设施在我们周围呈指数级增长。
　　您会明白为什么我们需要发现这里展示的整个 API 产品组合。我觉得仅仅搜索 API 不足以将 API 发现提升到一个新的水平。我们需要其他原因来发现我们周围出现的 API 基础设施。API 的增长速度通常如此之快，以至于我们跟不上文档和其他更传统的查看和发现 API 的方法。
　　只是谷歌它
　　事实上，大多数 API 都是通过简单的 Google 搜索发现的。我认为这将永远成为现实，我认为谷歌将继续投资帮助我们找到我们需要的 API。然而，这只会帮助我们找到我们正在寻找的公共 API。我们需要能够帮助我们找到我们的公共 API 以及我们所依赖的私有和合作伙伴 API 的解决方案，这些 API 无法通过 Google 搜索发现。
　　
　　享受寻找新 API 的乐趣
　　事实上，定期引入新 API 的方法并不多。您可以通过阅读 tech crunch、调整到 Twitterverse 或 Reddit 的正确部分来学习新的，但我会说产品搜索。你也可以听听ProgramambleWeb，用新API的不断滴灌来引入新的API，但我最终还是希望有更多的方式来引入API，但这可能是最不可能变现的方式。
　　进一步的发现语义
　　本次讨论的另一层是一些机器可读的构建块，它们可以帮助我们更好地描述我们通过 API 提供的资源，从而推动如何通过 Google 和其他搜索引擎发现 API。有多种方法可以标记、添加元数据和提供更多详细信息，以帮助默认情况下使我们的 API 更容易被发现。
　　所有这些构建块的挑战在于，它们需要大量工作才能添加到我们的每个 API，而且 API 提供商不太可能抽出时间来这样做。因此，服务和工具提供商需要使用通用元素（例如 JSON-LD 和其他丰富的格式）标记内容和扩充 API 定义，以帮助我们了解我们提供的数字资源和功能。
　　车道工程 API 发现的巅峰之作
　　多年来，我曾多次尝试提供 API 发现解决方案，而 API.json 直到最近才开始再次向前发展。我有一些其他的解决方案来来去去，最近的演变是我构建的内部平台的一部分，我简称为 Laneworks。这项最新投资是关于 API 发现和在网络上寻找新的和有趣的 API 并投资它们以收录在目录中。
　　我将停用用于自动发现 API 的 Laneworks 方法的 v1，并且我正在重新设计它以在公共工作区中运行。我将我的几千个 OpenAPI 和生成的集合移动到几千个公共工作区。然后，我会将这种自动化重新设计到 Postman 集合中，这些集合作为监视器按计划运行，允许我按工作区发现、收获、解析、排序和组织以进行发现。当我拥有它时，它往往会发现很多有趣的 API，这些 API 可以很容易地编目，但对抛光和可用性的最后润色总是需要时间，这是我过去从未有过的——谁知道未来会怎样。
　　新的 API 发现工具
　　我把它放在最后是因为它是几周前才发生的，但它是 API 发现对话取得进展的一个非常有希望的迹象。它是一种新的开源发现解决方案，是我见过的最先进的开源方法，可帮助发现公共和私有 API。
　　我一直想知道为什么 Google 没有加入 API 发现游戏。他们拥有搜索市场，并且他们已经为他们的 API 堆栈提供了一个发现解决方案，但这种开源方法显示了更多的潜力。我仍然需要使用 Google API Registry 来了解它的作用，但我认为它非常重要，可以收录在这个 API 发现叙述中。
　　要问的重要问题
　　到目前为止，API 发现的最大挑战是需要解决很多方面的问题。这不仅仅是关于搜索或发现 API。这是关于被发现。这是关于你如何描述你所做的事情。这取决于你是谁以及你的动机是什么。我问了几个问题来帮助我理解 API 发现对话的多个维度，这样我就可以看到一切。
　　这些问题的答案将随时改变 API 发现的状态。还有许多其他事情需要考虑，但这些领域反映了我多年来看到的混淆 API 发现水域的常见方式。很难真正提供一个简单的解决方案或向人们解释它的全部内容。老实说，我需要定期检查发生了什么，并定期刷新，这样我才能理解一些东西。有时我觉得在 API 发现方面没有发生任何事情，但是一旦我像这样进行刷新，我就会意识到发生了多少事情——它只是渐进式的。
　　接口发现驱动程序
　　既然我已经把所有这些都记在脑子里了，我想想想是什么推动了 API 发现。我想了解为什么人们想要发现 API，为什么拥有 API 的人想要发现它们，以及是什么促成了这些搜索。我希望了解生命周期 API 发现中最需要的地方。通过这个 文章，这里是我正在考虑的不同元素，因为我试图了解我们在 2021 年的 API 发现方面所处的位置。
　　在写更多之前，我必须孵化这些元素。API 发现当然不仅仅是将 API 组织到目录中并提供搜索机制，但我仍然不确定 API 发现的下一个演变是什么。当我认为在过去十年中 API 发现没有发生任何事情时，我肯定感觉好多了——发生了很多事情。与往常一样，在 API 领域，诀窍始终是将所有内容放在一起并阅读茶叶以弄清楚发生了什么，并考虑 API 发布者和消费者的需求 - 这就是本博客 文章 的所有内容。
　　我总是怀疑我对 API 发现的看法。我是 API 的分析师、发布者和消费者。我也沉迷于 API。这让我在寻找 API 时完全不同。我认为普通的业务人员或技术人员并不关心 API——他们只是想在他们自己的世界里完成事情。我认为搜索是 API 发现的核心，但还有许多其他机制在起作用，这些机制将使该搜索与不同参与者的整体组合相关或不相关，这些参与者通常对为什么要查找 API 或找到他们的原因有相互竞争的动机应用程序接口。最后，我认为 API 发现的默认模式仍然只是“google it”。我不确定这是否更多地是关于网络搜索和发现而不是 API 发现，或者是否有更深层次的问题需要考虑。反正，
　　参考资料： apievangelist
　　解决方案:10款国内外常用的SEO优化工具
　　优秀的SEO关键词排名工具会让你的SEO优化更有效，作为一个SEOer，你不仅要知道如何网站优化，还要知道如何使用SEO优化工具来加快网站优化的过程。今天， 推荐了十个实用网站SEO优化工具，希望对大家有所帮助。
　　1. 搜索引擎抓取内容模拟器
　　它可以模拟蜘蛛抓取特定网页，包括文本、链接、关键字和描述
　　2. 页面相似度检测工具
　　检查两页的相似度（如果相似度超过80%，可能会受到处罚）。
　　网站地图制作工具
　　1. 在线制作小网站地图文件
　　2. 使用工具制作中型网站地图
　　这是一个非常好的免费网站地图制作工具：站点地图生成器
　　官方下载地址：
　　
　　四、SEO优化辅助工具
　　中国切（）。
　　5. 百度指数
　　显示注意和
　　指定关键词的媒体关注以图表的形式在百度中，登录后可以定义列表。
　　6. 关键词热门排名和指数
　　百度排行榜：
　　序曲关键词工具：
　　7. 网站站长工具
　　1. 搜索引擎优化站长工具：
　　2. 爱站工具：
　　
　　3. 站长助手：
　　8. 网站流量统计工具
　　1. 百度统计：
　　2. CNZZ数据专家：
　　*它是每个网站随时监控自己网站流量的必备工具
　　9. 无效的链接检查工具
　　1、赛努链接侦探（）
　　2、W3C 智能检查器（）
　　10. 网站历史查询工具
　　互联网档案馆保存了自1996年以来使用Alexa搜索引擎获得的网站材料
　　以上就是 分享的十个SEO优化工具，都非常实用，可以加速你的网站SEO效果。 查看全部

　　解决方案:前端开发app，关于apicloud与dcloud的我的一些看法
　　在过去的几个月里，我学习了一些新技术，使用前端制作了几个移动应用程序，还学习了一些关于 java 和 android 开发的知识。经过对比，我发现使用前端开发app的学习成本与原生开发app相比。时间真的很短，很方便。
　　我第一次做应用程序时，我使用了 apicloud。我觉得使用这个平台开发应用程序真的很容易上手。我只花了一个上午学习就开始开发自己的项目。创建应用时，可以选择多个模板，文档易于查看，功能也足够丰富。
　　模块很多，使用起来非常方便。第一次做app，我用微信、微博、QQ登录分享、支付宝和微信支付、高德地图定位、极光推送这些模块来实现想要的功能。（貌似公司第一次实现了push功能，默默的给自己点赞和鼓励。平台官方推荐的vue框架也是我非常喜欢的一个框架。在做整个app的过程中，基本没有原生js操作，dom树的行为，所有功能都是通过数据绑定的方式实现的比如execScript方法，可以很方便的执行其他页面的功能，
　　
　　五一假期，我很感兴趣，花了一个下午开发了一个粗糙的应用图灵聊天机器人来玩。
　　用apicloud完成app后，再学习dcloud，开发下一个app。与apicloud相比，dcloud的体验让我更不舒服。dcloud 文档大部分是 mui 文档和 plus 文档。因为我还是想用vue框架，所以在开发过程中出现了很多问题。vue框架mounted生命周期开始时执行的事件与dcloud的plus ready事件冲突相同，导致页面加载顺序问题。当页面刚打开时，页面中会出现vue的{{}}双括号。一些样式的mui也和自己的页面有冲突，这使得android ios手机出现各种问题。有些功能实现起来比较复杂，有的甚至需要了解原生的java和android开发语言，然后使用js调用开发。个人dcloud体验比较差，这也可能是我技术水平还比较低的原因。
　　接下来总结一些我认为apicloud优于dcloud的方法和优势。
　　1.上拉加载下拉刷新。在aplcud中实现比dcloud方便很多，文档也很详细。
　　2.页面加载、跳转、重新加载和刷新，页面一些惯性效果的实现。
　　3、分享方面，dcloud只有微信、新浪、微博分享，QQ和腾讯微博分享的两个例子。apicloud 在实现上没有自由。
　　
　　4. 支付。dcloud的支付需要将原生sdk放入并引用。由于甲方的背景，目前还没有实现。apicloud的支付实现起来很简单。
　　5. dcloud 在部分安卓版本较低的机型（如安卓4.4）上不支持es6语法。
　　6、dcloud的生态环境不如apicloud。如果你在社区提出问题，apicloud 可以很快得到答案并解决它，但在 dcloud 社区中存在问题。
　　7.对于框架支持，我用vue比较多，在apicloud上比较完美。
　　8. dcloud上还有一些问题没有解决。根据文档，据说DOM节点过多时会出现问题。
　　9、dcloud中mui框架的一些方法还是需要在dom节点上操作，这和vue的概念有冲突。作为一个重度vue用户，原生js不熟悉dom节点的操作，开发过程中有数据绑定。拥有原生 js 似乎有点不和谐和不舒服。
　　我暂时想到了这些问题。如果不是业务需求，我更倾向于apicloud。下一个项目，甲方仍然需要使用dcloud进行开发。希望在接下来的开发中，能学到更多的知识，找到dcloud。很棒的地方。
　　解决方案:腾讯云微服务引擎 TSE 10月产品动态
　　十月动态云原生网关
　　【新特性】Kong网关支持弹性伸缩：Kong会根据系统指标（CPU利用率）自动扩容和缩容，可以配置弹性伸缩策略，Kong会自动伸缩节点。
　　【新增功能】Kong网关支持使用Kong Ingress Controller：Kong可以在线使用Kong Ingress Controller能力，方便接入你的腾讯云容器集群。
　　【新增功能】Kong网关支持高级限流：Kong推出了高级限流插件，支持分布式限流和多时间多资源维度的请求排队。
　　【新特性】Nginx Ingress 支持使用原生 YAML 创建 Ingress 资源： Ingress 新流程优化，支持 YAML 和表单两种方式上传。
　　【新功能】Nginx Ingress 支持域名管理和证书管理：Nginx Ingress 支持管理你的域名和证书。
　　注册配置中心
　　【迁移能力】 Nacos 双注册双发现工具支持 Nacos Client 2.1.0 版本。
　　
　　【新增功能】Nacos 2.1.0.x 版本支持grpc认证。
　　【新体验】修复开源Nacos各节点订阅数据不同步的问题。
　　【新增功能】Eureka支持公网访问白名单：为了您的访问安全，可以在开启公网访问时配置IP白名单。
　　【新增功能】Eureka支持客户端认证：在参数配置中，支持开启客户端认证功能，设置用户账号密码。
　　【新功能】Apollo支持修改管理员密码和Token。
　　【商业化】新增法兰克福、东京、硅谷地区。
　　服务管理中心
　　【新特性】支持通过XDS v3标准协议访问官方开源的Envoy。
　　【新增功能】新增分布式限流能力，助您轻松应对流量高峰。
　　
　　【新增功能】新增对自定义路由规则的支持，帮助您更好地实现灰度发布等场景。
　　【新功能】增加附近的访问能力，以帮助减少您的网络延迟。
　　弹性微服务
　　【新特性】弹性微服务增加查看资源原生YAML功能的支持。
　　【新特性】弹性微服务支持通过标签进行资源管理、权限配置和基于标签的计费管理。
　　【新特性】弹性微服务新增日志抽取方式，支持在log采集规则中配置JSON、单行完全正则和多行完全正则抽取模式。
　　11月，宣布云原生网关Kong将支持根据TCP连接数进行弹性伸缩，帮助您更好地应对流量高峰。云原生网关 Kong 即将支持断路器，有效保护您的后端服务。云原生网关 Kong 即将支持高级参数重写功能，您可以使用运行时变量来重写请求/响应参数。云原生网关 Nginx Ingress 即将支持自定义日志格式。您可以根据需要配置日志格式内容。云原生网关 Nginx Ingress 即将支持直连弹性微服务引擎，简化您的使用。注册与配置中心注册与配置中心即将支持Prometheus监控，提供更多维度、更精细的可观察性能力，帮助您及时发现业务问题。注册配置中心支持日志服务CLS，提供持久化日志存储和多种采集模式配置。Nacos新增迁移功能：即将加入迁移工具的产品化能力，让您轻松将自建注册中心迁移到云端。Nacos新增监控概览：支持查看关键系统和业务指标以及配置告警。Nacos 2.1.0.2 支持配置多个灰度发布。服务治理中心支持SpringCloud+eureka/nacos/consul应用无缝迁移到Polaris（javaagent）。服务管理中心即将支持接口级熔断。Polaris 控制台将很快支持用户操作记录。弹性微服务 弹性微服务即将推出，采用按月预留的优惠券计费模式。您可以通过预付费以更优惠的价格使用弹性微服务。弹性微服务将很快支持权限管理功能。您可以通过控制台管理业务中不同角色的资源和操作权限范围。弹性微服务将很快通过使用 K8s 来支持资源管理。您可以通过编辑 YAML 文件来管理弹性微服务中的资源。弹性微服务将增加更多弹性规则指标。您可以通过CPU、内存、网络、硬盘相关指标设置和应用弹性伸缩策略。弹性微服务 弹性微服务即将推出，采用按月预留的优惠券计费模式。您可以通过预付费以更优惠的价格使用弹性微服务。弹性微服务将很快支持权限管理功能。您可以通过控制台管理业务中不同角色的资源和操作权限范围。弹性微服务将很快通过使用 K8s 来支持资源管理。您可以通过编辑 YAML 文件来管理弹性微服务中的资源。弹性微服务将增加更多弹性规则指标。您可以通过CPU、内存、网络、硬盘相关指标设置和应用弹性伸缩策略。弹性微服务 弹性微服务即将推出，采用按月预留的优惠券计费模式。您可以通过预付费以更优惠的价格使用弹性微服务。弹性微服务将很快支持权限管理功能。您可以通过控制台管理业务中不同角色的资源和操作权限范围。弹性微服务将很快通过使用 K8s 来支持资源管理。您可以通过编辑 YAML 文件来管理弹性微服务中的资源。弹性微服务将增加更多弹性规则指标。您可以通过CPU、内存、网络、硬盘相关指标设置和应用弹性伸缩策略。弹性微服务将很快支持权限管理功能。您可以通过控制台管理业务中不同角色的资源和操作权限范围。弹性微服务将很快通过使用 K8s 来支持资源管理。您可以通过编辑 YAML 文件来管理弹性微服务中的资源。弹性微服务将增加更多弹性规则指标。您可以通过CPU、内存、网络、硬盘相关指标设置和应用弹性伸缩策略。弹性微服务将很快支持权限管理功能。您可以通过控制台管理业务中不同角色的资源和操作权限范围。弹性微服务将很快通过使用 K8s 来支持资源管理。您可以通过编辑 YAML 文件来管理弹性微服务中的资源。弹性微服务将增加更多弹性规则指标。您可以通过CPU、内存、网络、硬盘相关指标设置和应用弹性伸缩策略。弹性微服务将增加更多弹性规则指标。您可以通过CPU、内存、网络、硬盘相关指标设置和应用弹性伸缩策略。弹性微服务将增加更多弹性规则指标。您可以通过CPU、内存、网络、硬盘相关指标设置和应用弹性伸缩策略。 查看全部

　　解读:再谈 API 的撰写 - 总览
　　背景
　　去年我写了一篇文章 文章：编写合格的 REST API。当时，Juniper 在德州裁掉了我们十多人的团队。在过去的六个月里，该团队中有一半人一直在研究 REST API。当我接手工作时，我发现那些 API 写得很业余，没有考虑几个基本的 HTTP/1.1 RFC（2616、7232、5988 等）的实现，所以我花了一些时间重写并写了 文章。
　　从今天来看，我当时搭建的系统也有很多问题，很多API之外的问题都没有考虑：
　　理想情况下，一旦编写了 API，它应该能够自动生成文档和测试用例，并且 API 系统还应该提供一整套用于生成指标的统计 API。默认情况下，API 系统本身应该采集很多指标，例如每个 API 的响应时间、状态码等，使用 collectd/statd 来采集信息，并可以进一步发送给 datadog/new relic 等 APM 系统。
　　在 adRise，我们有一个运行了几年的 API 系统，不符合 RFC，（几乎）未记录，（几乎）未测试，（几乎）未监控，最糟糕的是，它既不具备开发效率，也不具备高运营效率。所以，在过去的一两个月里，我领导了一个全新的 API 系统的开发。
　　目标
　　在建立一个新的系统之前，我们需要建立一些目标。以下是我在设计 API 时写下的一些目标：
　　其中，内省收录两层含义：
　　选择
　　有了以上目标，下一步就是进行技术选型。技术选择不能独立于团队来完成。如果我个人选择基础语言和框架的话，我可能会选择基于 Erlang/OTP 的 Phoenix，使用 Elixir 开发的 Phoenix，或者干脆使用 Plug（Phoenix 的基石）。因为 Plug/Phoenix 通过组合构建管道的方式符合我的思路，Elixir 对宏的支持以及 Erlang 语言核心的模式匹配使得路由等子系统高效、简洁、美观，而 Erlang/OTP 在高并发下具有健壮性又是一个 API 系统努力的方向。
　　但是，我需要考虑团队的实际情况。在 adRise，我们使用 node.js 作为后端的主要技术栈（以及一些 PHP/Python/scala），所以 API 系统最好基于 node.js 来完成。node.js下适合写API的框架有很多，比如express、restify、hapi、loopback、sails.js等，综合回顾了这些框架后，我选择restify有三个原因：
　　事实证明，这是一个相当不错的选择。
　　基本框架设置好之后，接下来就是选择核心组件了。第一个是验证器。很多人在搭建系统的时候不关注验证者，或者没有统一的视角去看待验证者，这样不好。任何系统的运行环境都是一个肮脏的世界，到处都是鬼、鬼、污；而我们希望系统本身是清净的，是极乐净土，我们该怎么办？
　　简单、干净的输入和输出。对于 API，允许使用哪些标头、正文和查询字符串？什么样的响应机构有资格？这需要明确定义。所以我们需要一个合适的验证器。如果说选帧就像Shiro的选秀姑娘，换飞燕手会让你眼花缭乱，选择validator就像姜维的观点。看来只能用王平和廖化了。在github上逛了半天，最后只能用joi和json schema。
　　json schema其实很好用，非常接近各种API工具的schema（swagger直接使用json schema），可惜太冗长了，让程序员写这个有点太冗长了：
　　{
"title": "Example Schema",
"type": "object",
<p>
"properties": {
"firstName": {
"type": "string"
},
"lastName": {
"type": "string"
},
"age": {
"description": "Age in years",
"type": "integer",
"minimum": 0
}
},
"required": ["firstName", "lastName"]
}</p>
　　而joi是hapi提供的validator，界面非常人性化，同样的schema，描述的代码量只有前者的1/3：
　　joi.object().keys({
firstName: joi.string().required(),
lastName: joi.string().required(),
<p>
age: joi.number().min(0).description(&#39;Age in years&#39;),
});</p>
　　而且它还可以很方便的将输出（当然需要各种适配）反向输出为json schema。输出为 json 模式有什么好处？可以用来生成swagger doc！swagger 是一种 API 描述语言，它定义了客户端和服务器之间的协议。swagger doc 可以生成 API 文档和测试 UI，例如：
　　在接下来的 文章 中，我将详细介绍 swagger。
　　让我们再看看ORM。经常使用 express 的同学应该明白，express 本身并不会过多地干扰您访问数据的方式。任何人都可以根据自己的需要使用自己需要的数据访问方式：可以是raw db access，也可以是ORM。在团队中工作时，这种灵活性会受到伤害。它使每个人都可以轻松地编写风格非常不一致的代码。而且，数据库写入和读取数据的规范化也将在没有 ORM 的情况下带来好处。大量的临时代码。因此，尽管带有所有臭名昭著的 ORM，我还是想在涉及数据访问的级别使用 ORM。
　　我们系统的数据库是异构的。因此，只对一种类型的数据库有效的纯种 ORM，例如 Mongoose / Sequelize，是不适合的。最好的选择是接口支持多种不同的数据库。当需要特殊查询或者操作时可以切换到原生的ORM。这样，工程师的效率和系统的效率就达到了平衡。在 node.js 下，这样的 ORM 并不多，似乎只有 waterline 可用。waterline 是sails.js 的开源ORM，支持多种数据库的混合使用。在各个数据库无法统一的操作界面上（比如mongodb的upsert），可以很方便的将其生成的模型转成native，直接使用数据库。界面。
　　另外，水线模型的schema采用json描述，便于在系统导入导出时转换成joi schema进行校验。
　　// waterline schema
const attributes = {
user_id: { type: &#39;integer&#39;, required: true },
content_id: { type: &#39;integer&#39;, required: true },
content_type: { type: &#39;string&#39;, required: true },
}
　　接下来是日志系统。一个 API 系统可能收录多个服务器，因此需要集中采集、处理和可视化日志。一般来说，我们可以使用ELK，或者第三方服务。如果在系统设计之初就考虑日志的集中管理，那么日志的采集应该考虑结构化的结构而不是字符串。虽然用grok可以处理字符串，但毕竟效率低下，而且必须为每个日志编写grok表达式。由于node restify默认使用bunyan做日志，而bunyan可以生成json格式的日志，直接满足了我们的需求。
　　最后，让我们看一下测试框架。一个合格的系统离不开一个合适的测试框架。我的选择是 ava/rewire/supertest/nyc。ava是一个单元测试框架，类似于mocha/tape等常见的测试框架，解决了同样的问题，但是ava可以并发执行，效率很高，对es6有很好的支持，测试用例可以返回Promise，ava处理剩下的事情。有时我们需要测试一个模块中没有导出的函数，或者在测试的时候Mock一些我们不关心的函数。Rewire 可以轻松处理此类问题。supertest可以做API级别的测试，也就是功能测试，可以用nyc做测试覆盖。
　　今天就讲这么多，下一次讲如何构建一个API系统。
　　解读:学会这一点,无视优采云采集规则自动采集发布
　　做过网站的SEO网站管理员知道，如果他们想始终如一地输出网站高质量的内容。不建议靠人工编辑，一站还是可以坚持的，10、50个都很难坚持，所以我们需要用优采云采集器这样的文章采集器。
　　首先，我们来谈谈优采云车采集器，作为一款老牌采集工具，作为一款老牌采集工具，在互联网采集行业站稳了脚跟。然而，随着互联网时代的快速发展，不便之处开始出现。
　　优采云采集器是收费的。你可能会说我可以使用优采云采集器的破解版本。好吧，你可以这么说，但是使用过优采云采集器的网站管理员知道，使用优采云采集需要我们编写采集规则。说哪些站长会编码是可以的，但大多数站长都不懂所谓的采集规则，更别说正则表达式了。这已经让不少小白站长望而生畏。另一个原因是使用优采云采集器采集需要的配置参数太多。例如采集批量采集页面链接被添加到需要指定第一项、容差和项目数的需要中。当需要大量具有不同参数和不同页面的采集数据时，不可能为每个任务手动设置。
　　
　　市场上有方便且功能强大的免费采集工具吗？有些人一定有，最近找到了优采云采集器替代产品，使用起来非常方便，可以采集任何新闻来源，最重要的是，它永远免费，因为开发人员厌倦了哪些采集软件打着免费的旗号，做一些有偿的事情。他看穿了自己受不了了，所以干脆自己写了一套免费的采集工具。这里只是SEO分享，没有推荐。
　　首先，通过设置关键词，选择
　　
　　采集数据源，选择文章 采集的存储路径，选择关键词采集中的文章数，然后键入并接收，整个过程不到1分钟。每天挂断电话采集还要同步完成发布任务和推送任务。
　　搜索引擎优化是多维的。我们需要做好SEO站内优化和站外华，我们站长的每一个环节都做得很好，那么你网站不被搜索引擎喜欢就没有意义了。这就是今天分享的全部内容，或者那句话我受到启发成为一名 SEO 布道者，我对分享 SEO 是认真的。不明白可以留言评论区，点赞关注，下期我会分享更多SEO相关的干货！ 查看全部

　　完美:我用开天平台做了一个字符串检查API，hin 简单
　　本文分享自华为云社区《我用凯天平台做一个字符串校验API【凯天aPaaS之战】-云社区-华为云》，作者：星星闪耀。
　　1 开天集成工作台概述
　　据华为官方文档介绍，所谓华为云开天集成工作台是基于华为丰富的数字化转型经验，为企业开发者提供基于元数据的可扩展集成框架，减少应用间集成的工作量，沉淀连接器、业务模型、行业API等多种集成资产，帮助客户快速建立SaaS应用之间的连接通道，打破信息孤岛和“烟囱”架构，实现快速搭建上线应用，不断提升用户体验。
　　该产品的官方网站是：. 凯天集成工作台整体架构示意图如下图所示：
　　凯天集成工作台使合作伙伴能够高效地将SaaS上云，与合作伙伴共同构建行业解决方案，共同积累和分享行业经验。开天集成工作台提供以下核心能力：
　　(01) 标准数据模型管理：领域信息模型的采集、定义、管理能力支持建立行业标准领域信息模型库，行业各厂商应用依托用于互连的标准域信息模型。
　　(02) 灵活的API生命周期管理：支持合作伙伴的API设计、实现、测试、发布、运维、消费和运营，可以封装成连接器和流，方便编排。
　　(03) 可扩展的连接器管理：是扩展集成工作台的流程编排能力的唯一途径，提供丰富的预设连接器，用户也可以基于API自定义连接器。
　　(04) 可视化流管理：基于连接器，以可视化的方式进行流组合，实现一体化流编排。该扩展支持各种形式的编排，例如流程编排、事件编排等。
　　凯天集成工作台的优势如下：
　　(01)丰富的行业经验：面向行业的业务模型库，连接管理者、业务人员和IT人员。行业能力基于API，覆盖行业、城市治理、教育、办公、消息、地图、移动应用等领域。SaaS应用之间的集成资产多样化，开箱即用，降低交付复杂度。
　　(02) 灵活易用的集成：基于标准业务模型的集成模式，每个应用只需集成一次，使XYZ变成X+Y+Z。开放的连接框架可以灵活定义各种连接器和流，以适应企业的业务逻辑。
　　2 凯天集成工作台用户及应用场景
　　凯天集成工作台是一个“开放、共生、智能、协同”的平台，是开发者、系统集成商和客户之间的“桥梁”和“纽带”。具体来说，用户可以分为以下几类：
　　(01) 面向行业API开发者：一站式完成行业API设计、编排、测试、发布、消费，打造API商业经济。
　　(02) 面向行业应用开发者：以低代码或零代码的方式轻松构建面向行业的SaaS应用，加速业务创新。
　　(03) 对于系统集成商：与客户无缝对接、集成开发、项目交付和运维支持。同时积累云项目的综合资产，提高交付效率。
　　（04）以客户为中心：企业集成资产的使用和管理，与系统集成商等生态资源合作，完成企业数字化平台建设。
　　凯天集成工作台的应用场景也非常丰富，主要可以分为三类应用场景：
　　（01）行业能力开放场景。企业以API服务的形式开放能力，通过API连接应用开发者、系统集成商等，服务更多业务场景，快速形成产业链，让企业用最低成本。满足客户分散且不断增长的需求。
　　(02) 赋能行业应用创新场景，合作伙伴可以通过集成工作台提供的低代码/零代码方式，轻松利用行业API、业务模型、连接器等各种资产完成应用开发和部署；赋能不同层次的开发者，大大提升企业应用的供给能力。
　　(03) SaaS应用互联场景下，企业应用建设随着业务发展逐步展开，需要解决现有企业应用与新应用的协同。通过在应用程序之间建立水管，价值信息可以在企业内部和企业之间流动。通过集成工作台，可以实现云应用、云应用和企业内部应用的集成。可以用下图来说明：
　　3 字符串检查 API 快速构建
　　首先在集成工作台中进入API生命周期管理的API组，点击右上角新建组，输入名称和描述。创建群组后，点击API管理，进入新建群组下的API管理页面。
　　
　　进入API管理页面后，我们可以先在右上角创建一个API，进入API创建页面。
　　根据您的需要输入所有信息。
　　这里的认证方式可以根据自己的需要定制。此处，为简单起见，不选择身份验证（不推荐）。
　　然后点击下一步，自定义访问API的路径，以及请求方式，是否支持跨域，底部的参数定义也很重要，根据需要选择参数位置、名称、类型、选项等.
　　定义参数后，图像类似于下图。
　　单击下一步以定义后端服务。这里有三个选项，一个是后端服务，也就是API接口，一个是华为云中定义的功能流程图，另一个是mock（我不太了解），这里我用的是华为CLOUD 的功能流程图。
　　可以看到这里需要选择函数，但是此时我们没有函数可以选择，所以我们需要先创建一个函数。
　　在添加选项的弹出页面左上角点击创建函数，进入函数创建页面。
　　这里我们选择相关信息，选择事件函数。此处delegate暂时不可用，因此我们选择不使用任何delegate和python3.x的环境运行时。当然，这里我们可以看到按用量收费的提示。按照华为云的规则，每个月的请求数都在百万以上，所以这里只是我们个人的开发和早期使用，不用担心收费问题。
　　创建完成后，进入功能管理页面，
　　下面我们可以写函数，我们可以写一个简单的字符串检查函数。
　　`# -
　　- 编码：utf-8 -
　　-
　　导入json
　　从集合导入计数器
　　#自定义函数
　　def is_anagram(s1, s2):
　　返回计数器（s1）==计数器（s2）
　　def 处理程序（事件，上下文）：
　　query=event.get("queryStringParameters")
　　s1 = str(查询["word1"])
　　s2 = str(查询["word2"])
　　
　　res = '%s 和 %s 是 %s' % (s1, s2, is_anagram(s1, s2))
　　返回 {
　　“状态码”：200，
　　“isBase64Encoded”：错误，
　　“身体”：水库，
　　“标题”：{
　　“内容类型”：“应用程序/json”
　　}
　　}`
　　在这个handler的预定义函数及其定义的两个形参中，event是代表请求的信息，比如body、headers等（上下文暂时不太了解）。至于queryStringParameters的键名，是根据华为云的文档找到的。这个地方也琢磨了很久，之前定义的query中的数据之前都没有拿到。
　　看这里：
　　然后单击、设置、选择触发器，并创建一个新触发器。
　　根据需要定义，但为简单起见仍选择不进行身份验证。创建完成后，可以获取调用url的地址。
　　复制网址并在浏览器中进行测试。
　　得到了答案。
　　这与我们定义的预期结果一致。
　　至此，函数工作流创建完成，我们回到之前的API创建页面。
　　在骨灰盒选择页面我们选择刚才定义的函数流。
　　并在底部定义前后端功能映射。
　　单击下一步，我们定义一个 API 相应地是成功还是失败的示例。
　　至此，API 就创建好了。我们可以直接点击发布API，进入API的管理页面。我们可以查看API的url。同样，我们可以在浏览器中测试和使用它。
　　点击下方，第一时间了解华为云新技术~
　　华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云
　　教程:英文伪原创怎么做? 3个步骤搞定
　　做英文网站 SEO必然会提到英文内容创作。但是作为一个中国人，我的英文不好，写不出高质量的内容，很是苦恼。不过没关系，如果你能掌握英文伪原创技巧，你也可以用蹩脚的英文写出高质量的内容，获得更好的关键词排名。
　　下面我们来看看英文伪原创应该怎么做，有哪些需要注意的地方。
　　伪原创关于英文内容大致可以分为三个部分。
　　文字变化；形式的变化；伪原创 图片。1. 换字的具体方法 方法#1 使用工具进行机械改写
　　这里我们会用到一个工具：Small SEO tools的文章重写工具（需要科学上网）。这是一个免费的 文章 自动重写工具，可以将任何指定的文本内容重写为可读文本。
　　使用方法：将别人的全文放入输入框，点击【重写文章】按钮。该工具可以对 文章 中的常用名词进行同义词替换。同时，在某些情况下，语句的形式也可以改变。
　　彩色部分是本工具改写的内容
　　目前只支持英文，不支持其他小语种。
　　使用此工具重写的文本实际上不是特别可读。所以你仍然可以手动完成。
　　如果你有时间，我建议你使用文字 伪原创 的第二种方法。
　　方法 #2 使用 LSI关键词 手动重写
　　这种方法是在别人的文字内容的基础上增加更多的相关词（LSI关键词），从而实现内容伪原创。
　　
　　比如我们现在找到这样一个关键词[太阳能热水器]和别人的一段文字，如下图：
　　别人的文字
　　现在找到【太阳能热水器】的LSI关键词，自然添加，或者改写成原文。
　　重写后结果的彩色部分是 LSI关键词
　　这种方法的缺点：它会花费更长的时间，但这也是它的优点 - 内容会更相关。
　　2. 文章形式的变化
　　文本的形式有很多变化。例如，您可以将其他人的段落替换为列表、列表替换为表格，或者将表格替换为文本段落。例如，假设您引用竞争对手的产品参数部分，这是一个表格。这时可以以文本段落（句子）等形式改写表格中的参数。
　　做B端产品的人应该都知道阿里巴巴国际站吧？也许你可以搜索一个词，你可以看到阿里巴巴国际站的排名。
　　有很多人会说：“废话，其他用户会写页面，内容很多”。
　　我可以告诉你：阿里巴巴国际站50%的页面不是UGC页面，而是阿里巴巴自己生成的搜索聚合页面！同时，那些页面上的内容不是阿里员工一一手工打出来的，而是机器生成的，基本是0时间！
　　想知道怎么做？事实上，它是一种变化形式。想了解详情的可以加我微信（mbkf6666），一句话解惑。
　　
　　3. 伪原创 图片
　　内容不仅仅是文字，还包括图片、视频、音频等。因此，内容的伪原创和图片的伪原创的核心。这一点在学习谷歌SEO的时候一定要牢记。有些页面没有流量（没有排名）。其实问题不在于文字或外链，而在于图片。
　　经常采集的朋友会经常采集和别人的照片网站。但是你有没有发现，你的采集后面的图片在被爬取之后其实并没有被谷歌索引，或者索引率很低。
　　当您对图片进行一些调整时，无论图片索引如何，附加页面也会被索引，您仍然可以参与排名。
　　这时候你肯定想说：“我不能一张一张修改图片吗？”。当然不是，但是有了图片，你确实需要花一些时间来处理它。
　　如何处理？我给你一个更好的方法：拼图。
　　通过拼接两个具有相似背景颜色（最好相同）的图像来创建一个新图像。这个做法已经试过了，搜索引擎不识别为伪原创，相关性还不错。
　　一点建议
　　很多人可能认为英文内容伪原创消耗的时间少，所以伪原创可能是最好的选择。
　　其实不，我给你的建议是自己制作有价值的内容，而不是一味的模仿和抄袭。建议大家阅读文章《如何用英文做内容原创》一文，相信你会有一些启发。
　　同时，在效率方面，自己制作内容的效率其实会更高。毕竟，最了解产品的不是机器，而是你自己。
　　相关性 文章LSI关键词 – 为什么暴力会增加英语中的相关性 关键词 单数和复数形式的排名不同？英文原创文章英文怎么写不容易写原创 查看全部