解决方案:智汇华云 | 集群日志动态采集方案

　　解决方案:智汇华云 | 集群日志动态采集方案

　　日志中心是一个统一的日志管理平台，全面采集、管理和分析云平台日志数据。本期智汇华云将为大家介绍日志中心的基础设施和业务流程。

　　背景

　　当平台或资源出现异常或故障时，管理员可以通过运维门户的日志功能在线查询查找日志异常原因，无需登录云管理后台或来回切换到每个节点的后端。结束查询日志。为了便于日志的统一存储、实时检索、查询分析、告警监控，需要建立统一管理、动态可配置的多集群日志采集服务——logcenter。

　　功能

　　聚合华云云管理平台（包括k8s等高级组件）、托管集群的系统日志和资源日志进行统一管理，可视化展示支持单关键词和组合关键词全局（文本）搜索能力，根据自定义时间段

　　可以选择在指定的集群、节点、单一资源、单一服务范围等中搜索日志。支持关键字和时间搜索和存储

　　作为预设的搜索项，可以根据日志的严重程度进行过滤，如：紧急、告警、错误、信息等。

　　支持统计自定义时间内相同异常日志的数量和类型，并绘制趋势图

　　建筑学

　　整体架构基于ELK Stack开源框架，加入logcenter微服务统一管理各集群中filebeat的采集配置，云管理平台后端服务的采集配置有一个初始模板。并且可以在功能页面编辑不同微服务的模板，动态修改采集的日志数据。每次调整接口都需要生成新的或导入的K8S集群采集配置。已经对filebeat进行了二次开发，通过定时调用logcenter接口获取采集配置。初始化后，配置存储在分布式缓存 etcd 中，以保证多集群环境下的 采集 配置。

　　在云管理平台、超融合和裸机服务器环境中，filebeat 以 docker 容器的形式运行。通过将宿主机的日志目录挂载到容器中，filebeat 可以获取到数据源为 采集 ，在 K8S 集群中，filebeat 以 DaemonSet 的形式部署，保证 Pod 的副本运行在所有节点。

　　filebeat采集的日志通过网络传输到logstash，logstash会对数据进行处理后传输到elasticsearch进行存储。

　　过程

　　通过过程可以发现，日志中心是集群日志采集解决方案的核心。所有 采集 配置都是通过日志中心创建和维护的。filebeat拉取配置的定时任务每5秒执行一次。当用户在平台功能页面更新指定配置时，日志中心服务会更新缓存数据，基于缓存的存储可以更快响应filebeat的配置拉取请求。

　　采集配置不仅包括采集规则，还包括一些业务配置，比如最大日志存储时间和最大存储容量，所以日志中心有定时任务定期清理在elasticsearch中记录数据。减少系统内存使用。同时，还有与日志告警相关的设计，保证一些重大故障能够第一时间发现。

　　用户在检索日志时，也使用了日志中心的接口。日志中心根据请求参数从elasticsearch中拉取数据，并以易于查看的日志格式返回。

　　总结

　　日志中心解决了多集群环境下采集日志数据和动态配置采集内容的需求，帮助用户提高运维、运行效率，快速发现和定位问题，采用可扩展性强的分布式系统架构设计，可以灵活开启和关闭指定集群采集的日志。

　　页面查询只需要使用简单的查询语法，通过可视化界面配置分析报表，降低用户门槛。

　　福利:优采云站群管理系统 v2020 官方免费版

　　软件介绍

　　优采云站群该软件是一款功能强大的免费建站工具，支持根据SEO优化规则全自动建站，可以使用关键字进行自动采集，自动更新，可以辅助各种大型-scale cms文章系统不需要任何技术门槛，简单熟悉即可轻松上手，为客户创造网站价值。

　　软件功能

　　1.只需输入关键词，即可采集到最新的相关内容，并自动将SEO发布到指定的网站多任务站群管理系统，可以24小时一天。自动标注。

　　2、优采云站群管理系统可以根据设置的关键词自动抓取各大搜索引擎的相关搜索词和相关长尾词，实现一键式采集 一键释放。

　　3、优采云站群管理系统无需绑定电脑或IP，网站数量无限制，可挂机采集24小时维护，让站长轻松管理上百个网站。

　　4、软件独有的内容采集引擎，可以及时、准确地采集互联网上的最新内容。配合内置的文章伪原创函数，可以大大增加网站>的收录。

　　软件功能

　　1.网站数量不限

　　优采云站群营销软件秉承为用户提供最实用的软件的宗旨，建立不限数量的站点，打造真正的站群软件；无论购买哪个版本，都没有限制优采云站群网站程序数量和域名不绑定电脑，和其他类似的站群有很大区别>管理软件。

　　2.智能蜘蛛引擎

　　优采云站群营销软件打造的智能蜘蛛引擎，只需输入几个相关的关键词，即可自动生成数万条长尾关键词，然后针对这些长尾尾巴。尾随关键词自动从互联网采集转到最新的文章、图片、视频等。无需任何采集规则，完全可以实现一键抓包任务。它是一套站群采集软件，操作简单，功能齐全。

　　3. SEO伪原创 和词库管理

　　优采云站群营销软件全面支持标题和内容的同义反义词替换、分词重构、禁用词库屏蔽、内容段落乱序重排、文章内容随机插入图片和视频等，伪原创的标题和内容都可以很好的实现；不管你做了多少站、几十站甚至上百站，你都不用担心采集文章的重复，不用担心搜索引擎的收录>。

　　4、全站自动更新，无限循环挂机

　　设置好关键词和爬取频率后，站群管理系统会自动生成相关的关键词，自动抓取相关的文章并发布到指定的网站栏目中，一键采集更新轻松实现，支持365天无限循环挂机采集维护全部网站，真正实现无人监控无人操作，让车站建设和维护变得如此简单。

　　5.强大的链轮功能

　　支持文章指定内容随机插入、锚文本链接、单站链接库链轮，自动提取文章内容链接到单站链接库或全局链接库，支持自定义链轮，并可实现链轮的任意组合。

　　6.根据关键词自动采集图片（可做图片站）

　　优采云站群营销支持直接根据关键词batch采集图片在每一列的文章中插入图片，也支持直接采集图片为单独发布，可作为专用图片网站使用。

　　7.根据关键词自动采集视频（可做视频站）

　　优采云站群营销支持直接根据关键词batch采集视频将视频插入到每一列的文章，也支持直接采集视频单独发布，可作为专用视频网站使用。

　　8.超强大的原创文章生成功能

　　优采云站群Marketing内置了强大的原创文章生成库，支持自定义句库生成原创文章（使用现有的文章库中的文章分词随机形成新的文章)，自定义句型库生成原创文章和自定义模板/元素库生成原创文章，还支持将文章中已采集的段落混合生成文章。

　　9.数据可任意导入导出

　　优采云站群营销支持批量导出软件采集的原文章到本地，批量导出软件伪原创后的文章到本地和批处理端采集文章，在导出文章到本地的同时，还支持将本地的文章导入到站群，支持导入一定数量的文章for each column，还支持从每个网站的随机列中直接导入一个或多个软文ads文章。

　　10.强大的批处理功能

　　优采云站群营销支持批量添加站点和列，批量提取列和id绑定等，更多网站可以轻松管理。

　　11.通用自定义发布界面（站长APP界面）

　　优采云站群Marketing支持任意网站自定义发布界面，无论是论坛、博客、cms等任何网站，都可以通过自定义界面编辑相应发布工具界面，真正实现对各种站点程序的完美支持。

　　指示

　　安装方式

　　1.首先等待优采云站群软件下载完成

　　2.使用压缩软件解压文件

　　3.双击运行“优采云站群Startup program.exe”开始使用

　　变更日志

　　1.获取文章的信息时，会额外获取3个参数。原创标题原创关键词原创内容对应自定义字符302 303 304 站群，界面工具和之前一样。

　　2.接口工具添加导出接口时，可以导出到模板库

　　3.随机删除新内容文章段落伪原创的功能。

　　4、新增伪原创功能，从句库中随机抽取句子插入文章。

　　5.在所有sprocket模块和纯视频纯图片模板中增加了随机调用句库句子伪原创的功能。

　　6.优化批量导入视频地址和图片地址的导入速度。

　　7.优化批量导入文章的导入速度。还可以多窗口多线程同时导入自定义文件夹中的文章，大大提高导入速度；同时，可以按照指定的列id或列名如何导入文章。

　　8、暂时取消皮肤模块，因为会影响部分功能参数的稳定执行。

　　9.文章的发布顺序增加了后进先出参数，方便最后导入软文的优先发布。

　　10.新的发布窗口允许您一次手动导出所有数据伪原创，而不是一次仅限于1000篇文章。

　　11、新增分组单站库链轮提取的标题，可按一定的字符或数字截取。

　　12. 改进更多细节，修复更多小错误。

　　13.文章句子语料库的导入，加上TXT编码选择。

　　14.*敏*感*词*开启批量删除网站未发表和删除所有站的功能。

　　15.问知乎数据采集修复。

　　16.修复英文关键词采集。

　　17.优化多线程挂机下的cpu和内存开销，可以挂机打开更多的窗口。

　　18. 增加随机删除标题中字符伪原创的功能。

　　19.增加随机删除文章句子伪原创的功能。