如何实现一次性批量获取大量重复页面的重复代码?

优采云 发布时间: 2022-07-25 14:03

  如何实现一次性批量获取大量重复页面的重复代码?

  文章定时自动采集网页图片,之后批量上传到剪贴板,再重新采集就可以了。这样也比较耗时,可以用mongodb做分布式计算和存储。

  

  可以实现一次性批量获取大量重复页面,作为前端代码。如果能每一张图都重新获取一次,就太厉害了。但每获取一次就无法处理下一张图,得提交至服务器进行审核。有可能产生缓存冲突。大量批量重复的代码确实不好写,尤其是*敏*感*词*运算时需要保证前后代码都具有可维护性。多拷贝确实是有很大好处,但很不方便,可以考虑使用gson等,然后在开始批量上传时实时查找合适的映射元素进行上传。

  /

  

  采用redis集群存储静态图片的啊,利用sortedset的性质来对集群中每个图片进行排序,

  我实验过一个方案,是针对多grasshopper的,快捷方式如下:使用grasshopper的模型数据统计出一组图片存储在grasshopper服务器上,另外的数据则使用mongodb进行存储。这样做的好处在于:服务器可以任意分配多个存储地址(针对一个grasshopper项目);image生成速度极快;可以选择海量image,并通过redis同步存储,避免重复上传。

  同时也保证了不同图片之间只需要二分法,就可以完成批量上传。还有一个明显优势在于如果使用mongodb的话,各个sharedlibrary也同时会增加多个自定义mongodu,同时支持也更高。对于图片这一种比较敏感的数据而言,规模较小的时候,这样是比较友好的。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线