seq搜索引擎优化至少包括那几步?(字节跳动火山翻译团队推出LightSeq训练加速引擎向全球开发者开源)
优采云 发布时间: 2021-09-11 15:07seq搜索引擎优化至少包括那几步?(字节跳动火山翻译团队推出LightSeq训练加速引擎向全球开发者开源)
近日有消息透露,字节跳动火山翻译团队宣布推出LightSeq训练加速引擎,并开源给全球开发者。据火山翻译团队负责人介绍,LightSeq训练加速引擎功能齐全,使用方便,并提供丰富的二次开发工具。通过插入自定义层或修改命令行参数,用户可以在流行的训练库上轻松使用。
据悉,Transformer是自然语言处理、计算机视觉等AI技术领域最常用的基础模型。它广泛应用于机器翻译、文本生成、文本摘要、图像处理和时间序列预测等任务。字节跳动火山翻译团队推出的LightSeq训练加速引擎可以支持Transformer的完整加速。从词嵌入层、编码层、解码层,到最终的损失函数层,业界首次实现了全流程支持,LightSeq的训练速度更快。与主流序列生成库相比,LightSeq最快仅需三分之一的时间即可完成训练。
目前字节跳动已经开源了机器学习平台Klever、联邦学习平台Fedlearner、高性能分布式训练框架BytePS等项目。对此,字节跳动相关负责人表示,“开源是推动技术进步的重要力量。我们受益于开源,需要为开源社区做出贡献。字节跳动开源了LightSeq系列项目,与各界分享技术成果。希望它能帮助科研人员节省时间和成本,为学术界和产业界激发创造力提供有力支持。”(来自:网易)