网页抓取工具( 注意:YouTube翻译插件已上线!请移步《油管翻译机》)
优采云 发布时间: 2021-10-08 13:20网页抓取工具(
注意:YouTube翻译插件已上线!请移步《油管翻译机》)
注意:YouTube 翻译插件现已上线!请移步《YouTube评论翻译插件“油管翻译”上线》2021.7.2更新
插件已经开发完成,中间遇到了一些波折,都顺利解决了。正在自用,没有问题就会放出。以后有空再补充详细介绍。
拥有功能:
自动翻译、多语言、双语对比、评论导出、风格定制等。
预览(.gif≈2.6Mb):
2021.5.6 更新
相应的浏览器插件正在开发中,翻译结果会直接显示在原评论下方,待成熟与大家见面。这个翻译工具可能会改成纯json数据接口,到时候再看吧。
以下内容无效,无需阅读2021.1.30更新
自文章发布以来,在公众号后台收到了很多朋友的评论,在此一一回复。本工具为纯前端工具,不具备代理爬行或翻墙功能。使用前请自备梯子。另外,如果以后用户过多,导致界面权限被禁止或翻译流量过大,可能会关闭此功能。
背景
鉴于特殊需求,我需要抓取YouTube评论并自动将其翻译成中文。我很久以前制作了这个工具。经过半年的磨合和修改,已经交到手,大大提高了我的工作效率。我今天将与您分享。
功能支持通过 videoId 捕获管道评论。支持机器翻译,多语言,避免汉字翻译,支持手动添加、修改、删除、撤销、清除等常规操作,实现原评论抓取过程
对比了强行抓取和调用油管api的两种方式后,我选择了调用api。与所有 api 提供商一样,您需要在 YouTube 上注册并申请一个密钥。详情请参考YouTube官方文档()。值得注意的是,默认只返回100条数据。如果你想要更多,你需要在响应中使用 pageToken 字段,它是下一页的令牌。我这里没有做翻页功能,需要的请自行修改。
机器翻译
关于翻译,我写过一篇文章《翻译相关推荐(工具/api)》,介绍了几种常用的翻译工具,这里就不赘述了。在这里,我选择使用百度翻译,因为百度目前对低流量用户免费,而且还取消了免费字数限制。由机器人执行第一次翻译可以在以后手动修正修正时节省大量精力。(百度翻译官方文档:)
演示地址
因为这是我自己的工具,它的功能很敏感,所以不会直接公开。(2021.5.6更新:地址暂时关闭,相应插件正在开发中,等成熟了再见面)
后记
使用这个工具,我假设你有能力翻译qiang。这是一个纯粹的前端工具,不涉及隐私和安全问题。