youtube批量采集-低成本解决方案2
优采云 发布时间: 2020-08-07 08:13在我发表文章“ YouTube视频抓取工具-批量捕获-低成本解决方案-技术难题和详细信息审查”之前,我提到了u2b视频捕获解决方案. 该方法适用于特定上级母版的批量采集,成本确实很低,速度也很好. 我在博客底部挂了我的电子邮件地址,以寻求技术交流,但是我却被很多人打扰. 在这里,我只想坚定地告诉您: 不可能进行编码. 我相信想法对您来说更重要.
如果您对此方面感兴趣,可以与我们的程序员小组进行交流,以共同学习并取得进步
695623459
背景:
1. 腾讯云的非香港地区和国外服务器难以连接
2. 连接到某些香港地区的服务器也很困难
3. 我们需要基于关键字进行u2b视频捕获,以支持我们自己开发的视频编辑器的本地资料库.
鉴于上述背景,初步意见:
1. 如果腾讯云进行视频捕获,则只能使用HK服务器
2. 香港地区的某些服务器无法连接. 我目前推测的原因是您正在使用的IP被禁止. 您需要绑定弹性IP并更改IP地址,直到更改本地可用IP.
3. 对于视频的关键字捕获,您还在考虑使用采集器吗?不要走弯路! Google已打开YouTube数据api,您可以直接获取结果.
全面思考
1.Rest API: 部署在HK服务器上,转发YouTube数据api查询结果
2.GUI: 它在用户的计算机上运行,并用于用户采集操作. 用户根据关键字获取要采集的任务列表
3. 采集器: 它在香港服务器上运行,仍然使用我们的youtube-dl
4. 采集完成后,将其推送到同一地区的腾讯云对象存储-香港地区
5. 在用户计算机上运行的本地下载器用于将视频从腾讯云对象存储下载到本地
价格计算
根据计算,每天在15分钟内下载200个视频,每月的运营成本超过300. 我以114元的价格购买了一台1C1G2M HK服务器,每日采集限制为160GB
YouTube数据API开发文档门户. 关于YouTube数据API,我有话要说
如前一篇文章中所述,我绕道走了一下youtube-api,发现它没有用. 那这次呢?但是,我不走弯路直接去目的地〜
YouTube API中的搜索/列表界面可以根据关键字直接获取合格的视频,频道和播放列表. 以下是官方演示
# Sample python code for search.list
def search_list_by_keyword(client, **kwargs):
# See full sample for function
kwargs = remove_empty_kwargs(**kwargs)
response = client.search().list(
**kwargs
).execute()
return print_response(response)
search_list_by_keyword(client,
part='snippet',
maxResults=25,
q='surfing',
type='')
实际上,过滤条件很多,甚至可以配置特定的结果排序方法.
返回
{
"kind": "youtube#searchListResponse",
"etag": etag,
"nextPageToken": string,
"prevPageToken": string,
"regionCode": string,
"pageInfo": {
"totalResults": integer,
"resultsPerPage": integer
},
"items": [
search Resource
]
}