分享:关键词采集了解一下？其他的可以查查我的这个回答-知乎谢邀！

　　分享:关键词采集了解一下？其他的可以查查我的这个回答-知乎谢邀！

　　关键词采集了解一下？其他的可以查查我的这个回答：什么是采集？-风华殇的回答-知乎

　　谢邀！！！在说具体怎么获取数据之前，我想知道您一般采集哪里的数据？刚才说了是关键词获取数据，也就是说可以从网站抓取。以：新闻聚合类网站来举例：新闻聚合网站主要有几类：以:新闻聚合网站为主的：newsblackboard《newsblackboard》是一款最新的新闻聚合搜索引擎，拥有超过4万条的新闻报道，覆盖全球主要国家的最新新闻。

　　数据收集方式为，新闻通过专用采集工具shanxibus进行采集，覆盖各个新闻报道的主要发布国家。采集方式为，每篇新闻报道后都会开启对应页面href，需要点击feed源网址，但页面title不是最终的网址，还需要通过变量，才能获取最终的网址，网址形式为：/。一般推荐变量有下列这么几个:1.国家地区，例如：中国大陆、香港、台湾2.国家机构/组织名称：国家、发改委、人力资源与社会保障部3.国家媒体：外事部、新华社4.地区/组织名称/省份5.年份6.时间段7.网址目前《newsblackboard》平台采集能力是一个正在发展的团队，各个国家、地区、网站都有涉及，国内，新加坡等国家基本没有问题，另外，发展日韩等地区，覆盖程度要差一些。

　　您说的韩国这个国家，如果只是问收集的方式（后面会说到），可以看下面的截图：图中有这个网址：韩国真相-搜索korean真相然后将拼音进行转换，获取网址：韩国真相-搜索korean真相同理，如果想要获取*敏*感*词*，以下网址：：：*敏*感*词*真相-搜索russia真相那么，以上几个网址如何去获取？我列举了最近的一些有关的案例，列举2个我知道的：除此之外，可以通过百度凤巢等平台开通自己的站点，然后通过站群的形式将这几个关键词采集到内部的页面里，然后直接alipay推广。

　　另外，爬虫实现方式有两种：1.自动化2.人工自动化的话，可以通过google或者sogou等*敏*感*词*开源，以及国外的opensearch等网络爬虫网站，然后解析网页内容，解析时，除了“链接”、“域名”还要判断各个页面的url（可以通过浏览器中的搜索框进行搜索），然后找到网址后对网址进行解析，自动获取相应的内容即可，也就是爬虫的目的本来就是基于页面url解析并自动获取内容，你只需要找到页面url，然后直接拿出解析后的内容到服务器即可。

　　人工自动化就是因为电脑配置比较落后，处理新闻类网站有点力不从心，解析不了太多内容，所以有人工重写，由人工来完成对关键词等的分析、抓取、反爬。有关爬虫方面的问题，我以前有一篇回答中有介绍，对一个新手刚接触爬虫的情况，介绍的相对比。