自动采集发布系统(互联网来增长最快的当属互联网数据)

　　自动采集发布系统(互联网来增长最快的当属互联网数据)

　　科技情报人员通常通过两种方式获取互联网信息：一种是通过搜索引擎对某一主题相关的信息进行综合搜索；二是积累了大量有价值的在线田径信息资源，获取田径动态。第二种方法是长期持续的工作，是技术预警、技术热点发现与跟踪、技术发展趋势预测等重要工作的基础。因此，科技情报人员全面掌握所关注领域相关的互联网信息来源非常重要。

　　现状

　　互联网信息源是指可以在互联网上提供信息的各种媒体。几乎所有的机构、学院、企业都有自己的网站甚至社交媒体账号。大量科技工作者通过各种社交媒体对外发布。这些 网站 和社交媒体帐户是技术工作者的潜在信息来源。随着互联网的发展，互联网信息源的数量也在不断增加。传统的人工积累和采集互联网信息源的方式已不能满足大数据时代科技情报工作的要求。因此，有必要开展互联网信息源自动发现技术的研究。

　　互联网信息源是互联网数据的生产者。信息源种类和数量的增加以及活动的增加导致数据的爆炸式增长。全球数据总量正以每两年翻一番的速度增长，而近十年来增长最快的无疑是互联网数据。未来的主要任务不是获取越来越多的数据，而是消除数据的冗余和分类，提高知识发现的输出率。在不显着增加采集的成本的情况下，尽可能提高数据的质量是必要的。这就要求采集互联网信息尽可能选择与研究领域密切相关的信息来源，减少不必要的数据采集。

　　易海居信息自动发现技术应用

　　()方案中提出的信息源自动发现方法与人工采集方法相比，具有自动高效、全覆盖、自动翻译、对新信息源响应速度快等明显优势。为提供全面的应用服务，需要进一步对信息源进行标注分类，建立从国家和地区、技术领域、应用范围、所有者性质（如个人、政府机构、学院和大学）。然后根据网站和微博标题、关键词、摘要等对应的信息源的描述信息，利用机器学习方法实现信息源的分类和组织，最终形成一个完整的信息源数据库。结合大数据时代对科技智能化的新要求，易海居信息源自动发现技术有以下应用场景。

　　（1）构建信息源地图，系统掌控全球科技信息资源

　　信息源地图是指通过视觉手段对信息源进行综合展示，利用地图、热力图和网络图来展示科技领域信息源的地理位置、活动、统计分布、类别、关联等。交互等。通过全面、准确、动态的互联网信息源地图，决策者和情报研究人员可以对科技信息资源进行整体控制和分析，从更高层次发现其特征和规律，预测其变化趋势，具有重要的战略意义。

　　(2）实现信息源检索服务，为情报研究工作提供保障

　　提供完整、灵活的信息源检索服务，为情报研究人员实现科技领域互联网信息的持续跟踪，完成各类应急任务提供有力保障。检索方法主要有以下三种。

　　目录搜索：用户通过分类的分层目录搜索数据库中已有的信息源。

　　关键词搜索：通过匹配信息源对应的描述性信息，搜索数据库中已有的信息源。

　　*敏*感*词*检索：当使用上述两种方法都无法检索到所需的信息源时，说明数据库中可能不存在该类型的信息源。此时，用户可以输入已有的信息源作为*敏*感*词*，通过服务系统源进行在线挖掘，获取新的信息。

　　除了提供上述三种基础搜索服务外，还可以开发个性化定制、相关推荐等多种形式的智能服务。

　　（3）自动翻译和阅读全球各种语言的信息

　　通过亿海居的网络信息采集技术进行全球采集，可以保证信息的完整性，但也会带来新的问题：很多科技信息信息是其他语言的，如英语、法语、日语、俄语、*敏*感*词*语等. 情报研究人员不可能有多种语言的直读能力，尤其是很多专业词汇。易海居系统可以完美的解决这个问题。可以通过多种方式翻译各种主流语言，可以做对比阅读和编辑校对。

　　（4）全面深入挖掘科技信息源，为科技智能大数据提供数据源

　　自动、高效、全面地发现科技领域的信息来源，建立标准的访问接口，实现与互联网海量信息采集平台的无缝对接，为*敏*感*词*获取互联网信息资源提供必要的前提. 基于高度领域相关信息源采集的数据，可以提高互联网数据采集的准确性和针对性，减少噪声数据的干扰，降低带宽、存储和计算成本。

　　结束语

　　一海居()互联网信息自动发现技术可以高效地发现大量新的信息源，但大量的信息可能会使科技情报人员不堪重负。同时，也不能保证每一个新的信息源都是真正需要的。第二次筛选也会影响其有效使用。幸运的是，亿海居大数据相关技术已广泛应用于互联网信息的海量采集、处理和分析，大大提高了科技情报工作的效率。本文技术的直接用户更倾向于机器和非智能人员本身。