大数据在搜索引擎效果测试和优化中有哪些应用价值

大数据在搜索引擎效果测试和优化中有哪些应用价值

　　智能准确的大数据有助于百度搜索优化

　　IT168净12-31 14:04

　　近年来，大数据已成为信息技术最关注的热点之一。各行各业都在讨论如何使用大数据创造商业价值。一段时间以来，人们意见分歧，各种大数据应用程序相继出现。作为全球最大的中文搜索引擎，百度每天响应来自138个国家和地区的60亿次搜索请求。这是一家拥有大数据的公司。在数据为王的信息时代，百度搜索如何应用大数据？大数据在搜索引擎性能测试和优化中的应用价值是什么？

　　在百度的第二个开放研究计划中，南开大学的阮兴华和张建中共同承担了IT主题研究项目“机器学习在搜索引擎效果测试和改进中的应用”。据了解，该项目是百度利用大数据分析搜索引擎缺陷，优化搜索引擎的成功案例之一。

　　根据阮兴华，参加“机器学习在搜索引擎效果测试和改进中的应用”项目的成员主要是张欣，李卓，张敏等，以及*敏*感*词*张雯，南开朱小溪大学，他和南开大学的张建中教授作为双方之间的接口，负责该项目的实施。

　　“ Internet上的网页数量众多，内容样式各异，少数网页仍存在内容欺骗，并且用户的需求以不同的方式表达。因此，不可避免地要进行一些搜索结果不好，不能满足用户需求，在这种情况下，我们将其称为不良案例或产品缺陷，我们的项目是通过机器学习方法自动或*敏*感*词*地挖掘不良案例，然后促进产品的有针对性的改进；其次，通过对海量数据的分析，找到了改进产品的想法和解决方案，并促进了改进产品效果和体验的实现。”在谈到项目的起点时，阮兴华说，搜索引擎并不能为每个查询提供最佳结果，在某些不良情况下，用户需求无法满足，体验也不佳，他们需要分析并找到这些问题。基于大量搜索数据的不良案例，促进产品升级和改进，并使搜索引擎更加准确。

　　在研究过程中，他们发现了多种不良案例，例如没有官方网站结果，搜索结果摘要不佳或没有摘要，相关性差，搜索字词的错误纠正等。为此，他们建立了十多个案例针对大搜索缺陷挖掘模型，建立了“用户满意度挖掘模型”，“可寻址搜索挖掘模型”，“纠错词不良案例挖掘模型”以及其他不同类型的不良案例挖掘方法。在过去的一年中，已挖掘出超过50,000种产品缺陷，有效地促进了产品升级和改进，并成为产品升级决策的重要参考。

　　例如，当用户使用搜索引擎查找某个URL时，由于查询字词不正确，相关度排名不正确或相关性不合理等原因，用户想要的URL可能不会出现在搜索结果中。或者所需的URL相对较晚。阮兴华和他的团队所做的部分工作是查找此类信息并准确显示真实的官方网站。仅这部分工作为产品系列挖掘了大量准确的官方网站数据，从而大大改善了性能。这提高了满足寻址要求的满意度，并为用户提供了更准确的搜索结果。

　　“为了使搜索结果更准确，用户体验更好，我们在本项目中通过数据分析做了很多优化工作。例如，用户在百度上搜索刘德华。搜索结果不仅在显示刘德华的相关信息的同时，在页面右侧，“其他人搜索”显示了与刘德华密切相关的人。更贴切的是，在“相关搜索”中有与刘德华相关的各种搜索热词。在页面底部，我们使用数据分析针对“其他人搜索”和“相关搜索”区域的拟议改进措施，有效地提高了这两个区域的点击率。根据我们的数据统计， “信息百科全书”“其他人搜索”卡在“进出策略优化”中，我们的项目研究结果使“其他人搜索”的点击率提高了1 1. 4％；在优化“相关搜索”结果之后，我们带来了约17％的“相关搜索”结果点击收入。这些数据充分表明，我们在大数据挖掘中获得的价值判断是正确的，而且对网民需求的分析也更加到位。”

　　智能精确的大数据有助于百度搜索优化

　　智能精确的大数据有助于百度搜索优化

　　据报道，“机器学习在搜索引擎效果测试和改进中的应用”项目取得了非常丰硕的成果，这从技术发展和人员培训的角度都具有重要意义。 “该项目取得了9项技术成果，发表了论文，获得了3项相关专利。其中一项专利也被评为百度一流专利，我们的项目也被授予百度最高质量主管。创新奖，这些成就和荣誉对我们非常有激励作用。”阮兴华在“机器学习在搜索引擎性能测试和改进中的应用”项目中获得如此丰硕的成果表示高兴。此外，他还指出，参与该项目的两名实习生张雯和朱晓曦也已通过学校招募正式加入，不久将成为其中的一员。此外，通过该项目，百度与南开大学计算机与控制工程学院建立了测试课程合作关系，加深了外界对测试的认识以及百度的质量部门，也为校企合作培养人才提供了平台。 。这种合作的意外收获。

　　“一旦在项目中发现不良案例，我们将对其进行分析和分类并推广解决方案。因此，随着项目的进展，我们的研究结果将继续在线并应用于为用户提供更准确和智能的搜索服务及时”对于研究成果的应用，阮兴华感到非常自豪。 “在2013年的一年研究中，我们已经积累了一些基于大数据的搜索引擎缺陷分析和产品改进方面的积累。将来，我们将进一步优化不同的缺陷。挖掘模型可以发现搜索引擎不同维度的缺陷。更全面，更快速，加快产品迭代速度，并允许用户使用更智能，更准确的搜索引擎。”