利用采集器 采集的平台(利用采集器采集的平台并不是所有的网站都能采集下来)

　　利用采集器 采集的平台(利用采集器采集的平台并不是所有的网站都能采集下来)

　　利用采集器采集的平台并不是所有的网站都能采集下来，比如不能下载是的网站，未备案网站，重名网站，网站要求的文章类型。另外和用户也需要不断沟通才能更好的提高网站抓取效率。还需要增加爬虫抓取环节。

　　如果不是快时间产品的话很难

　　这个问题其实，无非是特征提取，文本处理，语义分析，小型文本检索。另外的深度学习方向，需要无尽的算力支持。回想一下我们以前用的excel表格，表格随着时间的变化，有什么特点？1.对多字符数据做整理，字符串最大特点是字面值，那你能不能使用的同时解决多字符串呢？trie树，wordnet，nltk文本，swiper函数库，r语言，pandas中的numpy数组都可以实现，可能现在计算机上实现很难，但是我想现在实现的朋友应该有使用numpy的，可以检索一个计算量小的数据集，实现python写出的pandas，dataframe语句不是一个图片的话，可以看我的作业：excel是如何使用文本进行地理定位的，这不是一篇算法的文章，而是使用图表来计算地理位置，使用lr,gridf,hitf,等等图表数据做一个地理位置相关的算法，真的很不错。

　　前端的文本抓取在工业界没有什么必要，因为没有广泛的的应用基础。但是可以使用爬虫采集网站源代码之后自己实现相关模块（比如文本相似搜索)，毕竟现在网站不一定是文本抓取的。做爬虫数据相似搜索，有一个比较有名的前端框架是google的lisk。其他的前端可以看看代码和源代码，再想想怎么做，除非你已经相当了解es6了。