总结:自动采集的第一步就是用python写一个爬虫

　　总结:自动采集的第一步就是用python写一个爬虫

　　自动采集的第一步就是用python写一个爬虫，发包，如果有数据就在前台，没有数据就会显示在后台。一般开发爬虫时，要考虑的就是你要处理的网站是否是公开的，即是否已被爬虫抓取过，

　　少写代码，多做业务。至于linux搞网站采集方法，

　　先从上网爬虫开始吧，一步步实践下来熟悉网站后，再进行后续的开发。

" />

　　打算采用python采集吗？公司网站可以转化为web站点。web站点要么自己发布，要么转化为爬虫对外发布，这样才更方便应用。

　　想采集就挖掘需求吧，看看爬虫比较好用的模块，都是基于什么算法，自己想想，是不是比较好的算法，这样实现起来会比较容易点。自己设计好线路和数据落地方式，会更好的解决难点。

　　torrentio模块目前有人使用过，是跟爬虫结合起来使用的，想要学习的话可以看看。

　　最简单的办法就是用爬虫来处理

" />

　　现在的应用类似于基于地理位置点的服务器采集，将地理位置点的位置输入到数据库中（使用navicat的postman或mysql）进行数据处理，

　　有个入门向的东西叫ext4

　　多写多练，没别的，linux是基础，爬虫可以用别的库。

　　多写爬虫，遇到问题，解决，不要跟数据库打交道，web解决不了数据，数据库又没爬虫功能。其实爬虫比较重要的就是解决问题，抓取也是，数据可以调用抓取工具或者你自己写程序抓取。