python抓取网页数据(python抓取网页数据库和表的区别？-八维教育)

　　python抓取网页数据(python抓取网页数据库和表的区别？-八维教育)

　　python抓取网页数据，采用的就是这个图标所在的块，而且mysql数据库实际上给的是一个table，showmysql的my.config里头会有配置。查看db目录下一个conf的resolve关键字，把processingdatabasetomysql改成autocommit。如果网页中被识别出来有哪个数据库还应该注意配置一下，如果所有数据库中都被识别出来了，那么应该生成一个tag字段，在其中配置urlusedbkey=processingdatabasetomysql。

　　使用查询网页中的数据库和表吧！比如：google首页，就是定义为server.select_db。

　　分析一下它用到了什么数据库和表。

　　猜测一下:首先不要从头抓,应该是调用java的gson和excel里面的merge_to_dat方法来读,最后再爬。

　　让浏览器生成一个tag的mapping字段表,然后在python中利用就可以了。也可以采用scrapy提供的meta。

　　根据你问题的这种问法，我猜你应该处于初学阶段，因为没有爬虫专门学习过，没有掌握抓取的基本理论。在这个基础上，或许你还需要修炼几本书，python从入门到放弃、从零开始学爬虫、爬虫之道等，从中寻找一些问题的答案。当你已经觉得python的内置api和requests之类的爬虫工具够用时，就应该学习掌握一些强大的第三方爬虫工具。

　　pythondjango，flask，webpy等。将它们用于收集站点、分析、合并等操作时，就已经基本完成了从事件驱动到异步爬虫的一系列爬虫入门课程了。最后也是最后的建议，因为python爬虫的一个最大的优势，可视化爬虫，也就是利用python爬虫搭配api，把本来无法直接抓取到的数据，让程序去计算、分析和爬取。

　　这里强烈推荐java的requests包，可用于简单的分析，还有excel导入，不过这个属于单机爬虫。如果你对c++有兴趣，也可以尝试爬虫和python结合，使用c++去抓python数据库。反正我理解：技术迭代很快，现在你学python非常爽，但未来还需要学习许多新东西，并且掌握很多基础知识。如果学了python，python可能用得更好了，但无法成为管理层人员，或者成为一个高级的软件工程师。

　　不过也不必怕，这需要两三年后才能做到，一个人在技术上面悟性，也有两三年的时间吧。这些东西，可以跟随一个人，自学能力强的，花个两三年，应该还是能有些把握。