从网页抓取数据(推荐python3入门,pythonpython一次性数据存储方案(图))

　　从网页抓取数据(推荐python3入门,pythonpython一次性数据存储方案(图))

　　从网页抓取数据并存储到mysql/oracle，然后最终接受mysql里面所有的数据。只要你学会了爬虫的程序语言编程，数据采集能力再好，数据也无法存储。数据库不可能一次性将数据全部爬取下来。如果你已经在深入学习爬虫的语言，那么建议你学习python，在学习成本上节省了很多。后期可以再在数据库里面建立多个文件夹，用来存储数据，而爬虫不就是爬取文件内容而已嘛。别忘了需要爬取的是数据库里面的数据而不是数据库的那几个字段。

　　数据存储在硬盘上，

　　db：数据库，python的mysql不是用sql来存，

　　mysql就是图形化mysql，通过图形化的方式操作和管理mysql。mysql命令行操作mysql。推荐python学习我国华东师范大学的python程序设计课程。

　　分情况，如果是整个数据库的数据存放（excel,csv,fsv等），则需要一次性存储所有文件夹下所有的数据。那么文件夹可以全部存储。但是mysql要做一次性存储，一般而言是有一个目录下会有很多个文件夹。如果是对某一块数据进行某些特定的操作（在定义好某个表的基础上对某个字段进行筛选,存储/读取数据，查看某个数据源头等等），建议存储一次性数据，这样可以同时进行计算。推荐python3入门,python一次性数据存储方案。