用js采集网页数据并插入数据库最快的方式

优采云 发布时间: 2020-08-09 09:17

  今天教你们一个快速采集网站数据的方式,因为很晚了,直接上反例,这里以采集易车网的产品数据为例。

  思路:利用js获取网页数据并生成sql命令,执行sql命令把采集的数据插入数据库。

  1.用谷歌浏览器或则火狐浏览器打开网站:(品牌大全),(车型大全)

  2.按F12步入调试模式,选择console并敲入以下代码

  

// JavaScript Document

(function() {

var hm = document.createElement("script");

hm.src = "http://apps.bdimg.com/libs/jquery/2.1.4/jquery.min.js";

var s = document.getElementsByTagName("script")[0];

s.parentNode.insertBefore(hm, s);

})();

setTimeout(function(){

$.ajaxSettings.async = false;

//var data = [];

var sql = '';

$(".list_pic li").each(function(index, element) {

var brand ={url: $(this).find("a:eq(1)").attr('href'),name:$(this).find("a:eq(1)").text(),cars:[]};

sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES('0', '"+$(this).find("a:eq(1)").text()+"');\r\n\

set @pid = LAST_INSERT_ID();\r\n";

$.get(brand.url,function(html){

$(html).find(".cartype-section .p-list .name a").each(function(index, element) {

sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES(@pid, '"+$(this).text()+"');\r\n";

brand.cars.push($(this).text());

});

});

//data.push(brand);

});

//console.log(data);

console.log(sql)

},2000)

  

  3.复制sql命令,剩下的大家都应当晓得了吧

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线