通用解决方案:python web Django京东华为手机商品信息采集爬虫与数据分析

　　通用解决方案:python web Django京东华为手机商品信息采集爬虫与数据分析

　　博主介绍：✌活跃的Java研发工程师，专注于程序设计，源代码共享，技术交流，专注于Java技术和毕业设计 ✌

　　项目名称

　　python web Django JD 华为手机产品信息采集爬虫和数据分析

　　视频演示

　　视频去哪儿了？ _Bilibili_bilibili

　　技术堆栈

　　后端：弹簧+弹簧MVC+米巴蒂斯前端：JSP+CSS+JavaScript+jQuery

　　使用说明

　　使用 Navicat 或其他工具在 mysql 中创建具有相应名称的数据库，并导入项目的 sql 文件;使用 IDEA/Eclipse/MyEclipse 导入项目，当 Eclipse/MyEclipse 导入时，为专家项目选择专家;

　　如果是maven项目，请在导入成功后执行maven清理;maven安装命令，然后运行;将项目中的 spmvc-servlet .xml配置文件中的数据库配置更改为您自己的配置文件;要运行项目，请在浏览器中输入：8080/ 登录

　　运行屏幕截图

　　编辑

　　编辑

　　用户管理控制层：

　　包装机控制器;

　　import javax.servlet.http.HttpSession;

　　import mons.lang3.StringUtils;

　　导入组织、弹簧框架、豆类、工厂、注释、自动布线;

　　导入组织弹簧框架，刻板控制器;

　　导入组织

　　导入组织弹簧框架.web.bind.annotation.Request方法;

　　导入组织弹簧框架.web.bind.annotation.RequestParam;

　　导入组织弹簧框架.web.bind.annotation.响应正文;

　　*敏*感*词*月康斯特;

　　*敏*感*词*单康斯特角色;

　　导入 mon. ServerResponse;

　　*敏*感*词*网站用户;

　　import.housers.service.iUserService;

　　import com.housers.service.impl.UserServiceImpl;

　　import com.houserss.util.MD5Util;

　　Import com.housers.util.TimeUtils;

　　import com.houserss.vo.DeleteHouseVo;

　　import com.houserss.vo.PageInfoVo;

　　/**

　　@Controller

　　@RequestMapping（“/用户/”）

　　公共类用户控制器 {

　　@Autowired

private IUserService iUserService;

/**

* 用户登录

* @param username

* @param password

* @param session

* @return

*/

@RequestMapping(value = "login.do",method = RequestMethod.POST)

@ResponseBody

public ServerResponse login(User user,String uvcode, HttpSession session){

String code = (String)session.getAttribute("validationCode");

if(StringUtils.isNotBlank(code)) {

if(!code.equalsIgnoreCase(uvcode)) {

return ServerResponse.createByErrorMessage("验证码不正确");

}

}

ServerResponse response = iUserService.login(user.getUsername(),user.getPassword());

if(response.isSuccess()){

session.setAttribute(Const.CURRENT_USER,response.getData());

}

return response;

}

　　}

　　管理员管理控制层：

　　package com.sxl.controller.admin;

　　import java.util.List;

　　import java.util.Map;

　　import javax.servlet.http.HttpServletRequest;

　　导入组织弹簧框架;

　　导入组织弹簧框架，刻板控制器;

　　导入组织弹簧框架;

　　导入组织

　　import com.sxl.controller.MyController;

　　@Controller（“adminController”）

　　@RequestMapping（值 = “/管理员”）

　　公共类管理员控制器扩展 MyController {

　　

@RequestMapping(value = "/index")

public String frame(Model model, HttpServletRequest request)throws Exception {

return "/admin/index";

}

@RequestMapping(value = "/main")

public String main(Model model, HttpServletRequest request)throws Exception {

return "/admin/main";

}

@RequestMapping(value = "/tj1")

public String tj1(Model model, HttpServletRequest request)throws Exception {

String sql="select DATE_FORMAT(insertDate,'%Y-%m-%d') dates,sum(allPrice) price from t_order order by DATE_FORMAT(insertDate,'%Y-%m-%d') desc";

List list = db.queryForList(sql);

model.addAttribute("list", list);

System.out.println(list);

return "/admin/tj/tj1";

}

@RequestMapping(value = "/password")

public String password(Model model, HttpServletRequest request)throws Exception {

return "/admin/password";

}

@RequestMapping(value = "/changePassword")

public ResponseEntity loginSave(Model model,HttpServletRequest request,String oldPassword,String newPassword) throws Exception {

Map admin = getAdmin(request);

if(oldPassword.equals(admin.get("password").toString())){

String sql="update t_admin set password=? where id=?";

db.update(sql, new Object[]{newPassword,admin.get("id")});

return renderData(true,"1",null);

}else{

return renderData(false,"1",null);

}

}

　　}

　　修改密码业务逻辑：

　　package com.sxl.controller.admin;

　　import java.util.Map;

　　

　　import javax.servlet.http.HttpServletRequest;

　　导入组织弹簧框架;

　　导入组织弹簧框架，刻板控制器;

　　导入组织弹簧框架;

　　导入组织

　　import com.sxl.controller.MyController;

　　@Controller（“用户控制器”）

　　@RequestMapping（值 = “/用户”）

　　公共类用户控制器扩展我的控制器 {

　　

@RequestMapping(value = "/index")

public String frame(Model model, HttpServletRequest request)throws Exception {

return "/user/index";

}

@RequestMapping(value = "/main")

public String main(Model model, HttpServletRequest request)throws Exception {

return "/user/main";

}

@RequestMapping(value = "/password")

public String password(Model model, HttpServletRequest request)throws Exception {

return "/user/password";

}

@RequestMapping(value = "/changePassword")

public ResponseEntity loginSave(Model model,HttpServletRequest request,String oldPassword,String newPassword) throws Exception {

Map user = getUser(request);

if(oldPassword.equals(user.get("password").toString())){

String sql="update t_user set password=? where id=?";

db.update(sql, new Object[]{newPassword,user.get("id")});

return renderData(true,"1",null);

}else{

return renderData(false,"1",null);

}

}

@RequestMapping(value = "/mine")

public String mine(Model model, HttpServletRequest request)throws Exception {

　　地图用户 =获取用户（请求）;Map map = db.queryForMap（“从t_user中选择 *，其中 id=？”，new Object[]{user.get（“id”）}）;model.addAttribute（“map”， map）;返回“/用户/我的”;

　　}

@RequestMapping(value = "/mineSave")

public ResponseEntity mineSave(Model model,HttpServletRequest request,Long id

,String username,String password,String name,String gh,String mobile) throws Exception{

int result = 0;

String sql="update t_user set name=?,gh=?,mobile=? where id=?";

result = db.update(sql, new Object[]{name,gh,mobile,id});

if(result==1){

return renderData(true,"操作成功",null);

}else{

return renderData(false,"操作失败",null);

}

}

}

　　通用管理模块：

　　包装控制器;

　　import java.nio.charset.Charset;

　　import java.util.Locale;

　　import java.util.ResourceBundle;

　　import javax.servlet.http.HttpServletRequest;

　　import mons.lang.StringUtils;

　　导入组织、弹簧框架、豆类、工厂、注释、自动布线;

　　导入组织弹簧框架;

　　导入组织

　　导入组织弹簧框架;

　　导入组织弹簧框架;

　　import com.sxl.util.JacksonJsonUtil;

　　import com.sxl.util.StringUtil;

　　import com.sxl.util.SystemProperties;

　　公共类基控制器 {

　　public static final Long EXPIRES_IN = 1000 * 3600 * 24 * 1L;// 1天

@Autowired

private SystemProperties systemProperties;

/**

* 获得配置文件内容

*/

public String getConfig(String key) {

return systemProperties.getProperties(key);

}

/**

* 返回服务器地址 like http://192.168.1.1:8441/UUBean/

*/

public String getHostUrl(HttpServletRequest request) {

String hostName = request.getServerName();

Integer hostPort = request.getServerPort();

String path = request.getContextPath();

if (hostPort == 80) {

return "http://" + hostName + path + "/";

} else {

return "http://" + hostName + ":" + hostPort + path + "/";

}

}

/***

* 获取当前的website路径 String

*/

public static String getWebSite(HttpServletRequest request) {

String returnUrl = request.getScheme() + "://"

+ request.getServerName();

if (request.getServerPort() != 80) {

returnUrl += ":" + request.getServerPort();

}

returnUrl += request.getContextPath();

return returnUrl;

}

/**

* 初始化HTTP头.

*

<p>

* @return HttpHeaders

*/

public HttpHeaders initHttpHeaders() {

HttpHeaders headers = new HttpHeaders();

MediaType mediaType = new MediaType("text", "html",

Charset.forName("utf-8"));

headers.setContentType(mediaType);

return headers;

}

/**

* 返回 信息数据

*

* @param status

* @param msg

* @return

*/

public ResponseEntity renderMsg(Boolean status, String msg) {

if (StringUtils.isEmpty(msg)) {

msg = "";

}

String str = "{\"status\":\"" + status + "\",\"msg\":\"" + msg + "\"}";

ResponseEntity responseEntity = new ResponseEntity(str,

initHttpHeaders(), HttpStatus.OK);

return responseEntity;

}

/**

* 返回obj数据

*

* @param status

* @param msg

* @param obj

* @return

*/

public ResponseEntity renderData(Boolean status, String msg,

Object obj) {

if (StringUtils.isEmpty(msg)) {

msg = "";

}

StringBuffer sb = new StringBuffer();

sb.append("{");

sb.append("\"status\":\"" + status + "\",\"msg\":\"" + msg + "\",");

sb.append("\"data\":" + JacksonJsonUtil.toJson(obj) + "");

sb.append("}");

ResponseEntity responseEntity = new ResponseEntity(

sb.toString(), initHttpHeaders(), HttpStatus.OK);

return responseEntity;

}

/***

* 获取IP（如果是多级代理，则得到的是一串IP值）

*/

public static String getIpAddr(HttpServletRequest request) {

String ip = request.getHeader("x-forwarded-for");

if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {

ip = request.getHeader("Proxy-Client-IP");

}

if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {

ip = request.getHeader("WL-Proxy-Client-IP");

}

if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {

ip = request.getRemoteAddr();

}

if (ip != null && ip.length() > 0) {

String[] ips = ip.split(",");

for (int i = 0; i < ips.length; i++) {

if (!"unknown".equalsIgnoreCase(ips[i])) {

ip = ips[i];

break;

}

}

}

return ip;

}

/**

* 国际化获得语言内容

*

* @param key

* 语言key

* @param args

* @param argsSplit

* @param defaultMessage

* @param locale

* @return

*/

public static String getLanguage(String key, String args, String argsSplit,

String defaultMessage, String locale) {

String language = "zh";

String contry = "cn";

String returnValue = defaultMessage;

if (!StringUtil.isEmpty(locale)) {

try {

String[] localeArray = locale.split("_");

language = localeArray[0];

contry = localeArray[1];

} catch (Exception e) {

}

}

try {

ResourceBundle resource = ResourceBundle.getBundle("lang.resource",

new Locale(language, contry));

returnValue = resource.getString(key);

if (!StringUtil.isEmpty(args)) {

String[] argsArray = args.split(argsSplit);

for (int i = 0; i < argsArray.length; i++) {

returnValue = returnValue.replace("{" + i + "}",

argsArray[i]);

}

}

} catch (Exception e) {

}

return returnValue;

}</p>

　　}

　　外媒:谷歌SEO优化之如何分析竞争对手

　　Google SEO优化竞争对手分析可以帮助我们分析关键词首页排名的难易程度，从而选择出适合我们的关键词，同时进行竞争对手分析，去除渣滓和取其精华，也有助于我们更好地做好优化工作。那么，在谷歌优化过程中如何分析竞争对手，看哪些数据呢？

　　首先，识别 关键词 并找到竞争对手。

　　我们需要先确定我们的关键词，然后通过谷歌搜索找到你的同行竞争。以：电动窗帘（电动窗帘）为例，我们在国外GOOGLE搜索前10名同行，然后进行分析了解。如果一个词找到的竞争对手不多怎么办？然后可以换个词，比如“幕”，继续找peers，把搜索到的peers汇总成一个文档。

　　然后，逐一分析竞争对手，分析数据如下：

　　1.查看域名的年龄。

　　您可以使用它来查询域名的具体情况。一般来说，域名越长，谷歌信任度越高。如果这个网站已经在优化过程中很久了，各方面都做得很好，那么这种网站想要超越就更难了。如果是新站的话，还是比较简单的。

　　2. 查看网站的历史。

　　

　　Wayback Machine是互联网档案馆下的网站，提供免费的全球网站历史信息查询服务。网站 已经建立了很长时间。可以查询最早的网站是1996年的历史档案。通过网站历史查询，我们可以大致了解网站在各个时间点取得了什么排名。如果您购买的是旧域名，此方法还可以帮助您查看该域名过去的发展历史。

　　3. 检查网站收录和网站的内容。

　　这很简单。一般从事谷歌优化的人都知道可以直接site:+url，可以查看网站收录的具体情况，以及收录页面的情况.

　　4.查看网站目录，网站架构。

　　俗话说知己知彼，百战百胜，竞争对手的网站可以取得不错的排名，也就是说网站的策划符合搜索引擎规则，内容设置符合用户体验。我们有必要花时间。仔细研究一下对方是怎么排版的，在内容方面有哪些亮点，有哪些优秀的可以借鉴和成功应用到我们身上网站。

　　5.查看网站流量数据

　　SimilarWeb 是世界上最流行的网站分析工具之一。主要功能包括分析网站和竞争对手的流量信息，分析网站的流量来源、关键词和用户粘性，如网站停留时间、跳出率、网页浏览量等。通过这些数据，我们可以为网站制定优化目标和营销标准。

　　6.查看竞争对手的广告数据

　　

　　我们可以使用 Semrush 的付费搜索数据进行评估。在付费搜索位置中，我们可以看到关键词 竞争对手的投放，在广告副本中，我们可以看到竞争对手的广告标语。这些可以给我们一些数据参考价值。

　　7.查看网站外链数据。

　　可以使用ahrefs工具，切记在分析外链时，既要关注外链的数量和质量，也要关注外链的来源、相关性、国家等。

　　8.查看竞争对手的在线推广渠道

　　可以直接使用domain:+URL进行分析，也可以在谷歌中搜索公司的品牌名称，可以了解到很多公司的推广渠道。同时，在搜索框中输入行业关键词，其实也可以找到目前行业内很多更高效、更突出的推广渠道。

　　最后，数据整合分析

　　进行竞争对手分析的目的是帮助我们做市场分析，关键词难度分析，为我们自己的优化规划提供参考价值。因此，我们必须对数据进行分析和总结，并将其应用到我们的谷歌搜索引擎优化过程中。只要数据准确，分析到位，确实可以达到事半功倍的效果。