js抓取网页内容不难，大不了搞个cookie/验证码

　　js抓取网页内容不难，大不了搞个cookie/验证码

　　js抓取网页内容不难，大不了搞个cookie/验证码。难得是关键业务的抓取及时，于公司利益而言显然产品是第一位的，而对于你自己如何获得以及管理是第二位的，处理起来自然是有难度的。

　　阿里巴巴一百多家公司的商品信息，你100%要拿下，关键是你自己整理。而且阿里巴巴不是真的卖东西，而是做服务。还有就是做好你的行业。

　　抓取有困难，

　　我们公司抓的网址比你这个更多，但是软件部总监说别抓了，要不试试用什么有道云笔记吧。我觉得就是抓完之后怎么管理的问题，你要设置好回链接，设置好退订以及什么什么的，然后做好可视化的模板，下面的人只要点一下就好了。

　　据我了解，做过微信公众号运营的会比较喜欢微擎这种类型的抓取工具，再不行你把阿里巴巴进去看看？如果之前用过会js抓，那么就看能不能有代码抓代码，就是传统的写个request模拟浏览器给阿里巴巴发请求抓取。抓一次会有很多页面，你一个个抓。爬那么多商品总会有比较全的，但是你要去看下有哪些是按照id排的，有些比较靠后的靠你推广来的你就抓不到了，但是记得要验证抓取的商品信息，不要你懂一点点就提交了，很可能对方人工回复你，而且人家没看页面，说代码问题要你返回去。

　　所以最简单方法就是js爬。然后你网站的重点页面就可以抓，我之前用过一款工具一般爬网站的话不要专注全站来抓，可以走特定的工具来抓，效率上能高些。专注抓网站的话一方面要爬过来的页面要完全有商品信息，对于js代码一定要能看出来是怎么一回事。另一方面要把功能做好就是会注册跟认证，找好归宿。