采集网站内容的内容内容传播的可视化建站经验之谈

　　采集网站内容的内容内容传播的可视化建站经验之谈

　　采集网站内容，最主要的是做好内容监控，在通过程序爬虫抓取，然后再存储，对于一些恶意爬虫会直接封杀，其次可以实现内容传播的可视化。

　　建站

　　当我看到这个问题时我脑海中浮现出的是淘宝上几块钱的服务器，好像没有别的网站了。

　　清理存在的垃圾，整理数据库，抓取的数据备份出来，把程序写进xml文件，

　　1.实时查看比如你要爬取某东的图片，淘宝的，

　　现在你可以使用everything查看网站全部爬虫记录，

　　一般没人用爬虫吧，我的同学做推广，也都是拿各个网站做账号，实时观察，反正是为数不多的工作。一般我们都做restful接口，需要爬取时，根据接口参数拿。也许你可以抓两天，只爬你想爬取的数据。在最后统计你爬取的数据内容。

　　everythingjs/everything/**

　　我们是在com上抓，也抓过新浪，腾讯等，

　　请注意非法爬虫

　　为什么我做的爬虫，

　　本人目前做java爬虫，每次只爬10个网站或者10页的页面，基本不会超过15个网站，这个网站分为前端和后端，后端一般比较分散，