网页内容抓取 php(+mysql我用python写的爬虫项目/tree-gallery)

　　网页内容抓取 php(+mysql我用python写的爬虫项目/tree-gallery)

　　网页内容抓取php+mysql并发爬虫我是用php爬取的，目前我写爬虫就是这么做的。不过这是我写的爬虫项目，是单线程的。如果有高并发，可以用selenium模拟用户操作，我不擅长写爬虫，不知道效果怎么样，看起来效果应该不是很好，可能需要很复杂的代码，但是不是很值得学习，不是那么容易就能弄出来的。python+mysql我用python写的爬虫，现在自己还在用呢，已经工作了，效果还不错，但是时间比较长，需要用的时候得更改一下代码，时间总是有点不够用，还是需要在github上搞一个源码出来。

　　python的项目skchen/tree-gallery都是我自己的创作，自己就是编写一下爬虫，sql解析，python爬虫在线演示，监控自己开发的爬虫写出的代码，抓取自己写爬虫网站，大家参考参考。毕竟我只会做爬虫，一些别的东西就得自己找，就得自己摸索了，不知道怎么写代码爬虫，还是得自己摸索，效果不是太好，算不上专业爬虫，但是对于刚接触爬虫，或者从网站中获取的，不知道如何下手的就非常适合，或者对java爬虫感兴趣的朋友，也可以参考一下。

　　还有对python爬虫感兴趣的朋友，也可以参考一下，部分代码还是可以的，但是有些解析连接页面的代码真的是会卡死人，不是你能多设置几个线程就可以解决的。其他的方法就是去请教别人，看别人的代码，写爬虫的时候就是请教别人，前期可能会去绕一些不必要的坑，总体来说，更多的是自己找，去探索，学会自己摸索，一开始自己摸索的方法总是有一些错误的，不过后面不光学会了怎么写爬虫，还了解了黑帽技术，在黑帽是，很多坑都是你自己以为可以避免，其实完全被黑进去了，很多黑帽，也就是黑，一个大坑，入坑以后就会觉得也就那么回事。

　　实际我们在爬虫这行，太多陷阱，坑很多，有些坑一不小心就是深不见底，后面再写一个完全不错的爬虫项目，才会写出正确的爬虫代码，避免代码因为坑多而受到影响。数据库我在写爬虫的时候就是做数据库这块，不过不是用mysql,是用的mongodb数据库，其实mongodb更适合做网站的各个角落的数据库，mongodb是一个完全开源的分布式、无锁的数据库，能够使用其读写分离的特性将数据写入性能提高到分布式事务的水平，另外采用强并发和允许读写分离的特性使得对数据库写入的网站的压力减小，同时使得mongodb不需要太多的初始化工作即可以提供高性能的服务。

　　同时mongodb拥有的标准数据类型良好的兼容性，能够很好的帮助开发者方便的迁移代码到支持mongodb和支持mongodb的另外一个数据库中，使得其对开发者来说更加的简单，更加的灵活，而。