c#抓取网页数据(如何在本地运行一个网站爬虫？-coldpan的回答)

　　c#抓取网页数据(如何在本地运行一个网站爬虫？-coldpan的回答)

　　c#抓取网页数据的第一步自然是爬虫相关，第二步是自定义header，第三步是配置标准url提交，最后是返回jsonhtml文件，这几步用c#来做应该不会太复杂的。网页数据来源：1.真实网页数据在github上收集了一些已存在的网页数据2.某些情况（不适合这里讨论的某些特殊情况，比如代码规范等等）收集的一些爬虫相关的代码3.某些情况另外提交4.之前提交过，用的asp6.最近才写的一个用于分析系统的代码，类似的可以看我的另一个关于linux的回答有哪些十分钟就能学会的技能？robyka：如何在本地运行一个网站爬虫？-coldpan的回答。

　　你不是已经规划好了吗？c#爬虫。

　　php+httpserver。就是几行代码的事情。

　　学点java吧，大公司项目用php的不多，

　　github，我写的爬虫，带手机验证码，带反爬，可以买本python与go的书，学点python爬虫。

　　apache+mysql即可。

　　api简单

　　爬虫干啥不一定呢，而且职位会比较多，总之先有点基础，让自己更了解爬虫是干啥的，看看能做哪些东西，

　　aspservlet，当然你会jsp或php可以不会asp，我后来再补差不多。当然html，js和css其实也能用的。你能写代码，会做功能实现，懂后台数据接收发送处理，能维护个redis代理设置断点模拟重定向，网页分析，爬虫只是锦上添花。爬虫框架不学也罢。