全自动文章采集网源码2020(csv转成省市区多级联动代码,边界效果预览(组图))
优采云 发布时间: 2022-02-11 19:20全自动文章采集网源码2020(csv转成省市区多级联动代码,边界效果预览(组图))
在我们日常开发中,经常会遇到需要国内地址的联动数据,但是每个省市都会每次更新。什么升级啊合并啊。真的很苦恼。
每次需要获取城市数据的时候都会很头疼,不过现在不用担心了,现在省了。这里是省市数据的自动更新。它现已更新为 2019 年的最新数据。
项目数据源
项目介绍
本项目包括国家统计局内省、市、镇行政区划数据带拼音标注,高德地图坐标及行政区域边界,运行js代码发布的2019年最新数据采集在浏览器中,收录采集源码,提供csv格式的数据,支持将csv转换为省市多级联动js代码。
项目地址为:
下面是项目截图
如何使用
可以直接打开采集所在数据文件夹中的ok_data_level4.csv。Level4为省、市、镇四级数据,level3为省、市三级数据。另外,不需要的数据可以用Excel简单过滤,直接删除。csv 格式对于解析或导入数据库非常方便。
ok_geo.csv.7z为省市三级坐标及行政区域边界数据,csv格式,解压后130M+。
如果在使用csv文件的过程中出现乱码或混淆,请自行调整utf-8编码(或使用notepad++等文本编辑器将文件转换为所需编码),文本限定符为" .
数据测试在:win10+notepad+++UltraEdit+WPS+SQL Server,无需任何设置,均可直接打开,数据保持整洁,未发现异常。
将csv导入数据库本身就很复杂,请参考3_format.js中SQL Server中的导入过程。
边框效果预览
用js自己做采集
在低版本chrome控制台中运行1、2、3开头的文件完成采集,前提是控制台是通过指定网页打开的。这三个文件是按顺序执行的。
最新采集 代码中的拼音转换界面发生了很大变化。由于优公网接口采用了IP限制,即使使用全自动切换代理,全量转换仍然极慢,所以采用本地转换。在接口与公网转换接口相结合的方法中,省市级使用公网接口,其他使用本地接口。公网接口转换精度极高,本地稍差。
步骤1
打开国家统计局页面。在控制台粘贴1_抓取国家统计局城市信息。js代码执行。采集完成自动弹窗下载,保存文件data.txt。
第2步
【可选】在.pinyin-python-server中启动本地拼音服务,根据2_1_crawl pinyin.js中的提示进行4级本地拼音转换。根据2_2_Grab Pinyin.js开头的注释打开拼音界面页面,然后导入数据,进行省市级的高精度拼音转换 3.拼音采集完成自动弹出下载并保存文件 data-pinyin.txt。
第 3 步
任意页面,最好是第二步,根据3_format.js中的提示导入data-pinyin.txt,执行代码。格式化完成后会自动弹出下载并保存,得到最终文件ok_data.csv。最后
好了,今天就介绍到这里。需要的话记得点赞、采集、分享。在备份的情况下。
最后,这个项目的地址是:
可以给作者一星。