u采 采集(u采采集器采集服务器集群的ip段分布详解)

　　u采 采集(u采采集器采集服务器集群的ip段分布详解)

　　u采采集器是采集服务器集群的采集器。通过u采集器可以采集任何来源，包括：用户发送请求到服务器，服务器或网络接收到请求，再分析。从用户产生的每一个请求的url里，根据目标站点在url中的匹配程度得到目标站点的ip段。查看请求网址的ip分布u采集器通过索引的方式将网址按照设定的规则搜索出来，然后进行网址解析得到目标网址的ip分布。

　　根据每一个请求的ip段分布得到这个请求对应的ip段。根据这些得到的ip段用u采集器扫描器扫描看得到根据目标网址扫描得到的ip段，从而得到该目标站点的ip分布。根据得到的ip分布再结合username判断是否发送到对应的u采集器服务器。最后根据ip生成一个唯一标识符。生成唯一标识符第一步，建立规则u采集器建立规则很简单，可以使用采集服务器的命令行工具u采集，直接分析得到网址后，搜索得到ip即可，服务器端随机产生几个数字即可。

　　python命令行工具u采集如下：#ip={}#ip地址需要有空格即可![]name=[]defmake_text(ip):list=[]foriinrange(0,。

　　3):ifiinip[1]:list.append(i)name=ip[1].nameelse:fornameinlist:iflist[name]==ip[1]:returnnameiflist[0]!='.':list.append(list[1])returnname.split('.')else:return'_'fornameinip:ifname[0]!='.':return''returnipname=name.split('.')name.split('_')第二步，扫描匹配程度对于扫描过程可以在计算机上进行单元测试。扫描匹配指定网址的所有ip，匹配程度当存在所有的ip的时候要求扫描每个ip与合适的ip进行匹配。

　　u采集器有两种情况下会存在不匹配：

　　1）所有网址中扫描不到(此种情况存在的概率为80%)；

　　2）扫描到的每个ip对应一个ip地址与空格分隔的网址（此种情况也存在概率为80%）。扫描匹配情况说明defprefix_if_with_any_group(ip):sql_returns='{0}.{1}.{2}.{3}.{4}.{5}.{6}.{7}.{8}.{9}.{0}.{1}.{2}.{3}.{4}.{5}.{6}.{7}.{8}.{9}.{1}.{2}.{3}.{4}.{5}.{6}.{7}.{8}.{9}.{0}.{1}.{2}.{3}.{4}.{5}.{6}.{7}.{8}.{9}.{0}.{3}.{4}.{5}.{6}.{7}.{8}.{9}.{0}.{5}.{6}.{7}.{8}。