网页flash文本抓取器(爬虫系统的基本包含模式()()的应用 )

　　网页flash文本抓取器(爬虫系统的基本包含模式()()的应用

)

　　基本 URL 收录模式（或协议）、服务器名称（或 IP 地址）、路径和文件名，例如“protocol://authorization/path?query”。带有授权部分的完整通用 URI 语法如下所示：protocol://username:-domain:port/directory/filename.filesuffix?parameter=value# logo

　　爬虫系统要处理的URL是指使用超文本传输​​协议HTTP的URL。

　　URL分为绝对URL和相对URL

　　绝对 URL 显示文件的完整路径，这意味着绝对 URL 本身的位置与被引用的实际文件的位置无关。

　　相对 URL 以收录 URL 本身的文件夹的位置作为参考点来描述目标文件夹的位置。如果目标文件和当前页面在同一目录下（即收录URL的页面），那么文件的相对URL就是文件名和扩展名，如果目标文件在当前页面的子目录下目录，其相对 URL 为 subdirectory 目录名，后跟一个斜杠，然后是目标文件的文件名和扩展名。

　　如果要引用文件层次结构中较高目录中的文件，请使用两个句点和一个斜杠。两个句点和一个斜杠可以组合并重复以引用当前文件所在硬盘上的任何文件，

　　一般来说，相对 URL 应该始终用于同一服务器上的文件，它们在将页面从本地系统传输到服务器时更容易键入和方便，只要每个文件的相对位置保持不变，链接仍然有效。

　　char * url_normalized(char *url) <br />{<br /> if (url == NULL) return NULL;<br /><br /> /* rtrim url */<br /> int len = strlen(url);<br /> while (len && isspace(url[len-1]))<br /> len--;<br /> url[len] = '\0';<br /><br /> if (len == 0) {<br /> free(url);<br /> return NULL;<br /> }<br /><br /> /* remove http(s):// */<br /> if (len > 7 && strncmp(url, "http", 4) == 0) {<br /> int vlen = 7;<br /> if (url[4] == 's') /* https */<br /> vlen++;<br /><br /> len -= vlen;<br /> char *tmp = (char *)malloc(len+1);<br /> strncpy(tmp, url+vlen, len);<br /> tmp[len] = '\0';<br /> free(url);<br /> url = tmp;<br /> }<br /><br /> /* remove '/' at end of url if have */<br /> if (url[len-1] == '/') {<br /> url[--len] = '\0';<br /> }<br /><br /> if (len > MAX_LINK_LEN) {<br /> free(url);<br /> return NULL;<br /> }<br /><br /> return url;<br />}