php网页抓取标题(网站用什么软件做的……首页、重要的内页的)

　　php网页抓取标题(网站用什么软件做的……首页、重要的内页的)

　　网站你用什么软件制作的...

　　最好将首页和重要内页的标题和元标记分开写，以反映栏目主题的不同内容。

　　动态网页优化

　　动态网站是指网站的内容更新和维护是通过一个有数据库背景的软件，即内容管理系统（cms）

　　结束。一般采用ASP、PHP、Cold Fusion、CGI等程序来动态生成页面。动态页面在网络空间中实现

　　不是实时存在的，它们的大部分内容通常来自连接到网站的数据库，只有在收到用户的请求后，在变量中

　　在字段中输入值之前不会生成它。动态网页扩展名显示为 .asp、.php、cfm 或 .cgi，而不是静态网页

　　页面的 .html 或 .htm。URL中通常会出现“?”、“=”、“%”以及“&”、“$”等符号。网站使用动态技术

　　除了增加网站交互功能外，还具有易于维护和更新的优点，是很多大中型网站的不错选择

　　利用。

　　但是大多数搜索引擎蜘蛛无法破译符号“？”之后的字符。这意味着动态页面很难被搜索索引

　　被引擎发现的几率也大大降低。因此，在构造网站之前，首先要纠正我们的思想，即能够

　　尽量不要使用静态性能的网页动态实现，重要的网页使用静态性能。在使用技术转换动态网页的同时

　　将其转换为静态网页，使网址不再收录“？”“=”等类似符号。您还可以对 网站 进行一些更改

　　动态，间接增加动态网页的搜索引擎可见性。即坚持“动静结合、以静制动”的原则。

　　不同技术的解决方案：

　　不同程序开发的动态网页有相应的解决方案。以下是作者凯伦整理的部分内容：

　　1、CGI/Perl

　　如果你在 网站 中使用 CGI 或 Perl，你可以使用脚本将环境变量之前的所有字符都提取出来，然后将 URL 放入

　　剩余的字符被分配给一个变量。这样，您可以在 URL 中使用变量。但是，对于那些内置的

　　一些带有SSI（Server-Side Include：Server-Side Include）内容的网页可以被各大搜索引擎收录

　　支持。那些后缀为 .shtml 的网页也会被解析成 SSI 文件，相当于普通的 .html 文件。但如果这

　　某些在其 URL 中使用 cgi-bin 路径的页面可能仍未被搜索引擎索引。

　　2、ASP

　　ASP（Active Server Pages：Web 服务器端动态网页开发技术）用于基于 Microsoft 的 Web 服务器

　　中间。使用 ASP 开发的网页一般以 .asp 为后缀。只是避免使用符号“？” 在 URL 中，大多数搜索引擎

　　都可以支持用ASP开发的动态网页。

　　3、冷聚变

　　如果您使用的是 Cold Fusion，则需要在服务器端重新配置它以

　　符号“？” 在每个环境变量中替换为符号“/”，并将替换后的值传递给 URL。这样，终于到了浏览

　　服务器端是一个静态 URL 页面。当搜索引擎检索这个转换后的文件时，它不会遇到“？” 因为

　　相反，整个动态页面可以继续被索引，这样你的动态页面仍然可以被搜索引擎读取。

　　4、Apache 服务器

　　Apache 是最流行的 HTTP 服务器软件之一。它有一个名为 mod_rewrite 的重写模块，URL 重写

　　发挥作用。该模块使您能够将收录环境变量的 URL 转换为搜索引擎支持的 URL 类型。为了那个原因

　　一些发布后不需要太多更新的网页内容，比如新闻，可以使用这个改写引导功能。

　　创建一个静态条目：

　　在“动静结合，静制动”的原则指导下，我们也可以对网站做一些修改，尽可能的增加动态网页

　　搜索引擎的可见性。例如，将动态网页编程为静态主页或网站地图中的链接，以静态目录的形式

　　渲染移动页面。或者为动态页面创建一个专用的静态入口页面（网关/入口），链接到动态

　　页面，然后将静态入口页面提交给搜索引擎。

　　将一些内容相对固定的重要页面制作成静态页面，比如网站的介绍和丰富的关键词，用户

　　帮助，以及网站重要页面的链接等地图网站首页尽量是静态的，重要的是动态的

　　内容全部以文字链接的形式呈现，虽然增加了维护工作量，但从SEO的角度来看还是值得的。

　　还可以考虑为重要的动态内容创建静态镜像网站。

　　付费登录搜索引擎：

　　当然，对于使用链接到数据库的内容管理系统 (cms) 在整个 网站 中发布的动态 网站，改进的搜索

　　搜索引擎可见性最直接的方式是付费登录，直接提交动态网页到搜索引擎目录，或者做key

　　文字广告保证由搜索引擎收录网站。

　　改进了对动态 网站 的搜索引擎支持

　　搜索引擎一直在改进对动态页面的支持。至此，GOOGLE、HOTBOT、百度都开始尝试

　　尝试抓取动态 网站 页面（甚至是 URL 中带有“？”的页面）。但是当这些搜索引擎抓取动态页面时，为了

　　避免“蜘蛛陷阱”（导致搜索机器人无限循环的脚本错误）

　　Crawl, cannot exit)”，只爬取静态页面链接的动态页面，以及动态页面链接的动态页面

　　不再抓取页面，即不再访问动态页面中的链接。

　　对于直接使用动态 URL 地址，请注意：

　　· 文件URL中不要有Session Id，不要用ID作为参数名（尤其是GOOGLE）；

　　例如，在《网络营销基础与实践》一书中，当当网介绍页面的URL地址为：

　　asp?product_id=493698">，页面无法读取。

　　参数越少越好，尽量不要超过2；

　　· 尽量不要在URL中使用参数，这样会增加被抓取的动态页面的深度和数量。

　　随附的：

　　Google 向 网站 管理员提供的信息：

　　百度常见问题：#2