Month: May 2017
May 05, 2017 PHP
网站死链解决
一、大量死链对搜索引擎来讲，有什么影响? 1、几乎很多站都避免不了存在死链接，但死链率过高，会影响搜索引擎对网站的评分。 2、搜索引擎对每个网站每天抓取的频次是限额的，若网站存在大量死链，会浪费掉抓取配额并影响正常页面的抓取。 3、过多死链对网站用户来讲也是体验不好的表现。二、百度站长工具中有一个抓取异常，那么这个工具里面的异常数据是如何产生的呢? 1、网站内部添加了错误的内部链接 编辑失误或者程序员大意让页面产生了不存在页面的 URL。 2、原来正常页面因为程序或页面调整或改版无法打开 因为程序的一个改动，导致了某些正常页面无法打开。 3、网站短暂无法访问 因为服务器、空间或程序问题导致网站无法访问，抓取异常中会出现大量的 500 错误页面。 4、外部链接错误 用户或者站长在站外发布了错误 URL，蜘蛛爬取后产生错误页面;别的网站复制或采集了你们含有错误链接的页面;有些垃圾网站自动生成的静态搜索结果页，如 www。8875。org/desc/3715714444.html 这个页面中出现的很多链接在 html 前面有“...”。 5、爬虫提取了不完整的 URL 个别爬虫在提取页面 URL 的时候，只提取部分 URL 或者把正常的 URL 后面的文字或字符也提取进去了。 6、网站改版或管理员删除页面 网站改版过程中处理不当导致部分老页面无法访问，或者网站管理员删除被黑、广告、过时、被灌水页面。三、出现了上述情况，我们该如何去解决 1、修复错误页面 抓取异常中的很多错误页面是因为程序员大意或者我们程序问题导致的，本应该是正常页面，因为失误导致无法访问，对于此类页面，第一时间进行修复。 2、提交死链接 但必定很多错误页面是本不应该存在的，那么我们要想办法获取此类页面 URL，获取方式主要有三种： （1） 百度站长工具--抓取异常--找不到的页面--复制数据 [修正：此处死链不需我们提交了，百度站长工具自动提交死链]; …