网站运营过程中,死链的产生有时候是在所难免的,死链不仅影响了用户体验,也影响了搜索效果,那么我们如何避免网站死链产生,网站出现死链怎么正确处理和解决。
一、大量的死链对网站的影响
1、死链过高,会影响搜索引擎对网站的评分;
2、搜索引擎对每个网站每天抓取的频次是限额的,若网站存在大量死链,会浪费掉抓取配额并影响其他正常页面的抓取;
3、过多死链也会影响用户体验。
二、死链接是如何产生的?
1、错误的网站内链
这种情况多是编辑人员大意,在文章中添加了错误的内链
3、外部链接错误
外链建设中发布了错误的URL,这里包括我们自己疏忽发布了死链,也不排除竞争对手的恶意攻击
4、爬虫提取了不完整的URL
个别爬虫在提取页面URL的时候,因为URL中有不规则字符或者URL与后边的文字链接起来,导致URL失效。
5、网站改版
如果你的网站已经改版或者将要改版,一定要注意死链问题,很多网站改版后,之前的老页面直接删除,导致了大量的死链接。
6、管理员删除页面
网站管理员删除被黑、广告、过时、被灌水页面导致很多死链接。
三、如何发现网站中存在的死链接?
1、百度站长工具中的抓取异常工具可以查看最近一个月产生的各种死链,并支持导出功能;
2、使用相关爬虫软件,比如Xenu,此类工具可以爬取全站所有链接并分析页面状态,分析完成后,支持导出功能,提取死链接即可;
3、在网站运营中,特别是论坛,经常需要删除某些页面,在删除页面时一定要记录对应的Url以便后期提交死链;
4、对于单个页面还可以使用浏览器插件“网页链接检查”一键检测,插件可以在360浏览器扩展中心下载;
四、如何避免和处理死链接?
1、网站改版最容易产生死链的
对于有价值的页面在改版之前最好不要删除和修改链接,如若需要更换域名,一定要将之前的网址301重定向到对应的URL上,包括首页和内
容页;若旧页面必须删除,那删除的所有链接都要记录并提及死链。
2、对发现的死链接如何处理
把收集到的死链整理到一个文档放在网站的根目录中,再把文档地址提交到百度站长工具--网页抓取--死链提交,如果死链不多可以选择文件提交,把之前整理好的死链文档地址提交给百度;若大量死链具有一定的规则,如某个目录下全部为死链接,可提交规则死链。
3、制定404页面
一般来说我们的网站404页面都是服务器默认的样式,我们可以重新设置404页面样式,可以是图片、单页面或其他形式,这样对用户来说也 是一种好的体验,同时可以设置其自动返回首页(自动返回时间控制在8秒之外,返回时间不要太短)。
相关注意事项:
1、在百度站长工具中提交死链前,一定要确保提交的死链都为404链接,一旦存在活链,会显示提交失败导致无法删除,需要重新提交,所有为了节省时间,提交之前如果不确定可以检查一次。
2、由于网站程序问题,很多死链HTTP状态码返回并不是404,可能返回时200、301、500,这是一个大问题,会导致很多不同URL,有很多相同的内容,对搜索引擎来说也是一直欺骗。
3、把所有的错误页面找到后,一定要寻找此类页面URL相同特征,并且和正常页面的特征有区分,写对应规则到robots文件中,禁止蜘蛛抓取,就算你已经在站长工具中提交了死链,也建议robots封禁抓取。
4、robots只能解决蜘蛛不再抓取此类页面,但解决不了已经收录页面的快照删除问题,若你的网站被黑,删除了被黑页面,除了robots封禁 被黑页面外,还应该将这些页面提交死链,提交死链是删除被黑页面快照的最快办法。