咨询
点击这里给我发消息
技术
点击这里给我发消息
吉林网络公司,吉林市网站建设,吉林网站制作,吉林市网页设计,吉林网站推广,吉林市手机网站,吉林网站优化,吉林市软件开发,吉林市微信公众号,吉林市小程序开发,吉林市响应式网站,吉林市做网站哪家好,吉林市柏霖网络公司
吉林市柏霖网络公司
地址:吉林大街309号新东广场商务中心B座8楼
电话:0432-64678108
网址:100lin.com
邮箱85680811@qq.com
  • 咨询:      85680811
  • 技术:      1053718
  • SEO优化网站推广
     您当前的位置:  首页 > 帮助中心 > SEO优化网站推广
    吉林市柏霖网络公司专业从事网站建设、网站制作、吉林市网站推广优化、网页设计、及一体的网站建设公司,为您完美打造一流网站,做吉林市最好的网站。 咨询电话:043264678108

    利用百度蜘蛛referer找到报错页面入口

    作者: 发布于:2018/11/20 16:17:35 点击量:


    什么是百度百度蜘蛛的referer


    百度百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:

    上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。


    jilin 02.jpg


    如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。


    比如我们的SEO日志分析系统中可以看到,符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。

    从发现问题至今过了1个月,查遍整个网站我也没找到入口。今天偶然仔细查了一下日志,想起了百度蜘蛛的referer,马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面(往往是这样)。收录流量都不错。由于最近公司图片系统更新。


    如果站点没有记录referer怎么办


    iis请在这里勾选“cs(Referer)”:

    apache请参考:

    apache log配置“Combined Log Format”章节

    apache log配置的官方链接


    Nginx请参考:

    nginx log配置

    nginx log配置的官方链接



    · 很多SEO问题并不是立即致命的,所以没有及时解决。流量就像蚂蚁啃大象一样一点一点啃掉了。

    · 系统性的知识积累还是会在关键时刻发挥作用的。





    上一篇:网络推广做不好?快学习一下吧

    下一篇:百度spider介绍

    评论加载中...
    内容:
    评论者: 验证码:
      
    日本阿v片在线播放免费,日本阿v免费1767,日本xoxoxo在线播放