怎样做一个网站:网站日志分析技巧分享
本文摘要: 网站日志需要从哪些维度进行分析网站日志中的查找引擎爬行动物型以现在国内的查找引擎时常看,从日志中可以看到的爬虫大体有:百度蜘蛛(包括PC移动及烘托蜘蛛等,详细spider名称不做论述,站长平台均有详细蜘蛛说明);搜狗蜘蛛

网站日志需要从哪些维度进行分析

网站日志中的查找引擎爬行动物型

  • 以现在国内的查找引擎时常看,从日志中可以看到的爬虫大体有:
  • 百度蜘蛛(包括PC移动及烘托蜘蛛等,详细spider名称不做论述,站长平台均有详细蜘蛛说明);
  • 搜狗蜘蛛、360蜘蛛、神马蜘蛛、头条蜘蛛(详细spider名称不做论述,站长平台均有详细蜘蛛说明);
  • 各蜘蛛的抓取占比应与现在查找引擎所占市场份额相差不大;需留意的是神马为移动端站长平台;

各爬虫抓取链接

  • 分析各个爬虫抓取链接的结构类型,例如目录页面仍是概况页或者serch页面JS链接等;
  • 分析各个类型抓取占比是否正常;
  • 分析爬虫抓取链接的时间规律,比如百度,在哪一个时间段的来访抓取量最大,抓取时间线可了解;
  • 分析拜访链接与抓取链接的关联;

抓取量级

  • 核算总抓取量级,各个爬虫抓取量级;
  • 各个链接类型抓取量级,是否在正常规模;

状态码

  • 200、301、302、304、404、403、500、502等
  • 依据抓取链接状态码分析网站是否正常等

IP是否对应

  • 是否存在伪爬虫IP段、是否存在采集、扫描、攻击等行为;
  • 将异常IP段及爬虫进行封禁;

新增抓取量

  • 分析近期站内新生成链接的抓取占比、抓取次数等

seo 之网站日志分析技巧



网站日志分析关于站点优化具有很重要的意义,尤其是大型站点,收录数据与蜘蛛抓取量存在一定关系,若无蜘蛛拜访抓取,又何来收录、排名、点击、流量呢。(此乃个人观念,欢迎有爱好的大拿找酷仔评论)

【免责声明】本文仅代表作者或发布者个人观念,不代表(www.lmnkf.cn)及其所属公司官方发声,对文章观念有疑义请先联络作者或发布者自己修正,若内容触及侵权或违法信息,请先联络发布者或作者删除,若需我们协助请联络平台管理员,Emailcxb5918(本平台不支撑其他投诉反馈渠道,谢谢合作)。若需要学习以上相关常识请到巨推学院观看视频教程,网站地址www.tsllg.cn。

相关内容