• 郝龙斌:台湾经济最大难题不是经济 关键在民粹 2019-06-17
  • 上海合作组织青岛峰会举行 习近平主持会议并发表重要讲话 2019-06-07
  • 第七届云台会签约协议金额96亿元 2019-06-06
  • 为何“最美晚霞”总在暴雨后? 2019-05-30
  • 第七届中俄蒙美食文化节将于7月17日在乌兰察布市开幕 2019-05-11
  • 上海90家定点医疗机构将受医保常规检查 2019-05-09
  • 互联网电视,谁来填补乐视之空? 2019-05-07
  • 【学习时刻】农大校长柯炳生:推进农业供给侧改革,夯实“固本安民之要” 2019-05-07
  • 黄淳的专栏作者中国国家地理网 2019-05-06
  • 社会主义社会按劳分配是建立在公有制和私有制并存基础上的,共产主义社会按需分配是建立在公有制基础上的,所有制基础不同,其分配形式也就不同。所谓“共产主义... 2019-05-06
  • 凯恩率“三狮军团”艰难战胜突尼斯 2019-04-27
  • 枫林桥还是龙华?赵世炎烈士关押、牺牲地细究 2019-04-27
  • 绿营人士私下抱怨姚文智:是只“残废飞不起来的母鸡” 2019-04-14
  • 县名解析晋城高平市地名来历 2019-01-05
  • 稳中求进 奋发有为 推动新时代纪检监察工作高质量发展 2019-01-05
  • 深圳互联网供应商--贝尔利科技
    深圳网站建设、 网站设计、网站改版首选贝尔利深圳网站建设公司
    广西快3直播
    • 联系电话:135-9036-6521
      值班电话:135-9036-6521
    • 建站咨询
      点击我留言
    • 推广咨询
      点击我留言

    网站优化之页面抓取过程分析

    广西快3直播 www.adi20.com 2018-11-08 10:19:31??文章来源:广西快3直播??责任编辑:Addrion

    url,即统一资源定位符,通过对url的分析,我们可以更好地理解页面抓取过程。下面广西快3直播贝尔利科技小编就来和大家分享下网站在优化过程中是如何抓取页面信息的。

    一、url是什么意思?

    URL,英文全称为“uniform resource locator”,中文译为“统一资源定位符”。

    在网站优化中要求每一个页面有且仅有一个唯一的统一资源定位符(URL),但往往很多网站同一页面对应了很多个URL,如果都被搜索引擎收录且未做URL转向,就会产生权重不集中的情况,通常称为URL不规范。

    二、url的组成

    统一资源定位符(URL),由三部分组成:协议方案、主机名和资源名。

    例如:

    https:// www.x**.org /11806

    其中https为协议方案,www.***.org 为主机名 ,11806为资源,不过这个资源不太明显,一般资源后缀为.html,当然还可以是.pdf、.php、.word等格式。

    三、页面抓取过程简述

    无论是我们平时用的互联网浏览器,还是网络爬虫,虽然是两种不同的客户端,但获取页面的方式却是相同的。页面抓取过程如下:

    ① 连接DNS域名系统服务器

    客户端都会先连接到DNS域名服务器上,DNS服务器将主机名( www.***.org )转换为IP地址,并反馈给客户端。

    PS:本来我们通过111.152 . 151.45 的地址来访问某网站,为了方便记忆和使用,才利用DNS域名系统转换为了 www.***.org 。这也就是DNS域名系统的作用。

    ② 连接IP地址服务器

    该IP服务器下可能会有很多程序(网站),可以通过端口号来做区分,同时每个程序(网站)都会监听端口是否有新的连接请求,HTTP网站默认为80,HTTPS网站默认为443。

    不过通常情况下,端口号80和443是默认不出现的。

    举例来讲:

    https://www.***.org:443/ = https://www.***.org/

    //www.***.org:80/ = //www.***.org/

    ③ 建立连接并发送页面请求

    客户端与服务器建立连接后,会发送页面请求,通常为get,也可以是post。

    get 11806 HTTPS/1.0

    获取HTTPS协议下的页面11806 返回给客户端。之后如需继续获取更多页面,则发送其他请求,否则将关闭该连接。

    PS:通常情况下 ,/seo/11806.html 可能会更清晰。也就是发送 https://www.***.org/ 下的 seo文件夹下的 11806.html 的页面请求。

    以上就是今天贝尔利科技小编和大家分享的内容,谢谢大家的阅读!
    责任编辑:Addrion
    ?
  • 郝龙斌:台湾经济最大难题不是经济 关键在民粹 2019-06-17
  • 上海合作组织青岛峰会举行 习近平主持会议并发表重要讲话 2019-06-07
  • 第七届云台会签约协议金额96亿元 2019-06-06
  • 为何“最美晚霞”总在暴雨后? 2019-05-30
  • 第七届中俄蒙美食文化节将于7月17日在乌兰察布市开幕 2019-05-11
  • 上海90家定点医疗机构将受医保常规检查 2019-05-09
  • 互联网电视,谁来填补乐视之空? 2019-05-07
  • 【学习时刻】农大校长柯炳生:推进农业供给侧改革,夯实“固本安民之要” 2019-05-07
  • 黄淳的专栏作者中国国家地理网 2019-05-06
  • 社会主义社会按劳分配是建立在公有制和私有制并存基础上的,共产主义社会按需分配是建立在公有制基础上的,所有制基础不同,其分配形式也就不同。所谓“共产主义... 2019-05-06
  • 凯恩率“三狮军团”艰难战胜突尼斯 2019-04-27
  • 枫林桥还是龙华?赵世炎烈士关押、牺牲地细究 2019-04-27
  • 绿营人士私下抱怨姚文智:是只“残废飞不起来的母鸡” 2019-04-14
  • 县名解析晋城高平市地名来历 2019-01-05
  • 稳中求进 奋发有为 推动新时代纪检监察工作高质量发展 2019-01-05
  • 十月足彩进球彩赛程 体彩超级大乐透 神秘圣诞老人电子游戏 三国杀外挂 河北20选5预测推荐号码 22世纪古墓奇兵 寻仙手游平民玩什么职业 湖南彩票双色球一等奖 烈焰钻石注册 和平精英怎么开挂 3月9日尼克斯vs小牛 记忆盛宴免费试玩 广东快乐十分福彩开奖结果 35选7近期开奖结果 曾道人香港红牛网 第五人格园丁日记4