@mrz1 2018-02-01T12:56:14.000000Z 字数 9078 阅读 1309

2018-1-24（http Apache 待完成）

笔记

TCP/IP协议

跨Internet的主机间通讯

在建立通信连接的每一端，进程间的传输要有两个标志：
- IP地址和端口号，合称为套接字地址socket address
- 客户机套接字地址定义了一个唯一的客户进程
- 服务器套接字地址定义了一个唯一的服务器进程
- 套接字地址 172.18.0.18:80

Socket套接字

Socket:套接字，进程间通信IPC的一种实现，允许位于不同主机（或同一主机）上不同进程之间进行通信和数据交换，SocketAPI出现于1983年，4.2 BSD实现
Socket API：封装了内核中所提供的socket通信相关的系统调用
Socket Domain：根据其所使用的地址
- AF_INET：Address Family，IPv4
- AF_INET6：IPv6
- AF_UNIX：同一主机上不同进程之间通信时使用
Socket Type：根据使用的传输层协议
- SOCK_STREAM：流，tcp套接字，可靠地传递、面向连接
- SOCK_DGRAM：数据报，udp套接字，不可靠地传递、无连接
- SOCK_RAW: 裸套接字,无须tcp或tdp,APP直接通过IP包通信

客户/服务器程序的套接字函数

套接字相关的系统调用：

名字	含义	名字	含义
socket()	创建一个套接字	bind()	绑定IP和端口
listen()	监听	accept()	接收请求
connect()	请求连接建立	write()	发送
read()	接收	close()	关闭连接

Socket通信示例：

服务器端tcpserver.py

#!/usr/bin/python
import socket                                                                          
HOST='172.18.2.232'
PORT=9527
BUFFER=4096
sock=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
sock.bind((HOST,PORT))
sock.listen(3)
print('tcpServer listen at: %s:%s\n\r' %(HOST,PORT))
while True:
    client_sock,client_addr=sock.accept()
    print('%s:%s connect' %client_addr)
    while True:
        recv=client_sock.recv(BUFFER)
        if not recv:
            client_sock.close()
            break
        print('[Client %s:%s said]:%s' %(client_addr[0],client_addr[1],recv))
        client_sock.send('tcpServer has received your message')
sock.close()

服务器端tcpclient.py

#!/usr/bin/python
import socket
HOST='172.18.2.232'
PORT=9527
BUFFER=4096
sock=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
sock.connect((HOST,PORT))
sock.send('hello, tcpServer!')
recv=sock.recv(BUFFER)
print('[tcpServer said]: %s' % recv)
sock.close()

http服务通信过程

Http相关术语

http: Hyper Text Transfer Protocol, 80/tcp
MIME：Multipurpose Internet Mail Extensions
    多用途互联网邮件扩展 /etc/mime.types
格式：
major/minor    text/plain    text/html    text/css     image/jpeg     image/png    video/mp4     application/javascript
linux ↓
[root@centos7 ~]$rpm -ql mailcap
/etc/mailcap
/etc/mime.types //文件有MIME格式
/usr/share/doc/mailcap-2.1.41
/usr/share/doc/mailcap-2.1.41/COPYING
/usr/share/doc/mailcap-2.1.41/NEWS
/usr/share/man/man4/mailcap.4.gz

MIME 参考手册

http协议介绍

http/0.9：1991，原型版本，功能简陋，只有一个命令GET。GET /index.html ,服务器只能回应HTML格式字符串，不能回应别的格式
http/1.0: 1996年5月,支持cache, MIME, method
- 每个TCP连接只能发送一个请求，发送数据完毕，连接就关闭，如果还要请求其他资源，就必须再新建一个连接
- 引入了POST命令和HEAD命令
- 头信息是ASCII 码，后面数据可为任何格式。服务器回应时会告诉客户端，数据是什么格式，即Content-Type字段的作用。这些数据类型总称为MIME 多用途互联网邮件扩展，每个值包括一级类型和二级类型，预定义的类型，也可自定义类型。
- 常见Content-Type值：text/xml image/jpeg audio/mp3
http/1.1：1997年1月
- 引入了持久连接（persistent connection），即TCP连接默认不关闭，可以被多个请求复用，不用声明Connection: keep-alive。对于同一个域名，大多数浏览器允许同时建立6个持久连接
- 引入了管道机制（pipelining），即在同一个TCP连接里，客户端可以同时发送多个请求，进一步改进了HTTP协议的效率
- 新增方法：PUT、PATCH、OPTIONS、DELETE
- 同一个TCP连接里面，所有的数据通信是按次序进行的。服务器只能顺序处理回应，前面的回应慢，会有许多请求排队，造成"队头堵塞"（Head-of-line blocking）
- 为避免上述问题，两种方法：一是减少请求数，二是同时多开持久连接。网页优化技巧，比如合并脚本和样式表、将图片嵌入CSS代码、域名分片（domain sharding）等
- HTTP 协议不带有状态，每次请求都必须附上所有信息。请求的很多字段都是重复的，浪费带宽，影响速度
Spdy：2009年,谷歌研发,解决HTTP/1.1 效率不高问题
http/2.0：2015年
- 头信息和数据体都是二进制，称为头信息帧和数据帧
- 复用TCP连接，在一个连接里，客户端和浏览器都可以同时发送多个请求或回应，且不用按顺序一一对应，避免了“队头堵塞“,此双向的实时通信称为多工（Multiplexing）
- 引入头信息压缩机制（header compression）,头信息使用gzip或compress压缩后再发送；客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，不发送同样字段，只发送索引号，提高速度
- HTTP/2 允许服务器未经请求，主动向客户端发送资源，即服务器推送（server push）

http工作机制

工作机制：
    http请求：http request
    http响应：http response
    一次http事务：请求<-->响应
Web资源：web resource
    一个网页由多个资源构成，打开一个页面，会有多个资源展示出来，但是每个资源都要单独请求。因此，一个"Web 页面"通常并不是单个资源，而是一组资源的集合
    静态文件：无需服务端做出额外处理文件后缀：.jpg, .html, .txt, .js, .css, .mp3, .avi
    动态文件：服务端执行程序，返回执行的结果文件后缀：.asp, .php, .jsp
提高HTTP连接性能
    并行连接：通过多条TCP连接发起并发的HTTP请求
    持久连接：keep-alive,长连接，重用TCP连接，以消除连接和关闭的时延,以事务个数和时间来决定是否关闭连接
    管道化连接：通过共享TCP连接发起并发的HTTP请求
    复用的连接：交替传送请求和响应报文（实验阶段）

HTTP连接请求

URI

URI:(Uniform Resource Identifier) 统一资源标识，分为URL和URN: URN: Uniform Resource Naming，统一资源命名示例：P2P下载使用的磁力链接是URN的一种实现magnet:?xt=urn:btih:660557A6890EF888666; URL: Uniform ResorceLocator，统一资源定位符，用于描述某服务器某特定资源位置; 两者区别： URN如同一个人的名称，而URL代表一个人的住址。换言之，URN定义某事物的身份，而URL提供查找该事物的方法。URN仅用于命名，而不指定地址

URL组成

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
- schame:方案，访问服务器以获取资源时要使用哪种协议
- user:用户，某些方案访问资源时需要的用户名
- password:密码，用户对应的密码，中间用：分隔
- Host:主机，资源宿主服务器的主机名或IP地址
- port:端口,资源宿主服务器正在监听的端口号，很多方案有默认端口号
- path:路径,服务器资源的本地名，由一个/将其与前面的URL组件分隔
- params:参数，指定输入的参数，参数为名/值对，多个参数，用;分隔
- query:查询，传递参数给程序，如数据库，用？分隔,多个查询用&分隔
- frag:片段,一小片或一部分资源的名字，此组件在客户端使用，用#分隔

网站访问量

IP(独立IP)：即Internet Protocol,指独立IP数。一天内来自相同客户机IP地址只计算一次，记录远程客户机IP地址的计算机访问网站的次数，是衡量网站流量的重要指标
PV(访问量)：即Page View, 页面浏览量或点击量，用户每次刷新即被计算一次，PV反映的是浏览某网站的页面数，PV与来访者的数量成正比，PV并不是页面的来访者数量，而是网站被访问的页面数量
UV(独立访客)：即Unique Visitor,访问网站的一台电脑为一个访客。一天内相同的客户端只被计算一次。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的
网站访问量统计网站

网站访问统计示例

甲乙丙三人在同一台通过ADSL上网的电脑上（中间没有断网），分别访问www.chuyuni.cn网站，并且每人各浏览了2个页面。

那么网站的流量统计是：          
    IP:1    PV:6    UV：1
若三人都是ADSL重新拨号后,各浏览了2个页面，则
    IP:3    PV:6    UV：1

Web服务请求处理步骤

一次完整的http请求处理过程

1、建立连接：接收或拒绝连接请求
2、接收请求：接收客户端请求报文中对某资源的一次请求的过程
3、处理请求：服务器对请求报文进行解析，并获取请求的资源及请求方法等相关信息，根据方法，资源，首部和可选的主体部分对请求进行处理
    元数据：请求报文首部
    <method> <URL> <VERSION>
    HEADERS格式name:value
    <request body>
    示例：
    Host: www.chuyuni.cn   请求的主机名称
    Server: Apache/2.4.7
HTTP常用请求方式，MethodGET、POST、HEAD、PUT、DELETE、TRACE、OPTIONS
4、访问资源：服务器获取请求报文中请求的资源web服务器，即存放了web资源的服务器，负责向请求者提供对方请求的静态资源，或动态运行后生成的资源
        资源放置于本地文件系统特定的路径：DocRoot
        DocRoot → /var/www/html
        /var/www/html/images/logo.jpg
        http://www.magedu.com/images/logo.jpg
    web服务器资源路径映射方式：
    (a) docroot        (b) alias
    (c) 虚拟主机docroot(d) 用户家目录docroot
5、构建响应报文：一旦Web服务器识别除了资源，就执行请求方法中描述的动作，并返回响应报文。响应报文中包含有响应状态码、响应首部，如果生成了响应主体的话，还包括响应主体
    1）响应实体：如果事务处理产生了响应主体，就将内容放在响应报文中回送过去。响应报文中通常包括：描述了响应主体MIME类型的Content-Type首部描述了响应主体长度的Content-Length实际报文的主体内容
    2）URL重定向：web服务构建的响应并非客户端请求的资源，而是资源另外一个访问路径
    永久重定向：http://www.360buy.com
    临时重定向：http://www.taobao.com
    3）MIME类型：Web服务器要负责确定响应主体的MIME类型。多种配置服务器的方法可将MIME类型与资源管理起来魔法分类：Apache web服务器可以扫描每个资源的内容，并将其与一个已知模式表(被称为魔法文件)进行匹配，以决定每个文件的MIME类型。这样做可能比较慢，但很方便，尤其是文件没有标准扩展名时显式分类：可以对Web服务器进行配置，使其不考虑文件的扩展名或内容，强制特定文件或目录内容拥有某个MIME类型类型协商：有些Web服务器经过配置，可以以多种文档格式来存储资源。在这种情况下，可以配置Web服务器，使其可以通过与用户的协商来决定使用哪种格式(及相关的MIME类型)"最好"
6、发送响应报文：Web服务器通过连接发送数据时也会面临与接收数据一样的问题。服务器可能有很多条到各个客户端的连接，有些是空闲的，有些在向服务器发送数据，还有一些在向客户端回送响应数据。服务器要记录连接的状态，还要特别注意对持久连接的处理。对非持久连接而言，服务器应该在发送了整条报文之后，关闭自己这一端的连接。对持久连接来说，连接可能仍保持打开状态，在这种情况下，服务器要正确地计算Content-Length首部，不然客户端就无法知道响应什么时候结束了
7、记录日志：最后，当事务结束时，Web服务器会在日志文件中添加一个条目，来描述已执行的事务

Web访问响应模型（Web I/O）: 单进程I/O模型：启动一个进程处理用户请求，而且一次只处理一个，多个请求被串行响应; 多进程I/O模型：并行启动多个进程,每个进程响应一个连接请求; 复用I/O结构：启动一个进程，同时响应N个连接请求实现方法：多线程模型和事件驱动多线程模型：一个进程生成N个线程，每线程响应一个连接请求事件驱动：一个进程处理N个请求; 复用的多进程I/O模型：启动M个进程，每个进程响应N个连接请求，同时接收M*N个请求

http服务器应用

http服务器程序 
    httpd apache nginx lighttpd
应用程序服务器
    IIS  .asp tomcat .jsp 
    jetty  开源的servlet容器，基于Java的web容器
    Resin CAUCHO公司，支持servlets和jsp的引擎
    webshpere(IBM), weblogic(BEA), jboss,oc4j(Oracle)

市场占有率统计

Httpd介绍

httpd
    20世纪90年代初，国家超级计算机应用中心NCSA开发
    1995年开源社区发布apache（a  patchy server）
        ASF: apache software foundation
        FSF：Free Software Foundation
特性：
    高度模块化：core + modules
    DSO: Dynamic Shared Object 动态加/卸载
    MPM：multi-processing module多路处理模块

MPM工作模式

prefork：多进程I/O模型，每个进程响应一个请求，默认模型
    一个主进程：生成和回收n个子进程，创建套接字，不响应请求
    多个子进程：工作work进程，每个子进程处理一个请求；系统初始时，预先生成多个空闲进程，等待请求，最大不超过1024个

worker：复用的多进程I/O模型,多进程多线程，IIS使用此模型
    一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n

event：事件驱动模型（worker模型的变种）
    一个主进程：生成m个子进程，每个进程直接响应n个请求，并发响应请求：m*n，有专门的线程来管理这些keep-alive类型的线程，当有真实请求时，将请求传递给服务线程，执行完毕后，又允许释放。这样增强了高并发场景下的请求处理能力
    httpd-2.2: event测试版，centos6默认
    httpd-2.4：event稳定版，centos7默认

进程角色

httpd功能特性

httpd是Apache超文本传输协议(HTTP)服务器的主程序。被设计为一个独立运行的后台进程，它会建立一个处理请求的子进程或线程的池。

虚拟主机 IP、Port、FQDN
CGI：Common Gateway Interface，通用网关接口
反向代理
负载均衡
路径别名
丰富的用户认证机制
    basic
    digest
支持第三方模块

Httpd安装

版本:
    CentOS6: 2.2
    CentOS 7: 2.4
安装方式：
    rpm：centos发行版，稳定，建议使用
    编译：定制或特殊需求
CentOS 6程序环境：httpd-2.2
    配置文件：
        /etc/httpd/conf/httpd.conf
        /etc/httpd/conf.d/*.conf
    检查配置语法：
        httpd–t
        service httpd configtest

CentOS 6 httpd程序环境

服务脚本：
    /etc/rc.d/init.d/httpd
    脚本配置文件：/etc/sysconfig/httpd
服务控制和启动：
    chkconfig httpd on|off
    service  {start|stop|restart|status|configtest|reload}  httpd
站点网页文档根目录：
    /var/www/html
模块文件路径：
    /etc/httpd/modules
    /usr/lib64/httpd/modules
主程序文件：
    /usr/sbin/httpd
    /usr/sbin/httpd.worker
    /usr/sbin/httpd.event
主进程文件：
    /etc/httpd/run/httpd.pid
日志文件目录：
    /var/log/httpd
    access_log: 访问日志
    error_log：错误日志
帮助文档包：httpd-manual
    172.18.0.1/manual

Httpd 2.2常见配置

httpd配置文件的组成：
    # grep "Section" /etc/httpd/conf/httpd.conf
        ### Section 1: Global Environment 全局设置
        ### Section 2: 'Main' server configuration 主服务器
        ### Section 3: Virtual Hosts  虚拟主机
配置格式：directive value
    directive: 不区分字符大小写
    value: 为路径时，是否区分大小写，取决于文件系统
1、显示服务器版本信息
ServerTokens Major|Minor|Min[imal]|Prod[uctOnly]|OS|Full
ServerTokens Prod[uctOnly] ：Server: Apache
ServerTokens Major: Server: Apache/2
ServerTokens Minor: Server: Apache/2.0
ServerTokens Min[imal]: Server: Apache/2.0.41
ServerTokens OS: Server: Apache/2.0.41 (Unix)
ServerTokens Full (or not specified): Server: Apache/2.0.41 (Unix) PHP/4.2.2 MyMod/1.2
This setting applies to the entire server and cannot be enabled or disabled on a virtualhost-by-virtualhost basis.
After version 2.0.44, this directive also controls the information presented by the ServerSignaturedirective.
建议使用：ServerTokens OS 改为 ServerTokens Prod
2、修改监听的IP和Port
    Listen [IP:]PORT
    (1) 省略IP表示为本机所有IP
    (2) Listen指令至少一个，可重复出现多次
    Listen  80
    Listen  8080
    示例：Listen  192.168.1.100:8080
    Lsten80
3、持久连接
    Persistent Connection：连接建立，每个资源获取完成后不会断开连接，而是继续等待其它的请求完成，默认关闭持久连接
    断开条件：数量限制：100
        时间限制：以秒为单位，httpd-2.4 支持毫秒级
    副作用：对并发访问量较大的服务器，持久连接功能会使用有些请求得不到响应
    折衷：使用较短的持久连接时间
    设置：
        KeepAlive On|Off
        KeepAliveTimeout 15
        MaxKeepAliveRequests 100
    测试：
        telnet  WEB_SERVER_IP  PORT
        GET  /URL  HTTP/1.1
        Host: WEB_SERVER_IP
4、MPM（Multi-Processing Module）多路处理模块
    prefork, worker, event（试验阶段）
    httpd-2.2不支持同时编译多个模块，所以只能编译时选定一个；rpm安装的包提供三个二进制程序文件，分别用于实现对不同MPM机制的支持
    确认方法：
        psaux  | grep httpd
        默认为/usr/sbin/httpd, 即prefork模式
查看模块列表
查看静态编译的模块
    httpd -l
查看静态编译及动态装载的模块
    httpd –M
动态模块加载：不需重启即生效
动态模块路径 /usr/lib64/httpd/modules/

Apache主配置文件httpd.conf 详解

https://www.zybuluo.com/mrz1/note/1032978