UP | HOME

转载2014

Table of Contents

衡量 Web 性能的几个关键指标

自网站诞生以来,响应速度/响应时间一直都是大家关心的话题,而速度慢乃是网站的一个杀手,正当大家以为四核和宽带能力的提升能够解决这些问题时,Wi-Fi和移动设备为热点移动互联网又悄然兴起。 
在2006年,Amazon曾做过一个报道,响应时间每提高100ms,他们便会增加1%的收入。优化的价值已显而易见,但到底多快才是个标准,或者速度有多快才算够快呢?那么到底什么是响应时间,它有多大的价值?
从技术上来讲,响应时间是指用户发送一个指令(例如,一个页面请求)浏览器接收到完成加载的时间。定义看起来非常简单,但当你在思考如何设计一个带有许多额外对象的现代网页时,响应时间对用户体验是非常重要的,并且它也不会告诉你,哪些因素影响着响应时间。
一个稍微好点的衡量标准则是页面加载时间。页面加载时间是指从用户发送指令到浏览器加载完整个页面对象所用的时间。好比响应时间,页面加载整个过程涉及到很多事情,它由一系列执行步骤组成,并且每一步都需要单独监控,每一步都会告诉你问题所在。

步骤包括:
DNS解析时间
TCP链接时间
HTTP重定向时间
首字节加载时间
HTML内容时间
整个页面对象加载时间

DNS解析时间
DNS查找的时间就是将域名翻译成具体IP的时间,大多人数认为,无论DNS是否工作,都不是件简单的事情。
在这个过程中,你可能会遇到许多微妙的问题,比如响应时间太长、超时、无效的缓存等。这些情况下,一个查询便可通过,但它需要花费更多的时间。
通常,如果DNS的查找时间过长,那么意味着你或托管服务商的DNS服务有问题。记住,如果网站与其DNS服务之间距离太远,那么解析时间也会稍微增加,这在一些国际网站上会体现出来,而有效的缓存则会降低时间。

TCP链接时间
当URL被解析成一个IP地址后,TCP链接时间表示客户端链接到服务端所花费的时间。监控链接时间有助于开发者发现一些影响响应时间的问题,比如网络延时、路由问题、服务器宽带问题等。
例如,如果宽带服务器不足以处理工作负载,那么客户端要先与服务器端意识到这个问题,当客户端向服务器端发送请求时,可能会被拒绝或者时间超时、响应时间延迟等问题。

HTTP重定向时间
HTTP重定向时间主要是指TCP链接完成时间,它意味着发送初始通知到重定向网站并且浏览器最终定向到目标网站所花费的时间。如果没有重定向,那么重定向时间就为0。它包括了DNS解析时间、TCP链接等等。
HTTP重定向可用于缩短URL、当网页链接移动时,可用于防止链接损坏,或允许多个域名链接到一个网站上。

首字节加载时间
当开发人员思考如何优化网站时,往往会选择优化内容——文件组合、多媒体优化、缓存和压缩文件,但也有需要对服务器进行优化。其中一个最佳指标就是首字节的加载时间,首字节加载时间表示从链接创建到首字节成功转换所花费的时间。这个时间也包括了服务器执行各种协议和计算的时间。
通常服务器端遇到与首字节相关的问题包括内存泄露、程序派生的进程太多——没有完全关闭——低效SQL查询,并且调用外部资源,例如谷歌和Facebook。

HTML内容时间
HTML内容时间主要包括加载Web页面布局、CSS、JavaScript,这个时间与HTML页面的大小有着直接的关系。HTML内容加载时间通常会作为衡量宽带的一个指标,但也不完全是。

整个页面对象加载时间
一旦整个HTML内容被整个接收,浏览器会解析所有的页面对象,并且直到所有对象加载完毕。这些对象包括图片、JavaScript、CSS、Flas对象、RSS回馈、JavaScript文件等。
衡量全页加载时间对监控第三方内容非常有用,特别是广告,但它并不会告诉你有哪些用户看了这个广告。例如,它不会告诉你第三方内容放在哪加载速度会快些。但站在用户角度来看,这些并不算问题。
作者对网站的响应时间和页面加载时间进行了详细的划分与解释,相信你对这些指标都有了更深地理解,开发者可以根据这些指标来确定网站的问题所在(如果这方面存在问题)。

转载地址:http://www.webrube.com/http-web_rube/3310
2014-09-19 push

API 双方认证探讨

#+BEGIN_HTML
开放 api 已是大势所趋。而 api 这种东西有个特点就是覆水难收。一旦公开出去了,被大量用户使用,一旦修改,就会让广大用户都掉坑里。
所以,api 在设计之初就要尽量考虑周全,并预留扩展可能。目前绝大多数 api 都是通过http 协议访问。api 一般有两类,一类只涉及到提供方和使用者,
另一类还涉及到最终用户。因此,前一类在认证上也只涉及两方,而后一类还涉及到用户授权,也就是通常使用的 OAuth。这里先说说第一类。
比如 amazon aws 的 api、google 的地图 api 等的认证就属于这类。双方认证的 api 通常的认证方式是使用一组 id 和密钥,用 id 来标记应用,
用密钥来对请求做签名。id 和密钥一般是应用向服务方申请的。这样,服务费也可以控制api 的使用。如果想停止某个用户访问 api,
只需要取消这个用户的认证信息。即可。举个例子,google 地图的 api,就是简单使用密钥对 url 做 HMAC_SHA1 签名。如:
$signature = hash_hmac("sha1",$url_to_sign, $key,  true);
然后把签名编码后,追加在 url 后面访问。服务方根据请求中的 id 找到对应的密钥,同样做一遍签名,如果相等则认证通过。
对于一些更复杂一些的 api ,请求还可能通过 HTTP header 、post body 来传递。此时,签名就需要把所有关键信息都一起签名。
为了避免参数顺序的敏感性,即仅仅改变参数顺序就会影响签名结果,通常还会要求先对参数进行排序。
amazon aws 的新版认证协议还对于一些关键参数改为了每次加入一个就签名一次。这恐怕也是因为 sha1 也已经没那么可靠了吧。
这是最简单的认证方式。使用这种方式,由于密钥并没有在网络上传递,hmac sha1 算法也是不可逆的,第三方无法冒充别的用户对自己的 url 进行签名。
但是这种简单的方式有个缺点。同样的 url 在签名后是可以反复使用的。因此,如果恰好第三方需要的服务或数据和你的相同,
那也可以直接复制你的 url 去用,花你的 money 、读你的数据。这也叫重放攻击。为了避免或者减少重放攻击的危害,一些 api 把时间也作为了参数之一。
签名的时候也把时间一起签进去。在服务端不仅要比较签名,还要请求的时间和服务端时间的差是否在许可范围,比如 15 分钟内。
amazon aws 的 api 就是如此。这样,就算截获了一个请求,也顶多在 15 分钟内有效。不过由此带来的问题是,如果时钟偏差大了,就无法正常调用服务了。
因此,客户端和服务端都必须严格对时。如在 linux 上开启 ntpd 。另外,对于 15 分钟内的重复攻击,仍然没有很好的办法。
这时候,能做的也许就是在业务上减少由此可能带来的损失了。比如对 aws 来说,重复申请资源会因为重名而无法通过,
而重复修改或删除资源请求通常也是没意义的。而另一些资源信息,仅在 15 分钟内可以重放,也无法获得新的有价值的数据。
如果真的在意这一点又该如何呢?以上方法都是在保持协议无状态前提下的。如果放弃这个前提,变成有状态协议,就有了别的方法。
比如,可以引入一次性令牌来解决。首次访问前,先去请求一个一次性令牌,之后请求服务的签名的时候,把这个令牌也一起签名,并一起传递。
服务端会检查该令牌是否仍然有效。请求后,会使原来的令牌失效,同时颁发一个新的一次性令牌。这看着是不是有点眼熟?
有点像是 session 的实现方式吧。session 就是在客户端和服务端传递一个令牌来标示身份,在无状态协议中模拟状态的。
第三方就算劫持到令牌,因为没有密钥,也没法加以利用。而拦截到的请求在使用一次后,也已经失效。这样就有效避免了重放攻击。
但是,这样也是有代价的,如此一来,服务端就必须来维护这些会话。可能会占用大量资源,并有可能由此受到拒绝服务攻击。
因此,多数服务都没有采用这种方式来认证。以上的认证方式只适合用在服务端-服务端。而不适合用在客户度,如浏览器、移动端、桌面客户端等。
在这些地方使用双方认证 API ,就不可避免的要把应用的密码携带分发。这是很危险的。一旦有人从中破解获取了你的密钥,一切就全完蛋了。
这时候,要通知所有终端更换密钥也是件麻烦事。通常,都需要使用应用自己的服务端作为代理来访问。至少是通过应用自己的服务端来计算签名。
但是这对于一些服务,比如云存储,代价就有点大了,这样一来,应用就还是得在自己的服务器上走大量的流量。要解决这样的问题,
一些 API 提供方给了另外的一种认知方式。应用先给自己的每个用户生成一个 uid,然后用密钥对其签名得到用户密钥,
把应用 id,uid,签名保存在客户端分发。从客户端发起请求时,带上应用 id,uid,使用用户密钥签名。服务端则用同样的方式验证,
并可以通过 uid 来做数据的访问控制。这样一旦客户端被破解,也只会影响一个终端用户,而不是像之前一样,所有用户的信息都收到威胁。

转载地址:http://xiezhenye.com/2013/03/api-%E5%8F%8C%E6%96%B9%E8%AE%A4%E8%AF%81%E6%8E%A2%E8%AE%A8.html
2014.09.01 push
#+END_HTML

AWK单行脚本快速参考

#+BEGIN_HTML
# 每行后面增加一行空行
 awk '1;{print ""}'
 awk 'BEGIN{ORS="\n\n"};1'

 # 每行后面增加一行空行。输出文件不会包含连续的两个或两个以上的空行
 # 注意:在Unix系统, DOS行包括的 CRLF (\r\n) 通常会被作为非空行对待
 # 因此 'NF' 将会返回TRUE。
 awk 'NF{print $0 "\n"}'

 # 每行后面增加两行空行
 awk '1;{print "\n"}'

编号和计算:

 # 以文件为单位,在每句行前加上编号 (左对齐)
 # 使用制表符 (\t) 来代替空格可以有效保护页变的空白。
 awk '{print FNR "\t" $0}' files*

 # 用制表符 (\t) 给所有文件加上连贯的编号。
 awk '{print NR "\t" $0}' files*

 # 以文件为单位,在每句行前加上编号 (编号在左,右对齐)
 # 如果在DOS环境下,需要写两个'%'
 awk '{printf("%5d : %s\n", NR,$0)}'

 # 给非空白行的行加上编号
 # 记得Unix对于 \r 的处理的特殊之处。(上面已经提到)
 awk 'NF{$0=++a " :" $0};{print}'
 awk '{print (NF? ++a " :" :"") $0}'

 # 计算行数 (模拟 "wc -l")
 awk 'END{print NR}'

 # 计算每行每个区域之和
 awk '{s=0; for (i=1; i< =NF; i++) s=s+$i; print s}'

 # 计算所有行所有区域的总和
 awk '{for (i=1; i<=NF; i++) s=s+$i}; END{print s}'

 # 打印每行每区域的绝对值
 awk '{for (i=1; i<=NF; i++) if ($i < 0) $i = -$i; print }'
 awk '{for (i=1; i<=NF; i++) $i = ($i < 0) ? -$i : $i; print }'

 # 计算所有行所有区域(词)的个数
 awk '{ total = total + NF }; END {print total}' file

 # 打印包含 "Beth" 的行数
 awk '/Beth/{n++}; END {print n+0}' file

 # 打印第一列最大的行
 # 并且在行前打印出这个最大的数
 awk '$1 > max {max=$1; maxline=$0}; END{ print max, maxline}'

 # 打印每行的列数,并在后面跟上此行内容
 awk '{ print NF ":" $0 } '

 # 打印每行的最后一列
 awk '{ print $NF }'

 # 打印最后一行的最后一列
 awk '{ field = $NF }; END{ print field }'

 # 打印列数超过4的行
 awk 'NF > 4'

 # 打印最后一列大于4的行
 awk '$NF > 4'

构建字符串:

 # 构建一指定长度的字符串(比如,513个空格)
 awk 'BEGIN{while (a++<513) s=s " "; print s}'

 # 在某一位置中插入以特定长度的字符串
 # 例子:在每行第6列后插入49个空格
 gawk --re-interval 'BEGIN{while(a++<49)s=s " "};{sub(/^.{6}/,"&" s)};1'

构建数组:

 # 以下两个部分并不是一句话脚本,但是这些技巧相当便捷所以也包括进来

 # 构建一个叫"month"的数组,以数字为索引,month[1]就是'Jan',month[2]就是
 # 'Feb',month[3]就是'Mar',以此类推。
 split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", month, " ")

 # 构建一个叫"mdigit"的数组,以字符串为索引,mdigit["Jan"] 等于 1,
 # mdigit["Feb"] 等于 2,等等。需要有"month"数组。
 for (i=1; i< =12; i++) m_digit[month[i]] = i

文本转换和替代:

 # 在Unix环境:转换DOS新行 (CR/LF) 为Unix格式
 awk '{sub(/\r$/,"")};1'   # 假设每行都以Ctrl-M结尾

 # 在Unix环境:转换Unix新行 (LF) 为DOS格式
 awk '{sub(/$/,"\r")};1'

 # 在DOS环境:转换Unix新行 (LF) 为DOS格式
 awk 1

 # 在DOS环境:转换DOS新行 (CR/LF) 为Unix格式
 # DOS版本的awk不能运行, 只能用gawk:
 gawk -v BINMODE="w" '1' infile >outfile

 # 用 "tr" 替代的方法。
 tr -d \r outfile            # GNU tr 版本为 1.22 或者更高

 # 删除每行前的空白(包括空格符和制表符)
 # 使所有文本左对齐
 awk '{sub(/^[ \t]+/, "")};1'

 # 删除每行结尾的空白(包括空格符和制表符)
 awk '{sub(/[ \t]+$/, "")};1'

 # 删除每行开头和结尾的所有空白(包括空格符和制表符)
 awk '{gsub(/^[ \t]+|[ \t]+$/,"")};1'
 awk '{$1=$1};1'           # 每列之间的空白也被删除

 # 在每一行开头处插入5个空格 (做整页的左位移)
 awk '{sub(/^/, "     ")};1'

 # 用79个字符为宽度,将全部文本右对齐
 awk '{printf "%79s\n", $0}' file*

 # 用79个字符为宽度,将全部文本居中对齐
 awk '{l=length();s=int((79-l)/2); printf "%"(s+l)"s\n",$0}' file*

 # 每行用 "bar" 查找替换 "foo"
 awk '{sub(/foo/,"bar")}; 1'           # 仅仅替换第一个找到的"foo"
 gawk '{$0=gensub(/foo/,"bar",4)}; 1'  # 仅仅替换第四个找到的"foo"
 awk '{gsub(/foo/,"bar")}; 1'          # 全部替换

 # 在包含 "baz" 的行里,将 "foo" 替换为 "bar"
 awk '/baz/{gsub(/foo/, "bar")}; 1'

 # 在不包含 "baz" 的行里,将 "foo" 替换为 "bar"
 awk '!/baz/{gsub(/foo/, "bar")}; 1'

 # 将 "scarlet" 或者 "ruby" 或者 "puce" 替换为 "red"
 awk '{gsub(/scarlet|ruby|puce/, "red")}; 1'

 # 倒排文本 (模拟 "tac")
 awk '{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }' file*

 # 如果一行结尾为反斜线符,将下一行接到这行后面
 # (如果有连续多行后面带反斜线符,将会失败)
 awk '/\\$/ {sub(/\\$/,""); getline t; print $0 t; next}; 1' file*

 # 排序并打印所有登录用户的姓名
 awk -F ":" '{ print $1 | "sort" }' /etc/passwd

 # 以相反的顺序打印出每行的前两列
 awk '{print $2, $1}' file

 # 调换前两列的位置
 awk '{temp = $1; $1 = $2; $2 = temp}' file

 # 打印每行,并删除第二列
 awk '{ $2 = ""; print }'

 # 倒置每行并打印
 awk '{for (i=NF; i>0; i--) printf("%s ",i);printf ("\n")}' file

 # 用逗号链接每5行
 awk 'ORS=NR%5?",":"\n"' file

选择性的打印某些行:

 # 打印文件的前十行 (模拟 "head")
 awk 'NR < 11'

 # 打印文件的第一行 (模拟 "head -1")
 awk 'NR>1{exit};1'

  # 打印文件的最后两行 (模拟 "tail -2")
 awk '{y=x "\n" $0; x=$0};END{print y}'

 # 打印文件的最后一行 (模拟 "tail -1")
 awk 'END{print}'

 # 打印匹配正则表达式的行 (模拟 "grep")
 awk '/regex/'

 # 打印不匹配正则表达式的行 (模拟 "grep -v")
 awk '!/regex/'

 # 打印第5列等于"abc123"的行
 awk '$5 == "abc123"'

 # 打印第5列不等于"abc123"的行
 # 这个同样可以用于打印少于5列的行
 awk '$5 != "abc123"'
 awk '!($5 == "abc123")'

 # 用正则匹配某一列
 awk '$7  ~ /^[a-f]/'    # 打印第7列匹配的行
 awk '$7 !~ /^[a-f]/'    # 打印第7列不匹配的行

 # 打印匹配正则表达式的前一行,但是不打印当前行
 awk '/regex/{print x};{x=$0}'
 awk '/regex/{print (x=="" ? "match on line 1" : x)};{x=$0}'

 # 打印匹配正则表达式的后一行,但是不打印当前行
 awk '/regex/{getline;print}'

 # 以任何顺序查找包含 AAA、BBB 和 CCC 的行
 awk '/AAA/; /BBB/; /CCC/'

 # 以指定顺序查找包含 AAA、BBB 和 CCC 的行
 awk '/AAA.*BBB.*CCC/'

 # 打印长度大于64个字节的行
 awk 'length > 64'

 # 打印长度小于64个字节的行
 awk 'length < 64'

 # 打印从匹配正则起到文件末尾的内容
 awk '/regex/,0'
 awk '/regex/,EOF'

 # 打印指定行之间的内容 (8-12行, 包括第8和第12行)
 awk 'NR==8,NR==12'

 # 打印第52行
 awk 'NR==52'
 awk 'NR==52 {print;exit}'          # 对于大文件更有效率

 # 打印两个正则匹配间的内容 (包括正则的内容)
 awk '/Iowa/,/Montana/'             # 大小写敏感

选择性的删除某些行:

 # 删除所有空白行 (类似于 "grep '.' ")
 awk NF
 awk '/./'

 # 删除重复连续的行 (模拟 "uniq")
 awk 'a !~ $0; {a=$0}'

 # 删除重复的、非连续的行
 awk '! a[$0]++'                     # 最简练
 awk '!($0 in a) {a[$0];print}'      # 最有效

2014.03.08 push
#+END_HTML

vim下如何删除空格行和删除行首空格和行尾空格

#+BEGIN_HTML
删除空格行:

非编辑状态下输入 :g/^$/d

删除行首空格:

非编辑状态下输入 :%s/^\s*//g

删除行尾空格:

非编辑状态下输入 :%s/\s*$//g

2014.03.08 push
#+END_HTML

Date: 2014-08-29

Author: josephzeng

Created: 2014-10-31 周五 13:19

Emacs 24.4.1 (Org mode 8.2.10)

Validate