一、数据库集群：读写分离

二、数据库集群：分库分表

三、NoSQL = not only sql

四、缓存

    1、用户请求发现缓存不存在则自行查库并生成缓存。并发下可能会同时很多请求同时生成，造成雪崩。

    2、用户请求发现缓存不存在，通过队列后台生产缓存，并发下，消费者应判断缓存是否已存在，不存在时在生成。

    3、热点数据后台脚本生成，在内存紧张时新生成一个就会淘汰一个，脚本应不断检测若缓存不存在则重新生成。

    4、全网热点数据，如明星官宣，这时应生成多份缓存，以集群来分散单机压力。

五、单机高性能：PPC和TPC

    1、PPC：每来一个链接就创建一个进程。优化版是启动时预创建多进程。

    2、TPC：同PPC，进程换线程。

六、单机高性能：Reactor和Proactor

    1、Reactor：就是IO多路复用，也叫Dispatcher，同步非阻塞模型。如epoll、kqueue等。单reactor单进程有redis，多reactor单进程没任何优势，多reactor多进程有nginx和memcache。通俗讲：来了事件操作系统通知应用程序，应用程序来处理。

    2、Proactor：异步非阻塞。Reactor需要用户进程同步做read write等IO操作，如果改为异步可以提高性能，这就是Proactor。通俗讲：来了事件操作系统来处理，处理完通知应用程序。虽然性能更好，但是Linux下的AIO并不完善，真正实现了异步非阻塞的操作系统是windows的IOCP。

    3、IO操作分两个阶段

        1、等待数据准备好(读到内核缓存)

        2、将数据从内核读到用户空间(进程空间)

        一般来说1花费的时间远远大于2。

        1上阻塞2上也阻塞的是同步阻塞IO

        1上非阻塞2阻塞的是同步非阻塞IO，这就是Reactor就是这种模型 

        1上非阻塞2上非阻塞是异步非阻塞IO，这讲说的Proactor模型就是这种模型

七、复杂均衡的分类和架构

    1、最上层DNS：针对地域。就近访问。缺点更新缓存慢，不可定制化。

    2、硬件层F5：性能最好，价格昂贵，便宜的也要一台马六。qps两百万到八百万。

    3、软件层LVS：性能始终，qps八十万。在三层网络  

    4、软件层nginx：性能最差，qps五万左右。

八、负载均衡的算法

    1、轮询：简单，但由于简单，也是缺点。宕机也无法知道。

    2、加权轮训：根据机器性能等权重不同，其他缺点同轮询。

    3、最小负载：LVS四层可以根据最小连接数，Nginx七层可以根据最少HTTP请求数（默认不支持）。 自研的话可以根据CPU IO等来判断，但是复杂度太高，是1、5、15分钟的负载？太短波动太频繁，太长峰值来临时感知太晚。

    4、性能最优：同最小负载，都是要感知服务器状态，复杂都高。如果收集量太大影响性能，如果采样，又需要合理的采样率，否则不准确。

    5、Hash：根据id hash、根据ip hash。如银行业务，请求都要落在同一台机器上。

一、概述

1、架构是顶层设计；框架是面向编程或配置的半成品；组件是从技术维度上的复用；模块是从业务维度上职责的划分；系统是相互协同可运行的实体。

2、架构是为了应对软件系统复杂度而提出的一个解决方案。个人感悟是:架构即(重要)决策，是在一个有约束的盒子里去求解或接近最合适的解。这个有约束的盒子是团队经验、成本、资源、进度、业务所处阶段等所编织、掺杂在一起的综合体(人，财，物，时间，事情等)。架构无优劣，但是存在恰当的架构用在合适的软件系统中，而这些就是决策的结果。

需求驱动架构。在分析设计阶段，需要考虑一定的人力与时间去"跳出代码，总揽全局"，为业务和IT技术之间搭建一座"桥梁"。

架构设计处于软件研制的前期，一方面，越是前期，如有问题，就能够越早发现，修改的代价也就越低；另外一方面，也意味着，软件实施后期若有架构上的修改，也需要付出更多的代价。

    1）架构是为了应对软件系统复杂度而提出的一个解决方案。

    2）架构即(重要)决策

    3）需求驱动架构，架起分析与设计实现的桥梁

    4）架构与开发成本的关系

二、架构复杂度来源

3、系统复杂度来源：高性能。从单机到集群的服复杂度来源：

    1）任务分配：F5、交换机、LVS、Nginx、HAProxy等

    2）任务分解：拆成服务。业务本身不变的情况下性能有上限，系统拆封可以逼近这个极限，但不能达到。过多的服务调用会降低性能。

4、系统复杂度来源：高可用。复杂度通常高于高性能，因为涉及到知识点更多。

    1）计算高可用：冗余。

    2）存储高可用：难点不是如何备份，而是如何减少数据不一致带来的影响。分布式领域里有CAP理论，即一致性，可用性，分区容错性只能取其二。

    3）状态决策：

        （1）独裁式，仍有单点问题；

        （2）协商式，两台备，然后自行决策选出主，在主备连接中断后变成两主，不符合预期；

        （3）民主式，如zookeeper，节点自行投票，为解决脑裂问题，需要投票过半数。但在1、2、3节点故障后，4、5仍可用，但投票不过半数，无法选主，系统不可用。

5、系统复杂来源：可扩展性。应对变化的适应能力。不能不做预测，预测也可能出错，也不可以过度预测。封装变化，隔离可变性。

6、系统复杂度来源：成本。高性能高可用意味着更多的机器，当规模达到一定程度后，成本却就是考虑因素之一了。低成本的架构方案意味着引入新技术或开发新技术。开发新技术复杂度更高，如HHVM，kafka等。

7、系统复杂度来源：安全。分为功能安全如windows漏洞SQL注入等，和 架构安全如防火墙ACL等。防火墙性能低，目前没有很好的办法，更多是靠运营商清洗。

8、系统复杂度来源：规模。分为功能规模和数据规模。数据规模是数据量越来越大发生质变，比如mysql，超过五千万行后要开始分库分表。

 三、架构设计原则

1、三大原则：合适 > 演化 > 简单 这个优先级。

    1）合适原则：合适优于业界领先。没那么多人、没那么多积累、没那么卓越的业务场景。

    2）简单原则：简单优于复杂。结构的复杂性、逻辑的复杂性。

    3）演化原则：演化优于一步到位。首先要满足当前的业务需求，不贪大贪全，照搬大厂架构。要遵循演化原则。

先上图

明显可以看到，抖动已经完全消除。这个接口每天有2000万次请求，粗算QPS = 20000000次 / 40000秒 = 500。

一、feed推荐接口中包含哪些内容

根据唱吧的业务需求，feed推荐接口主要包含三部分内容：

1、你关注的好友中正在唱歌的。

2、你关注的好友中正在直播间直播。

3、你关注的好友中正在火星直播中表演的。

4、如果以上为空的话，会推荐热门的火星主播，一月推荐一次。

二、feed推荐接口都做哪些事？

在优化之前，这块纯粹是流程化的开发方式。先获取你关注了哪些好友，然后循环这些好友，依次从唱歌/直播间/火星直播三个库中获取你的关注是否正在表演。最后，如果取到了值，就获取正在收看他表演的观众数等维度来打分排序，取得分最高的好友，获取他的用户信息，把用户信息和正在做的事情返回给客户端。

三、思考。

我们来思考一下，这样的流程中，怎样来优化，哪里有优化的空间？

1、依次去唱歌/直播间/火星直播中取数据，起码需要三次网络请求，这块是不是融合成一个大列表，而不是维护着三个列表。大列表在晚高峰也不超过1万人，所以其实还好。

2、循环好友列表，每次循环都是要做上面的第一点。

3、如果我和你都关注了同一个网红主播，你feed推荐接口的请求和我feed推荐接口的请求进来的时候，我们都要查询的他的观众人数和计算得分，这是重复的操作。

4、最后返回之前都要查一下用户信息，用户修改昵称的频率并不会很高，这块也可以优化掉。

5、部分操作可以转入后台，比如crontab，从而减轻前台的压力。

四、操作。

1、后台起一个cron，10秒一次，从三个来源中依次取出正在表演的列表。

2、分别循环三个列表中的所有表演者，计算得分，获取正在唱什么歌，获取用户头像昵称等信息。

3、三个列表融合成一个大列表，并用type字段来标志是正在唱歌/直播间/火星直播，并根据他们当前的操作来拼接文案。

4、这个大列表写入memcache。

5、请求进来的时候，从memcache中获取这个大列表，把这个列表存入本地的opcache中，这样还避免了每次都有一个memcache的网络请求。

6、获取我的好友列表，选出我的好友中正在表演的人。

五、收获

缕清楚需求和现有代码，找到痛点，开动脑筋。

一、我是新手我怕谁

    新手程序猿通常会直接存储明文密码在数据库中，好一点的会使用MD5来加密密码后存储md5(password)，再好一点的会sha1加密密码后存储sha1(password)。将常用的组合哈希后存入数据库，用来爆库，这个就是所谓的彩虹表。

二、加盐salted

    在密码中加入随机数字或字符，然后再进行哈希，看起来叼了很多，但是实际上对于现在计算机来说，即使简单的使用了盐和哈希的加密，短密码仍然会在非常短的情况下就会被破解出来。

三、美国标准

    美国政府的标准，已经用于政府和军方的系统。PBKDF2加密算法，全程是Password-Based Key Derivation Function。

    PBKDF2加密算法就是牺牲了时间来换取安全，一个明文的密码+随机的盐，然后哈希散列加密后存储起来，这是我们前面说的（二、加盐salted）。把这个过程重复100次，得到的结果存储起来。

    请注意，尽管我们说牺牲了时间，又说到了重复100次，那也是很快的，因为我们的普通服务器单次的运算都是在毫秒级。

四、scrypt

    scrypt是由著名的FreeBSD黑客 Colin Percival为他的备份服务 Tarsnap开发的。scrypt不仅计算所需时间长，而且占用的内存也多，使得并行计算多个摘要异常困难，因此利用彩虹表进行暴力攻击更加困难。scrypt没有在生产环境中大规模应用，并且缺乏仔细的审察和广泛的函数库支持。但是，scrypt在算法层面只要没有破绽，它的安全性应该高于PBKDF2。

五、请使用bcrypt！请使用bcrypt！请使用bcrypt！

    bcrypt是跨平台的、专门为密码存储而设计的算法，bcrypt所接受的密码长度必须是8至56个字符，并将在内部被转化为448位的密钥。基于Blowfish加密算法变形而来。

    bcrypt在默认情况下，在删除数据之前将使用随机数据三次覆盖原始输入文件，以阻挠可能会获得数据的人恢复数据的尝试。如果您不想使用此功能，可设定禁用此功能

　 　bcrypt最大的好处是有一个参数，可用于调整计算强度，而且该参数是包括在输出的摘要中的。随着计算能力的提高，应该可以逐步增大这个参数，增大这个参数后并不会影响原来的用户。

 　　bcrypt经过了很多安全专家的仔细分析，使用在以安全著称的OpenBSD中，一般认为它比PBKDF2更能承受随着计算能力加强而带来的风险。

高性能网站架构方案，本文谈了七点网站架构方案，用以优化网站响应时间，实现大型网站技术架构方案。无论是电子商务或者其他网站且可使用。
一、优化网站响应时间的架构方案：
网站能不能留的住用户，一方面是看内容，另一方面是看响应时间。通常有以下几个方式来降低网站响应时间：
1、减少HTTP请求。包括合并css和javascript。减少图片数量，比如利用css的偏移技术来在一个图片中选择不同的位置内容。利用浏览器的Cache功能，我们可以在头中声明是否被浏览器缓存。
2、动态内容静态化。比如永久生成HTML文件。生成静态文件并设定生存时间，到期后查询新的动态内容进行替换。
3、优化数据库。数据库的性能对于项目整体性能中是重中之重。设计良好的Mysql比乱糟糟的Mysql性能高出N个数量级，更别论再引入NOSQL了，比如Redis，MongoDB。
4、使用负载均衡。将请求合理的分发到更多服务器。
5、使用缓存。把花费时间和资源成本高昂的计算结果取出缓存起来，避免重复计算。比如在Mysql前面挡一层Memcached。比如生成一个文件，使用的时候include进来。再比如PHP中的OPCACHE等。

二、压力测试的架构方案：
吞吐率是指单位时间内处理的请求数，单位reqs/s。最大吞吐率是指单位时间内能够处理的最大请求出。模拟足够多的人数和并发请求来测试最大吞吐率的方法叫做压力测试。比如Apache自带的ab（Apache Bench）。ab的参数很多，常用的有请求数（-n），并发用户数（-c），超时时间（-t），长连接（-k），附件一个Cookie（-c name=value）

$ab -c 10 -n 1000 http://localhost/

三、长连接的架构方案：
每次请求都需要TCP的三次握手，握手完比表示连接正式联通，之后再发送数据。那么，把N个请求，就需要3N次握手，传递N次数据，得到N次响应，总共5N。如果把N个请求合成一个请求，就是3次握手，1次传递数据，1次返回响应，共5次。但是，有时候我们需要上一次响应的返回结果来发送新一轮的请求，在这个时候，合并请求并不好实现，这就需要长连接。使用起来很简单，在头中包含如下：

Connection: Keep-Alive

客户端和服务器端都可以设置长连接的最大时间，当两者不统一时以小的一方为准。开启长连接后进行压力测试：

$ab -c 10 -n 1000 http://localhost/

发现提升不止三五倍。本机是提升了8倍的性能。

四、提高Mysql的响应速度的架构方案：
Handlerocker是日本的一位架构师开发。Mysql的一种插件。Handlerocker实现了绕过Mysql的SQL解析层。在Mysql5.1以上版本可以使用，详情可以查看Mysql手册。这里就不在阐述。

五、Mysql主从复制的架构方案：
在分布式部署中，1台主库，N台从库。主库只写，从库只查。主库从库数据需要实现统一，这就是主从复制。优点是：
1、从库备份时，主库可以继续处理更新。
2、优化响应时间。
3、增加健壮性。主库挂了可以切换到从库作为备份。
主从复制的实现过程有三步，1个在主库，2个在从库：
1、主库服务器将用户对数据库更新的操作以二进制格式保存到Binary Log日志文件。然后Binlog Dump线程将Binary Log日志文件传输给从库服务器。
2、从库服务器通过一个I/O线程将主库服务器的Binary Log日志文件中的更新操作复制到一个叫做Relay Log中的中继日志文件中。
3、从库服务器通过另一个SQL线程Relay Log中继日志文件中的操作依次在本地执行，从而实现主从数据库之间数据的同步。
本篇只是简单的列出方案，详细的配置和实现步骤将在另一篇中写到。

六、代理的架构方案：
读取内存的速度是读取硬盘的100000-1000000倍。把访问过的页面缓存在内存中，下次直接从内存中读取，可以有效加速。
1、传统代理。客户端发送请求给代理服务器，代理服务器向WEB服务器取到数据并返回给浏览器。代理服务器就是一个有大的存储空间的Cache。
2、反向代理。和传统代理原理类似，只是使用对象不同。传统代理的使用对象是客户端，反向代理的使用对象是服务器。用户通过反向代理访问Web服务器，Web服务器是隐藏起来的。不过用户不关心这些，权把代理服务器当作真实的Web服务器。反向代理有Vamish。

七、异步计算的架构方案：
比较耗时的比如将用户上传的文件分发到多台机器，比如裁剪图片，视频转码等。可以使用异步方案。让用户无须等待计算结束而是先行返回结果。代表产品有和Memcache同一家的Gearman。关于Gearman的使用可以查看PHP手册。