晒晒你的系统架构

晒晒你的系统架构田逸([e-mail])简体版《互联网运营智慧》繁体版《linux老鸟这样搞定机房大小事》SACC2011SACC2011内容概要：系统架构与可用性、可扩展性、易维护性、建设成本等直接关联，设计良好的系统架构既能控制较低的单位成本，又能以极少的人力维护和运营庞大的系统资源。本主题收集了一些具有代表意义的中小型互联网系统架构案例，以期能为同行提供一些借鉴。SACC2011SACC2011从这里开始某研究机构邮件系统架构某行业巨头网站总体架构某知名互联网公司系统架构某广告平台系统架构某互联网开发企业系统架构（非全部）某知名电子商务网站系统架构SACC2011SACC2011某研究机构邮件系统整体架构SACC2011SACC2011某研究机构邮件系统整体架构（续一）系统组成1、硬件：（1）2套sunv880（2）SUNA5200磁盘阵列2、软件：（1）IplanetMessagingServer5.2forSolaris（2）openLDAP（3）某商业双机软件（目前不能使用，删除了）SACC2011SACC2011某研究机构邮件系统整体架构（续二）系统架构特点：1、高可靠性：一主一备，保证有一个主机正常工作；2、可扩展性：存储容量可扩展；3、高性能：用了原厂光纤盘阵，因此磁盘i/o的性能比较高SACC2011SACC2011某研究机构邮件系统整体架构（续三）当前的工作机制：A.启动一个服务器，挂接磁盘阵列的磁盘，然后运行阵列上的ldap及mail相关服务（所有程序都存在阵列上）；另外一个服务器一定要使阵列处于卸载状态。B.如果运行中的服务器出现故障，则关闭邮件相关程序并卸载磁盘阵列，再运行另外一个服务器，挂接阵列，接着启用阵列上的相关服务SACC2011SACC2011某研究机构邮件系统整体架构（续四）点评1、高成本：2个服务器加一套存储加软件，总价300万人民币（不差钱啊）2、低利用率：任何时刻，只有一个服务器对外提供服务（目前，只能手工切换）3、较低的数据安全性：只有一个数据存储容器，阵列挂掉，所有的数据将丢失殆尽4、自动化程度低：大部分操作需人工操作5、无监控平台，出故障靠值班或者用户电话通知SACC2011SACC2011某行业巨头网站总体架构SACC2011SACC2011某行业巨头网站总体架构(续一)架构概述：前端一个F5，中间若干web服务器，后端一个oracle数据库.每2个服务器组成一个集群，即每2个服务器运行相同的应用—web设计思路：基于高可用可扩展架构特点：半高可用SACC2011SACC2011某行业巨头网站总体架构(续二)★点评：1、半高可用：负载均衡是单点，数据库同样是单点2、成本高：使用了数十个服务器，但其访问量很低3、资源利用率低：每个服务器只承载1-2个站点4、集群规划不合理：每2个服务器组成一个集群，假如一个服务器出故障，所有的访问请求都转到唯一剩下的那个服务器SACC2011SACC2011某行业巨头网站总体架构(续三)建议：1、负载均衡高可用2、数据库高可用3、整合服务器资源：比如每组集群服务器数量为4个，每个服务器运行更多的网站SACC2011SACC2011某知名互联网公司系统架构SACC2011SACC2011某知名互联网公司系统架构（续一）架构特点：1、全局高可用：缓存集群、web集群、数据库集群、负载均衡器热备2、数据库读写分离、从服务器集群3、容量横向扩展4、高成本：服务器高配、所有服务器均放在同一个bgp机房（带宽费大概680元/兆）SACC2011SACC2011某知名互联网公司系统架构（续二）☆☆点评1、操控风险大：所有的转发、负载都在netscaler负载均衡下2、横向扩展灵活性受限：据悉该公司所在的机房托管资源极度紧张，扩容一次得花很长的时间，并且机柜不能跟以前的机柜相邻。试想，将来机位没有了，再新增服务器咋办？3、业务分拆困难：为了搜索引擎优化（SEO）4、成本高：服务器都是高配（大概是不差钱吧）SACC2011SACC2011某广告平台系统架构SACC2011SACC2011某广告平台系统架构(续一)架构描述：1、服务器全部放在美国（有违规内容，打擦边球）2、服务器全部租赁3、服务器分布在不同州的不同机房（为了避免被防火墙封锁）4、低成本、高带宽：每个服务器带宽1GB，据客户称所有服务器的租赁费一个月5000人民币SACC2011SACC2011某广告平台系统架构(续二)☆点评：1、国内访问速度稍微有点慢（主要的用户是在国内）、偶尔会被GFW屏蔽2、临时规避兼管的一个措施（还是不要做违法的事情）3、无高可用性：数据库是单点；dns轮训方式负载，并无健康检查能力4、国运营商的国际出口带宽资源不尽相同，所以得在不同的机房租赁服务器，而不能集中。SACC2011SACC2011某互联网开发企业系统架构（非全部）SACC2011SACC2011某互联网开发企业系统架构（续一）架构描述：1、主流与热门技术大量使用：负载均衡、健康检查、Failover，智能主辅dns，分布式文件系统，简单cdn实现，hadoop云计算环境，分布式缓存memcached，mysql数据库主从复制，可视化运营平台2、多业务集群3、数据库按应用单独配备4、大流量分离SACC2011SACC2011某互联网开发企业系统架构（续二）★★★点评：1、局部高可用以及全局高可用2、系统扩展性良好3、流量分配合理：大流量如静态图片等被智能dns定向到“离用户近”的低成本单线机房4、成本相对较低：服务器全部是市场攒的低配主机，有些设备甚至是濒临淘汰的，通过架构创新得以充分的利用资源5、分布式文件系统master未能做到自动切换，hadoop的namenode也无热备6、监控系统没有实现高可用SACC2011SACC2011某知名电子商务网站系统架构SACC2011SACC2011谢谢！！！2011.9.9北京SACC2011SACC2011