百万用户同时在线游戏服务器架构实现

百万用户在线网络游戏服务器架构实现一、前言事实上100万游戏服务器，在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高效率的编程语言、高性能的数据库、还有高性能的架构模型。但是除了这几个方面，还没法根本解决面临的高负载和高并发问题。当然用户不断地追求更高的机器性能，而升级单一的服务器系统，往往造成过高的投入和维护成本，性价比大大低于预期。同时全天候的可用性的要求也不能满足要求，如果服务器出现故障则该项服务肯定会终止。所以单独追求高性能的服务器不能满足要求，目前基本的解决方案是使用集群技术做负载均衡，可以把整体性能不高的服务器做成高可扩展性，高可用性，高性能的，满足目前的要求。目前解决客户端和服务器进行底层通讯的交互的双向I/O模型的服务器的成熟方案。1.windows下，比较成熟的技术是采用IOCP,完成端口的服务器模型。2.Linux下，比较成熟的技术是采用Epoll服务器模型,Linux2.6内核中提供的SystemEpoll为我们提供了一套完美的解决方案。目前如上服务器模型是完全可以达到5K到20K的同时在线量的。但5K这样的数值离百万这样的数值实在相差太大了，所以，百万人的同时在线是单台服务器肯定无法实现的。而且目前几个比较成熟的开发框架，比如ICE,ACE等。这样，当采用一种新的通信技术来实现通信底层时，框架本身就不用做任何修改了（或修改很少）,而功能很容易实现，性能达到最优。目前采用的ace框架个不错的选择方案,可以不受操作系统的影响，移植比较方便。对于数据库选择可有许多成熟的方案，目前大多数选择的mysqlMaster/slave模式，以及oracleRAC方案。基本可以满足目前的要求，但具体的瓶颈不是在数据库本身，应该还是硬件磁盘I/O的影响更大些。建议使用盘阵。这有其他成熟的方案，比如采用NAS解决分布数据存储。其实最为关键的是服务器的架构和实现，数据流量的负载均衡，体系的安全性，关键影响度，共享数据的处理等等多个方面对100万用户的数据处理有影响，所以都要全面的考虑。二、高性能的服务器1.网络环境目前采用Client/Server架构来开发网络游戏，客户端和服务器一般通过TCP/UDP协议进行通信,关键瓶颈很明确--游戏服务器与客户机之间的链路。目前单机环境比较好些的是，2块1000M网卡，20K客户端，并发提供每个客户端的带宽是2000/20K=100KB/s，这是理论值，勉强可行。如果这样实现目前肯定有成本和性能问题。特别是用户响应时间已经超过他们的忍受范围。为了避免瓶颈许多游戏厂家一组限制用户上限为100M/5k~10k。即用户100KB/s。而客户的网络情况也要考虑。这就也提出尽可能减少传输数据。这需要测试评估网络吞吐量和延迟需求，以便对服务器的用户数和带宽做评估。网络部署中还要考虑网络拓扑情况。内网和外网要分不同的交换机，避免出现网络瓶颈。还要考虑网络图朴情况的优化。比如每组几台使用一个交换机做流量分配。2.CPU和内存的参考目前要求高处理能力，高带宽，低存储容量。主要考虑的瓶颈问题应该是I/O问题，一般情况时采用双路CPU或多路，而且服务器专用内存已经很好的解决了I/O瓶颈。实际测试如果几千人同时在线的话，CPU和内存需求都很低，目前一般服务器都可以满足要求。3.负载均衡所以必须要采用多台服务器的架构方式，但出现了均衡负载和分布架构的问题，可以通过下面几种方式解决。A.硬件负载均衡设备常用的F5等负载均衡器，很好的解决了负载均衡的问题。一般这种设备投资比较高，但部署容易，而且支持分布式架构。B.集群系统集群系统增长了系统可用性(availability)和冗余(redundancy)，也提供了容错(faulttolerance)。使用集群,可以分布请求以便多个服务器可以共享负载，一些服务器也可能提供确定哪台服务器利用的不充分以便均衡负载的复杂处理。Linux平台上很多免费开源的集群软件，如LVS（LinuxVirtualServer）是Linux平台下的一个集群软件工具。通过LVS，你可以快捷方便的组建一个带有第四层负载均衡功能的集群系统。并且，借助第三方的工具包，还可以实现对LVS集群进行可用性支持的功能扩展。他提供了基于心跳线heartbeat的实时灾难应对解决方案，提高系统的鲁棒性，同时可供了灵活的虚拟VIP配置和管理功能，可以同时满足多种应用需求，这对于分布式的系统来说必不可少。而且还有如下几点特点：解决网络拥塞问题，服务就近提供，实现地理位置无关性。为用户提供更好的访问质量。提高服务器响应速度。提高服务器及其他资源的利用效率。避免了网络关键部位出现单点失效。缺点：配置比较复杂，而且需要修改内核来支持这种结构，提高了实施的和运维的工作量。一般需要增加两台服务器做主，备也增加了成本。C.软件自身实现逻辑负载均衡根据应用服务器的许多需求，负载均衡也有一些不能满足我们的自身的需求的东西，比如均衡的条件，一般集群是按照ip分配，处理包的速度，支持的连接数等。而应用服务器可以根据自己的需求定制自己的负载规则。比如许多游戏服务器采用根据区域做用户限制，这样管理起来比较方便灵活，而且效率高。4.操作系统的优化建议使用linux2.6.x内核64位系统。而且要对部分参数的修改。A.文件系统在fstab里加入noatime，如#cat/etc/fstab/dev/sda1/homeext3noatime,defaults12reboot或者重新mount生效B.Tcp优化在/etc/sysctl.conf里加入net.ipv4.netfilter.ip_conntrack_tcp_timeout_syn_recv=3#启用syncookiesnet.ipv4.tcp_syncookies=1#定义backlog队列容纳的最大半连接数net.ipv4.tcp_max_syn_backlog=8192net.ipv4.tcp_fin_timeout=30net.ipv4.tcp_keepalive_time=1800net.ipv4.tcp_window_scaling=0net.ipv4.tcp_sack=0net.ipv4.tcp_timestamps=0这些需要内核支持。如果不支持不用修改。C.虚拟内存优化/etc/sysctl.confvm.lower_zone_protection=100D.I/O调度器在grub.conf的相应启动选项里加入elevator=deadline，如：kernel/vmlinuz-2.6.6roroot=/dev/sda6elevator=deadline这里用了Deadline的I/O调度器,它比系统默认的AnticipatoryI/O调度器更为小巧,在数据吞吐量非常大的数据库系统中表现得更有优势。E.网络协议方面优化Iproutecache需要修改，否则容易丢包。echo1/proc/sys/net/ipv4/route/gc_intervalecho150/proc/sys/net/ipv4/route/gc_timeoutecho2/proc/sys/net/ipv4/route/gc_elasticity使用hugeTLBechoxxx/proc/sys/vm/nr_hugepagesTunetcp:echo409649152131072/proc/sys/net/ipv4/tcp_wmemechoxxxx/proc/sys/net/ipv4/tcp_max_syn_backlogechoxxxx/proc/sys/net/core/somaxconnecho1200000/proc/sys/net/ipv4/tcp_max_tw_bucketsecho7/proc/sys/net/ipv4/tcp_retries2echo600000650000700000/proc/sys/net/ipv4/tcp_memecho0/proc/sys/net/ipv4/tcp_timestampsecho0/proc/sys/net/ipv4/tcp_window_scalingecho0/proc/sys/net/ipv4/tcp_sackecho330000/proc/sys/net/ipv4/tcp_max_orphansecho1000062000/proc/sys/net/ipv4/ip_local_port_rangeepoll模型需要修改的参数:echo1300000/proc/sys/fs/file-maxF.内核源代码参数修改可以根据部署应用服务器的要求，或者需要部署集群的要求需要对内核作部分修改。具体参考文档，下面只是简单的例子。修改/usr/src/linux/include/linux/posix_types.h#define__FD_SETSIZE1024为65536设置fd_set支持的最大数量修改/usr/src/linux/include/linux/fs.h#defineINR_OPEN1024为65536#defineNR_FILE8192为65536#defineNR_RESERVED_FILES10为128设置最大打开文件数量（TCP连接数量）修改/usr/src/linux/include/net/tcp.h#defineTCP_TIMEWAIT_LEN(60*HZ)为1*HZ#defineTCP_SYNACK_RETRIES5为3设置在backlog队列里的半连接的重试次数，每次都会花相应的时间，本质上也是减少重试时间makemenuconfig中，去掉没用的选项，打开以下选项的开关：HighMemorySupport(支持4GB以上内存)Symmetricmulti-processingsupport(支持多CPU)TCPsyncookiesupport(可以防DOS)设置文件打开数等的其他方法(好处就是可以不重新编译内核)在/etc/init.d/sshd里加入(统一加在./etc/rc.d/init.d/functions行后面)ulimit-n65535/dev/null2&1ulimit-u16384/dev/null2&1三、高效率的编程语言1.平台语言选择不同平台的具体实现差别也很大。例如仅在Windwos平台下就有基于Windwows消息机制的、基于事件机制的、也有基于完成端口I/O模型的实现等等，而linux平台也有Epoll服务器模型，Linux2.6内核中提供的SystemEpoll为我们提供了一套完美的解决方案。可以根据不同的平台和效率，目前多采用C/C++。2.成熟的开发框架目前解决客户端和服务器进行底层通讯的交互的双向I/O模型的服务器的成熟方案。1.windows下，比较成熟的技术是采用IOCP,完成端口的服务器模型。2.Linux下，比较成熟的技术是采用Epoll服务器模型,Linux2.6内核中提供的SystemEpoll为我们提供了一套完美的解决方案。当然也有利于利用其它一些成熟的开发框架，比如ICE,ACE等。这样，当采用一种新的通信技术来实现通信底层时，框架本身就不用做任何修改了（或修改很少）。目前采用ACE框架实现，是完全可以达到5K到20K的同时在线量的，而且消耗系统资源小。但5K这样的数值离百万这样的数值实在相差太大了，所以，百万人的同时在线是单台服务器肯定无法实现的。所以只能采用多台服务器负载分摊100万用户的流量数据。3.程序架构通讯机制，通讯协议，线程池，memorycache,数据库四、高性能的数据库1.采用分布集群百万用户同时在线对于数据库选择可有许多成熟的方案，目前大多数选择的mysqlMaster/slave模式，以及oracleRAC方案。基本可以满足目前的要求，但具体的瓶颈不是在数据库本身，应该还是硬件磁盘I/O的影响更大些。建议使用盘阵。这些市场上有