云概念下的网络游戏运维经验 - 中国IDC圈 中国IDC产业第 …

光宇游戏沈崴[e-mail]云概念下的网络游戏运维经验网络游戏运维核心绩效实现游戏的稳定承载故障发现不处理快捷可靠的维护操作降低运营成本光宇的云概念游戏运维系统介绍云概念运维平台运维资产信息系统虚拟化游戏IDCHadoop游戏数据仓库服务器远程管理框架运维资产信息系统包括丌限于以下运维资产相关信息IP：所有IP、IPMI，所有MAC配置：采购配置、实际配置、OS应用分类信息：多级分类组合、应用组合资产号、序列号、型号、负责人、合同、上架日期IDC、机柜、网络其他分类：虚/实、线上/线下/库备/报废、自有/外部运维中的问题资产数据分散，多处变更，数据不一致工程师难舍excel表格需要实现单一系统sql查询需要跨系统数据组合的运维报表•全国将过保、将报废、备机的IDC分布、项目分布•虚拟化资源利用率、节约率、故障率、成本分摊运维资产信息系统运维资产信息系统——他为所有系统提供全局唯一的权威信息。一处变更，全局共享。通过多种形式向其他系统发布webservice接口形式连动更新信息以mysql从数据库形式同步信息客户端分为B/S及C/S两个版本强大的报表生成能力运维资产信息系统虚拟化游戏IDC5年的探索和实践：esxxenkvm1000+虚机规模主要应用：游戏、web、vpn、测试对游戏运维的贡献不价值技术架构虚拟化前端——KVM技术两种存储模式——MFS集群与本机硬盘全部管理依托于自研的KVM管理系统高效灵活分配资源、一键部署、动态迁移虚实机信息与资产系统联动，提供详尽的运维报表虚拟化游戏IDC——系统网络架构虚拟化游戏IDC——KVM管理系统虚拟化游戏IDC——KVM管理系统虚拟化游戏IDC——使用心得如无瓶颈，尽量多用虚拟机实现整组游戏的快速部署利用MFS在很多重要虚机上实现HA功能养成好习惯：管杀还要管埋网游运维特性：上线周期短、负载变化快、迁移频繁虚拟化是一种运维理念Hadoop游戏数据仓库曾经使用mysql游戏数据仓库架构2011年起，逐步开始使用hadoop架构低成本：hadoop集群全部采用报废游戏服务器实现所有历叱游戏数据的保存实现以往无法企及的运算能力Hadoop游戏数据仓库——应用介绍Hadoop集群数据50+节点200T总容量，当前已使用100T每日新增数据3T+每日任务数120+在游戏运维中的应用范围游戏库数据、日志文本WEB日志及其他日志IDC及本地网络syn及fin包分析Hadoop游戏数据仓库——系统架构Hadoop游戏数据仓库——hadoop/hive管理系统服务器远程管理框架——系统架构覆盖所有服务器是一个管理框架为多个运维管理系统提供中间层通信可以实现一点对所有服务器的管理可实现任何服务间的API级的调用实现同资产系统的数据联动服务器远程管理框架高效：多进程幵发同时向3000+服务器发送指令被控端服务器兼容linux及win操作系统中心端提供细粒度权限管理服务器应用组权限用户组权限对root、user权限设置了命令的白名单服务器远程管理框架——应用体系kvm管理系统批量命令执行系统游戏ACL管理系统动态密码管理系统分布式异地数据备份系统游戏纵向更新系统服务器远程管理框架——批量命令执行系统服务器远程管理框架——游戏纵向更新系统经验总结做好运维需要极致变态的运维报表体系的支持成熟的运维团队应该从开源走向自研丌要在多个系统中更新同一条运维资源信息具备批量高效管理远程服务器手段保存和分析IDC重要的syn和fin包脱离统一管理的虚拟化应用将严重制约规模化发展Hadoop是游戏数据仓库的极佳选择游戏运维理念：尽量归纳丌同特性游戏的共性，制定兼容性强的通用运维管理系统，使丌同平台架构游戏、丌同素质人员在通用平台框架下可以实现可控的游戏运营品质。光宇游戏光宇游戏