DevOps的构建之路与案例分享

DevOps的构建之路与案例分享•汪珺CONTENTS目录Part1DevOps由来与构成Part2DevOps演进之路Part3DevOps实施概要Part4DevOps实践中的问题Part1：DevOps的理解问题现象：•整个版本周期较长，有时一个月才能发布大版本•线上常有质量问题，需消耗较多精力排查和修复开发（多团队并行）联调（集成）测试（端到端）12D5D8D46%21%33%上线8H分析一个实际的案例问题分析：•各阶段周期时间分解•关注等待/阻塞/浪费问题定位：系统紧耦合，相互影响和阻塞•多个子系统无法做到并行交付•故障传播不可控，相互影响•一端出问题，整个版本阻塞各端未控制质量，集成时问题爆发•开发自测不足，缺陷蔓延到集成阶段•自动化能力缺失，大量依赖人工处理•团队间存在资源争抢，相互冲突严重环境交付未归一化，发布效率低•环境多依赖复杂，线下线上不一致•环境准备时间长，维护成本高•串行发布上线，需要长时间停服这样PK，效率多低？另外，讨厌PM或者QA吗在实验室中证明性能Bug这不影响用户体验吧？我觉得可以接受决策上升要改我的环境没这问题测试数据稳定吗？你都不复现，我怎么查限制业务规模延后/预加载移到子线程要我原子优化？你测到不卡就足够了，别搞那么复杂发布：外网投诉测试不是证明过体验够好了吗？这不关我的事啊，是历史问题/系统问题©Pactera.Confidential.AllRightsReserved.DevOps体系需求发起服务和设备虚拟化持续部署与交付版本加速上线高可靠保证一切皆代码精益管理和产出快速度量及反馈消除沟通、利用资源、定位简单、稳定快速、过程自动DevOps带来的收益6CMDB持续反馈持续测试持续监控持续发布持续集成微服务架构持续整合Amazon：11.6s—1079/hour—10,000---30,000©Pactera.Confidential.AllRightsReserved.DevOps的理解1.持续测试将成为关注热点2.开发、安全和运维一体化——“DevSecOps”3.DevOps指标日益受到关注Part2：DevOps演进路线举例©Pactera.Confidential.AllRightsReserved.©Pactera.Confidential.AllRightsReserved.©Pactera.Confidential.AllRightsReserved.数据度量与分析的实例•UserStoryNumber;•Currentfinishediterationsnumber;•Recentfinishediterationsnumber;•WarehouseNumber•SubmissionNumber•Submissionfrequency•Buildnumber•Buildfrequency•Buildtime•SuccessrateofBuild•Averagerecoverytime•Linesofcode•Loopcomplexity•BugNumber•TestCasenumber•TestCasecoverage•TestCaseResult------ForUnitTestAPIAutomationGUIAutomationManuallyDBandothers•PerformanceTestresult•SecurityTestResult•Envchangetime•Envchangefrequency•Dependencyrelation•Envconfiguration•DBconfiguration•Disasterrecoveryandbackup•SecurityLevel•Releasehistory•ReleaseNote•Requirementsdeliverycycle•Publishingstrategy•Deploymentfrequency•Deploymentsuccessrate•DeploymentTime•Changingleadtime•Resourcemonitoringinfo(CPU,I/O,Memory)•Serviceandapplicationmonitoringinfo(Performance,Concurrency)•Productissuestatistics•Productissuerecoverytime•AimtoBusinessContinuityandQualitiedContinuousdelivery•CoreOKR/KPIinDevOps:Quality,Throughout,Stability,Meantimeforchanges,MTTR,Deploymentfrequency,Changefailurerate.设定KPI/OKR考量体系（扩展到其他端）习惯培养及度量数据驱动改进•重点是对原则的坚持–频繁集成–红灯修复•建立度量指标模型–结果指标–过程指标•数据驱动持续改进1234实施情况总览、分团队总览数据筛选和下钻，各团队数据核心数据汇总，环比变化趋势自动分析和异常报表推送邮件提升开发效率节省人力资源统一了测试入口标准并规范化降低工具上手难度增加测试维度覆盖使测试介入开发流程阶段提前降低BUG修复成本自动化部署，流程更透明为什么做持续集成1.我可能用了个假的测试包2.为什么只有我的测试有问题3.谁有xxxtag的包，我想验证一个问题4.这些工具用起来好麻烦1.手动打包，费时费力易出错；2.各个开发手动出包环境不统一，出包内容有差别3.Build记录无法追溯，问题定位困难持续集成其他相关联部分持续集成-某DevOps框架说明©Pactera.Confidential.AllRightsReserved.RoadmapDesignEvaluationandconsultationSolutionDesignDevOpsModelingChangeMgr,DesignCompilerintegrationPipelinePlatformCodeScan&xUnitAPI&GUIAutomationPerformanceTestingTestDataPreparationSecDevOpsTest-DevOpsPlatform…DeploymentautomationRelease&upgradeautoDocker&Clouddeploy…CMDBAutorepairserviceConfigurationMgr.PatchmanagementStandardizationAll…PerformanceanalysisDevOpsKPIAssessmentUXServicesReleasepriorityMgrStrategicinvestment…BISupportMobiletestServicesMobileIntegrationArchitectureDesignAgile&LeanTraining&simulationUsers/Applications/SystemmonitoringserviceContinueIntegrationTransformationServicesConsultingServicesContinueTestingContinueDeliveryContinueoperationContinuefeedbackDevOpsonMobileAACustomizedServicesPlatformSupportsPartnershipownedMicroserviceDesignInfrastructureDesignServicevirtualizationCustomizedintegrationAPMServicesA123444555566662437777717It’sanAssumedRoadmapwithnumber1-7.SequenceandcontentmaybechangedDevOps演进路线之一DevOpsonCloudPublicCloudPrivateCloudSaaSonDemandMobileTestingCloudCitrix/VmWareSupports©Pactera.Confidential.AllRightsReserved.DevOps转型工作室IT4IT转型工作室DevOps方案设计工作室DevOps模型顾问变更管理服务企业敏捷顾问企业敏捷实践编译集成自动化测试自动化变更的测试服务服务虚拟化服务测试数据管理服务自动代码安全扫描服务…部署自动化发布和升级自动化云端部署自动化…用户/应用/系统监控服务自动修复闭环服务配置管理服务补丁管理服务Docker部署自动化…性能分析服务DevOpsKPI评估战略管理服务用户体验管理服务应用发布优先级管理鼓舞…战略投资顾问移动端测试服务移动端集成服务企业架构方案企业敏捷转型工作室企业敏捷方案设计工作室用户/应用/系统监控服务1234567企业敏捷服务转型路线图服务管理顾问服务实施持续集成/测试服务实施持续部署/交付服务实施持续运维服务实施持续评估服务移动端DevOps服务AA可用的服务实施的服务DevOps演进路线之二182551•持续构建•持续检查•持续单元测试•持续自动化测试•持续部署•交付流水线•仪表盘•自动化监控•配置管理•部署环境管理•制品管理•全景报表•部署即服务•监控即服务•日志即服务•开发测试服务水平管理•弹性扩容变更•流水线即服务•团队级DevOps•实现对包括部分新业务和CRM试点敏捷项目的持续集成能力支撑•部门级DevOps•实现对信息技术部各个域采用持续交付支撑•实现需求、开发测试、运营的一体化平台管理•公司级DevOps•可以对各个部门应用开放开发测试服务•完成DevOpsPass云平台的支撑落地实施DevOps演进路线之三©Pactera.Confidential.AllRightsReserved.20SolutionDevOpsPipelineSecDevOpsPlatformTest-DevOpsPlatformCMDBPlatformMobileTestingBA-Dev-TestPlatformLaaS/PaaSPlatformMetricsinDevOps根据演进路线，定义流程、工具和考核指标Part3：DevOps实施概要DevOps实施概要22公司高管部门中层部门基层组织和推动DevOps落地实施（培训和沙盘）建立分享与沟通的快速机制（咨询和诊断）推动“一切皆代码”和“全盘自动化”（咨询和诊断）掌握项目级别DevOps方式（培训和沙盘）根据规划，局部DevOps化（咨询和实践）技术化一切代码和基础设施（培训、咨询和实践）建立DevOps文化和Lean精益管理文化（培训和沙盘）自上而下推动DevOps进程及相关组织调整（沙盘和实践）©Pactera.Confidential.AllRightsReserved.定义开发编译部署测试定义开发编译部署测试定义开发编译部署测试定义开发编译部署测试计划计划计划计划发布发布发布发布OperateMonitorSecure服务OperateMonitorSecure服务OperateMonitorSecure服务OperateMonitorSecure服务需求列表项目故事整体方案正式发布应用客户跨功能敏捷团队需求任务业务负责人需求任务管理DevOps流程DevOps平台工作产品增量业务需求业务驱动发布反馈反馈反馈合作迭代迭代新需求反馈新需求工作反馈实施指导DevOps流程建立举例23建立文化氛围---支柱正在实施即将实施吃瓜群众指标定义，直指价值知识库培训体系建立—反映到CI/CD中测试团队建设软件测试流程软件测试度量标准软件测试知识库软件测试培训体系绩效考核标准人员级别定位软件测试标准总纲测试组织结构及角色说明文档测试外包采购流程及标准