一套网站架构完整方案

xx局改造方案建议书项目名称：xx局改造工程项目项目编号：wibj-gdq-200403文档编号：wibj-gdq-200403-fa版本：1.0发行日期：2004年03月目录一、概述5二、需求分析52.1异构系统62.2异构应用82.3异构数据82.4网站结构92.5内容海量102.6内容深度102.7服务深度102.8发布系统112.9网络安全112.10信息安全11三、方案整体规划113．1设计目标113．2实施规划12四、网络解决方案134.1拓扑结构图144.2硬件选型、分布与规划144.2.1数据库服务器144.2.2web发布服务器154.2.3cgi服务器154.2.4内容管理发布服务器154.2.5内容管理生成服务器154.2.6数据存储设备154.2.7安全设备164.2.8防病毒164.2.9原有服务器与置换服务器比较164.3新增硬件配置清单18五、软件解决方案185.1系统架构185.2系统软件整合195.3网站内容管理系统205.3.1网站内容管理系统介绍205.3.2网站后台管理系统215.3.3网站采编应用系统225.3.4网站调查投票子系统255.3.5站点内容全文检索子系统265.3.6文章评论系统265.3.7网站论坛、聊天室子系统265.3.8网站会员认证管理子系统315.3.9网站广告发布子系统32六、网站音视频管理系统326.1用户需求分析326.2产品概述336.3技术特点336.4基础构架和运行环境346.5功能描述344.3.6拓扑结构图394.3.7音视频系统组成39七、项目实施进度安排427.1项目领导小组427.2项目实施小组427.3质量监督小组437.4系统集成实施进度计划及工作日程表43八、培训、支持和服务448.1培训服务448.1.1基本操作培训448.1.2系统管理培训448.1.3培训安排458.1.4培训内容458.2技术支持服务458.2.1硬件平台技术支持458.2.2应用软件平台技术支持458.3售后服务46九、小结46附录47硬件产品说明47hpdl58047hpdl38049一、概述xx局是江苏省委、省直接关心和支持建立的唯一的大型重点综合性新闻门户网站，它承担着正确引导网上舆论、及时传播江苏信息、汇集全省新闻资源、全面拓展网络服务的职能。易宝北信在网站建设方面有雄厚的技术实力和很多成功经验，愿全力支持xx局的网站建设。我们相信，xx局领导的超前意识和科学决策，加上易宝北信的核心技术和成功经验，我们能够建成一个具有“实用性、安全性、可靠性、方便性、扩展性、先进性、标准化”的xx局网站业务支撑平台，圆满完成网站改造建设工程的设计目标。通过xx局与易宝北信的合作，充分运用易宝北信在网站建设方面的实力和经验，整合后的xx局将实现内容管理平台、信息服务平台、业务管理平台以及商务服务平台的统一，从而实现新闻的实时发布、信息的快速传播、内容的有效整合、资源的便捷共享、社区的即时交流、服务的双向互动，成为江苏新闻在网络上最权威的媒体，江苏全省新闻信息资源的汇集之地，同时xx局还将作为一个可靠的网络技术平台，为江苏全省各新闻媒体上网提供广泛服务。改造后的xx局的系统要求网络结构更加安全合理、服务器架构更加稳定实用、应用系统更加方便可靠、业务系统更加快速高效。整个系统应包含以下几个子部分：网络管理系统：包括网络结构、服务器架构与有关硬件设备部署的整合设计。应用管理系统：包括web服务、数据库服务、应用服务、邮件服务的整合设计；业务管理系统：包括网站内容管理、社区论坛、资源管理、视频点播、短信娱乐、广告管理等业务内容的整合设计；网络安全系统：包括数据存储备份恢复、系统监控、流量分析、应用审计等网络安全的整合设计；二、需求分析2.1异构系统根据xx局提供的资料，目前所使用的服务器配置如下：序号型号操作系统配置1ibmrs6000-h80aix4.3cpu：内存：2g2ibmrs6000-h80aix4.3cpu：内存：1g3机架服务器windows2000cpu：内存：1g4ibmnetfinity7100freebsdcpu：内存：1g5ibmnetfinity5600linuxcpu：内存：1g6自配pc机windows2000cpu：内存：512m7xseries255linuxcpu：2内存：1g8浪潮nl120pwindows2000cpu：内存：1.5g从上表可以看出，在仅有的8台服务器中，存在小型机、塔式服务器、机架服务器、pc机等多种机型，从配置上看，没有任何两台机器是完全相同的，8台服务器中并存了4种操作系统（aix、windows2000、freebsd、linux），这给系统管理带来了极大的不便。首先，从管理难度上看，可以按aix、freebsd、linux、windows2000排序，排序越靠前的系统，精通的人越少，管理成本越高，而同时精通四种系统的人成本就更是可想而知。如果在低成本下勉强进行维护，则系统的稳定性、安全性都无法得到保证，长期持续，整个网站的硬件基础令人担忧。其次，从互换性上看，如果一台服务器发生故障，很难用其它服务器直接替换，必然会延长故障修复时间，造成网站长时间处于不可用状态，严重影响用户使用及xx局的形象。第三，从服务器的利用角度看，两台最健壮的rs6000小型机不是用于最核心的数据库服务，而是用于web相关服务，其卓越性能无法得到发挥，反而由于不是采用分布式负载均衡结构而严重影响了用户访问速度和网站的大访问量承载能力。必然造成网站访问速度日益下降。其效果就如同用推土机参加赛车一样，其马力再强劲也没有用处，因为它的设计用途就不是在速度上而是在耐力上。从alexa网站（，世界上最权威的第三方网站评价站点）上xx局的排名（近三个月的平均排名为3108）来看，虽然与地方新闻门户的领头羊千龙网（近三个月的平均排名为333）和东方网（近三个月的平均排名为698）还有相当大的差距，但也应该是属于日访问量过百万pageview的大型新闻门户网站，目前的网站结构与这种高强度的访问要求是极不相称的。如果xx局的下一步目标是赶超东方网和千龙网的话，就更需要合理调整网站的整体硬件结构，以适应每天过千万pageview的访问量。所有超大型网站在web服务层的结构基本是一致的，即cache加上机架服务器群负载均衡。首先，专用的cache服务器对大访问量的承载力要远远超过普通服务器（通常可以达到1：5以上），因此，在服务器群前端使用专用的cache服务器是使网站能够适应千万级访问量的最佳解决方案。其次，web服务器通常都是采用多台配置相同的机架式服务器（每台价格均在10万元以下）通过专用的负载均衡设备形成web服务器群，从而很好地将用户访问流量平均分配到各个服务器上，便于随时扩展，也便于故障排除，因为任何一台服务器发生故障并被撤离的时候都不会影响到整个网站的访问，从而在最大程度上缩短了整个网站的不可用时间。而对于应用核心的数据库服务器，通常会采用双机热备援，即两台数据库实时同步，互为备份，当一台发生故障时，另一台自动接管它的全部服务，确保所有应用不间断运行。当然，最重要的一点还是要及时进行数据备份，无论是数据库还是网页、文件都必须定时备份，以便在意外情况下可以在最短的时间内恢复，同时保证数据损失最小。目前的结构与建议结构相差太远，如果不花大力气彻底改造的话，上述问题将会不断加重，直至整个网站完全瘫痪。首先，要下决心统一硬件平台，尽管保护投资是非常重要的，但如果以网站的未来发展为代价显然是不值得的。ibmrs6000小型机尽管已过了保修期，但其性能仍然非常卓越，对于金融领域的建设项目非常有益，可以考虑与本地待建的金融项目进行相应协商，将两台小型机置换成机架服务器，这对于建设双方而言都是非常有益的做法。如果置换困难的话，也建议将rs6000作为数据库服务器，rs6000对于oracle数据库的支持要远胜于windows2000，但相应的成本会增加很多，维护起来的难度也将成倍加大。这个方法在技术上是可行的，但在维护上需要斟酌。从网站的长远发展看，建议将两台小型机单独考虑作为未来的电子商务类的盈利性支撑平台，在本次改造中将其上面的应用完全剥离出来；并重新规划整个网站的硬件平台，以ibm/hp/dell的机架式服务器完全重组，并考虑对旧设备充分进行利用。其次，要统一操作系统，除了aix以外，另外三种操作系统都可以考虑。单从安全性角度出发，freebsd是比较好的选择，目前新浪、网易等综合门户使用较多，但是熟悉该系统的人相对较少。由于redhat以后将不会再推免费的linux，而且其安全性和稳定性也并不是比windows高出很多，因此完全使用linux也需要慎重考虑。windows尽管口碑较差，但在实际应用中很多大的门户中仍有大量的windows服务器存在，包括搜狐、千龙等，如果有比较认真负责的系统管理员，windows2000及其后续产品的综合成本还是最低的。而且包括windows系统资源占用过高等问题都可以通过比较专业的调优工作得到大幅度改善。一台windows2000的iis服务器在调优前后的性能差异可以高达数十倍。建议采用freebsd或windows2003中的一种统一操作系统，以降低整个网站的维护成本。2.2异构应用xx局对外提供了很多种服务，其中社区、论坛、婚介、邮件等均是使用asp写的程序，而软件下载则是使用jsp写的程序，xx局内部的发布系统iflow也是基于的系统。为了保证跨平台应用和未来的迁移扩展，还是建议将程序写成版本，目前越来越多的web程序员均精通asp、jsp、php等多种脚本语言，改写起来非常方便。当然，应用程序的异构并不是太大问题，大多数网站都存在这种情况，但是应用程序编写的水平高低常会造成应用层安全漏洞，从而威胁整个网站的安全，如果在成本有限的情况下，考虑低成本的php也不失为好的方案。2.3异构数据发布系统iflow使用的数据库是windows版的oracle，而网站使用的动网论坛则使用的是access或sqlserver，如果按照清华万博的建议，将会把发布系统数据库迁移到mysql上。从数据库的性能上而言，oracle是当之无愧的最佳选择。而ibm的db2和微软的sqlserver2000也表现不错。千龙网到2003年5月以后才将部分数据库开始向oracle迁移，而此前的应用一直是在sqlserver2000上运行，效能是令人满意的。而mysql和access在多数方面与上述的大型数据库是无法比拟的，例如可以大幅度提升数据库查询性能的存储过程、可以防止数据库错误发生的事务处理等高级性能它们都不支持。mysql的下一个版本虽然声称会加入这些性能，但未经过长期考验的数据库性能是不能令人信服的。因此将oracle数据库换成mysql是不明智的，应该说是一种倒退。而且将三个月以前的数据切断也不是好的做法。要知道对于一个新闻网站而言组织历史数据制作专题报道是非常重要的吸引网民的手段，也是作为新闻门户的立身之本。这就决定了切分历史数据将会给编辑的工作带来极大的不便。与sqlserver自动调优不同的是，oracle数据库对人工优化的依赖程度特别高，默认的安装选项几乎发挥不出oracle数据库性能的十分之一，而且oracle是支持群集和海量数据的最佳选择，如果想快速发展的话，更没有理由不使用它了。xx局目前数据库内的数据量为39万条，目前所购小型机已过了三年保修期，按xx局运行三年算，平均每天的新闻发稿量不到340条（当然发稿量一定是个渐近的数字，但就算平均到一年，每天也不过1050条左右），这一数字与千龙网、东方网每天的3000-5000条和新浪、搜狐每天的5000-10000条相比，根本算不了什么，因此绝不可能是因为数据库本身的性能影响了系统的速度。如果iflow系统可以从oracle移植到mysql上的话，那只能说明这套系统根本就没有就oracle数据库做过优化，没有利用任何大型数