IC设计中的IT环境_2013

IC设计中的设计中的设计中的设计中的IT环境环境环境环境(2013)--王光辉前言几年前，我写过一篇文章，介绍如何在IC设计中选择IT设备和配置环境。那时候算是年少冲动吧，写的那些东西都是实际工作中遇到的，几年来，也有很多做这行的朋友看了文章后，找我咨询问题，我也尽量解答。不过，几年过去了，IT设备更新换代，自己的经历也更加丰富，总想提笔写一些更新，无奈杂事太多，每每无法成文。我有更新的冲动，但是也有怕误人的谨慎。在多家公司呆过之后，我发现每家公司都有自己的特点，没有经过仔细的了解，而做出的方案，基本上在后期改动的可能性很大，所以更加不敢写。我做这方面工作已经快10个年头了，自己思维也开始有一些老化，如果再不把自己的一些经验写出来，以后我想更难完成。记得上一次写这方面的文章还是2009年初，一晃3年过去了，经历更多，写文章的动力却少了很多。原因无外乎生活杂事让自己无法静心。也怕到时候写的东西发出去后，被各种咨询打扰。我一向乐于share自己的经验，也愿意解答大家遇到的疑问，但是我很不喜欢被一些google都可以找到答案的问题烦恼。如果你自己不愿意去找问题答案，最简单的一个办法：给钱让人帮你解决。找不到人解决的时候，才是找人来咨询。我曾经在QQ上遇到过一个人，自己是某家IC设计公司的IT，水平怎么样不好说，但是特别喜欢遇到问题就来问我，有次实在烦了，就说了一句，自己去google。然后，他就说我态度不好，我真想说一句：我帮你解决问题，我有义务吗？如果是教育机构，比如高校，需要这方面帮助的，我愿意无偿帮忙。如果是公司，你需要简单某个问题的解决，我可以电话协助你，如果需要做整体方案，不建议电话咨询，建议你花钱找人解决，如果别人解决不了，也可以找我。我想强调，这是一个整体的方案，不是1-2天时间就可以完全解决所有问题的，更不是电话就可以一下说清楚。我会尽量将我的经验分享在这篇文章中。提前发一通牢骚，希望到时候能少一些基本问题的咨询。建议大家加入edacadQQ群：292489873我的联系方式:QQ58648217手机：[phone]我的工作经历：2004-2006：苏州集成电路设计中心，系统管理2006-2009：盛科网络（苏州）有限公司IT管理2009-2011：BroadcomSystemAnalyst2011-now:苏州一家IC设计公司我的前一篇文章主要在盛科网络工作期间完成，和当时的情况类似，IT环境比较适合当时的公司。后来，我去Broadcom工作后，我才发现，原来人家大公司的做法不太一样。理解了一个成熟的公司，IT环境应该如何去设计。回到苏州后，我将现在这家公司的很多IT环境逐步往类似Broadcom的解决方案靠近，不过进展一直都比较缓慢，主要原因是这家公司积习难改。从此事上，可发现有一些成立时间长，人员比较多的IC设计公司，要做好思想准备，改变以前的环境有很多困难。由于我现在主要集中在IT系统方面，所以我不过多介绍软件的一些事情，但是我尽量将IT整个环境，包括网络，存储，备份，EDA设计系统等方面介绍到，给大家多一些参考，大家一起多讨论吧。目前的IC设计公司，大部分都是C/S架构,也就是说客户端PC远程连接到服务器使用,用户身份认证使用NIS,配合nfs和autofs来自动挂载目录。1.机房基础设施（Infrastructure）2.网络及结构设计3.服务器的选择及配置4.操作系统5.存储设备的选择6.远程VPN访问7.集群环境搭建以及EDA软件加速功能8.版本控制及bug管理(CVS/SVN/VSS/Bugzilla)9.服务器访问方式VNC/FreeNX/Citrix10.虚拟环境vsphere11.NFS/NIS结合12.数据备份13.FPGA下载数据如何做到安全及归档14.服务器硬件的远程管理1.机房基础设施一个好的IT环境应该是从机房网线电源等基础设施开始的，我见过很多公司的机房,有做得非常漂亮的，也有问题非常严重的。对于问题很严重的一些机房，要想去解决那些问题，将是非常非常困难的。我们做家庭装修都知道一点：水电无论如何不能用差的，因为一旦以后有问题，整修起来非常困难。公司的IT基础设置也一样，一定要在规划的时候就考虑进入，否则以后问题一大堆。好的机房标准是什么？这可能是我们很多人都有的疑惑，每个人都有自己的理解，但是我想离不开几点：可管理可扩展整洁恒温标识清楚。机房的基础设备主要包含：UPS及电池，电源分配设备，空调，机柜等。首先，我们来讲一下UPS及电池。为什么要使用UPS？因为我们无法预知意外的停电事故，使用UPS避免服务器的异常关闭。我们购买第一台UPS的时候，在功率选择方面，起码要预测到最近1年以内可能增加的负载有多少，从而选择适当的UPS设备。UPS标称功率一般只能使用到80%。由于服务器idle的功率和满载功率完全不一样，所以，请做预算的时候，一定要使用服务器的满载功率，这个测量可以使用一个很简单的功率测试仪完成（淘宝上有很多，比如万方的小设备）。如果你需要测试整个已有机房的功率，可以在负载比较高的时候，使用功率钳测试火线得到安培数，然后计算出功率。同时，由于电池容量和负载，待机时间三者之间的关系，我们必须把握好到底需要多少电池。电池是具有腐蚀性硫酸的东西，一旦泄漏可能给机房带来安全隐患，所以要注意选择正规的电池。UPS市场上也有很多假货，所以选择正规的厂商是绝对有必要的。我买过三特电子的UPS，结果发现市场上很多所谓山特都是假货。其次，机房还得注意插座的分布。一般我们需要在UPS出来的Output线缆处安装一个多路的空气开关，然后每个空气开关对应机房机柜下面的1-2个插座，每个插座可以带多少台服务器，请注意控制。如果预算够多，可以使用PDU电源桥安装在机柜后面，如果没有那么多预算，只能使用插线板或者其他方式扩展了。如果有多个UPS，考虑到冗余情况，请记住每个机柜后面的插座需要来自不同的UPS。注意机房的布线至少考虑4平方以上的铜线，否则可能由于负载过高，导致线缆发热量大而引起火灾。再次，空调的选择。空调在这里主要是制冷，所以绝对要安装独立的空调。有很多专业机房空调可供选择，那些空调一般带有恒温恒湿和除尘功能，对于小机房预算有限的情况下，显然我们不大可能考虑专业空调。但是，即使对于小型机房，你也必须考虑两点：第一，制冷量是否足够；第二，空调如果发生冷凝水泄漏，是否会给服务器带来灾难。特别是吸顶式的空调，我在2004年就遇到过空调冷凝水泄露，导致整个机房防静电地板上全是积水。最后，机柜选择。一般，我们会选择42U的标准服务器机柜，或者特定的服务器供应商机柜，如Dell就有自己的机柜，这种机柜对于安装Dell的服务器更加方便。机柜宽度一般是600mm，深度对于服务器来说，一般都大于1000mm，而高度规格有42U及以下，比如37U32U26U22U等。机柜的质量对于后期安装服务器有很大关系，所以绝对不要买杂牌的机柜，毕竟这个是承载服务器用的，如果质量不好，容易变形。2.网络及结构设计IC设计公司的网络其实和其他公司没太大差别，除了可能需要分内外网之外。这里的内外网络之分，不等于普通公司的内外网。一般IC设计公司的内网是一个更加保密的网络，除了允许的登录，禁止其他任何登录，一般只允许研发部门登录。同时，内网也禁止连接internet。而外网，一般指的是办公网络，这个网络包括了人事、财务、行政、市场、销售等部门。一般，我们通过划分vlan来实现，同时通过3层交换的ACL实现vlan之间的访问控制。当然，连接internet，我们需要防火墙。防火墙的设置和其他普通公司没什么差别，我这里将不再详细的介绍。对于做IC设计的内部网络，我们需要注意几个方面：首先，服务器之间千兆及千兆以上连接。我在多个地方发现，很多公司依然在使用百兆网络连接服务器。这样的网络会使服务器之间形成孤岛，服务器资源无法共享，每台服务器承担各自独立的任务，任何一台服务器故障都将让一部分人无法工作。如果希望使用统一的存储空间，无比采用千兆及以上网络连接。其次，存储服务器使用万兆或者多个千兆捆绑。如果系统内有专用的存储服务器，特别是在服务器互相之间IO数据很频繁的情况下，推荐使用万兆网络连接存储服务器，或者采用多个千兆捆绑来增加带宽。为什么我们对存储服务器特殊考虑？因为我们的存储需要为多台计算服务器提供存储功能，当多个计算节点同时读写的时候，存储服务器如果依然是千兆网口，显然会是一个瓶颈。如果存储服务器采用了万兆网卡，那么请将服务器互联的交换机升级为带有10G上联端口的交换机。建议对新购交换机的，都采用24个千兆+2个10G或者48千兆+4个10G这样配置的交换机，10G接口建议SFP+，因为目前看来SFP+DAC是短距离万兆的最合理方式。万兆连接可以采用DirectAttach线缆，成本低，延迟小。如果希望购买全10G端口的交换机，建议选择10GBase-T接口的交换机。最后，对需要多个vlan的内部网络进行ACL控制。基于安全考虑，服务器和Client网络之间需要控制，那么基于ACL来对vlan之间访问控制无疑是最佳的方式。下图是IC设计内部网络结构示意图：从图中，我们可以看到，即使是IC设计的内部人员，他们也只能通过登录app服务器来使用内部资源，从而避免IC设计的内部人员带走服务器上的资源。而如何只允许内部各个部门的设计人员只访问app服务器，是通过vlan和acl实现的。网络控制遵循的原则是：除了允许的，其他全部禁止。保证用户无法直接接触到所有设计数据。3.服务器的选择和配置我在多个场合推荐过Dell的服务器。这是因为，Dell服务器的硬件配置可以很方便的自我控制，同时其价格比较低廉，可以达到最好的性价比平衡，最主要的是，Dell服务器可以做到硬件有故障的情况下4小时上门服务。那么，在目前（2013年第一季度）我会推荐采取何种服务器型号和配置呢？在这里，我主要介绍一下最近配置过的服务器。DellR720：CPU我选择了2颗E-2690CPU,内存方面配置建议配置64G以上，硬盘看用途，如果同时做存储数据使用，推荐配置一张H710p的RAID卡，同时，建议配置上iDRAC7enterprise卡用于远程管理。为什么我会推荐配R720，我发现这台服务器最大可以配置到24个内存插槽，同时有8*3.5寸的硬盘位可供扩展。因为我们主要做计算使用，所以配置了高频率，8核心的E-2690CPU。我在其他公司发现，他们配置的服务器CPU只有一颗，内存只有可怜的4G，这样的配置价格是很便宜，但是性价比却非常低，特别是内存，当前的内存价格已经非常便宜了，如果在计算的时候，内存足够大，是可以提供更快的计算速度的。Dell的H710p卡是一张有1G缓存的raid卡，OEM自LSI，其具有CacheCade功能提供，可以采用SSD来实现更快的读访问能力。而其iDRAC7enterprise卡，可以提供远程的console访问功能。只要你连接到服务器最左边的idrac口，即可通过192.168.0.120来访问，其默认用户名为root，密码为calvin。我们可以远程查看服务器状态，远程开关机，远程安装OS，远程登录服务器图形界面，就和你在机房服务器旁连接一台显示器和键盘完全一样的操作。不建议采用杂牌服务器，但是对于需要更高性价比，而对稳定性没那么高要求的用户，建议的配置方法是：购买低配置的R720或R620，自己购买内存和CPU，硬盘来增强其性能。这样可以省下很多费用，但是稳定性差一些，同时出故障后，保修方面会有一些麻烦。服务器尽量采用同一个型号和品牌，以便管理和维护。这是我在Broadcom的时候，学到的非常重要的知识—标准化。4.操作系统我在2008-2009年之间写的那篇文章中，我就强调过，操作系统选择非常重要。每个EDAVendor对于其软件都会有一个操作系统的支持要求。当时，使用RHEL3和RHEL4是比较合适的选择。但是，现在我们需要使用RHEL5U9这样的OS才是比较合理的了。这里我们要注意一个原则：OS一定要选择最