《计算机组成原理》 第四版 科学出版社版 第11章 课件

第11章并行体系结构1并行体系结构第11章并行体系结构2第11章并行体系结构11.1体系结构中的并行性11.2超长指令字处理机11.3多线程与超线程处理机11.4向量处理机11.5对称多处理机11.6机群系统第11章并行体系结构311.1体系结构中的并行性11.1.1并行性的概念11.1.2提高并行性的技术途径11.1.3单处理机中并行性的发展11.1.4多处理机中并行性的发展11.1.5并行处理机的体系结构类型思考题A第11章并行体系结构411.1.1并行性的概念所谓并行性，是指计算机系统具有可以同时进行运算或操作的特性，它包括同时性与并发性两种含义。同时性--两个或两个以上的事件在同一时刻发生。并发性--两个或两个以上的事件在同一时间间隔发生。第11章并行体系结构5并行性等级--从处理数据的角度分计算机系统中的并行性有不同的等级。从处理数据的角度看，并行性等级从低到高可分为：–字串位串同时只对一个字的一位进行处理。这是最基本的串行处理方式，不存在并行性。–字串位并同时对一个字的全部位进行处理，不同字之间是串行的。这里已开始出现并行性。–字并位串同时对许多字的同一位进行处理。这种方式有较高的并行性。–全并行同时对许多字的全部位进行处理。这是最高一级的并行。第11章并行体系结构6•并行性等级--从执行程序的角度分指令内部并行：一条指令执行时各微操作之间的并行。指令级并行：并行执行两条或多条指令。任务级或过程级并行：并行执行两个以上过程或任务（程序段）.作业或程序级并行：并行执行两个以上作业或程序。第11章并行体系结构711.1.2提高并行性的技术途径时间重叠即时间并行多个处理过程在时间上相互错开，轮流重叠地使用同一套硬件设备的各个部资源重复即空间并行通过重复设置硬件资源，大幅度提高计算机系统的性能第11章并行体系结构8时间重叠+资源重复---主流技术–资源共享–用软件方法实现多个任务按一定时间顺序轮流使用同一套硬件设备第11章并行体系结构911.1.3单处理机中并行性的发展在发展高性能单处理机过程中，起着主导作用的是时间并行（流水线）技术空间并行技术的运用也已经十分普遍资源共享的概念即所谓虚拟机的概念单处理机并行性发展的代表作有:奔腾系列机安腾系列机第11章并行体系结构1011.1.4多处理机中并行性的发展多处理机系统，分为：紧耦合系统（又称直接耦合系统）•处理机之间物理连接具有相对较高的信息传输率松耦合系统（又称间接耦合系统）耦合度第11章并行体系结构11技术路线异构型多处理机系统许多主要功能交由专用处理机完成同构型多处理机系统为了使并行处理的任务能在处理机之间随机地进行调度，就必须使各处理机具有同等的功能第11章并行体系结构12发展状况•20世纪70年代以来，各类并行计算机系统问世•20世纪80年代，我国研制了向量处理机YH-1/2和757第11章并行体系结构13第11章并行体系结构1411.1.5并行处理机的体系结构类型1966年，MichaelJ.Flynn提出按照指令流和数据流以及多倍性对计算机体系结构进行分类。指令流（instructionstream）--------机器执行的指令序列。数据流（datastream）----------------由指令调用的数据序列。多倍性（multiplicity）----------------系统最受限制的部件上，同时处于同一执行阶段的指令或数据的最大可能个数。第11章并行体系结构15第11章并行体系结构16SISD：单指令流单数据流（SingleInstructinstreamSingleDatastream）CU以单一的指令流从存储器取指令。以单一的数据流从存储器取操作数和将结果写回。第11章并行体系结构17第11章并行体系结构18SIMD•单指令流多数据流（SingleInstructinstreamMultipleDatastream）•一个CU以单一的指令流从存储器取指令。但一条指令同时作用到多个处理单元。数据流是多个的。第11章并行体系结构19第11章并行体系结构20MISD多指令流单数据流（MultipleInstructinstreamSingleDatastream）这种结构从来没有实现过。第11章并行体系结构21第11章并行体系结构22MIMD多指令流多数据流（MultipleInstructinstreamMultipleDatastream）。其代表机型是多处理机和机群系统。第11章并行体系结构23第11章并行体系结构24思考题A第11章并行体系结构2511.2超长指令字处理机11.2.1VLIW处理机特点11.2.2VLIW处理机的结构模型11.2.3典型处理机结构思考题B第11章并行体系结构2611.2.1VLIW处理机特点VLIW(verylonginstructionword）超长指令字由编译程序在编译时找出指令间潜在的并行性，进行适当调度安排，把多个能并行执行的操作组合在一起，成为一条具有多个操作段的超长指令。第11章并行体系结构27第11章并行体系结构2811.2.2VLIW处理机的结构模型第11章并行体系结构29第11章并行体系结构30【例1】假设要执行以下赋值语句：C=A+BK=I+JL=M-KQ=C×K第11章并行体系结构31第11章并行体系结构32第11章并行体系结构3311.2.3典型处理机结构第11章并行体系结构34第11章并行体系结构35第11章并行体系结构36第11章并行体系结构37思考题B第11章并行体系结构3811.3多线程与超线程处理机11.3.1指令级并行与线程级并行11.3.2同时多线程结构11.3.3超线程处理机结构思考题C第11章并行体系结构3911.3.1指令级并行与线程级并行•2002年秋，英特尔公司推出一款采用超线程（HyperThreading,HT）技术的Pentium4处理机。•原有的单个物理内核经过简单扩展后被模拟成两个逻辑内核。第11章并行体系结构40第11章并行体系结构41垂直浪费如：资源冲突会导致不能继续执行新指令水平浪费。如：指令相关导致多条流水线中部分流水线被闲置。第11章并行体系结构42多线程处理机在处理机设计中引入硬件线程的概念。并行的概念就从指令级并行扩展至线程级并行多线程处理机的具体的实现方法又可分为：–细粒度多线程（交错多线程）处理机–粗粒度多线程（阻塞多线程）处理机第11章并行体系结构43第11章并行体系结构4411.3.2同时多线程结构同时多线程（SimultaneousMultithreading,SMT）结合了超标量技术和细粒度多线程技术的优点第11章并行体系结构45第11章并行体系结构4611.3.3超线程处理机结构为了支持两个硬件线程同时运行，让每级流水线中的资源通过三种方式之一复用于两个线程：复制、分区或共享。第11章并行体系结构47第11章并行体系结构48思考题C第11章并行体系结构4911.4向量处理机11.4.1向量处理的基本概念11.4.2向量处理的结构11.4.3并行向量处理机思考题D第11章并行体系结构5011.4.1向量处理的基本概念标量处理机----------一次运算处理一个操作数或者处理两个操作数。标量是指单个量。第11章并行体系结构51向量处理-----向量是指一组标量。一条向量指令，应该有3个参数，一次进行两个向量操作数的运算。设A=(a0,a1,a2,….ai…an)B=(b0,b1,b2,…bi…bn)求C=A+B=（c0,c1,c2,…ci…cn）一般的标量机器用循环程序，实现上述算法。但是，向量处理机用一条向量指令，就可以完成。C=A+B第11章并行体系结构52【例2】Y=a×X+Y其中a为标量，X和Y为向量。初始值存放在存储器中。用标量处理机来计算。第11章并行体系结构53第11章并行体系结构54【例3】用向量处理机来计算向量处理N个互相独立的数叫做向量，对这样一组数的运算叫做向量处理向量指令的处理效率要比标量指令的处理效率高得多第11章并行体系结构55第11章并行体系结构56•【例4】计算表达式如下：–ci=ai+5+bii=10,11,12,…,1000–①用高级语言写出此表达式的循环部分；–②用一条向量加法指令描述此表达式。第11章并行体系结构57•向量的运算向量的运算可以采用3种不同的处理方法：①横向处理方法；②纵向处理方法；③纵横处理方法第11章并行体系结构581.横向处理方法•横向处理方法中，向量计算是按行的方式从左至右横向进行。•横向处理方法不适合于向量流水处理。第11章并行体系结构592.纵向处理方法•在纵向处理方法中，向量计算是按列的方式自上而下纵向地进行。•可获得较高的吞吐率，适合于在向量处理机中应用。第11章并行体系结构603.纵横处理方法•又称为分组处理方法。•组内采用纵向处理，组间采用横向处理•纵横处理方法适合于寄存器-寄存器工作方式的向量处理机。第11章并行体系结构6111.4.2向量处理的结构基本思想是把两个向量的对应分量进行计算，产生一个结果向量。1.向量处理机原理框图第11章并行体系结构62第11章并行体系结构63运算的两条输入数据通路分别传送数据A和B，存储器每个时钟周期提供A和B的一个元素到相应数据通道上。运算器，每个时钟周期产生一个输出值。C[i]=A[i]+B[i]，每个运算相同，且互不相关，特别适合流水处理。第11章并行体系结构64假设取操作数、运算、谢结果回存储器在一个时钟周期完成。那么就要求存储器系统能在一个时钟周期内读出两个操作数和写回一个运算结果。2.向量计算C=A+B的时空图第11章并行体系结构65第11章并行体系结构66在时钟周期6时有6个存储模块同时工作。此时运算器和存储器的工作衔接得非常好，在整个计算进行过程中没有任何冲突发生。之所以如此，是特意将向量各元素按上述方式存放在各存储模块中。第11章并行体系结构673.寄存器-寄存器型向量处理机然而实际情况并非与图11.12所示理想化的流水运行一样。经常有读写冲突而断流。•有效方法是：由一级或多级中间存储器形成一个层次结构的存储器系统Cray-1系统CRAY-1是一台典型的寄存器-寄存器结构的向量处理机，其运算速度达亿次/称以上第11章并行体系结构68第11章并行体系结构69第11章并行体系结构704.多功能部件的并行操作在向量处理机中，为了加快向量操作，通常都采用独立的多个功能部件。上述12个功能部件都是独立的，它们可并行工作，只要满足一定的约束条件：①不存在向量寄存器使用冲突；②不存在功能部件使用冲突。第11章并行体系结构71第11章并行体系结构7211.4.3并行向量处理机为了更有效地提高向量处理性能，新型向量机采用了多处理机体系结构。用时间并行+空间并行技术实现向量处理的高速化。20世纪80年代推出的Cray-2、CrayX-MP,90年代推出的CrayY-MP、C90第11章并行体系结构73第11章并行体系结构74思考题D第11章并行体系结构7511.5对称多处理机11.5.1多处理机的分类11.5.2SMP的基本概念11.5.3SMP的结构和实例11.5.4多处理机操作系统11.5.5多处理机的CACHE的一致性思考题E第11章并行体系结构7611.5.1多处理机的分类多处理机系统由多个独立的处理机组成，每个处理机能够独立执行自己的程序。分类：并行向量处理机（PVP)对称多处理机（SMP)大规模并行处理机（MPP)分布共享存储器多处理机（DSM)第11章并行体系结构77第11章并行体系结构78第11章并行体系结构79第11章并行体系结构80第11章并行体系结构8111.5.2SMP的基本概念SMP称为共享存储器多处理器(Sharedmemorymultiprocessors)。又称为对称型多处理机（Symmetrymultiprocessors）第11章并行体系结构82SMP定义为具有如下特征的独立计算机系统：(1)有两个以上功能相似的处理机。(2)这些处理机共享同一主存和I/O设施，以总线或