第14章---基于Q学习的无线体域网路由方法

第十四章MATLAB优化算法案例分析与应用第14章基于Q学习的无线体域网路由方法第十四章MATLAB优化算法案例分析与应用在无线体域网网络中，体域网节点在电源能量、计算能力、通信能力等方面具有局限性，节点间如何相互协作并发挥其整体综合作用，是设计无线体域网网络自组织的重点和难点。同时，针对无线体域网能量有限的特点，如何延长网络生存期也是设计无线体域网的一个重点。强化学习是一种无监督的机器学习技术，能够利用不确定的环境奖赏发现最优的行为序列，实现动态环境下的在线学习，因此强化学习被公认为是构成智能Agent的理想技术之一。本文以强化学习中普遍采用的Q学习算法为基础，研究了多Agent智能决策下的无线体域网增强算法的实现方法。学习目标：（1）学习和掌握MATLAB建立虚拟无线体域网模型；（2）学习和掌握MATLAB编程实现DSR路由下的增强学习算法；（3）学习和掌握MATLAB分析无线体域网参数影响等。第十四章MATLAB优化算法案例分析与应用图14-1无线体域网WBAN的应用工况第十四章MATLAB优化算法案例分析与应用14.2.1无线体域网系统结构第十四章MATLAB优化算法案例分析与应用•14.3无线体域网路由协议14.3.1无线路由协议要对无线体域网WBAN的路由协议进行分析，首先要对现有的无限传感器路由协议分析研究。无线体域网WBAN是一种自组织的网络，现有的无线传感器路由协议，从网络拓扑结构来看，可分为平面路由协议、层次路由协议等路由协议。14.3.2高效节能路由协议无线体域网WBAN路由性能研究早已成为广大学者研究的热点，那么其高效节能路由协议也是无线体域网WBAN设计的必要选择。传统的AdHoc网络路由协议一般以跳数、时延等参数作为衡量路径长度的指标，因此通过这些路由协议选择的路径，一般情况下能提供一定的QoS保证，但是它消耗了过多的节点能量，并且大大减少了节点和网络的运行时间，使得网络寿命大大降低。第十四章MATLAB优化算法案例分析与应用14.3.3DSR路由协议DSR（DynamicSourceRouting）路由协议是一种采用反应式路由思想的路由协议。DSR为每个节点维护一个路由缓存，存储它所知道的源路由，并在得到新路由时更新缓存路由。对于DSR路由选择时，源节点的路由表会包含从源节点到目的节点的完整路由信息。当源节点需要发送数据给目的节点时，它首先查看源路由缓存，如果源路由缓存中具有有效路由，则采用此路由发送数据，否则就发起一个路由发现过程。路由发现时，源节点广播路由请求分组（RREQ），每个收到RREQ的节点都将根据RREQ中的目的地址进行判断。第十四章MATLAB优化算法案例分析与应用•14.4.1Agent增强学习算法图14-3强化学习基本框架第十四章MATLAB优化算法案例分析与应用图14-4Agent学习模型第十四章MATLAB优化算法案例分析与应用•14.4.3Q-learning增强学习算法1argmaxkaakssssssTRVsππ11,kkaakssssasVssaTRVsπππ将TD的方法用于Q值的评估，可得：11,1,max,tttttttQsaQsarQsa第十四章MATLAB优化算法案例分析与应用图14-7DSR_WBAN处理流程图第十四章MATLAB优化算法案例分析与应用Sink1234567891011121314151617181920212223242526图14-8人体节点模型拓扑图第十四章MATLAB优化算法案例分析与应用Sink图14-9WBAN网络第十四章MATLAB优化算法案例分析与应用Sink图14-10基于prim的最小树模型ifk=n%循环大于节点n个数，跳出循环，输出连接节点%disp(T);break;elsemin=inf;fori=2:nifq(i)0&q(i)minmin=q(i);%找到与第一个节点相连的所有节点，其中距离最近的节点的距离h=i;%记录最近节点对应的节点序号endendend第十四章MATLAB优化算法案例分析与应用Sink1234567891011121314151617181920212223242526图14-11基于Dijkstra的最小能量树第十四章MATLAB优化算法案例分析与应用Sink1234567891011121314151617181920212223242526图14-12源节点与目标节点通信第十四章MATLAB优化算法案例分析与应用ifabs(diffx)=Nx/2diffx=diff(1);elseif((abs(diffx))Nx/2)&&(diffx0)diffx=Nx-abs(diff(1));elseif((abs(diffx))Nx/2)&&(diffx=0)diffx=abs(diff(1))-Nx;end%obtainthedifferentnecessaryvalues.diffy=diff(2);%起始节点和终始节点纵坐标差r1=sqrt(diffx^2+diffy^2);%起始节点和终始节点距离direction=(atan2(diffy,diffx))*180/pi;%起始节点和终始节点连线的角度Ploss1=(P0+10*n*log10(r1/d0))/4;%Pathloss的计算公式:Ploss=P0+10*n*log10(r/d0).Plosstot1=[Plosstot1Ploss1];%路由损耗distance1q=[distance1qr1];%距离sourcetot1=[sourcetot1;source];%起始节点destot1=[destot1;dest];%相对应的终始节点diffxtot1=[diffxtot1diffx];diffytot1=[diffytot1diffy];第十四章MATLAB优化算法案例分析与应用304050607080902021222324252627282930起始节点到终始节点距离路由能量损耗节点距离和路由损耗能量图=0.8=0.5=0.2图14-13Sink节点到其他节点通信路由能量耗散第十四章MATLAB优化算法案例分析与应用304050607080907071727374757677787980Sink到目标节点的距离终始节点接受能量=0.8=0.5=0.2图14-14目标节点接收信号能量值第十四章MATLAB优化算法案例分析与应用510152030405060051015202530节点数Sink路径网络生存周期图14-17节点数和路径距离下的网络生存周期