词法分析器实验报告

词法分析器实验报告词法分析器设计一、实验目的：对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程序字符串的词法分析。输出形式是源程序的单词符号二元式的代码，并保存到文件中。二、实验内容：1.设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。理论基础：有限自动机、正规文法、正规式词法分析器(LexicalAnalyzer)又称扫描器(Scanner)：执行词法分析的程序2.词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符,界符3.输出的单词符号的表示形式:单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。4.词法分析器的结构预处理子程序扫描器输入缓冲区扫描缓冲区单词符号列表输入5.状态转换图实现012*34*567*89101112：错误错误开始字符字符/数字数字数字字符/数字＝＝其他其他+-*/#＝，.;其中2，4，5，7，8，9，11是结束状态三、程序设计1．总体模块设计/*用来存储目标文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText();/*获得一个单词符号,从位置i开始查找。并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/stringGetWord(stringstr,inti,int&j);/*这个函数用来除去字符串中连续的空格和换行intDeleteNull(stringstr,inti);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/boolIsBoundary(stringstr,inti);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/boolIsOperation(stringstr,inti);/*此函数将一个pair数组输出到一个文件中*/voidOutFile(vectorpairint,stringv);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpairint,stringanalyst(vectorstringvec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/boolIsKey(stringstr);2．各模块设计（1）.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；（2）.定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：charKEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″}；用以存放单词符号二元式的数据结构可如下定义：classWord_Analyzer{public:charContent[MAXLENGTH];intval;voidprint();};（3）.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；（4）.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。四、程序代码#includeiostream#includevector#includestring#includefstreamusingnamespacestd;/*用来存储目标文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText();/*获得一个单词符号,从位置i开始查找。irst,\v[i].second\endl;coutv[i].first,\v[i].second\endl;}outfile\n\n*********************************\n;();return;}/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/boolIsKey(stringstr){stringp[7]={main,int,char,if,else,for,while};vectorstringppp(p,p+7);intu;for(u=0;u();u++)if(!(ppp[u]))returntrue;returnfalse;}/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpairint,stringanalyst(vectorstringvec){vectorpairint,stringtemp;inti;for(i=0;i();i++){if(vec[i].size()==1){if(vec[i]==&&vec[i+1]===){stringjk=vec[i];(vec[++i],0,1);pairint,stringpp(37,jk);(pp);continue;}if(vec[i]==&&vec[i+1]===){stringjk=vec[i];(vec[++i],0,1);pairint,stringpp(38,jk);(pp);continue;}if(vec[i]===&&vec[i+1]===){stringjk=vec[i];(vec[++i],0,1);pairint,stringpp(39,jk);(pp);continue;}if(vec[i]==!&&vec[i+1]===){stringjk=vec[i];(vec[++i],0,1);pairint,stringpp(40,jk);(pp);continue;}if(vec[i]==&&&vec[i+1]==&){stringjk=vec[i];(vec[++i],0,1);pairint,stringpp(42,jk);(pp);continue;}if(vec[i]==|&&vec[i+1]==|){stringjk=vec[i];(vec[++i],0,1);pairint,stringpp(43,jk);(pp);continue;}if(IsBoundary(vec[i],0)){if(vec[i]==,){pairint,stringpp1(32,vec[i]);(pp1);}if(vec[i]==;){pairint,stringpp2(34,vec[i]);(pp2);}if(vec[i]=={){pairint,stringpp3(30,vec[i]);(pp3);}if(vec[i]==}){pairint,stringpp4(31,vec[i]);(pp4);}if(vec[i]==(){pairint,stringpp5(26,vec[i]);(pp5);}if(vec[i]==)){pairint,stringpp6(27,vec[i]);(pp6);}if(vec[i]==:){pairint,stringpp7(33,vec[i]);(pp7);}}elseif(IsOperation(vec[i],0)){if(vec[i]==+){pairint,stringpp8(22,vec[i]);(pp8);}if(vec[i]==-){pairint,stringpp9(23,vec[i]);(pp9);}if(vec[i]==*){pairint,stringpp10(24,vec[i]);(pp10);}if(vec[i]==/){pairint,stringpp11(25,vec[i]);(pp11);}if(vec[i]===){pairint,stringpp12(21,vec[i]);(pp12);}if(vec[i]==){pairint,stringpp13(35,vec[i]);(pp13);}if(vec[i]==){pairint,stringpp14(36,vec[i]);(pp14);}if(vec[i]==&){pairint,stringpp26(41,vec[i]);(pp26);}}elseif(vec[i][0]='9'&&vec[i][0]='0'){pairint,stringpp24(10,vec[i]);(pp24);}else{pairint,stringpp25(10,vec[i]);(pp25);}}elseif(vec[i][0]='9'&&vec[i][0]='0'){pairint,stringpp23(3,vec[i]);(pp23);}elseif(IsKey(vec[i])){if(vec[i]==main){pairint,stringpp15(1,vec[i]);(pp15);}if(vec[i]==int){pairint,stringpp16(2,vec[i]);(pp16);}if(vec[i]==char){pairint,stringpp17(3,vec[i]);(pp17);}if(vec[i]==else){pairint,stringpp18(4,vec[i]);(pp18);}if(vec[i]==if){pairint,stringpp19(5,vec[i]);(pp19);}if(vec[i]==for){pairint,stringpp20(6,vec[i]);(pp20);}if(vec[i]==while){pairint,stringpp21(7,vec[i]);(pp21);}}else{pairint,stringpp22(10,vec[i]);(pp22);}}returntemp;}/*finished*/五、运行调试六、实验心得该词法分析器功能良好，可以完成预定的要求。此次实验让我了解了如何设计、编制并调试词法分析程序，并加深了我对词法分析器原理的理解；熟悉了直接构造词法分析器的方法和相关原理，并学会使用c语言直接编写词法分析器；同时更熟练的掌握用c语言编写程序，实现一定的实际功能。通过这次实验，我对词法分析器有了进一步的了解，把理论知识应用于实验中。也让我重新熟悉了C语言的相关内容，加深了对C语言知识的深化和用途的理解。通过这次语义分析的实验,我对高级语言的学习有了更深的认识，了解得更透彻。同时我了解了高级语言转化为目标代码或汇编指令的过程,。对今后的学习将起很大的作用,对以后的编程有很大的帮助.本次实验虽然只是完成了一个简单的程序，并且程序的主要框架课本上有给出，但在组织程序结构和深入了解上学到了很多，加深了对编译原理的理解,掌握乐编译程序的实现方法和技术。巩固了前面所学的知识。