天津大学编译原理讲义-Part3词法分析3

Part3词法分析授课：胡静内容提要词法分析器的作用词法分析程序的设计与实现——状态图词法分析程序的自动生成——有穷自动机词法分析器的自动产生LEX工作过程首先，使用LEX语言写一个定义词法分析器的源程序lex.l。然后利用LEX编译器将lex.l转换成C语言程序lex.yy.c。它包括从lex.l的正规表达式构造的状态转换图的表格形式以及使用该表格识别词素的标准子程序。与lex.l中正规表达式相关联的动作是C代码段，这些动作可以直接加入到lex.yy.c中。最后，lex.yy.c通过C编译器生成目标程序，这个目标程序就是把输入流转换成记号序列的词法分析器。LEX工作过程Lex编译程序Lex源程序词法分析器L词素FA模拟器转换表词法分析器输入缓冲区LEX的实现单个正则表达式词法分析器处理多样的REs将所有的正则表达式的NFA联合在一起，变成一个单一的有限自动机LEX二义性的处理方法RE’s+优先匹配原则+最长匹配规则=词法分析器的定义词法分析器输出端是Token流将tokens和终态联系在一起。当到达一个终态时，就将相应的token输出。最长匹配当到达一个终态时，要查看是否存在更进一步的转换。如果不存在，则返回当前终态对应的token优先级规则当终态对应多个token的时候，有可能会有相同的最长匹配的token将这个终结状态和最高优先级的token联系起来。LEX举例LEX举例NFA确定化给出状态转换表LEX程序举例词法分析总结DFA最小化Thanksforyourtime!Questions&Answers