[Python]网络爬虫(七)：Python中的正则表达式教程

一、正则表达式基础1.1.概念介绍正则表达式是用于处理字符串的强大工具，它并不是Python的一部分。其他编程语言中也有正则表达式的概念，区别只在于不同的编程语言实现支持的语法数量不同。它拥有自己独特的语法以及一个独立的处理引擎，在提供了正则表达式的语言里，正则表达式的语法都是一样的。下图展示了使用正则表达式进行匹配的流程：正则表达式的大致匹配过程是：1.依次拿出表达式和文本中的字符比较，2.如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。3.如果表达式中有量词或边界，这个过程会稍微有一些不同。下图列出了Python支持的正则表达式元字符和语法：1.2.数量词的贪婪模式与非贪婪模式正则表达式通常用于在文本中查找匹配的字符串。贪婪模式，总是尝试匹配尽可能多的字符；非贪婪模式则相反，总是尝试匹配尽可能少的字符。Python里数量词默认是贪婪的。例如：正则表达式ab*如果用于查找abbbc，将找到abbb。而如果使用非贪婪的数量词ab*?，将找到a。1.3.反斜杠的问题与大多数编程语言相同，正则表达式里使用\作为转义字符，这就可能造成反斜杠困扰。假如你需要匹配文本中的字符\，那么使用编程语言表示的正则表达式里将需要4个反斜杠\\\\：第一个和第三个用于在编程语言里将第二个和第四个转义成反斜杠，转换成两个反斜杠\\后再在正则表达式里转义成一个反斜杠用来匹配反斜杠\。这样显然是非常麻烦的。Python里的原生字符串很好地解决了这个问题，这个例子中的正则表达式可以使用r\\表示。同样，匹配一个数字的\\d可以写成r\d。有了原生字符串，妈妈再也不用担心我的反斜杠问题~二、介绍re模块2.1.CompilePython通过re模块提供对正则表达式的支持。使用re的一般步骤是：Step1：先将正则表达式的字符串形式编译为Pattern实例。Step2：然后使用Pattern实例处理文本并获得匹配结果（一个Match实例）。Step3：最后使用Match实例获得信息，进行其他的操作。我们新建一个re01.py来试验一下re的应用：[python]viewplaincopy1.#-*-coding:utf-8-*-2.#一个简单的re实例，匹配字符串中的hello字符串3.4.#导入re模块5.importre6.7.#将正则表达式编译成Pattern对象，注意hello前面的r的意思是“原生字符串”8.pattern=re.compile(r'hello')9.10.#使用Pattern匹配文本，获得匹配结果，无法匹配时将返回None11.match1=pattern.match('helloworld!')12.match2=pattern.match('hellooworld!')13.match3=pattern.match('hellloworld!')14.15.#如果match1匹配成功16.ifmatch1:17.#使用Match获得分组信息18.printmatch1.group()19.else:20.print'match1匹配失败！'21.22.23.#如果match2匹配成功24.ifmatch2:25.#使用Match获得分组信息26.printmatch2.group()27.else:28.print'match2匹配失败！'29.30.31.#如果match3匹配成功32.ifmatch3:33.#使用Match获得分组信息34.printmatch3.group()35.else:36.print'match3匹配失败！'可以看到控制台输出了匹配的三个结果：下面来具体看看代码中的关键方法。★re.compile(strPattern[,flag]):这个方法是Pattern类的工厂方法，用于将字符串形式的正则表达式编译为Pattern对象。第二个参数flag是匹配模式，取值可以使用按位或运算符'|'表示同时生效，比如re.I|re.M。另外，你也可以在regex字符串中指定模式，比如re.compile('pattern',re.I|re.M)与re.compile('(?im)pattern')是等价的。可选值有：re.I(全拼：IGNORECASE):忽略大小写（括号内是完整写法，下同）re.M(全拼：MULTILINE):多行模式，改变'^'和'$'的行为（参见上图）re.S(全拼：DOTALL):点任意匹配模式，改变'.'的行为re.L(全拼：LOCALE):使预定字符类\w\W\b\B\s\S取决于当前区域设定re.U(全拼：UNICODE):使预定字符类\w\W\b\B\s\S\d\D取决于unicode定义的字符属性re.X(全拼：VERBOSE):详细模式。这个模式下正则表达式可以是多行，忽略空白字符，并可以加入注释。以下两个正则表达式是等价的：[python]viewplaincopy1.#-*-coding:utf-8-*-2.#两个等价的re匹配,匹配一个小数3.importre4.5.a=re.compile(r\d+#theintegralpart6.\.#thedecimalpoint7.\d*#somefractionaldigits,re.X)8.9.b=re.compile(r\d+\.\d*)10.11.match11=a.match('3.1415')12.match12=a.match('33')13.match21=b.match('3.1415')14.match22=b.match('33')15.16.ifmatch11:17.#使用Match获得分组信息18.printmatch11.group()19.else:20.printu'match11不是小数'21.22.ifmatch12:23.#使用Match获得分组信息24.printmatch12.group()25.else:26.printu'match12不是小数'27.28.ifmatch21:29.#使用Match获得分组信息30.printmatch21.group()31.else:32.printu'match21不是小数'33.34.ifmatch22:35.#使用Match获得分组信息36.printmatch22.group()37.else:38.printu'match22不是小数're提供了众多模块方法用于完成正则表达式的功能。这些方法可以使用Pattern实例的相应方法替代，唯一的好处是少写一行re.compile()代码，但同时也无法复用编译后的Pattern对象。这些方法将在Pattern类的实例方法部分一起介绍。如一开始的hello实例可以简写为：[html]viewplaincopy1.#-*-coding:utf-8-*-2.#一个简单的re实例，匹配字符串中的hello字符串3.importre4.5.m=re.match(r'hello','helloworld!')6.printm.group()re模块还提供了一个方法escape(string)，用于将string中的正则表达式元字符如*/+/?等之前加上转义符再返回2.2.MatchMatch对象是一次匹配的结果，包含了很多关于此次匹配的信息，可以使用Match提供的可读属性或方法来获取这些信息。属性：1.string:匹配时使用的文本。2.re:匹配时使用的Pattern对象。3.pos:文本中正则表达式开始搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。4.endpos:文本中正则表达式结束搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。5.lastindex:最后一个被捕获的分组在文本中的索引。如果没有被捕获的分组，将为None。6.lastgroup:最后一个被捕获的分组的别名。如果这个分组没有别名或者没有被捕获的分组，将为None。方法：1.group([group1,…])：获得一个或多个分组截获的字符串；指定多个参数时将以元组形式返回。group1可以使用编号也可以使用别名；编号0代表整个匹配的子串；不填写参数时，返回group(0)；没有截获字符串的组返回None；截获了多次的组返回最后一次截获的子串。2.groups([default])：以元组形式返回全部分组截获的字符串。相当于调用group(1,2,…last)。default表示没有截获字符串的组以这个值替代，默认为None。3.groupdict([default])：返回以有别名的组的别名为键、以该组截获的子串为值的字典，没有别名的组不包含在内。default含义同上。4.start([group])：返回指定的组截获的子串在string中的起始索引（子串第一个字符的索引）。group默认值为0。5.end([group])：返回指定的组截获的子串在string中的结束索引（子串最后一个字符的索引+1）。group默认值为0。6.span([group])：返回(start(group),end(group))。7.expand(template)：将匹配到的分组代入template中然后返回。template中可以使用\id或\gid、\gname引用分组，但不能使用编号0。\id与\gid是等价的；但\10将被认为是第10个分组，如果你想表达\1之后是字符'0'，只能使用\g10。下面来用一个py实例输出所有的内容加深理解：[python]viewplaincopy1.#-*-coding:utf-8-*-2.#一个简单的match实例3.4.importre5.#匹配如下内容：单词+空格+单词+任意字符6.m=re.match(r'(\w+)(\w+)(?Psign.*)','helloworld!')7.8.printm.string:,m.string9.printm.re:,m.re10.printm.pos:,m.pos11.printm.endpos:,m.endpos12.printm.lastindex:,m.lastindex13.printm.lastgroup:,m.lastgroup14.15.printm.group():,m.group()16.printm.group(1,2):,m.group(1,2)17.printm.groups():,m.groups()18.printm.groupdict():,m.groupdict()19.printm.start(2):,m.start(2)20.printm.end(2):,m.end(2)21.printm.span(2):,m.span(2)22.printrm.expand(r'\g2\g1\g3'):,m.expand(r'\2\1\3')23.24.###output###25.#m.string:helloworld!26.#m.re:_sre.SRE_Patternobjectat0x016E1A3827.#m.pos:028.#m.endpos:1229.#m.lastindex:330.#m.lastgroup:sign31.#m.group(1,2):('hello','world')32.#m.groups():('hello','world','!')33.#m.groupdict():{'sign':'!'}34.#m.start(2):635.#m.end(2):1136.#m.span(2):(6,11)37.#m.expand(r'\2\1\3'):worldhello!2.3.PatternPattern对象是一个编译好的正则表达式，通过Pattern提供的一系列方法可以对文本进行匹配查找。Pattern不能直接实例化，必须使