上海岳城科技Python 代码性能优化技巧

选择了脚本语言就要忍受其速度，这句话在某种程度上说明了python作为脚本的一个不足之处，那就是执行效率和性能不够理想，特别是在performance较差的机器上，因此有必要进行一定的代码优化来提高程序的执行效率。如何进行Python性能优化，是本文探讨的主要问题。本文会涉及常见的代码优化方法，性能优化工具的使用以及如何诊断代码的性能瓶颈等内容，希望可以给Python开发人员一定的参考。Python代码优化常见技巧代码优化能够让程序运行更快，它是在不改变程序运行结果的情况下使得程序的运行效率更高，根据80/20原则，实现程序的重构、优化、扩展以及文档相关的事情通常需要消耗80%的工作量。优化通常包含两方面的内容：减小代码的体积，提高代码的运行效率。改进算法，选择合适的数据结构一个良好的算法能够对性能起到关键作用，因此性能改进的首要点是对算法的改进。在算法的时间复杂度排序上依次是：O(1)-O(lgn)-O(nlgn)-O(n^2)-O(n^3)-O(n^k)-O(k^n)-O(n!)因此如果能够在时间复杂度上对算法进行一定的改进，对性能的提高不言而喻。但对具体算法的改进不属于本文讨论的范围，读者可以自行参考这方面资料。下面的内容将集中讨论数据结构的选择。字典(dictionary)与列表(list)Python字典中使用了hashtable，因此查找操作的复杂度为O(1)，而list实际是个数组，在list中，查找需要遍历整个list，其复杂度为O(n)，因此对成员的查找访问等操作字典要比list更快。清单1.代码dict.py12345678910111213fromtimeimporttimet=time()list=['a','b','is','python','jason','hello','hill','with','phone','test','dfdf','apple','pddf','ind','basic','none','baecr','var','bana','dd','wrd']#list=dict.fromkeys(list,True)printlistfilter=[]foriinrange(1000000):forfindin['is','hat','new','list','old','.']:iffindnotinlist:filter.append(find)printtotalruntime:printtime()-t上述代码运行大概需要16.09seconds。如果去掉行#list=dict.fromkeys(list,True)的注释，将list转换为字典之后再运行，时间大约为8.375seconds，效率大概提高了一半。因此在需要多数据成员进行频繁的查找或者访问的时候，使用dict而不是list是一个较好的选择。集合(set)与列表(list)set的union，intersection，difference操作要比list的迭代要快。因此如果涉及到求list交集，并集或者差的问题可以转换为set来操作。清单2.求list的交集：12345678910fromtimeimporttimet=time()lista=[1,2,3,4,5,6,7,8,9,13,34,53,42,44]listb=[2,4,6,9,23]intersection=[]foriinrange(1000000):forainlista:forbinlistb:ifa==b:intersection.append(a)111213printtotalruntime:printtime()-t上述程序的运行时间大概为：12totalruntime:38.4070000648清单3.使用set求交集123456789fromtimeimporttimet=time()lista=[1,2,3,4,5,6,7,8,9,13,34,53,42,44]listb=[2,4,6,9,23]intersection=[]foriinrange(1000000):list(set(lista)&set(listb))printtotalruntime:printtime()-t改为set后程序的运行时间缩减为8.75，提高了4倍多，运行时间大大缩短。读者可以自行使用表1其他的操作进行测试。表1.set常见用法语法操作说明set(list1)|set(list2)union包含list1和list2所有数据的新集合set(list1)&set(list2)intersection包含list1和list2中共同元素的新集合set(list1)–set(list2)difference在list1中出现但不在list2中出现的元素的集合对循环的优化对循环的优化所遵循的原则是尽量减少循环过程中的计算量，有多重循环的尽量将内层的计算提到上一层。下面通过实例来对比循环优化后所带来的性能的提高。程序清单4中，如果不进行循环优化，其大概的运行时间约为132.375。清单4.为进行循环优化前12345fromtimeimporttimet=time()lista=[1,2,3,4,5,6,7,8,9,10]listb=[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.01]foriinrange(1000000):678910forainrange(len(lista)):forbinrange(len(listb)):x=lista[a]+listb[b]printtotalruntime:printtime()-t现在进行如下优化，将长度计算提到循环外，range用xrange代替，同时将第三层的计算lista[a]提到循环的第二层。清单5.循环优化后12345678910111213fromtimeimporttimet=time()lista=[1,2,3,4,5,6,7,8,9,10]listb=[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.01]len1=len(lista)len2=len(listb)foriinxrange(1000000):forainxrange(len1):temp=lista[a]forbinxrange(len2):x=temp+listb[b]printtotalruntime:printtime()-t上述优化后的程序其运行时间缩短为102.171999931。在清单4中lista[a]被计算的次数为1000000*10*10，而在优化后的代码中被计算的次数为1000000*10，计算次数大幅度缩短，因此性能有所提升。充分利用Lazyif-evaluation的特性python中条件表达式是lazyevaluation的，也就是说如果存在条件表达式ifxandy，在x为false的情况下y表达式的值将不再计算。因此可以利用该特性在一定程度上提高程序效率。清单6.利用Lazyif-evaluation的特性123456789fromtimeimporttimet=time()abbreviations=['cf.','e.g.','ex.','etc.','fig.','i.e.','Mr.','vs.']foriinrange(1000000):forwin('Mr.','Hat','is','chasing','the','black','cat','.'):ifwinabbreviations:#ifw[-1]=='.'andwinabbreviations:pass10printtotalruntime:printtime()-t在未进行优化之前程序的运行时间大概为8.84，如果使用注释行代替第一个if，运行的时间大概为6.17。字符串的优化python中的字符串对象是不可改变的，因此对任何字符串的操作如拼接，修改等都将产生一个新的字符串对象，而不是基于原字符串，因此这种持续的copy会在一定程度上影响python的性能。对字符串的优化也是改善性能的一个重要的方面，特别是在处理文本较多的情况下。字符串的优化主要集中在以下几个方面：1.在字符串连接的使用尽量使用join()而不是+：在代码清单7中使用+进行字符串连接大概需要0.125s，而使用join缩短为0.016s。因此在字符的操作上join比+要快，因此要尽量使用join而不是+。清单7.使用join而不是+连接字符串12345678910fromtimeimporttimet=time()s=list=['a','b','b','d','e','f','g','h','i','j','k','l','m','n']foriinrange(10000):forsubstrinlist:s+=substrprinttotalruntime:printtime()-t同时要避免：123s=forxinlist:s+=func(x)而是要使用：12slist=[func(elt)foreltinsomelist]s=.join(slist)2.当对字符串可以使用正则表达式或者内置函数来处理的时候，选择内置函数。如str.isalpha()，str.isdigit()，str.startswith((‘x’,‘yz’))，str.endswith((‘x’,‘yz’))3.对字符进行格式化比直接串联读取要快，因此要使用1out=html%s%s%s%s/html%(head,prologue,query,tail)而避免1out=html+head+prologue+query+tail+/html使用列表解析（listcomprehension）和生成器表达式（generatorexpression）列表解析要比在循环中重新构建一个新的list更为高效，因此我们可以利用这一特性来提高运行的效率。12345678910fromtimeimporttimet=time()list=['a','b','is','python','jason','hello','hill','with','phone','test','dfdf','apple','pddf','ind','basic','none','baecr','var','bana','dd','wrd']total=[]foriinrange(1000000):forwinlist:total.append(w)printtotalruntime:printtime()-t使用列表解析：12foriinrange(1000000):a=[wforwinlist]上述代码直接运行大概需要17s，而改为使用列表解析后，运行时间缩短为9.29s。将近提高了一半。生成器表达式则是在2.4中引入的新内容，语法和列表解析类似，但是在大数据量处理时，生成器表达式的优势较为明显，它并不创建一个列表，只是返回一个生成器，因此效率较高。在上述例子上中代码a=[wforwinlist]修改为a=(wforwinlist)，运行时间进一步减少，缩短约为2.98s。其他优化技巧1、如果需要交换两个变量的值使用a,b=b,a而不是借助中间变量t=a;a=b;b=t；123456fromtimeitimportTimerTimer(t=a;a=b;b=t,a=1;b=2).timeit()0.25154118749729365Timer(a,b=b,a,a=1;b=2).timeit()0.171566777341812582、在循环的时候使用xrange而不是range；使用xrange可以节省大量的系统内存，因为xrange()在序列中每次调用只产生一个整数元素。而range()將直接返回完整的元素列表，用于循环时会有不必要的开销。在python3中xrange不再存在，里面ra