加快Python算法的四个方法(二)Numba

CDA数据分析师(CDA.cn)——真本事，心舒适加快Python算法的四个方法（二）Numba相信大家在做一些算法经常会被庞大的数据量所造成的超多计算量需要的时间而折磨的痛苦不已，接下来我们围绕四个方法来帮助大家加快一下Python的计算时间，减少大家在算法上的等待时间。今天给大家介绍Numba这一块的内容。1.简介所以什么是Numba呢？Numba是Python的即时编译器，也就是说当你调用Python函数时，你的全部或部分代码都会被计时转换成为机器码进行执行，然后它就会以你的本机机器码速度运行，Numba由Anaconda公司赞助，并得到了许多组织的支持。使用Numba，你可以加速所有以集中计算的、计算量大的python函数（例如循环）的速度。它还支持numpy库！因此，你也可以在计算中使用numpy，并加快整体计算的速度，因为python中的循环非常慢。你还可以使用python标准库中的数学库的许多功能，例如sqrt等。CDA数据分析师(CDA.cn)——真本事，心舒适2.为什么选择Numba？所以，为什么要选择Numba？特别是当存在有许多其他编译器，例如cython或任何其他类似的编译器，或类似pypy的东西时。选择Numba的理由很简单，那就是因为你不需要离开使用Python编写代码的舒适区。是的，你没看错，你不需要为了加速数据的运行速度而改变你的代码，这与从具有类型定义的相似cython代码获得的加速相当。那不是更好么？你只需要在函数周围添加一个熟悉的Python功能，也就是装饰器（包装器）。目前类的装饰器也在开发之中。所以，你只需要添加一个装饰器就可以了。例如：fromnumbaimportjit@jitdeffunction(x):#循环或数值密集型的计算returnx它看起来仍然像是纯python代码，不是吗？3.Numba如何工作？Numb使用LLVM编译器基础结构，从纯Python代码生成优化的机器码。使用Numba的代码运行速度与C，C++或Fortran中的类似代码相媲美。这是代码的编译方式：CDA数据分析师(CDA.cn)——真本事，心舒适首先，获取，优化Python函数并将其转换为Numba的中间表示形式，然后类似于Numpy的类型推断一样进行类型判断（因此pythonfloat为float64），然后将其转换为LLVM可解释的代码。然后，该代码被馈送到LLVM的即时编译器以发出机器代码。你可以根据需要在运行时生成代码或在CPU（默认）或GPU上导入代码。4.使用基本的Numba功能（只需要@jit！）小菜一碟！为了获得最佳的性能，numba建议在你的jit包装器中使用参数nopython=True，但它根本不会使用Python解释器。或者你也可以使用@njit。如果你使用nopython=True的包装器失败并出现错误，则可以使用简单的@jit包装器，该包装器将编译部分代码，对其进行循环，然后将其转换为函数，再编译为机器码，然后将其余部分交给python解释器。因此，你只需要执行以下操作：fromnumbaimportnjit,jit@njit#或者@jit(nopython=True)deffunction(a,b):#循环或数值密集型计算returnresultCDA数据分析师(CDA.cn)——真本事，心舒适使用@jit时，请确保你的代码具有Numba可以编译的内容，例如计算密集型循环，使用它支持的库（Numpy）及其支持的函数。否则，它将无法编译任何内容。首先，numba在首次用作机器代码后还会缓存这些函数。因此，在第一次使用之后，它会变得更快，因为你无需再次编译该代码，因为你使用的参数类型和你之前使用的相同。而且，如果你的代码是可以并行化运行的，那么也可以将parallel=True作为参数传递，但是必须跟参数nopython=True结合使用。目前，它仅可以在CPU上工作。你也可以指定你想要的函数签名，但是它不会编译你给他的任何其他类型的参数，比如：你还可以指定你希望函数具有的函数签名，但是对于提供给它的任何其他类型的参数，它将不会编译。例如：fromnumbaimportjit,int32@jit(int32(int32,int32))deffunction(a,b):#循环或数值型密集型计算returnresult#或者你还没有导入类型的名称#你可以将他们作为字符串传递@jit('int32(int32,int32)')deffunction(a,b):#循环或数值型密集型计算returnresult现在，你的函数将只接受两个int32并返回一个int32。这样，你可以更好地控制自己的函数。你甚至可以根据需要传递多个)函数签名。CDA数据分析师(CDA.cn)——真本事，心舒适你还可以使用numba提供的其他装饰器：1.@vectorize：允许将标量参数用作numpyufunc，2.@guvectorize：产生NumPy广义ufuncs3.@stencil：将函数声明为类似模板操作的内核，4.@jitclass：对于支持jit的类，5.@cfunc：声明一个用作本机回调的函数（从C/C++等调用），6.@overload：注册自己的函数实现以在nopython模式下使用，例如@overload(scipy.special.j0)。Numba还具有预先（AOT）编译功能，它生成一个编译后的扩展模块，该模块不依赖于Numba。但：1.它只允许使用常规函数（不能使用ufuncs），CDA数据分析师(CDA.cn)——真本事，心舒适2.你必须指定一个函数签名。你只能指定一个，因为许多指定使用不同的名称。它还会为你的CPU架构系列生成通用代码。5.@vectorize包装器通过使用@vectorize包装器，你可以将对标量进行操作的函数转换为数组，例如，如果你正在使用math仅在标量上运行的python库，则可以对数组使用。这提供了类似于numpy数组操作（ufuncs）的速度。例如：@vectorizedeffunc(a,b):#对标量进行运算returnresult你还可以将target参数传递给此包装器，该包装器的值可以等于parallel用于并行化代码，cuda用于在cuda/GPU上运行代码的值。@vectorize(target=parallel)deffunc(a,b):#对标量进行运算returnresult假设你的代码具有足够的计算密集性或数组足够大，则使用numpy进行矢量化target=“parallel”或“cuda”通常比numpy实现运行得更快。如果不是这样的话，这将花费大量时间来制作线程和为不同的线程拆分元素，这可能会超过整个过程的实际计算时间。因此，工作应该足够繁重才能加快速度。CDA数据分析师(CDA.cn)——真本事，心舒适6.在GPU上运行函数你也可以像包装器一样传递@jit来在cuda/GPU上运行函数。为此，你将必须numba库中导入cuda。但是在GPU上运行代码不会像以前那样容易。为了在GPU上的数百个甚至数千个线程上运行函数，它需要完成一些初始计算。你必须声明和管理网格，块和线程的层次结构。但是这并不难。要在GPU上执行一个函数，你必须定义一个kernelfunction（内核函数）或一个devicefunction(设备函数)。首先，让我们看一下kernelfunction（核函数)。关于内核函数需要记住的几点：a）内核在被调用时显式声明其线程层次结构，即块数和每个块的线程数。你可以编译一次内核，然后使用不同的块和网格大小多次调用它。b）内核无法返回值。因此，你将不得不在原始数组上进行更改，或者传递另一个数组来存储结果。对于计算标量，你将必须传递一个一元数组。CDA数据分析师(CDA.cn)——真本事，心舒适#定义一个内核函数[e-mail](a,result):#然后是一些CUDA相关的计算#你的计算密集的代码#你的答案储存在'result'中因此，要启动内核，你将必须传递两个东西：1.每个块的线程数，2.块的数量。例如：threadsperblock=32blockspergrid=(array.size+(threadsperblock-1))//threadsperblockfunc[blockspergrid,threadsperblock](array)每个线程中的内核函数必须知道它在哪个线程中，知道它负责数组的哪个元素。通过Numba，只需一次调用即可轻松获得元素的这些位置。@cuda.jitdeffunc(a,result):pos=cuda.grid(1)#对一维数组#x,y=cuda.grid(2)#对二维数组ifposa.shape[0]:result[pos]=a[pos]*(somecomputation)为了节省将numpy数组复制到特定设备并再次将结果存储在numpy数组中的时间，Numba提供了一些函数来声明和发送数组到特定的设备，如：numba.cuda.device_array，numba.cuda.device_array_like，numba.cuda.to_device，等等，以节省不必要的时间复制到cpu（除非必要）。另一方面，devicefunction只能从设备内部（通过内核或其他设备函数）好处是，你可以从devicefunction返回一个值。因此，你可以使用此函数的返回值来计算kernelfunction或devicefunction的一些内容。CDA数据分析师(CDA.cn)——真本事，心舒适[e-mail](device=True)defdevice_function(a,b):returna+bNumba在其cuda库中还具有原子操作，随机数生成器，共享内存实现（以加快数据访问速度）等。ctypes/cffi/cython互操作性：•cffi-在nopython模式下支持CFFI函数的调用。•ctypes—在nopython模式下支持ctypes包装器函数的调用…•Cython导出的函数是可调用的。下一期继续看加快Python算法的方法——数据并行化！