当前位置:首页 > 经验 >

python算法的四个步骤(python入门学习算法)

来源:原点资讯(www.yd166.com)时间:2022-11-03 06:31:09作者:YD166手机阅读>>

python算法的四个步骤,python入门学习算法(1)

CDA数据分析师 出品

相信大家在做一些算法经常会被庞大的数据量所造成的超多计算量需要的时间而折磨的痛苦不已,接下来我们围绕四个方法来帮助大家加快一下python的计算时间,减少大家在算法上的等待时间。今天给大家介绍Numba这一块的内容。

1.简介

所以什么是Numba呢?Numba是Python的即时编译器,也就是说当你调用Python

函数时,你的全部或部分代码都会被计时转换成为机器码进行执行,然后它就会以你的本机机器码速度运行,Numba由Anaconda公司赞助,并得到了许多组织的支持。

使用Numba,你可以加速所有以集中计算的、计算量大的python函数(例如循环)的速度。它还支持Numpy库!因此,你也可以在计算中使用numpy,并加快整体计算的速度,因为python中的循环非常慢。你还可以使用python标准库中的数学库的许多功能,例如sqrt等。

2.为什么选择Numba?

所以,为什么要选择Numba?特别是当存在有许多其他编译器,例如cython或任何其他类似的编译器,或类似pypy的东西时。

选择Numba的理由很简单,那就是因为你不需要离开使用Python编写代码的舒适区。是的,你没看错,你不需要为了加速数据的运行速度而改变你的代码,这与从具有类型定义的相似cython代码获得的加速相当。那不是更好么?

你只需要在函数周围添加一个熟悉的Python功能,也就是装饰器(包装器)。目前类的装饰器也在开发之中。

所以,你只需要添加一个装饰器就可以了。例如:

from numba import jit@jitdef function(x): # 循环或数值密集型的计算 return x

它看起来仍然像是纯python代码,不是吗?

3. Numba如何工作?

Numb使用LLVM编译器基础结构,从纯Python代码生成优化的机器码。使用Numba的代码运行速度与C,C 或Fortran中的类似代码相媲美。

这是代码的编译方式:

python算法的四个步骤,python入门学习算法(2)

首先,获取,优化Python函数并将其转换为Numba的中间表示形式,然后类似于Numpy的类型推断一样进行类型判断(因此python float为float64),然后将其转换为LLVM可解释的代码。然后,该代码被馈送到LLVM的即时编译器以发出机器代码。

你可以根据需要在运行时生成代码或在CPU(默认)或GPU上导入代码。

4.使用基本的Numba功能(只需要@jit!)

小菜一碟!

为了获得最佳的性能,numba建议在你的jit包装器中使用参数nopython = True,但它根本不会使用Python解释器。或者你也可以使用@njit。如果你使用nopython = True的包装器失败并出现错误,则可以使用简单的@jit包装器,该包装器将编译部分代码,对其进行循环,然后将其转换为函数,再编译为机器码,然后将其余部分交给python解释器。

因此,你只需要执行以下操作:

from numba import njit, jit@njit # 或者@jit(nopython=True)def function(a, b): # 循环或数值密集型计算 return result

使用@jit时,请确保你的代码具有Numba可以编译的内容,例如计算密集型循环,使用它支持的库(Numpy)及其支持的函数。否则,它将无法编译任何内容。

首先,numba在首次用作机器代码后还会缓存这些函数。因此,在第一次使用之后,它会变得更快,因为你无需再次编译该代码,因为你使用的参数类型和你之前使用的相同。

而且,如果你的代码是可以并行化运行的,那么也可以将parallel = True作为参数传递,但是必须跟参数nopython = True结合使用。目前,它仅可以在CPU上工作。

你也可以指定你想要的函数签名,但是它不会编译你给他的任何其他类型的参数,比如:

你还可以指定你希望函数具有的函数签名,但是对于提供给它的任何其他类型的参数,它将不会编译。例如:

from numba import jit, int32@jit(int32(int32, int32))def function(a, b): #循环或数值型密集型计算 return result#或者你还没有导入类型的名称#你可以将他们作为字符串传递@jit('int32(int32, int32)')def function(a, b): #循环或数值型密集型计算 return result

现在,你的函数将只接受两个int32并返回一个int32。这样,你可以更好地控制自己的函数。你甚至可以根据需要传递多个)函数签名。

python算法的四个步骤,python入门学习算法(3)

你还可以使用numba提供的其他装饰器:

1. @vectorize:允许将标量参数用作numpy ufunc,

1. @guvectorize:产生NumPy广义ufuncs

1. @stencil:将函数声明为类似模板操作的内核,

1. @jitclass:对于支持jit的类,

1. @cfunc:声明一个用作本机回调的函数(从C / C 等调用),

1. @overload:注册自己的函数实现以在nopython模式下使用,例如@overload(scipy.special.j0)。

Numba还具有预先(AOT)编译功能,它生成一个编译后的扩展模块,该模块不依赖于Numba。但:

1. 它只允许使用常规函数(不能使用ufuncs),

1. 你必须指定一个函数签名。你只能指定一个,因为许多指定使用不同的名称。

它还会为你的CPU架构系列生成通用代码。

5. @vectorize包装器

通过使用@vectorize包装器,你可以将对标量进行操作的函数转换为数组,例如,如果你正在使用math仅在标量上运行的python 库,则可以对数组使用。这提供了类似于numpy数组操作(ufuncs)的速度。例如:

@vectorizedef func(a, b): # 对标量进行运算 return result

你还可以将target参数传递给此包装器,该包装器的值可以等于parallel用于并行化代码,cuda用于在cuda / GPU上运行代码的值。

@vectorize(target="parallel")def func(a, b): # 对标量进行运算 return result

假设你的代码具有足够的计算密集性或数组足够大,则使用numpy进行矢量化target = "parallel"或"cuda"通常比numpy实现运行得更快。如果不是这样的话,这将花费大量时间来制作线程和为不同的线程拆分元素,这可能会超过整个过程的实际计算时间。因此,工作应该足够繁重才能加快速度。

python算法的四个步骤,python入门学习算法(4)

6.在GPU上运行函数

你也可以像包装器一样传递@jit来在cuda / GPU上运行函数。为此,你将必须numba库中导入cuda。但是在GPU上运行代码不会像以前那样容易。为了在GPU上的数百个甚至数千个线程上运行函数,它需要完成一些初始计算。你必须声明和管理网格,块和线程的层次结构。但是这并不难。

要在GPU上执行一个函数,你必须定义一个 kernel function(内核函数)或一个device function(设备函数)。首先,让我们看一下kernel function(核函数)。

关于内核函数需要记住的几点:

a)内核在被调用时显式声明其线程层次结构,即块数和每个块的线程数。你可以编译一次内核,然后使用不同的块和网格大小多次调用它。

b)内核无法返回值。因此,你将不得不在原始数组上进行更改,或者传递另一个数组来存储结果。对于计算标量,你将必须传递一个一元数组。

# 定义一个内核函数from numba import cuda@cuda.jitdef func(a, result): # 然后是一些CUDA相关的计算 # 你的计算密集的代码 # 你的答案储存在'result'中

因此,要启动内核,你将必须传递两个东西:

1. 每个块的线程数,

1. 块的数量。

例如:

threadsperblock = 32blockspergrid = (array.size (threadsperblock - 1)) // threadsperblockfunc[blockspergrid, threadsperblock](array)

每个线程中的内核函数必须知道它在哪个线程中,知道它负责数组的哪个元素。通过Numba,只需一次调用即可轻松获得元素的这些位置。

@cuda.jitdef func(a, result): pos = cuda.grid(1) # 对一维数组 # x, y = cuda.grid(2) # 对二维数组 if pos < a.shape[0]: result[pos] = a[pos] * (some computation)

为了节省将numpy数组复制到特定设备并再次将结果存储在numpy数组中的时间,Numba提供了一些函数来声明和发送数组到特定的设备,如:numba.cuda.device_array,numba.cuda.device_array_like,numba.cuda.to_device,等等,以节省不必要的时间复制到cpu(除非必要)。

另一方面,device function只能从设备内部(通过内核或其他设备函数)好处是,你可以从device function返回一个值。因此,你可以使用此函数的返回值来计算kernel function或device function的一些内容。

from numba import cuda@cuda.jit(device=True)def device_function(a, b): return a b

Numba 在其cuda库中还具有原子操作,随机数生成器,共享内存实现(以加快数据访问速度)等。

ctypes / cffi / cython互操作性:

· cffi- 在nopython模式下支持CFFI函数的调用。

· ctypes — 在nopython模式下支持ctypes包装器函数的调用…

· Cython导出的函数是可调用的。

下一期我们来看加快Python算法的另一种方法——数据并行化!

(1)获取更多优质内容及精彩资讯,可前往:https://www.cda.cn/?seo

python算法的四个步骤,python入门学习算法(5)

(2)了解更多数据分析师领域的优质课程:

python算法的四个步骤,python入门学习算法(6)

栏目热文

taf集中采购了吗(进口taf进国家集采吗)

taf集中采购了吗(进口taf进国家集采吗)

继恩替卡韦、替诺福韦进入国家集采后,丙酚替诺福韦(TAF)也踏入了这个行列。“TAF最低9.6元”的新闻让众多肝友为之兴...

2022-11-03 06:32:04查看全文 >>

taf为什么要随餐服用(吃了taf几天就后悔了)

taf为什么要随餐服用(吃了taf几天就后悔了)

如果乙肝患者使用TDF抗病毒效果好,没有检测到DNA信号,但是后面随访提示出现了肝病进展,这个时候如果要换药,需要注意哪...

2022-11-03 06:39:38查看全文 >>

吃了taf几天就后悔了(服taf一个月停药的后果)

吃了taf几天就后悔了(服taf一个月停药的后果)

在长期诊治慢性乙肝的过程中,经常有患者问到这个问题:“服用恩替卡韦多年,想换TAF(丙酚替诺福韦),正犹豫呢,王大夫,您...

2022-11-03 06:35:03查看全文 >>

taf吃了一年后的效果(taf一定要终身服用吗)

taf吃了一年后的效果(taf一定要终身服用吗)

随着替诺福韦酯二代药物TAF在我国上市,相信乙肝患友对这治疗乙肝的“神药”充满了期待,今天我就给大家来介绍一下这款药。介...

2022-11-03 06:13:16查看全文 >>

taf最佳服用时间(taf早上还是晚上服用好)

taf最佳服用时间(taf早上还是晚上服用好)

​一、药物命名规则:药物的命名分为通用名,例如,恩替卡韦,不管是润众、还是瑞夫恩,其化学成分都叫恩替卡韦。而润众、瑞夫恩...

2022-11-03 06:15:14查看全文 >>

python编写计算公式(python编辑计算公式)

python编写计算公式(python编辑计算公式)

《GitHub精选》是我们分享GitHub中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的是一个可以生...

2022-11-03 06:11:05查看全文 >>

python必背100源代码(编程必背50个代码)

python必背100源代码(编程必背50个代码)

对于大部分Python学习者来说,核心知识基本已经掌握了,但"纸上得来终觉浅,绝知此事要躬行",要想完全...

2022-11-03 06:06:55查看全文 >>

python三种算法(python算法基本步骤)

python三种算法(python算法基本步骤)

1.KNN 分类算法由于knn算法涉及到距离的概念,KNN 算法需要先进行归一化处理1.1 归一化处理 scalerfr...

2022-11-03 06:34:30查看全文 >>

python算法实例精讲(python编程100个经典算法)

python算法实例精讲(python编程100个经典算法)

前言:这篇文章主要介绍了Python集合常见运算,结合具体实例形式分析了Python使用集合生成随机数的几种常用算法的效...

2022-11-03 06:16:49查看全文 >>

python寻找波峰波谷算法(python 自动找曲线规律)

python寻找波峰波谷算法(python 自动找曲线规律)

01 引言作为金融时间序列的专题推文,【手把手教你】时间序列之日期处理主要介绍了使用Python处理时间序列的日期和统计...

2022-11-03 06:27:27查看全文 >>

文档排行