[Python] Pandas df.iterrow 平行处理

#import pakageimport pandas as pdimport multiprocessing#指定主机有多少CPU,并把df 平均分配sizenum_processes = multiprocessing.cpu_count()chunk_size = int(df.shape[0]/num_processes)#将df 拆解成 num_processes 个 chunk 的df listchunks = [df.ix[df.index[i:i + chunk_size]] for i in range(0, df.shape[0], chunk_size)]
#定义 functiondef myfunc(d):   return d * dpool = multiprocessing.Pool(processes=num_processes)result = pool.map(myfunc, chunks)

关于作者: 网站小编

码农网专注IT技术教程资源分享平台,学习资源下载网站,58码农网包含计算机技术、网站程序源码下载、编程技术论坛、互联网资源下载等产品服务,提供原创、优质、完整内容的专业码农交流分享平台。

热门文章