joblib多线程、多进程学习案例(二)——使用delayed简化写法
  TEZNKK3IfmPf 2023年11月14日 52 0

基本的操作请参考:joblib多线程、多进程学习案例(一)——一步步写多进程任务

可以使用delayed简化任务列表[ 函数名, [参数列表], {参数列表} ],案例如下:

首先是加法函数:

def add_func(x, y):
    print('---------=============---------')
    print("当前进程:", os.getpid(), " 父进程:", os.getppid())
    t = threading.currentThread()
    print('Thread id : %d' % t.ident)
    return x + y

然后确定参数列表:

x_list = [1, 2, 3]  # 第一个参数
y_list = [4, 5, 6]  # 第二个参数

tasks = [delayed(add_func)(x, y) for x, y in zip(x_list, y_list)]

然后使用多进程、多线程:

multi_work = Parallel(n_jobs=2, backend='threading')
res = multi_work(tasks)

全部案例

import os
import threading
from joblib import Parallel, delayed


def add_func(x, y):
    print('---------=============---------')
    print("当前进程:", os.getpid(), " 父进程:", os.getppid())
    t = threading.currentThread()
    print('Thread id : %d' % t.ident)
    return x + y


if __name__ == '__main__':
    x_list = [1, 2, 3]  # 第一个参数
    y_list = [4, 5, 6]  # 第二个参数
	
	
    # tasks = [delayed(add_func)(x, y) for x, y in zip(x_list, y_list)]
    tasks = []
    for x, y in zip(x_list, y_list):
        tasks.append(delayed(add_func)(x, y))


    # print(tasks) # [(<function add_func at 0x7f95f0710680>, (1, 4), {}) ...]
    multi_work = Parallel(n_jobs=2, backend='threading')
    res = multi_work(tasks)
    print(res)
【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月14日 0

暂无评论

推荐阅读
  TEZNKK3IfmPf   2024年04月19日   49   0   0 进程
TEZNKK3IfmPf