Python爬虫-第四章-1-多线程多进程并发爬取Ⅱ
  TEZNKK3IfmPf 2023年11月15日 78 0

线程池使用案例:

  • 一次性开辟一些线程,用户直接给线程池提交任务,线程任务的调度交给线程池
# Demo Describe:线程池和进程池

from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor


# start--------1,线程池----------------------
def fn(name):
    for i in range(1000):
        print(name, i)


if __name__ == '__main__':
    # 线程池里开启50个线程处理任务
    with ThreadPoolExecutor(50) as t:
        for i in range(100):
            t.submit(fn, name=f'线程{i}')
    print('处理完毕')  # 线程池任务完毕才会继续执行-线程守护

# end--------1,线程池----------------------

# start--------2,进程池----------------------
# def fn(name):
#     for i in range(1000):
#         print(name,i)
#
# if __name__ == '__main__':
#     # 线程池里开启50个线程处理任务
#     with ProcessPoolExecutor(50) as t:
#         for i in range(100):
#             t.submit(fn,name=f'线程{i}')
#     print('处理完毕')   # 线程池任务完毕才会继续执行-线程守护

# end--------2,进程池----------------------
【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月15日 0

暂无评论

推荐阅读
  TEZNKK3IfmPf   2024年05月31日   34   0   0 python开发语言
  TEZNKK3IfmPf   2024年05月31日   25   0   0 python
  TEZNKK3IfmPf   2024年05月31日   25   0   0 python
TEZNKK3IfmPf