Python通过future处理并发(2)

def download_many(cc_list):
    cc_list = cc_list[:5]
    with futures.ThreadPoolExecutor(max_workers=3) as executor:
        to_do = []
        for cc in sorted(cc_list):
            future = executor.submit(download_one,cc)
            to_do.append(future)
            msg = "Secheduled for {}:{}"
            print(msg.format(cc,future))

results = []
        for future in futures.as_completed(to_do):
            res = future.result()
            msg = "{}result:{!r}"
            print(msg.format(future,res))
            results.append(res)

return len(results)

if __name__ == '__main__':
    main(download_many)

结果如下：

注意：Python代码是无法控制GIL，标准库中所有执行阻塞型IO操作的函数，在等待操作系统返回结果时都会释放GIL.运行其他线程执行，也正是因为这样，Python线程可以在IO密集型应用中发挥作用

以上都是concurrent.futures启动线程，下面通过它启动进程

concurrent.futures启动进程

concurrent.futures中的ProcessPoolExecutor类把工作分配给多个Python进程处理，因此，如果需要做CPU密集型处理，使用这个模块能绕开GIL，利用所有的CPU核心。
其原理是一个ProcessPoolExecutor创建了N个独立的Python解释器，N是系统上面可用的CPU核数。
使用方法和ThreadPoolExecutor方法一样