How do I parallelize a simple Python loop?
Как мне распараллелить простой цикл Python?
Переведено автоматически
Ответ 1
Ответ 2
Ответ 3
Это самый простой способ сделать это!
Вы можете использовать asyncio. (Документацию можно найти здесь). Он используется в качестве основы для множества асинхронных фреймворков Python, которые предоставляют высокопроизводительные сетевые и веб-серверы, библиотеки подключений к базе данных, распределенные очереди задач и т.д. Кроме того, у него есть как высокоуровневые, так и низкоуровневые API для решения любых задач.
import asyncio
def background(f):
def wrapped(*args, **kwargs):
return asyncio.get_event_loop().run_in_executor(None, f, *args, **kwargs)
return wrapped
@background
def your_function(argument):
#code
Теперь эта функция будет выполняться параллельно при каждом вызове, не переводя основную программу в состояние ожидания. Вы также можете использовать ее для распараллеливания цикла for. При вызове цикла for цикл, хотя и является последовательным, но каждая итерация выполняется параллельно основной программе, как только интерпретатор попадает туда.
1. Запуск цикла параллельно основному потоку без какого-либо ожидания
@background
def your_function(argument):
time.sleep(5)
print('function finished for '+str(argument))
for i in range(10):
your_function(i)
print('loop finished')
Это приводит к следующему результату:
loop finished
function finished for 4
function finished for 8
function finished for 0
function finished for 3
function finished for 6
function finished for 2
function finished for 5
function finished for 7
function finished for 9
function finished for 1
Обновление: май 2022
Хотя это отвечает на первоначальный вопрос, есть способы, с помощью которых мы можем дождаться завершения циклов, как того требуют комментарии, за которые проголосовали. Поэтому добавим их и сюда. Ключами к реализациям являются: asyncio.gather() & run_until_complete(). Рассмотрим следующие функции:
import asyncio
import time
def background(f):
def wrapped(*args, **kwargs):
return asyncio.get_event_loop().run_in_executor(None, f, *args, **kwargs)
return wrapped
@background
def your_function(argument, other_argument): # Added another argument
time.sleep(5)
print(f"function finished for {argument=} and {other_argument=}")
def code_to_run_before():
print('This runs Before Loop!')
def code_to_run_after():
print('This runs After Loop!')
2. Запускайте параллельно, но дождитесь завершения
code_to_run_before() # Anything you want to run before, run here!
loop = asyncio.get_event_loop() # Have a new event loop
looper = asyncio.gather(*[your_function(i, 1) for i in range(1, 5)]) # Run the loop
results = loop.run_until_complete(looper) # Wait until finish
code_to_run_after() # Anything you want to run after, run here!
Это приводит к следующему результату:
This runs Before Loop!
function finished for argument=2 and other_argument=1
function finished for argument=3 and other_argument=1
function finished for argument=1 and other_argument=1
function finished for argument=4 and other_argument=1
This runs After Loop!
3. Запустите несколько циклов параллельно и дождитесь завершения
code_to_run_before() # Anything you want to run before, run here!
loop = asyncio.get_event_loop() # Have a new event loop
group1 = asyncio.gather(*[your_function(i, 1) for i in range(1, 2)]) # Run all the loops you want
group2 = asyncio.gather(*[your_function(i, 2) for i in range(3, 5)]) # Run all the loops you want
group3 = asyncio.gather(*[your_function(i, 3) for i in range(6, 9)]) # Run all the loops you want
all_groups = asyncio.gather(group1, group2, group3) # Gather them all
results = loop.run_until_complete(all_groups) # Wait until finish
code_to_run_after() # Anything you want to run after, run here!
Это приводит к следующему результату:
This runs Before Loop!
function finished for argument=3 and other_argument=2
function finished for argument=1 and other_argument=1
function finished for argument=6 and other_argument=3
function finished for argument=4 and other_argument=2
function finished for argument=7 and other_argument=3
function finished for argument=8 and other_argument=3
This runs After Loop!
4. Циклы выполняются последовательно, но итерации каждого цикла выполняются параллельно друг другу
code_to_run_before() # Anything you want to run before, run here!
for loop_number in range(3):
loop = asyncio.get_event_loop() # Have a new event loop
looper = asyncio.gather(*[your_function(i, loop_number) for i in range(1, 5)]) # Run the loop
results = loop.run_until_complete(looper) # Wait until finish
print(f"finished for {loop_number=}")
code_to_run_after() # Anything you want to run after, run here!
Это приводит к следующему результату:
This runs Before Loop!
function finished for argument=3 and other_argument=0
function finished for argument=4 and other_argument=0
function finished for argument=1 and other_argument=0
function finished for argument=2 and other_argument=0
finished for loop_number=0
function finished for argument=4 and other_argument=1
function finished for argument=3 and other_argument=1
function finished for argument=2 and other_argument=1
function finished for argument=1 and other_argument=1
finished for loop_number=1
function finished for argument=1 and other_argument=2
function finished for argument=4 and other_argument=2
function finished for argument=3 and other_argument=2
function finished for argument=2 and other_argument=2
finished for loop_number=2
This runs After Loop!
Обновление: июнь 2022
Это в его текущем виде может не выполняться в некоторых версиях jupyter notebook. Причина в том, что jupyter notebook использует цикл событий. Чтобы заставить его работать с такими версиями jupyter, nest_asyncio (который будет включать цикл событий, как видно из названия) - это правильный путь. Просто импортируйте и примените его в верхней части ячейки как:
import nest_asyncio
nest_asyncio.apply()
И вся функциональность, описанная выше, также должна быть доступна в среде notebook.
Ответ 4