프로세스 — CPU 작업을 여러 코어에 나누기

from concurrent.futures import ProcessPoolExecutor
import time

def compute_squares(n):
    return sum(i * i for i in range(n))

if __name__ == "__main__":           # 일부 플랫폼에서 multiprocessing 에 필수
    start = time.perf_counter()
    with ProcessPoolExecutor(max_workers=4) as pool:
        results = list(pool.map(compute_squares, [1_000_000] * 4))
    print(f"결과 개수: {len(results)}")
    print(f"경과: {time.perf_counter() - start:.2f}s")
# 다중 코어 머신에서 4 프로세스로 단일 프로세스나
# (GIL 때문에) ThreadPoolExecutor 의 같은 거보다 ~4x 빠름

# Windows 와 macOS-spawn 에서 multiprocessing 이 각 worker 에서
# 스크립트 import. if __name__ guard 없으면 자식 worker 가
# multiprocessing setup 재실행 + 재귀 spawn.
#
# 항상 top-level multiprocessing 코드 guard:
#
# def work(x):
#     return x * 2
#
# if __name__ == '__main__':
#     with ProcessPoolExecutor() as pool:
#         results = list(pool.map(work, range(10)))
#         print(results)

# 함수가 picklable 해야 — 모듈 top level 정의

from concurrent.futures import ProcessPoolExecutor

# 작동 — 모듈 레벨 함수, picklable 인자
def double(x):
    return x * 2

# 작동하지 않음 — lambda 가 picklable 아님
# squarer = lambda x: x * x
# pool.submit(squarer, 5)         # PicklingError

# 우회 — 모듈 레벨에 함수 정의, 또는 functools.partial 사용
# import functools
# def multiply(a, b):
#     return a * b
# squarer = functools.partial(multiply, 2)   # picklable

if __name__ == '__main__':
    with ProcessPoolExecutor() as pool:
        results = list(pool.map(double, [1, 2, 3, 4]))
        print(results)                # [2, 4, 6, 8]

# 나쁜 use case — 오버헤드 지배
#
# 1. 작은 task. pickle + IPC + 프로세스 시작 오버헤드가
#    작업 자체 훨씬 초과.
#
# 2. I/O 바운드 작업. asyncio 또는 threading 이 훨씬 적은 오버헤드로.
#
# 3. 공유 state 필요한 어디든. multiprocessing 이 그거 어렵게 함.
#    asyncio + lock, 또는 공유 state 없이 디자인.
#
# 좋은 use case:
# 1. 병렬화 가능한 숫자 작업 — ML 전처리, 이미지 처리,
#    과학 시뮬레이션
# 2. 각 >>100ms 인 독립 CPU 무거운 task
# 3. 진짜 OS 레벨 병렬성 필요 (threading 과 다름)

# 오늘의 편향 — I/O 엔 asyncio 먼저 시도. multiprocessing 은
# CPU 바운드 병렬 작업에 특정해서.