Chapter10
-
고성능 파이썬 Chapter 10 - 클러스터와 작업 큐STUDY/고성능 파이썬 2025. 2. 2. 22:20
들어가며해당 챕터는 실습 보다는 정보 전달이 더 큰 내용인 것 같다. 현재 회사에서는 kubernetis 오케스트레이션을 이용하여 서버 자원을 관리하고 있으므로, 해당 내용은 참고만 하면 될 것 같다. 클러스터는 대표적인 Scale Out 방식이다. 예전 분산시스템 수업에서 배웠던 베오울프, 맵 리듀스 등이 나와서 친숙했다.이 장에서 배울 내용- 클러스터가 유용한 이유- 클러스터링에 등는 비용- multiprocessing 해법을 클러스터를 사용한 해법으로 바꾸는 방법- IPython 클러스터의 작동 방식- Dask와 Swifter를 사용한 팬더스 병렬화 방법- NSQ가 강건한 프로덕션 시스템 구축에 도움이 되는 이유클러스터링은 멀티 프로세싱과 유사한 동작 방식을 생각하면 된다. IPython Paral..