Spark 메모리 할당과 Databricks의 워커 노드 메모리 관리

시작하면서 매번 executor.memory 설정을 조정할 때마다 최대 메모리 할당 오류가 발생하여, 실제로 Databricks가 워커 노드의 메모리를 어떻게 할당하는지 기록해 두기로 했다. Spark에서의 메모리 관리와 Databricks에서 제공하는 추가적인 최적화 방식을 이해하면, 효율적인 클러스터 관리와 성능 최적화에 큰 도움이 될 것이다. Spark에서 메모리 할당되는 기본 방식 Spark에서 메모리는 여러 요소로 나뉘어 할당된다. 기...