MR 출력 결과 파일 번호 및 감속기

MapReduce에는 해당 출력 형식도 있습니다. 기본적으로 Reduce는 하나만 있고 출력은 하나의 파일입니다. 기본 파일 이름은 part-r-00000이며 출력 파일 수는 Reduces 수와 일치합니다. 두 개의 Reduce가 있는 경우 출력 결과는 두 개의 파일이 됩니다. 첫 번째는 part-r-00000, 두 번째는 part-r-00001 등입니다.

MapReduce는 병렬용 프로그래밍 모델입니다. 대규모 데이터 세트(1TB 이상)에 대한 작업.

"Map"과 "Reduce"라는 개념은 함수형 프로그래밍 언어와 벡터 프로그래밍 언어의 특성에서 차용한 주요 아이디어입니다. 이는 프로그래머가 분산 병렬 프로그래밍을 알지 못해도 분산 시스템에서 자신의 프로그램을 실행하는 것을 크게 촉진합니다.

현재 소프트웨어 구현에서는 키-값 쌍 집합을 새로운 키-값 쌍 집합으로 매핑하는 Map 함수를 지정하고 매핑된 모든 키-값 쌍 각각을 보장하기 위해 동시 Reduce 함수를 지정합니다. 동일한 키 그룹을 공유합니다.