티스토리 뷰

공부

[Spark] job & stage & task

승가비 2021. 12. 19. 01:14
728x90

http://beginnershadoop.com/2019/09/27/spark-jobs-stages-tasks/

 

Spark Jobs, Stages, Tasks

Every distributed computation is divided in small parts called jobs, stages and tasks. It’s useful to know them especially during monitoring because it helps to detect bottlenecks. Job -…

beginnershadoop.com

job: action

stage: each shuffle map & result type

task

 

https://eyeballs.tistory.com/206

 

[Spark] 기술 질문 대비 적어두는 것들

개인적인 포스팅입니다. Spark 관련 기술 질문 꺼리들을 잊어버리지 않도록 여기다 적어둡니다. - 스파크가 하둡보다 나은 점  ㄴ 대화형 쉘 지원  ㄴ 다양한 함수 지원(Map Reduce 를 포함하여 집계

eyeballs.tistory.com

 

728x90
저작자표시 비영리 변경금지 (새창열림)

'공부' 카테고리의 다른 글

[Spark] Partition Pruning & Predicate Pushdown  (0) 2021.12.19
[DBMS] Row Oriented vs Column Oriented  (0) 2021.12.19
[Spark] App name  (0) 2021.12.18
[Java] map.foreach((k, v) -> {})  (0) 2021.12.18
[Hive] ORC 파일 포맷  (0) 2021.12.18
댓글