티스토리 뷰

공부

[spark] group by -> reduce by

승가비 2023. 1. 28. 03:57
728x90

https://seamless.tistory.com/101

 

Spark에서 groupByKey 대신 reduceByKey 사용하기

이번 포스트에서는 스파크에서 빈번히 사용되는 transformation인 reduceByKey와 groupByKey의 동작에 대해 살펴보겠습니다. 먼저 스파크에서 reduceByKey와 groupByKey를 사용하여 단어 세기 예제를 작성해보도

seamless.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[airflow] retry & failover  (0) 2023.01.28
[log4j] SLF4J: Class path contains multiple SLF4J bindings  (0) 2023.01.28
[slack] multiple image upload  (0) 2023.01.28
[javascript] key code event tool  (0) 2023.01.28
[hive] AnalysisException: Failed to execute SHOW CREATE TABLE against table `db_name`.`table_name`, which is created by Hive and uses the following unsupported serde configuration SERDE: org.apache.hadoop.hive.serde2.OpenCSVSerde INPUTFORMAT: org.apache..  (0) 2023.01.28
댓글