티스토리 뷰

공부

[spark] RDD, DataFrame

승가비 2022. 9. 3. 16:56
728x90

https://alex-blog.tistory.com/entry/Spark-%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D-RDD-DataFrame

 

Spark 프로그래밍 - RDD, DataFrame

Spark는 Mapreduce의 대체자 MapReduce의 경우 Disk에서 매번 데이터를 처음부터 읽어야한다. (-> RDD는 데이터를 처음부터 읽을 필요가 없게 만들어준다.) Spark는 데이터를 메모리에 올려서 연산 방식 데

alex-blog.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

debugExecution failed for task ':seunggabi:bootJarMainClassName'.> Unable to find a single main class from the following candidates [seunggabi.job.SparkSubmit, seunggabi.job.SparkSubmit2]  (0) 2022.09.07
[docker] bridge vs host  (0) 2022.09.05
[spark] lazy evalution  (1) 2022.09.03
[leetcode] 309. Best Time to Buy and Sell Stock with Cooldown  (0) 2022.09.01
[github] Why am I still getting "You've used 100% of included services for GitHub Storage (GitHub Actions and Packages)" after deleting all Artifacts?  (0) 2022.08.31
댓글