티스토리 뷰

공부

[spark] NotSerializableExcetpion (org.apache.spark.SparkException: Task not serializable)

승가비 2022. 8. 9. 00:20
728x90

https://wonyong-jang.github.io/spark/2021/06/15/Spark-Serialization.html

 

[Spark] 아파치 스파크 Serialization - SW Developer

Spark를 이용하여 개발을 진행할 때 발생하는 가장 일반적인 문제 중 하나는 NotSerializableExcetpion이다. org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCl

wonyong-jang.github.io

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[kotlin] val list = mutableListOf(1, 2, 3) + mutableListOf(4, 5)  (0) 2022.08.09
[python] ImportError: cannot import name 'soft_unicode' from 'markupsafe' (/Users/seunggab.kim/seunggabi/project/umzzal-kim/venv/lib/python3.8/site-packages/markupsafe/__init__.py)  (0) 2022.08.09
[python][pandas] merge  (0) 2022.08.06
[ORC] Optimized Row Columnar  (0) 2022.08.06
[Java] java -Denviroment=dev -jar myjar.jar  (0) 2022.08.06
댓글