티스토리 뷰

공부

[spark] spark.memory.fraction = 0.8

승가비 2023. 2. 10. 22:14
728x90

https://learn.microsoft.com/ko-kr/azure/databricks/kb/clusters/spark-shows-less-memory

 

Apache Spark UI가 총 노드 메모리보다 작음 표시 - Azure Databricks

Spark UI가 노드에서 실제로 사용할 수 있는 것보다 적은 메모리를 표시하는 경우 수행할 작업을 알아봅니다.

learn.microsoft.com

https://sparkbyexamples.com/spark/spark-submit-command/

 

Spark Submit Command Explained with Examples - Spark By {Examples}

The spark-submit command is a utility to run or submit a Spark or PySpark application program (or job) to the cluster by specifying options and

sparkbyexamples.com

 

728x90
저작자표시 비영리 (새창열림)

'공부' 카테고리의 다른 글

[scala] match case (switch case)  (0) 2023.02.10
[hive] INSERT INTO db.table PARTITION(dt=20230101) VALUES ('a', 'b', 'c');  (0) 2023.02.10
[aws] iam role asterisk(*)  (0) 2023.02.09
[git] semantic commit messages & semantic branch names  (0) 2023.02.04
[Python] mixin  (0) 2023.02.04
댓글