티스토리 뷰

공부

[Spark] streaming throughput

승가비 2020. 11. 21. 00:04
728x90
--conf spark.streaming.blockInterval=200 \
--conf spark.streaming.receiver.writeAheadLog.enable=true \
--conf spark.streaming.receiver.maxRate=500 \
--conf spark.streaming.kafka.maxRatePerPartition=500 \

# rate 초당 레코드수

 

https://thebook.io/006908/part02/ch06/03/01/03/

 

스파크를 다루는 기술: 6.3.1.3 유입 속도 제한

 

thebook.io

https://sthyun.tistory.com/entry/kafka-%EC%99%80-spark-stream%EC%9D%98-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%B2%98%EB%A6%AC-%EB%B0%A9%EC%8B%9D

 

kafka 와 spark stream의 데이터 처리 방식

나는 exactly once를 구현했다. 무슨 뜻이냐면... 『데이터는 정확히 한번 처리된다』 당연히 데이터가 여러번 처리되면 안되겠지.. Spark Streaming는 처음에 Receiver를 이용하여 Kafka에 초기에 한번 접속

sthyun.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[Spring] @Produces @Consumes  (0) 2020.11.21
[JS] Github Pages (gatsby.js)  (0) 2020.11.21
[Kafka] reset-offsets  (0) 2020.11.21
[Hive] How to copy table  (0) 2020.11.20
[Java] init HashMap()  (0) 2020.11.20
댓글