티스토리 뷰

공부

[Kafka] configuration partition rebalancing

승가비 2022. 1. 16. 20:46
728x90

session.timeout.ms

heartbeat.interval.ms

max.poll.interval.ms

max.poll.records

enable.auto.commit

auto.commit.interval.ms

auto.offset.reset

 

 

https://dev-jj.tistory.com/entry/Kafka-%EA%B0%99%EC%9D%80%EB%A9%94%EC%8B%9C%EC%A7%80%EB%A5%BC-%EB%B0%98%EB%B3%B5%EC%A0%81%EC%9C%BC%EB%A1%9C-%EC%86%8C%EB%B9%84%ED%96%88%EB%8D%98-%EB%A6%AC%EB%B0%B8%EB%9F%B0%EC%8B%B1-%EC%9D%B4%EC%8A%88-%ED%95%B4%EA%B2%B0-MAX-POLL-RECORDS-CONFIG-maxpollrecord

 

[Kafka] 같은메시지를 반복적으로 소비했던 리밸런싱 이슈 해결 (MAX POLL RECORDS CONFIG = "max.poll.record

초기 Kafka 운영 중 이상한 이슈에 직면했다. - 현상 kafka의 소비되어 처리된 메시지가 한 번이계속 반복적으로 수행하고 적게는 몇번 많게는 수십번까지 다시 소비하는 현상 이였다. 내 이론상 kaf

dev-jj.tistory.com

https://saramin.github.io/2019-09-17-kafka/

 

kafka 설정을 사용한 문제해결

안녕하세요. 사람인HR 기술연구소 서비스인프라개발팀 안경민입니다. 메일 시스템 구조개선을 진행하면서 kafka를 사용하며 부딪혔던 문제와 해결했던 방법을 공유하여 같은 문제를 겪을 수 있

saramin.github.io

https://blog.voidmainvoid.net/262

 

Kafka consumer의 Automatic Commit은 중복이 생길 수 있다

https://books.google.co.kr/books?id=a3wzDwAAQBAJ&pg=PA77&lpg=PA77 Kafka: The Definitive Guide Every enterprise application creates data, whether it’s log messages, metrics, user activity, outgoing..

blog.voidmainvoid.net

https://knight76.tistory.com/entry/kafka-enableautocommit-autocommitintervalms

 

[kafka] enable.auto.commit , auto.commit.interval.ms

카프카(Kafka) 컨슈머는 토픽(topic)에서 메시지를 읽는다. 갑작스럽게 종료되면 종료되기 전에 어딘가까지 읽었다는 위치(오프셋(offset))을 저장한다. 오프셋(offset)은 파티션에서 수신되는 각 메시

knight76.tistory.com

https://dev-punxism.tistory.com/entry/Kafka-Consumer-maxpollintervalms-%EC%84%A4%EC%A0%95%ED%95%98%EA%B8%B0

 

Kafka Consumer max.poll.interval.ms 설정하기

들어가기 max.poll.interval.ms 옵션은 consumer가 poll을한 후 다음 poll까지 얼마나 기다리는지에 대한 설정 한 번 poll한 컨슈머가 max.poll.interval.ms까지 다시 poll을 하지 않으면 consumer를 끊고 rebalan..

dev-punxism.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[Java] delete topic  (0) 2022.01.16
[IntelliJ] test coverage 80%  (0) 2022.01.16
[Java] MySQL get column name  (0) 2022.01.16
[Spring] Profile  (0) 2022.01.14
[Java] kafka create topic  (0) 2022.01.14
댓글