인프라/kafka

실제 배포 후 schema registry가 활성화 되어서 메시지가 schema registry를 통해 제대로 encoding되어 적재된 것도 있고, schema registry를 거치지 않아 제대로 적재되지 않은 message들이 혼재되어 있어 앱단에서 메시지를 decode하는 과정에서 에러가 발생하여 consumer lag이 발생했고, 이를 메시지를 비우지 않고 코드를 수정하여 해결한 과정을 작성해보겠습니다.Kafka Consumer Lag이란?Consumer Lag은 Kafka에서 프로듀서가 메시지를 계속 보내는 동안, 컨슈머가 실제로 처리하고 커밋한 offset과 최신 offset(리더의 마지막 메시지) 사이의 차이를 의미합니다.이 차이가 커질 경우, 메시지가 쌓여있는 것을 의미하며, 컨슈머가 뒤..

최근 몇개월간 개발환경에서 개발되었던 앱을 드디어 운영환경에 배포하게 되었습니다.해당 앱에는 kafka에 대한 의존성이 있었고, kafka클러스터가 Amazone msk환경에서 구축됨에 따라 이 과정에서 권한 설정과 관련한 여러가지 트러블 슈팅이 있었습니다.그 과정에서 배우게 된 것들 중 첫번째로 kafka ACL에 대해서 정리해보고자 합니다.ACL이란?Kafka에서는 ACL 규칙을 통해 토픽(topic), 컨슈머 그룹(group), 클러스터(cluster) 등 특정 리소스에 대한 사용자/애플리케이션의 접근을 제어합니다. 각 ACL 항목에는 주체(principal), 호스트(host), 권한 유형(permission type), 작업(operation), 리소스 유형(resource type) 및 리소스..