kafka

kafka 세팅 - 1

jinheung90 2023. 3. 30. 13:48

- 스프링 라이브러리

 

spring cloud stream kafka vs spring kafka

 

아래의 링크를 보면 2번째 답변에 spring cloud stream은 일종의 인터페이스에 가깝다라고 한다. 다른 예로들면 spring cache와 비슷한 결의 내용이다 스프링 캐시가 공통의 @cacheable을 사용하여 추상화 시킨뒤 여러개의 캐시중에서 지원하는 캐시를 갈아끼우도록 할 수 있게 만든것이라면, spring cloud stream도 마찬가지로 spring cloud시스템에서 rabbitmq등의 다른 메세지를 갈아끼울 수 있도록 만든것이다. 나 같은경우는 spring kafka로 하기로 했는데 일단 kafka를 쓰다가 다른 메세지를 쓸 이유가 있는지 의문이였고 무엇보다 spring cloud stream 이쪽은 쓰기가 좀 불편하고 정립이 안된느낌이였다. 버전에 따라 자주 바뀌고 있어서 좀.. 4.0.0 이상부터는 자료 찾기도 힘들고 개발중인지 자꾸 deprecated가 보이는 문제였다. 

 

실제 설치 가격

kafka ec2 with docker vs msk vs conflunce kafka 

일단 ec2에 올리는 카프카도 넣은것은 비용 때문이다 보통 느낌적으로 aws에서 특정으로 관리하는 것은 대부분 ec2에서 올리는거보다 좀 비싸다. 이전 경험으로는 엘라스틱 서치가 그랬다. (엘라스틱 서치 관련해서는 나중에 선정과정, 및 세팅을 올려보려고 한다)  따라서 이번에도 확인하는데 여기어때 블로그가 너무 잘되어 있어서 하단에 링크를 단다. 가격차가 너무 심하게 나는데 테스트용이기도 하고 재미로 하는거라 세팅은  ec2에 도커 올리는 것을 중점으로 해보고 싶다. 여기에 eks, ecr를 통해서 하면 금상첨화 아닐까? 라는 생각을 해본다 솔직히 클릭 몇번해서 할 수 있는건 누구나 한다. 다음엔 자료도 찾아서 올려보는 것으로 하자.

 

 

https://stackoverflow.com/questions/47312542/spring-kafka-vs-spring-cloud-stream-kafka

 

Spring-Kafka vs. Spring-Cloud-Stream (Kafka)

Using Kafka as a messaging system in a microservice architecture what are the benefits of using spring-kafka vs. spring-cloud-stream + spring-cloud-starter-stream-kafka ? The spring cloud stream

stackoverflow.com

https://docs.spring.io/spring-boot/docs/2.1.6.RELEASE/reference/html/boot-features-caching.html

 

33. Caching

The cache abstraction does not provide an actual store and relies on abstraction materialized by the org.springframework.cache.Cache and org.springframework.cache.CacheManager interfaces. If you have not defined a bean of type CacheManager or a CacheResolv

docs.spring.io

 

https://techblog.gccompany.co.kr/aws-msk-part1-msk-%EB%8F%84%EC%9E%85-%EC%97%AC%EC%A0%95-b000cbea5c02

 

AWS MSK PART1 — MSK 도입 여정

안녕하세요. 여기어때 서비스개발팀에서 백엔드 개발을 담당하고 있는 팡입니다😀

techblog.gccompany.co.kr

나중에 시도해볼 오픈소스 라이브러리 (Strimzi) 쓰기 쉽고 테라폼 모듈도 있는것 같아서 시도해보려고한다.

https://awslabs.github.io/data-on-eks/docs/streaming-platforms/kafka