Devops/Kafka
-
Kafka manager(CMAK) 설치Devops/Kafka 2021. 6. 25. 18:29
간단하게 cmak 를 설치하는 방법을 적어 놓는다... 최근에 자주 사용할일이 있었는데 자꾸 까먹는다 ㅠㅠ 크게 특이하거나 어려운것이 없기 때문에 쉽게 할수있다. 추가적으로 AWS EC2 기반에서 설치 하였는데 1core 급 인스턴스를 사용하면 극악(?) 의 빌드 속도를 확인 가능하다. 심지어 이유는 정확히 못밝혔으나 빌드가 안된다 ;;; 개인적으로 성공한건 2core 4GB 스펙의 인스턴스에서 성공하여 현재 설치시에는 저 기준 밑으로는 사용하지 않으려고 한다. 생각보다 스칼라 빌드가 하드한 작업인거 같다. 설치 를 위한 설치 파일 다운로드 wget https://github.com/yahoo/CMAK/archive/3.0.0.5.tar.gz 압축 해제 tar -xzvf CMAK-1.3.3.23.tar...
-
Kafka Docker-compose ( feat. single node ) 만들기Devops/Kafka 2021. 3. 19. 16:56
회사에서 급하게 메세지큐를 써야 하는 상황이 되어서 급하게 빠르게 구축하기 위해 머리를 굴리기 시작하였다. 1. 빠르게 구축 2. 돈이 적게 들게 3. 일단 가볍게 기준을 저렇게 잡은 이유는 별개 아니라 일단 당장 테스트하고 구축해서 써야 하는 조짐(?)이 보였고 당장 수익이 나는 구조가 아니다보니 비용에 민감할수 밖에 없었고 트래픽이 당장 크게 있을거 같진 않았기 때문에 저렇게 목표를 삼고 시작하였다. 어떻게 보면 rabbitMQ 사용해도 무방한 상황이지만 여러가지 비교를 해보고 앞으로를 생각했을때 (비교글 : ellune.tistory.com/29?category=769027 ) 카프카를 써야될거 같다는 팀원들 이야기가 나오기도 하면서 고민이 시작됬다 1) 컨셉 - 도커 일단, 요즘엔 너무나도 당연하..
-
Kafka 사용법Devops/Kafka 2019. 11. 20. 14:58
카프카에 메세지를 생성하고 소비하는 방식은 간단한편에 속한다. 아래는 타 사이트에 있는 소스들을 참고하여 정리한 내용들이다. 기본적인 단순 메세지 생성후 소비하여 화면에 출력하는 소스이며, 간단히 설정을 확인 할수 있다. spirng boot 에서 kafka 관련 라이브러리를 제공하는걸로 알고 있으나 ,일단 일반적인 형태로 구성하여 사용하는걸 기준으로 기록 하였다. 옵션값은 귀찮니즘(?) 으로 영문버전을 그냥 번역기로 돌렸다. 옵션별 기준값이 존재하는데 알아두면 좋을것 같다. 적어놓은것 말고도 옵션값이 굉장히 많다. 필요한 경우가 생기면 참고 사이트를 보고 별도 지정하여 사용해도 무방해 보인다. (https://kafka.apache.org/documentation/) 아래 사항은 기본적으로 카프카가 구..
-
Kafka 사용이유 ( vs RabbitMQ )Devops/Kafka 2019. 5. 10. 11:29
카프카를 사용하기전에 과연 어떤 곳에 카프카를 사용해야 하는가에 대한 기본적인 분석이 간단하게라도 필요하다고 생각이 들었다. RabbitMQ 보단 카프카가 빠르니 카프카를 쓰자 !! 혹은 더 단순하게 카프카가 최고다!! 라고 말하는 사람들이 종종 있거나 카프카면 다되! 라는 식의 맹목적인 사람도 있었다. 난 개인적으로 신기술이나 트랜디한 기술을 사용할때는 아주 조심스럽게 신중하게 써야 한다고 생각한다. 내가 학생이라면 말리지 않는다. 고민도 하지 않는데 그냥 써보면 된다. 죽이 되든 밥이 되든 내가 아마추어인데 뭘하든 누가 관심이 있을 거라고 생각하지 않는다. 하지만 돈을 받고 이 일을 하고 있다면 적어도 프로라고 불리며 , 이해관계와 회사의 입장등 많은 것들을 고려하여 기술을 적용해야 한다고 생각한다...
-
Kafka 기본Devops/Kafka 2019. 3. 11. 17:33
Kafka 데이터를 분산 처리 가능한 데이터 플랫폼 ! 카프카는 메세지큐 서비스로 분산 환경에 특화 되있다고 한다. 보통 많이 알려진 RabbitMQ 와 동일한 역할 포지션이지만 성능에서 많은 차이를 보인다. 그리고 클러스터링 구성이나 fail-over 를 쉽게 할수 있도록 되있다. 카프카를 사용하는 용도는 다양할것으로 보인다. 다양한곳에 사용할수 없다면 나도 관심을 가지지 않았을거 같다. SI 나 작은 회사에서 일정에 쫒겨 정말 아슬아슬하게 외줄타기 하는 일정 에서 일하다보니 신기술이나 내 관심분야에 대한 R&D 는 굉장히 소홀했다. 나스스로의 기술부채가 계속 생긴다는 생각이 든다. 지금 연차에 서비스를 만드냐 못만드냐의 문제는 넘어같거 같다. 잘 만들수있느냐 혹은 오픈소스로 공개된 기술 or 솔루션들..