728x90 오픈소스/Kafka3 [카프카] G1GC 사용 시 권장할만한 파라미터 값 https://kafka.apache.org/documentation.html#topicconfigs Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 카프카의 경우 Java8, Java11이 지원된다. (Java 11의 경우에는 TLS가 활성화된 경우 훨씬 더 나은 성능을 발휘하므로 적극 권장합니다. OpenJDK 기반 Java 구현(Oracle JDK 포함)으로 Kafka를 실행하기 위한 일반적인 인수는 다음과 같습니다. -Xmx6g -Xms6g -XX:MetaspaceSize=96m -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=.. 2022. 2. 24. [카프카] 리눅스 환경 Kafka 설치 및 클러스터 구성 VM 리눅스 환경에서 아파치 카프카 설치 및 클러스터 구성을 테스트 해보았다. 설치 및 구성은 아파치 공식 문서를 참고하여 진행함. (https://kafka.apache.org/22/documentation.html) 1. 설치 파일 다운로드 https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 위 url에서 최신 버전의 Scala 2.12 - kafka_2.12-3.0.0.tgz (asc, sha512)를 설치 함. 2. kafka_2.12 Installation [root@sydev bin]# pwd /home/kafka [root@sydev kafka.. 2021. 10. 22. [카프카] 기본 개념 소개 오늘은 최근 핫한 오픈소스 제품이 "아파치 카프카"를 정리해보고자 한다. * 아파치 카프카란? 아파치 카프카는 2011년 링크드인(LinkedIn)이라는 회사에서 개발해 오픈소스로 공개된 대용량 및 대규모 메세지 데이터를 빠르고 신속하게 처리하도록 개발된 "분산 메세징 플랫폼"이다. 최근 아파치 카프카는 빅데이터 분석 시, 여러 스토리지와 분석 시스템에 데이터를 연결하기 위한 데이터 파이프라인 구성시 주로 사용되고 있다. 결국 대용량 이벤트 스트림 처리를 위해 개발한 것이 아파치 카프카이다. 아파치 카프카의 도입 사례 - 이벤트(메시지)가 사용되는 모든 곳에서 사용한다고 생각하면 쉽다. > Messaging System > IOT 디바이스로부터 데이터 수집 > 애플리케이션에서 발생하는 로그 수집하여 분석.. 2021. 10. 21. 이전 1 다음 728x90
