[Kafka] AWS EC2에 카프카 설치하기

December 25, 2023

Mac OS에서 AWS EC2 접속하기

sudo chmod 400 njkwon-fc-seoul.pem
ssh -i "class-zisu17-seoul.pem" ec2-user@**********.ap-northeast-1.compute.amazonaws.com

Java가 설치되어 있지 않을 경우 아래의 명령어를 실행합니다.

java –version
sudo yum install java-11-amazon-corretto-headless
sudo yum install java-11-amazon-corretto
java –version

EC2 인스턴스 생성할 때 Java를 설치합니다. stand alone으로 Kafka 구성

#!/bin/bash 
yum install -y java-1.8.0-openjdk-devel.x86_64

Kafka 다운로드 및 압축 해제하기

wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz
tar xvf kafka_2.13-3.0.0.tgz

Kafka 환경 시작하기

ln -s kafka_2.13-3.0.0 kafka
cd kafka

Zookeeper 서버 시작하기

./bin/zookeeper-server-start.sh config/zookeeper.properties &

Kafka broker 시작하기

./bin/kafka-server-start.sh config/server.properties &

데몬 확인하기

sudo netstat -anp | egrep "9092|2181"

twitter Topic 생성

bin/kafka-topics.sh --create --topic twitter --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092  &

Topic 확인하기

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic twitter --from-beginning

Java 설치하기

sudo yum install -y java-1.8.0-openjdk-devel.x86_64
java –version

Kafka 설치하기

wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz
tar xvf kafka_2.13-3.0.0.tgz

여기서 IP 주소는 Kafka 서버의 private IP입니다.

bin/kafka-console-producer.sh --topic twitter --bootstrap-server 172.31.15.105:9092