Amazon MSK FAQ

• Apache Kafka는 내결함성이 지원되는 방식으로 스트리밍 데이터를 저장하며 생산자와 소비자 간의 버퍼를 제공합니다. Apache Kafka는 이벤트를 연속적인 레코드로 저장하며 레코드가 생성된 순서를 유지합니다.
• 웹사이트, 사물 인터넷(IoT) 디바이스, Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스 등의 대다수 데이터 생산자는 Apache Kafka를 통해 스트리밍 데이터를 지속적으로 게시하고 Apache Kafka 주제를 사용하여 이를 분류할 수 있습니다. 기계 학습 애플리케이션, AWS Lambda 함수 또는 마이크로서비스 등의 여러 데이터 소비자는 메시지 대기열 또는 기업 메시징 시스템과 비슷한 방식을 통해 각기 고유한 속도로 이러한 주제에서 데이터를 읽습니다.
• 데이터 소비자는 데이터가 생성된 순서를 유지하면서 선입선출 방식으로 Apache Kafka 주제에서 데이터를 처리합니다.

Q: MSK Serverless란 무엇인가요?
MSK Serverless는 컴퓨팅과 스토리지 용량을 관리하지 않아도 손쉽게 Apache Kafka 클러스터를 실행할 수 있는 Amazon MSK의 클러스터 유형입니다. MSK Serverless를 사용해 클러스터를 프로비저닝하고, 구성하고, 최적화할 필요 없이 애플리케이션을 실행할 수 있으며 데이터 볼륨을 스트리밍하고 유지한 만큼 비용을 지불합니다.

Q: MSK Serverless는 클러스터 내에서 자동으로 파티션 균형을 조정하나요?
예. MSK 서버리스는 클러스터 전체의 균일한 로드를 위해 파티션을 모니터링하고 이동시키는 등의 방법으로 완벽하게 관리합니다.

Q: MSK 서버리스는 데이터 처리 용량을 얼마나 지원하나요?
MSK 서버리스는 클러스터당 최대 200MBps의 쓰기 용량과 400MBps의 읽기 용량을 제공합니다. 또한 클러스터의 모든 파티션에 대해 충분한 가용 처리량을 보장하기 위해 MSK 서버리스는 파티션당 최대 5MBps의 즉시 사용 가능한 쓰기 용량과 10MBps의 즉시 사용 가능한 읽기 용량을 할당합니다.

Q: MSK 서버리스 는 어떤 보안 기능을 제공하나요?
MSK 서버리스는 전송 중인 모든 트래픽과 저장된 데이터를 AWS Key Management Service(KMS)를 통해 발급한 서비스 관리형 키를 사용하여 암호화합니다. 클라이언트는 퍼블릭 인터넷에 트래픽을 노출하지 않고 AWS PrivateLink를 사용한 프라이빗 연결을 통해 MSK 서버리스에 연결합니다. 또한 MSK 서버리스는 IAM 액세스 제어를 제공하여 주제와 같은 Apache Kafka 리소스에 대한 클라이언트 인증 및 클라이언트 권한 부여를 관리할 수 있습니다.

Q: 생산자와 소비자는 어떻게 나의 MSK 서버리스 클러스터에 액세스할 수 있나요?
MSK 서버리스 클러스터를 생성할 때 클러스터의 클라이언트를 호스팅하는 하나 이상의 Amazon Virtual Private Cloud(VPC) 서브넷을 제공합니다. 이 VPC에 호스팅한 클라이언트는 브로커 부트스트랩 스트링을 사용하여 해당 MSK 서버리스 클러스터에 연결할 수 있습니다.

Q: MSK 서버리스를 사용할 수 있는 리전을 어디인가요?
리전별 가용성에 대한 최신 정보는 MSK 요금 페이지를 참조하세요.

Q: MSK Serverless가 지원하는 인증 유형은 무엇입니까?
MSK Serverless는 현재 클라이언트 인증 및 권한 부여를 위해 AWS IAM을 지원합니다. 클라이언트는 인증을 위해 AWS IAM 역할을 수임할 수 있고, 연결된 IAM 정책을 사용하여 액세스 제어를 적용할 수 있습니다.

Q: MSK Serverless 클러스터에서 데이터를 처리하려면 어떻게 해야 합니까?
모든 Apache Kafka 호환 도구를 사용하여 MSK Serverless 클러스터 주제의 데이터를 처리할 수 있습니다. MSK Serverless는 상태 유지 스트림 처리를 위한 Amazon Managed Service for Apache Flink 및 이벤트 처리를 위한 AWS Lambda와 통합됩니다. 또한 Apache Kafka Connect 싱크 커넥터를 사용하여 원하는 모든 대상으로 데이터를 전송할 수 있습니다.

Q: MSK Serverless는 어떻게 고가용성을 보장하나요?
파티션을 생성할 때 MSK Serverless는 2개의 복제본을 생성하고 서로 다른 가용 영역에 배치합니다. 또한 MSK serverless는 실패한 백엔드 리소스를 자동으로 탐지하고 복구하여 고가용성을 유지합니다.

Q: Apache Kafka API를 사용하여 Apache Kafka에서 데이터를 가져오거나 내보낼 수 있나요?
예. Amazon MSK는 네이티브 Apache Kafka 생산자 및 소비자 API를 지원합니다. 클라이언트가 Amazon MSK 내에서 클러스터 사용을 시작할 때 애플리케이션 코드를 변경할 필요가 없습니다.

Q: Apache Kafka Connect, Apache Kafka Streams 또는 Apache Kafka의 기타 에코시스템 구성 요소를 Amazon MSK와 함께 사용할 수 있습니까?
예, Apache Kafka 생산자 및 소비자 API와 Apache Kafka AdminClient를 활용하는 모든 구성 요소를 사용할 수 있습니다. Confluent Control Center, Confluent Auto Data Balancer 및 Uber uReplicator를 비롯하여 Apache Kafka 클러스터에 .jar 파일을 업로드하는 도구는 현재 Amazon MSK와 호환되지 않습니다.

Q: Apache Kafka 버전 업그레이드가 지원되나요? 
예. Amazon MSK는 프로비저닝된 클러스터를 위한 완전관리형 인 플레이스(in-place) Apache Kafka 버전 업그레이드를 지원합니다. Apache Kafka 버전 업그레이드 및 고가용성 모범 사례에 대해 자세히 알아보려면 버전 업그레이드 설명서를 참조하세요.

Q: 기본 브로커 구성을 변경하거나 Amazon MSK로 클러스터 구성을 업로드할 수 있습니까?
예. Amazon MSK를 사용하면 사용자 지정 구성을 생성하여 새 클러스터와 기존 클러스터에 적용할 수 있습니다. 사용자 지정 구성에 대한 자세한 내용은 구성 설명서를 참조하세요.

Q: 어떤 구성 속성을 사용자 지정할 수 있습니까?
사용자 정의할 수 있는 구성 속성은 여기에 설명되어 있습니다.

Q: 새 주제의 기본 구성은 무엇입니까?
여기에 별도로 지정된 경우가 아니면 Amazon MSK는 Apache Kafka의 기본 구성을 사용합니다.

Q: Amazon MSK는 Amazon VPC에서 실행되나요?
예. Amazon MSK는 항상 Amazon MSK 서비스를 통해 관리되는 Amazon VPC 내에서 실행됩니다. Amazon MSK 리소스는 클러스터 설정 시 선택하는 자체 Amazon VPC, 서브넷 및 보안 그룹에서 사용할 수 있습니다. VPC의 IP 주소가 탄력적 네트워크 인터페이스(ENI)를 통해 Amazon MSK 리소스에 연결되고 모든 네트워크 트래픽이 AWS 네트워크 내에 유지되며 기본적으로 인터넷에 액세스할 수 없습니다.

Q: Amazon MSK 클러스터의 브로커는 VPC 내의 클라이언트에 어떤 방식으로 액세스할 수 있나요?
클러스터의 브로커는 계정에 표시되는 ENI를 통해 VPC 내의 클라이언트에 액세스할 수 있습니다. ENI의 보안 그룹에 따라 브로커에서 허용되는 수신 및 송신 트래픽의 유형과 소스가 결정됩니다.

Q: 퍼블릭 인터넷을 통해 클러스터에 연결하는 것이 가능한가요?
예. Amazon MSK는 인터넷을 통해 Apache Kafka 2.6.0 이상 버전을 실행하는 Amazon MSK 클러스터의 브로커에 안전하게 연결하는 옵션을 제공합니다. 프라이빗 Amazon Virtual Private Cloud(VPC) 외부의 인증된 클라이언트는 퍼블릭 액세스를 사용함으로써 암호화된 데이터를 특정 Amazon MSK 클러스터 안팎으로 스트리밍할 수 있습니다. 추가 비용 없이 클러스터를 생성한 후에 MSK 클러스터에 대한 퍼블릭 액세스를 사용할 수 있지만, 클러스터 수신 및 송신에 대한 표준 AWS 데이터 전송 요금이 적용됩니다. 퍼블릭 액세스를 켜는 방법에 대한 자세한 내용은 퍼블릭 액세스 설명서를 참조하세요.

Q: 클라이언트와 Amazon MSK 클러스터 간에는 프라이빗 연결이 사용되나요?
기본적으로 VPC의 클라이언트와 Amazon MSK 클러스터 간의 프라이빗 연결을 통해서만 Amazon MSK 클러스터에서 데이터를 생성하고 소비할 수 있습니다. 그러나 Amazon MSK 클러스터에 대한 퍼블릭 액세스를 켜고 퍼블릭 부트스트랩-브로커 문자열을 사용하여 MSK 클러스터에 연결하는 경우 연결이 인증 및 승인되고 암호화되었어도 더 이상 프라이빗 연결로 간주되지 않습니다. 신뢰할 수 있는 IP 주소의 퍼블릭 액세스만 허용하는 인바운드 TCP 규칙을 사용하도록 클러스터의 보안 그룹을 구성하고 퍼블릭 액세스를 켜는 경우 최대한 이 규칙을 엄격하게 설정하는 것이 좋습니다.

질문: 인터넷을 통해 Amazon MSK 클러스터에 연결하려면 어떻게 해야 하나요?
가장 쉬운 방법은 Apache Kafka 2.6.0 이상 버전을 실행하는 MSK 클러스터의 브로커에 인터넷을 통해 퍼블릭 연결을 활성화하는 것입니다. 보안상의 이유로, MSK 클러스터를 생성하는 중에는 퍼블릭 액세스를 활성화할 수 없습니다. 그러나 퍼블릭 액세스가 가능하도록 기존 클러스터를 업데이트할 수 있습니다. 새 클러스터를 생성한 후에 퍼블릭 액세스가 가능하도록 업데이트할 수도 있습니다. 퍼블릭 액세스를 활성화하는 방법에 대한 자세한 내용은 퍼블릭 액세스 설명서를 참조하세요.

질문: AWS 네트워크 내부와 클러스터의 Amazon VPC 외부에서 Amazon MSK 클러스터에 연결하려면 어떻게 해야 하나요?
Apache Kafka 버전 2.7.1 이상을 실행하는 MSK 클러스터에 대해 다중 VPC 프라이빗 연결을 활성화하면 MSK 클러스터의 VPC 또는 AWS 계정과 다른 VPC 또는 AWS 계정에서 MSK 클러스터에 연결할 수 있습니다. 프라이빗 연결을 활성화하려면 먼저 지원되는 인증 체계(IAM 인증, SASL SCRAM 및 mTLS 인증)에 대해 클러스터를 생성해야 합니다. AWS PrivateLink 기술을 사용하여 프라이빗 연결을 활성화하는 Amazon MSK 관리형 VPC 연결을 사용하여 클러스터에 비공개로 연결하도록 클라이언트를 구성해야 합니다. 프라이빗 연결 설정에 대해 자세히 알아보려면 AWS 설명서 내에서 액세스를 참조하세요.

Q: Amazon MSK 클러스터의 데이터를 암호화할 수 있나요?
예. Amazon MSK는 Amazon Elastic Block Store(Amazon EBS) 서버 측 암호화 및 AWS Key Management Service(AWS KMS) 키를 사용하여 스토리지 볼륨을 암호화합니다.

Q: Amazon MSK 클러스터 내 브로커 간 전송 데이터가 암호화되나요?
예. 기본적으로 새 클러스터에서는 브로커 간 통신에 대해 TLS를 통한 전송 데이터 암호화 기능이 활성화되어 있습니다. 프로비저닝된 클러스터에는 클러스터를 생성할 때 전송 데이터 암호화를 사용하는 옵션을 선택 해제할 수 있습니다.

Q: Apache Kafka 클라이언트와 Amazon MSK 서비스 간 전송되는 데이터가 암호화되나요?
예. 기본 전송 중 암호화는 CLI 또는 AWS 관리 콘솔에서 생성된 클러스터에 대해서만 TLS로 설정되어 있습니다. 클라이언트가 TLS 암호화를 사용하여 클러스터와 통신하려면 추가 구성이 필요합니다. 프로비저닝된 클러스터에는 TLS/평문 또는 평문 설정을 선택하면 기본 암호화 설정을 변경할 수 있습니다. MSK 암호화에 대해 더 알아보기.

Q: Amazon MSK 클러스터의 Apache ZooKeeper 노드와 브로커 사이에서 데이터가 이동할 때 전송 데이터가 암호화되나요?
예. Apache Kafka 버전 2.5.1 이상을 실행하는 Amazon MSK 클러스터는 Apache Kafka 브로커와 ZooKeeper 노드 간 TLS 전송 암호화를 지원합니다.

Q: 클러스터 인증 및 Apache Kafka API 권한 부여를 제어하려면 어떻게 해야 하나요?
서버리스 클러스터에는 인증과 권한 부여를 위해 IAM 액세스 제어를 사용할 수 있습니다. 프로비저닝된 클러스터에는 3가지 옵션을 사용할 수 있습니다. 1) AWS Identity and Access Management(IAM) 액세스 제어를 AuthN/Z에 모두 사용(권장), 2) AuthN에 TLS 인증서 인증(CA)을 사용하고 AuthZ에 액세스 제어 목록 사용, 3) AuthN에 SASL/SCRAM을 사용하고 AuthZ에 액세스 제어 목록 사용. Amazon MSK는 IAM 액세스 제어의 사용을 권장합니다. 사용이 가장 쉬운 옵션인 동시에 최소 권한 액세스로 기본 설정되므로 가장 안전한 옵션입니다.

Q: Amazon MSK에서 권한 부여는 어떻게 이루어지나요?
IAM 액세스 제어를 사용하는 경우 Amazon MSK는 사용자가 작성한 정책과 자체 권한 부여자를 사용하여 작업 권한을 부여합니다. TLS 인증서 인증 또는 SASL/SCRAM을 사용하는 경우 Apache Kafka는 권한 부여에 액세스 제어 목록(ACL)을 사용합니다. ACL을 사용하려면 TLS 인증서 또는 SASL/SCRAM을 사용하여 클라이언트 인증을 활성화해야 합니다.

Q: 클라이언트에 대한 인증 및 승인을 동시에 수행하려면 어떻게 해야 합니까?
IAM 액세스 제어를 사용하는 경우 Amazon MSK가 자동으로 인증 및 권한 부여를 수행하므로 추가 설정이 필요하지 않습니다. TLS 인증을 사용하는 경우 클라이언트 TLS 인증서의 Dname을 ACL의 보안 주체로 사용하여 클라이언트 요청을 승인할 수 있습니다. SASL/SCRAM을 사용하는 경우 사용자 이름을 ACL의 보안 주체로 사용하여 클라이언트 요청을 승인할 수 있습니다.

Q: 서비스 API 작업을 제어하려면 어떻게 해야 합니까?
AWS Identity and Access Management(IAM)를 사용하여 서비스 API 작업을 제어할 수 있습니다.

Q: 기존 클러스터에서 IAM 액세스 제어를 사용할 수 있나요?
예. AWS 콘솔이나 UpdateSecurity API를 사용해 기존 클러스터에서 IAM 액세스 제어를 사용할 수 있습니다.

Q: Amazon MSK 밖에서 IAM 액세스 제어를 사용할 수 있나요?
아니요. IAM 액세스 제어는 Amazon MSK 클러스터에만 사용할 수 있습니다.

Q: Amazon MSK의 AWS 계정과 다른 AWS 계정의 Apache Kafka 클라이언트에 Amazon MSK 클러스터에 비공개로 연결할 수 있는 교차 계정 액세스 권한을 부여하려면 어떻게 해야 하나요?
Amazon MSK 클러스터에 클러스터 정책을 연결하여 Amazon MSK 클러스터에 대한 프라이빗 연결을 설정할 수 있는 교차 계정 Apache Kafka 클라이언트 권한을 제공할 수 있습니다. IAM 클라이언트 인증을 사용하는 경우 클러스터 정책을 사용하여 연결 클라이언트의 Apache Kafka 데이터 플레인 권한을 세부적으로 정의할 수도 있습니다. 클러스터 정책에 대해 자세히 알아보려면 클러스터 정책 설명서를 참조하세요.

Q: Apache ZooKeeper란 무엇인가요?
https://zookeeper.apache.org에서 살펴보면 “Apache ZooKeeper는 구성 정보를 유지 관리하고, 이름을 지정하고, 분산 동기화 및 그룹 서비스를 제공하는 중앙 집중식 서비스입니다. 이러한 종류의 서비스는 모두 분산 애플리케이션에서 각기 다른 형식으로 사용됩니다."라고 나와 있으며 여기에는 Apache Kafka 등이 포함됩니다.

Q: Amazon MSK는 Apache ZooKeeper를 사용하나요?
예. Amazon MSK는 메타데이터 관리에 Apache ZooKeeper를 사용합니다. 또한 Apache Kafka 버전 3.7부터는 ZooKeeper 모드 또는 KRaft 모드에서 클러스터를 생성할 수 있습니다. KRaft 모드로 생성된 클러스터는 ZooKeeper 노드 대신 KRaft 컨트롤러를 사용하여 메타데이터를 관리합니다.

• Amazon S3(Kinesis Data Firehose를 사용하여 코딩이 필요 없는 간편한 방식으로 MSK에서 Amazon S3로 데이터를 전송)
  
• Amazon Virtual Private Cloud(VPC)(네트워크 격리 및 보안)
• Amazon CloudWatch(지표)
• AWS Key Management Service(AWS KMS)(스토리지 볼륨 암호화)
• Amazon IAM(Apache Kafka 및 서비스 API의 인증 및 권한 부여)
• AWS Lambda(MSK 이벤트 소싱)
• AWS IoT(IoT 이벤트 소싱)
• AWS Glue 스키마 레지스트리(Apache Kafka 애플리케이션에 사용된 스키마 변경 제어)
  
• AWS CloudTrail(AWS API 로그)
• AWS Certificate Manager(클라이언트 TLS 인증에 사용되는 프라이빗 CA)
• AWS CloudFormation(코드를 사용하여 Amazon MSK 클러스터 설명 및 프로비저닝)
  
• Amazon Managed Service for Apache Flink(스트리밍 데이터를 처리하는 완전관리형 Apache Flink 애플리케이션)
  
• Amazon Managed Service for Apache Flink Studio(Apache Kafka에서 SQL을 대화형으로 스트리밍)
  
• AWS Secrets Manager(SASL/SCRAM 인증에 사용되는 클라이언트 보안 인증 정보)
  

• Amazon S3(Kinesis Data Firehose를 사용하여 코딩이 필요 없는 간편한 방식으로 MSK에서 Amazon S3로 데이터를 전송)
  
• Amazon VPC(네트워크 격리 및 보안)
• Amazon CloudWatch(지표)
• Amazon IAM(Apache Kafka와 서비스 API의 인증 및 권한 부여)
• AWS Glue 스키마 레지스트리(Apache Kafka 애플리케이션에 사용된 스키마 변경 제어)
• AWS CloudTrail(AWS API 로그)
• AWS PrivateLink(프라이빗 연결)
  

Q: Amazon MSK 요금은 어떤 방식으로 부과되나요?
요금은 생성하는 리소스에 따라 다릅니다. 요금 페이지 방문하여 자세히 알아볼 수 있습니다.

Q: 데이터 복제로 인한 데이터 전송에 대해서도 비용을 지불해야 하나요?
아니요. 클러스터 내의 모든 데이터 전송은 추가 비용 없이 서비스에 포함됩니다.

Q: Amazon MSK를 제공하는 AWS 리전은 어딘인가요?
Amazon MSK를 제공하는 리전은 여기에서 확인할 수 있습니다.

Q: 데이터 전송 요금은 어떤 방식으로 부과되나요?
프로비저닝된 클러스터를 사용하면 Amazon MSK 클러스터에서 데이터를 송수신할 경우 표준 AWS 데이터 전송 요금이 적용됩니다. 리전의 클러스터 내 데이터 전송(브로커 간의 데이터 전송 및 브로커와 Apache ZooKeeper 노드 간의 데이터 전송 포함)에는 요금이 부과되지 않습니다.

서버리스 클러스터를 사용하면 다른 리전으로 데이터를 송수신하고 퍼블릭 인터넷으로 데이터를 전송하는 경우 AWS 데이터 전송 요금이 적용됩니다.

• HIPAA 적격

• PCI

• ISO

• SOC 1,2,3

AWS 서비스 및 규정 준수 프로그램의 전체 목록을 확인하려면 규정 준수 프로그램 제공 범위 내 AWS 서비스를 참조하세요.

Q: Amazon MSK Replicator란 무엇인가요?
Amazon MSK Replicator는 코드를 작성하거나 인프라를 관리하지 않고도 다른 AWS 리전(교차 리전 복제) 또는 동일한 AWS 리전 내(동일 리전 복제)의 Amazon MSK 클러스터에 데이터를 안정적으로 복제할 수 있도록 하는 Amazon MSK 기능입니다. 교차 리전 복제(CRR)를 사용하면 가용성이 높고 내결함성이 있는 다중 리전 스트리밍 애플리케이션을 구축하여 복원력을 높일 수 있습니다. 또한 CRR을 사용하여 여러 지역의 리전에서 소비자에게 지연 시간이 짧은 액세스를 제공할 수 있습니다. SRR을 사용하면 한 클러스터의 데이터를 여러 클러스터로 분산하여 파트너 및 팀과 데이터를 공유할 수 있습니다. 또한 SRR 또는 CRR을 사용하여 여러 클러스터의 데이터를 하나로 집계하여 분석할 수 있습니다.

Q: MSK Replicator를 사용하려면 어떻게 해야 하나요?
소스 및 대상 MSK 클러스터 페어 간에 복제를 설정하려면 대상 AWS 리전에 복제기를 생성해야 합니다. 복제기를 생성하려면 소스 및 대상 MSK 클러스터의 Amazon 리소스 이름(ARN)과 MSK 복제기에서 클러스터에 액세스하는 데 사용할 수 있는 AWS Identity and Access Management(IAM) 역할이 포함된 세부 정보를 지정합니다. 대상 MSK 클러스터가 아직 없는 경우 대상 MSK 클러스터를 생성해야 합니다. 또한 주제 이름, 구성, Replicator의 시작 위치를 비롯한 추가 설정을 구성할 수도 있습니다.

Q: MSK Replicator는 어떤 유형의 Kafka 클러스터를 지원하나요?
MSK 복제기는 MSK 클러스터 간의 복제만 지원합니다. 프로비저닝된 MSK 클러스터와 서버리스 유형의 MSK 클러스터 모두 지원됩니다. 또한 MSK 복제기를 사용하여 프로비저닝된 클러스터에서 서버리스로 또는 그 반대로 전환할 수 있습니다. 다른 Kafka 클러스터는 지원되지 않습니다.

Q: 복제하려는 주제를 지정할 수 있나요?
예. 복제기를 생성할 때 허용 및 거부 목록을 사용하여 복제할 주제를 지정할 수 있습니다.

Q: MSK 복제기는 주제 설정과 소비자 그룹 오프셋을 복제하나요?
예. MSK 복제기는 주제 구성, 액세스 제어 목록(ACL) 및 소비자 그룹 오프셋과 같은 필수 Kafka 메타데이터를 자동으로 복제하므로 장애 조치 후 사용 중인 애플리케이션에서 원활하게 처리를 재개할 수 있습니다. 데이터만 복제하려는 경우 이러한 설정 중 하나 이상을 끄도록 선택할 수 있습니다. 또한 복제기를 생성할 때 허용 또는 거부 목록을 사용하여 복제하려는 소비자 그룹을 지정할 수 있습니다.

Q: 수신 처리량이 변경될 경우 복제 규모를 조정해야 하나요?
아니요. MSK 복제기는 기본 복제 인프라를 자동으로 배포, 프로비저닝 및 조정하여 수신 처리량 변경을 지원합니다.

Q: 여러 AWS 계정의 MSK 클러스터 간에 데이터를 복제할 수 있나요?
아니요. MSK 복제기는 동일한 AWS 계정의 MSK 클러스터 간 복제만 지원합니다.

Q: 복제를 모니터링하려면 어떻게 해야 하나요?
대상 리전에서 Amazon CloudWatch를 사용하여 추가 비용 없이 각 Replicator의 주제 및 집계 수준에서 ‘ReplicationLatency, MessageLag, ReplicatorThroughput’에 대한 지표를 볼 수 있습니다. 지표는 ‘AWS/Kafka’ 네임스페이스의 ReplicatorName 아래에 표시됩니다. 또한 ‘ReplicatorFailure, AuthError, ThrottleTime’ 지표를 통해 Replicator에 문제가 있는지 확인할 수 있습니다.

Q: MSK Replicator를 사용하여 한 클러스터의 데이터를 여러 클러스터로 복제하거나 여러 클러스터의 데이터를 한 클러스터로 복제할 수 있나요?
예. 각 소스 및 대상 클러스터 페어에 대해 서로 다른 복제기를 생성하기만 하면 됩니다.

Q: MSK 복제기는 소스 및 대상 MSK 클러스터에 어떻게 연결되나요?
MSK 복제기는 IAM 액세스 제어를 사용하여 소스 및 대상 클러스터에 연결합니다. 복제기를 생성하려면 소스 및 대상 MSK 클러스터에서 IAM 액세스 제어를 켜야 합니다. Amazon MSK는 여러 인증 방법을 동시에 지원하므로 클라이언트에 대해 SASL/SCRAM 및 mTLS를 비롯한 다른 인증 방법을 동시에 사용할 수 있습니다.

Q: MSK 복제기를 사용할 경우 예상되는 복제 지연 시간은 어느 정도인가요?
MSK Replicator는 데이터를 비동기식으로 복제합니다. 복제 지연 시간은 MSK 클러스터의 AWS 리전 간 네트워크 거리, 소스 및 대상 클러스터의 처리량 용량, 소스 및 대상 클러스터의 파티션 수 등 여러 요인에 따라 달라집니다. 지연 시간이 길면 문제 해결 가이드를 따르세요.

Q: MSK Replicator에서 주제 이름을 동일하게 유지할 수 있나요?
예. MSK Replicator를 사용하면 새 Replicator를 생성할 때 ‘접두사’와 ‘동일’ 중에서 주제 이름 구성을 선택할 수 있습니다. 기본적으로 MSK Replicator는 주제 이름에 자동 생성된 접두사를 추가하여 대상 클러스터에 새 주제를 생성합니다. 예를 들어 MSK Replicator는 소스 클러스터의 ‘topic’ 데이터를 대상 클러스터의 ‘<sourceKafkaClusterAlias>.topic’이라는 새 주제에 복제합니다. DescribeReplicator API 또는 MSK 콘솔의 Replicator 세부 정보 페이지를 사용하여 ‘sourceKafkaClusterAlias’ 필드에서 대상 클러스터의 주제 이름에 추가할 접두사를 찾을 수 있습니다. 원래 이름을 유지하면서 대상 클러스터에 주제를 복제하려면 주제 이름 구성을 ‘동일’로 설정하기만 하면 됩니다.

Q: 주제 이름 구성을 ‘동일’로 설정해야 하는 이유는 무엇인가요?
AWS 리전 전체에서 가용성과 복원력이 뛰어난 스트리밍 데이터 아키텍처를 간편하게 구축하려면 주제 이름 구성을 ‘동일’로 설정해야 합니다. 이 구성을 사용하면 원래 주제 이름을 유지하면서 Kafka 주제를 다른 Amazon MSK 클러스터에 복제하므로 복제 설정 또는 장애 조치 이벤트 중에 클라이언트 애플리케이션을 재구성해야 할 필요성이 줄어듭니다. 이렇게 하면 복원력과 가용성을 높이기 위해 여러 리전에 걸쳐 액티브-패시브 클러스터 구성을 쉽게 설정할 수 있습니다. 또한 클러스터 전체의 데이터 집계, MSK 클러스터 간 마이그레이션, 여러 지역으로의 데이터 배포와 같은 사용 사례를 간소화합니다. Kafka 레코드 헤더에 메타데이터가 추가되었는데 클라이언트가 데이터를 처리할 수 없는 경우에는 이 구성을 사용하지 마세요.

Q: 주제 이름 구성을 ‘동일’로 설정하면 무한 복제 루프가 발생할 위험이 있나요?
아니요. MSK Replicator는 레코드가 원래 Kafka 주제로 다시 복제되는 것을 자동으로 방지하므로 무한 복제 루프를 피할 수 있습니다. 이렇게 하기 위해 MSK Replicator는 복제의 일환으로 레코드 헤더에 메타데이터를 추가합니다.

Q: 기존 Replicator를 업데이트하여 주제 이름 구성을 ‘동일’로 설정할 수 있나요?
아니요. Replicator를 생성한 후에는 주제 이름 구성을 변경할 수 없습니다.

Q: 복제를 사용하여 리전 전체에서 스트리밍 애플리케이션의 복원력을 높이려면 어떻게 해야 하나요?
MSK 복제기를 사용하여 액티브-액티브 또는 액티브-패시브 클러스터 토폴로지를 설정하면 리전 간 Kafka 애플리케이션의 복원력을 높일 수 있습니다. 액티브-액티브 설정에서는 두 MSK 클러스터가 모두 읽기 및 쓰기를 능동적으로 제공합니다. 이에 비해 액티브-패시브 설정에서는 한 번에 하나의 MSK 클러스터만 스트리밍 데이터를 능동적으로 제공하고 다른 클러스터는 대기 상태에 있습니다. 액티브-패시브 설정에는 주제 이름 구성을 ‘동일’로 설정하고 액티브-액티브 설정에는 구성을 ‘접두사’로 설정하는 것이 좋습니다. 하지만 ‘접두사’ 구성을 사용하려면 소비자가 복제된 주제를 읽을 수 있도록 재구성해야 합니다. 클라이언트를 재구성하지 않으려는 경우 액티브-액티브 설정에도 ‘동일’ 구성을 사용할 수 있습니다. 그러나 각 Replicator는 한 번은 복제에 사용하고 또 한 번은 무한 루프 방지를 위해 처리해야 하기 때문에 일반적인 데이터 양의 두 배를 처리해야 하므로 각 Replicator에 대해 추가 데이터 처리 및 데이터 전송 요금을 지불해야 합니다.

Q: 어떤 Kafka 버전에서 주제 이름 구성에 ‘동일’이 지원되나요?
Kafka 버전 2.8.1 이상에서 실행되는 모든 MSK 클러스터에서 지원됩니다.

Q: 소스 클러스터의 기존 데이터를 복제할 수 있나요?
예. 기본적으로 새 복제기를 생성하면 소스 클러스터의 스트림 끝(최신 오프셋)에서 데이터 복제가 시작됩니다. 또는 기존 데이터를 복제하려는 경우 소스 클러스터 주제 파티션의 가장 빠른 오프셋부터 데이터 복제를 시작하도록 새 복제기를 구성할 수 있습니다.

Q: 복제로 인해 소스 클러스터의 소비자가 제한될 수 있나요?
MSK 복제기는 소스 클러스터의 소비자 역할을 하므로 복제로 인해 소스 클러스터에서 다른 소비자가 제한될 수 있습니다. 이는 소스 클러스터의 읽기 용량과 복제 중인 데이터의 처리량에 따라 달라집니다. 소스 클러스터와 대상 클러스터에 동일한 용량을 프로비저닝하고 복제 처리량을 고려하여 필요한 용량을 계산하는 것이 좋습니다. 또한 소스 및 대상 클러스터에서 복제기에 대한 Kafka 할당량을 설정하여 복제기에 사용될 수 있는 용량을 제어할 수 있습니다.

Q: 대상 클러스터에 쓰기 전에 데이터를 압축할 수 있나요?
예. 복제기를 생성할 때 없음, GZIP, Snappy, LZ4 및 ZSTD 중에서 원하는 압축 코덱을 지정할 수 있습니다.