[AWS Service] Amazon Macie를 사용하여 S3 데이터 분석

이번 글에서는 AWS Macie에 대해서 써보려고 합니다. Macie를 공부하려 했지만 Macie에 대한 글이 없어 공부하기 힘들었습니다. 제 글 또한 정확하지 않은 내용이 존재할 수도 있으니 후에 더 잘하시는 분의 글을 보고 다시 공부하시길 바라겠습니다. 

Macie를 사용하여 S3 민감한 데이터 확인

Macie는 S3 버킷에 저장된 민감한 데이터를 식별하고 보호하는 서비스입니다. 그렇기에 Macie를 사용하기 위해선 S3 Bucket이 존재해야 합니다. 먼저 S3를 생성하고 S3에 테스트로 여러 값이 존재하는 파일들을 넣어 진행해 보겠습니다.

위와 같이 bucket을 먼저 생성합니다. 생성하고 테스트를 위해서 민감한 데이터가 담긴 파일과 민감한 데이터가 담기지 않은 파일을 업로드해 봅시다. 

generic_data.txt

0.00MB

important_data.txt

0.00MB

 

업로드하였다면 Macie에 접속하여 Macie를 활성화해 줍니다.

활성화 후 꼭 하지 않아도 되지만 저는 파일을 업로드한 S3 bucket만 확인하기 위해서 아래 설정을 해주었습니다.

Jobs 생성

위 작업들을 마쳤다면 이제 민감한 데이터가 존재하는지 Jobs를 생성하여 확인할 수 있습니다. 아래 사진과 같이 Jobs을 생성합니다.

여기서 조회할 S3 Bucket을 선택합니다. 저는 민감한 데이터와 민감하지 않은 데이터가 존재하는 S3 Bucket을 선택했습니다.

여기서 Scheduled job을 선택하면 매일, 매주, 매달 중에서 선택할 수 있으며 One-time job을 선택하게 되면 한번 실행시킨 후 다시 실행시키지 않습니다. 저는 간단한 테스트를 위해 One-time job으로 선택하였습니다. 

여기서 Recommended를 선택하게 되면 AWS에서 제공하는 표준 관리 데이터 식별자(Managed Data Identifiers)의 추천 세트를 사용할 수 있습니다. 

Custom을 선택하게 되면 AWS Macie에서 제공하는 관리 데이터 식별자 외에, 사용자 정의 규칙(Regular Expressions, Keywords 등)을 만들어 특정 데이터를 탐지하도록 설정할 수 있습니다.

더욱 세밀화된 분석을 위해 custom data identifiers를 추가할 수 있습니다. 

Select allow lists는 탐지 제외 항목입니다. 이 기능을 사용하면 특정 데이터 값이나 형식을 민감 데이터 탐지에서 제외시킬 수 있습니다.

Job name은 원하는 이름으로 설정하시고, 생성합니다.

생성 후 Job의 status가 Complete가 뜨면 정상적으로 성공입니다.

정상동작 확인

Findings에서 민감한 데이터를 감지했는지 확인합니다. 정상적으로 처리했으며, 중요한 정보가 담긴 txt 파일만 위험하다고 알려줍니다. 또한 클릭을 하면 자세한 정보도 나옵니다.

저 같은 경우 S3 객체에는 이름, 우편 주소 또는 운전면허증 식별 번호와 같은 개인 정보가 포함되어 있습니다라고 어떻게 위험한 지도 알려줍니다. 

마무리

오늘은 이렇게 해서 Macie를 구성하여 S3 데이터 분석하였는데, 생각보다 간단했습니다. 여기서 여러 설정 값들을 조정하여 복잡해질 수도 있지만, 이번 글에서는 간단하게 구성해 봤습니다. Macie를 공부하는데 뭐부터 해야 할지 모르실 분들을 위해 글을 작성해 봤습니다. 아직 저도 모르는 부분이 있으며 잘못된 내용도 존재할 수 있습니다. 제 글은 여기까지입니다 읽어주셔서 감사합니다.