[TIL] 2023-10-23

오늘은 FileZilla를 활용해서 기존에 로컬에서 쓰던 Elasticsearch 데이터를 EC2의 Elasticsearch에서 활용할 수 있도록 데이터를 이관하는 작업을 진행했다. 

 

처음에 접근할 권한이 없다고 나와서 chmod - R 777 /var/lib/elastcsearch 명령어를 활용해 해당 폴더에 접근할 수 있도록 권한을 부여하였고, FileZilla를 이용해 로컬의 data폴더를 이동했다.

 

그러나 테스트를 진행하자 원래 블랙티를 검색하면 1000개의 검색결과가 나와야 하는데 2001개가 나와서 원인을 찾던 도중 로컬에서도 2001개로 데이터가 잘못 삽입된 것을 알게 되었다. 아마 schedule을 돌면서 중복데이터는 삽입이 되지 말아야 하는데 중복 데이터의 여부를 정해주지 않아서 모든 데이터가 계속해서 반복해서 들어가다 보니 해당 문제가 발생한 것으로 추정이 된다.

 

db.conf 파일을 수정하고, 다시 Logstash 로 data를 가공하고 기존에 있던 데이터를 삭제하고 옮겨서 테스트를 진행하니 잘 진행이 되었다.

 

이왕 데이터를 옮기는 김에 RDS쪽도 손을 봤다. 기존에 테스트용 1200개의 데이터가 있는 DB는 그대로 두고 새로 DB를 파서 workbench를 활용해서 로컬에 있는 sql데이터를 RDS에 삽입하고 해당 데이터를 확인했다.

 

그리고 Apache Kafka를  사용하기 위해서 기초적인 가이드 영상을 봤지만, 아직 이해가 부족했다.

 

내일은 EC2에 올린 ES와 RDS를 기존에 서버에 연결해 부하테스트를 진행하고, Kafka 공부를 할 예정이다.