Ls{Diary}

[BAEKJOON] 1377번 버블 소트

Ls._.Rain — Thu, 21 Nov 2024 21:08:57 +0900

https://www.acmicpc.net/problem/1377

문제

N은 500,000보다 작거나 같은 자연수
아래와 같은 코드를 실행 시켰을때 출력되는 숫자는?

bool changed = false;
for (int i=1; i<=N+1; i++) {
    changed = false;
    for (int j=1; j<=N-i; j++) {
        if (A[j] > A[j+1]) {
            changed = true;
            swap(A[j], A[j+1]);
        }
    }
    if (changed == false) {
        cout << i << '\n';
        break;
    }
}

-> 시간제한 = 2초, 위 코드의 시간 복잡도 = O(N^2) 이므로 당연한(?) 얘기지만 그냥 구현은 안된다.

간단히 알아보는 정렬 방법

1. 버블 정렬 (Bubble Sort)

방법: 리스트가 정렬될 때까지 반복하며, 인접한 두 원소를 비교하여 필요하면 자리를 바꾼다.
시간 복잡도:
- 최악: O(n^2)
- 최선: O(n)(정렬된 경우)
- 평균: O(n^2)

2. 선택 정렬 (Selection Sort)

방법: 매번 최솟값을 찾아 현재 위치와 교환.
시간 복잡도:
- 최악: O(n^2)
- 최선: O(n^2)
- 평균: O(n^2)

3. 삽입 정렬 (Insertion Sort)

방법: 현재 요소를 적절한 위치에 삽입하여 부분 배열을 정렬 상태로 유지.
시간 복잡도:
- 최악: O(n^2)
- 최선: (정렬된 경우)
- 평균: O(n^2)

4. 병합 정렬 (Merge Sort)

방법: 배열을 반으로 나눈 후 각각 정렬하고 합친다.
시간 복잡도: (모든 경우)

5. 퀵 정렬 (Quick Sort)

방법: 피벗을 기준으로 왼쪽은 작은 값, 오른쪽은 큰 값으로 분할 정렬합니다.
시간 복잡도:
- 최악: O(n^2) (이미 정렬된 경우)
- 평균:

참고로 C++에서 <algorithm> 헤더에 있는 sort()함수는 기본적으로 퀵 정렬 + 삽입 정렬 식으로 섞여서 구현되어있다.

따라서 시간 복잡도 : O(nlogn)을 보장한다!

아이디어

nlogn으로 정렬을 해야함.
기존 버블 정렬의 순서를 따로 기억할 인덱싱을 놔둠.

문제 풀이

결국 버블 정렬에서 바깥 for문이 몇 번 돌고 정렬이 종료되었냐 이므로, 원래 위치 -> 정렬 이후 위치가 가장 큰값 = 최종 반복 횟수!

#include <iostream>
#include <vector>
#include <algorithm>
using namespace std;

int n;
// 숫자, 인덱스
vector<pair<int, int> > arr(500001);

bool cmp(pair<int, int> a, pair<int, int> b) {
    if (a.first == b.first) return a.second < b.second;
    return a.first < b.first;
}

// 오름차순 정렬하면서 총 반복 횟수
int main() {
    cin >> n;
    for (int i = 1; i <= n; i++) {
        int a;
        cin >> a;
        arr[i] = {a, i};
    }
    sort(arr.begin() + 1, arr.begin() + n + 1, cmp);
    int res = -1;
    for (int i = 1; i <= n; i++) {
        // (원래 인덱스 - 정렬 이후 인덱스)의 최댓값 -> 몇 번 반복인지 알기 위해
        if (res < arr[i].second - i) res = arr[i].second - i;
    }
    cout << res + 1;
}

트러블 슈팅

사실 접근 방법은 맞았지만 뭐가 문젠지 계속 실패했다...

이 부분은 검색을 통해서 알아내긴 했지만, C++에서 제공하는 sort()는 불안정 정렬(unstable sort)이라는 점이다.

불안정 정렬?

배열 : [2, 1, 5, 4(처음 나오는 4), 4(두번째 나오는 4), 3, 6]

위 배열에서 기존 sort()를 이용한다면 두개의 4는 처음 나오는 4인지 두번째 나오는 4인지 알 수도 없고, 보장해주지도 않는다!

그렇다면? 아래와 같은 방법이 있다.

table_sort() 이라는 병합 정렬을 사용
비교함수 커스터마이징

나는 비교함수에 조건을 추가하여 커스터마이징 해줬다.

bool cmp(pair<int, int> a, pair<int, int> b) {
    if (a.first == b.first) return a.second < b.second;
    return a.first < b.first;
}

여기서 바로 if 부분이다. 이렇게 되면 같은 숫자가 들어와도 기존 인덱스 순서를 해치지 않고 정확한 인덱스의 이동거리를 알 수 있다!!

[JPA] 영속성 컨텍스트 최소화하기

Ls._.Rain — Wed, 13 Nov 2024 21:45:32 +0900

진행하고 있는 사이드 프로젝트에서 HTTP Method 중 GET요청에 대해 최적화를 진행해봤다.

기존 코드는 Entity 간의 연관관계가 1 : N 이었고, 흔히 말하는 N+1문제가 발생했다.(N+1 문제는 유명하니 검색을 통해 알아보자!)

해결 방법

Join Fetch
EntityGraph
Projection

나는 여기서 3. projection의 방법을 선택했다.

아무래도 DTO로 projection 하는것이 영속성 컨텍스트를 거치지않고 '비영속' 상태로 데이터를 얻을 수 있기 때문에 가장 속도가 빠르다.

선행 개념

영속성 컨텍스트?

먼저 ORM부터 알아보자. ORM(Object Relational Mapping)은 객체와 데이터베이스 테이블의 매핑을 통해 엔티티 클래스 객체 안에 포함된 정보를 테이블에 저장하는 기술이다.

JPA는 이러한 기술 중 하나 이며, 테이블과 매핑되는 엔티티 객체 정보를 영속성 컨텍스트를 통해 애플리케이션 내에서 오래 지속되도록 보관한다.

즉, 1차 캐시로써 활용된다는 뜻이다. 그래서 한 번 조회된 객체는 디스크에서 가져오는 것이 아니라 캐시로써 있는 영속성 컨텍스트에서 가져오므로 성능 상 이점이 있다.

DB

영속성 컨텍스트와 데이터 베이스의 관계는 어떨까?

persist() : 엔티티를 영속성 컨텍스트에 저장
detach() : 엔티티를 영속성 컨텍스트에서 분리
remove() : 엔티티를 영속성 컨텍스트에서 삭제
flush() : 엔티티를 영속성 컨텍스트 -> 데이터베이스에 반영
commit() : flush()가 함께 발생하며, 트랜잭션의 변경 사항을 데이터베이스에 반영
JPQL 쿼리 : 플러시 자동 호출

간단하게 메서드를 통해 어떻게 동작하는지 알아봤다. 그렇다면 무조건 영속성 컨텍스트를 거치지 않고 DTO로 조회하는게 좋을까? NO!

특징	네이티브 쿼리 DTO 조회	엔티티 조회
영속성 컨텍스트 포함 여부	X	O
Dirty Checking 지원	X	O
캐싱 효과	X	1차 캐시 사용
조회 성능	대량 조회 시 유리	소량 조회 및 트랜잭션 관리에 유리
트랜잭션 종료 시 동기화	X	자동으로 DB와 동기화

각 상황에 맞춰서 쓸 줄 아는 법이 중요하다. 이번 포스팅에서 주제는 GET요청에 대한 것이므로 트랜잭션 관리 보다는 빠르게 조회만 하면 되니 DTO로 nativeQuery를 사용해서 조회해보겠다.

    @Query(value = "SELECT v.id AS id, v.name AS name, u.nickname AS userName, " +
            "t.team_name AS teamName, u.profile_image_url AS photoURL, " +
            "DATE_FORMAT(v.date, '%Y-%m-%dT%H:%i') AS partyDate, v.latitude AS latitude, " +
            "v.longitude AS longitude, v.location AS location, " +
            "v.short_location AS shortLocation " +
            "FROM viewing_party v " +
            "JOIN users u ON v.user_id = u.id " +
            "JOIN team t ON u.team_id = t.id " +
            "ORDER BY v.created_at DESC",
            countQuery = "SELECT COUNT(*) FROM viewing_party v " +
            "JOIN users u ON v.user_id = u.id " +
            "JOIN team t ON u.team_id = t.id"
            , nativeQuery = true)
    Page<NativeListDTO> findAllByOrderByCreatedAtDesc(Pageable pageable);

    interface NativeListDTO{
        Long getId();
        String getName();
        String getUserName();
        String getTeamName();
        String getPhotoURL();
        String getPartyDate();
        Double getLatitude();
        Double getLongitude();
        String getLocation();
        String getShortLocation();
    }

좀 많이 복잡하다만,,, 성능은 확실하다. 우선 왜 저렇게 작성했는지 살펴보자.

nativeQuery = true : 기존 JPQL을 사용하는 것이 아니라, DB에서 사용되는 원형의 쿼리를 사용한다.
value : 쿼리 작성
countQuery : 페이징을 위해서 필요한 옵션이다. Pageable로 호출하는 page와, size에 대해 계산할 수 있게 쿼리 결과에 대해 전체 크기를 알려줘야한다.
interface NativeListDTO : 네이티브 쿼리는 DB에서 반환된 각 칼럼 값을 이름으로 식별하고, 이를 DTO의 필드에 매핑한다. 이때 인터페이스의 getter 메서드 이름이 칼럼명과 일치하면 JPA가 이 이름을 기준으로 결과를 매핑할 수 있다.
예를 들어, AS userName이라고 쿼리에서 지정하면, 인터페이스에서도 getUserName()이라는 getter가 있어야 JPA가 이를 찾아서 값을 할당할 수 있다.

테스트

부하 테스트 툴은 Jmeter를 사용했다.

초당 동시 트래픽 200명
샘플링 대략 2000명

요약본

기존 영속성 컨텍스트를 거쳐 조회 했을 경우

Projection의 경우

초당 트랜잭션 실행 수

기존 영속성 컨텍스트를 거쳐 조회 했을 경우

Projection의 경우

응답 시간

기존 영속성 컨텍스트를 거쳐 조회 했을 경우

Projection의 경우

모든 측정에서 DTO로 Projection 했을 경우 2배 이상 향상된 성능을 보여준다!
연관관계가 복잡하게 얽혀있고, Get Method를 통해 조회만을 할때 이런식으로 활용하면 좋을 것 같다!

[DOCKER] 컨테이너 스토리지 관리

Ls._.Rain — Mon, 7 Oct 2024 16:50:53 +0900

2024.09.16 - [DevOps/Docker] - [DOCKER] Docker 명령어 총정리

[DOCKER] Docker 명령어 총정리

2024.09.15 - [DevOps/Docker] - [DOCKER] Docker 아키텍처 [DOCKER] Docker 아키텍처2024.09.15 - [DevOps/Docker] - [DOCKER] 도커 설치 및 컨테이너 개념과 동작 원리 [DOCKER] 도커 설치 및 컨테이너 개념과 동작 원리클라

lsdiary.tistory.com

이전 포스팅에서 Docker에서 컨테이너를 관리하기 위한 명령어를 살펴봤다.

컨테이너 데이터 보존

Image Layer (Read Only Layer)
Container Layer(가변)

이 두 가지로 구분되는 Docker의 특성상 컨테이너를 삭제한다면 이때까지 작업했던 내용은 반영되지 않고, 영구 삭제 된다.

그렇다면 이러한 컨테이너를 영구 보존하려면 어떻게 해야 할까?
여러 개의 컨테이너가 데이터를 공유할 수 없나?

volume mount
- v [호스트 경로]:[컨테이너 마운트 경로]
- v [호스트 경로]:[컨테이너 마운트 경로]:[읽기 모드]

볼륨 마운트를 통해 영구 보존 및 공유가 가능하다.

직접 EC2에 접속해서 Docker로 접속해보자.

ssh -i [pem 키 파일] [사용자이름]@[Public IP 주소]

이전 포스팅에서 실험했던 nginx 컨테이너의 index.html 파일을 'docker cp' 명령어로 변경 하고, curl 명령어로 응답을 확인 했던 내용은, 컨테이너를 삭제하고 나면 다시 원래 상태로 돌아온다.

HOST에 컨테이너가 공유하는 영구적인 데이터 만들기 (관리자 권한이 필요함)

컨테이너 실행 (Read/Write 레이어 생성) -> 볼륨 마운트

docker run --name web -d -v /webdata:/usr/share/nginx/html:ro nginx

> 읽기전용으로 마운트 시켜줌

> 성공

컨테이너 삭제 이후 재실행

> 항상 호스트의 동일 디렉터리에서 데이터를 마운트하므로, 변하지 않는다.

호스트의 디렉터리를 이용해서 다양한 컨테이너에서 사용 할 수 있다.

MySQL 컨테이너에서 만들어진 DB를 영구 보존

위 개념과 정반대로 컨테이너 내부의 폴더를 호스트 디렉터리로 마운트 시켜야한다.

docker run --name db -d -v dbdata:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=pass mysql:8

> :ro (read only)가 빠져있다. (역으로 마운트 하기 위해)

> docker가 관리하는 voulmes 디렉터리는 위 MySQL 실행 명령어에서 호스트의 디렉터리에 "/"를 붙이지 않으면 자동으로 volumes 디렉터리에서 관리하게 된다.

> 위 명령어를 실행하면 /volumes/dbdata 라는 디렉터리가 생성된다.

docker inspect db

> 볼륨 마운트에 대한 정보가 있다.

> "RW (Read/Write)" 가 가능하므로, 컨테이너 내부에서의 데이터와 호스트의 데이터 모두 동기화 된다.

> 컨테이너를 삭제한 이후에도 MySQL 컨테이너 내부의 데이터의 보존 확인

> 이후 MySQL을 볼륨 마운트로 다시 실행 시키면 데이터는 안정적으로 남아있다!

영구보존된 데이터 삭제

docker volume --help

> 볼륨 관리에 대해서 위와 같은 명령어로 볼륨 조작 명령어를 확인 할 수 있다.

docker volume ls : 볼륨들 전부 보여줌
docker volume prune : 사용하지 않는 모든 로컬 볼륨 삭제
docker volume rm : 특정 볼륨 삭제

[DOCKER] Docker 명령어 총정리

Ls._.Rain — Mon, 16 Sep 2024 01:44:58 +0900

2024.09.15 - [DevOps/Docker] - [DOCKER] Docker 아키텍처

[DOCKER] Docker 아키텍처

2024.09.15 - [DevOps/Docker] - [DOCKER] 도커 설치 및 컨테이너 개념과 동작 원리 [DOCKER] 도커 설치 및 컨테이너 개념과 동작 원리클라우드 네이티브 이해 CNCF(Cloud Native Computing Foundation) : 클라우드 네이

lsdiary.tistory.com

이제 도커와 관련된 일반적인 명령어들을 살펴보자.

https://hub.docker.com/

Docker Hub Container Image Library | App Containerization

Increase your reach and adoption on Docker Hub With a Docker Verified Publisher subscription, you'll increase trust, boost discoverability, get exclusive data insights, and much more.

hub.docker.com

> Docker Hub(Registry)에서도 많은 이미지를 볼 수 있고, 이전에 설치했던 EC2에서 CLI로 볼 수도 있다.

https://docs.docker.com/

Home

Docker Documentation is the official Docker library of resources, manuals, and guides to help you containerize applications.

docs.docker.com

> 이 곳에서 명령어를 포함한 많은 정보를 얻을수 있다.

컨테이너 이미지 관리 명령어

이미지 검색 : docker search (docker hub에서만 검색된다)
이미지 다운로드 : docker pull
이미지 목록 보기 : docker images
이미지 히스토리 보기(레이어 정보) : docker history
이미지 세부 정보 보기 : docker inspect
이미지 삭제 : docker rmi

컨테이너 조작 명령어

컨테이너 생성 : docker create
컨테이너 실행 : docker start
컨테이너 종료 : docker stop
컨테이너 강제 종료 : docker kill
컨테이너 삭제 : docker rm
컨테이너 실행 : docker run (create + start)
컨테이너 목록보기 : docker ps
컨테이너 세부 정보 확인 : docker inspect

동작중인 컨테이너 관리

컨테이너 내부 명령어 실행 : docker exec [컨테이너 이름] [실행 명령어]
컨테이너 프로세스 목록 보기 : docker top [컨테이너 이름]
컨테이너 로그 보기 : docker logs [컨테이너 이름]
컨테이너 내부 파일 복사 : docker cp [filename] [컨테이너 이름:/파일이름]
컨테이너 내부 파일 변경 이력 확인 (read/write 레이어에서) : docker diff [컨테이너 이름]

컨테이너 Registry 관리

이미지 빌드 : docker build
이미지 태그 설정 : docker tag
Registry 로그인 : docker login
Registry 로그아웃 : docker logout
이미지를 아카이브 파일로 저장 : docker save
아카이브 파일을 이미지로 로드 : docker load
이미지 내보내기 : docker export
이미지 가져오기 : docker import

위에 나열한 기본적인 명령어를 바탕으로 여러가지 테스트를 진행한다.

원하는 컨테이너 조회

> /(슬래시) 앞에 글자가 있다면 공식적인 것이 아니라 개인이 따로 만든 이미지 이다.

> 메뉴바에 Trusted Content라는 메뉴가 있다. 이 세가지중 하나에 해당한다면 믿고 쓸 수 있다.

> 무조건 official 이미지를 사용하자!!

docker search --filter=stars=3 --no-trunc busybox

> 별 점수가 3개 이상, 설명 줄임표 없는 이미지 출력 예시

컨테이너 이미지 다운로드

> /var/lib/docker/overlay2 디렉토리에 받은 이미지 저장

> 초기세팅은 아무것도 없음

> busybox를 pull 해서 다운 받았는데, 해시값이 보임

> 해시값: Pull complete 메시지 하나당 레이어가 한개씩 있다는 의미

docker images

> 태그(버전)가 같다면 동일 이미지가 유지된다.

> TAG는 다르게 보이지만 실제 docker hub에 현재 기준(2024.09.16) nginx의 latest는 1.27 태그 이므로 IMAGE ID가 동일한것을 확인 할 수있다.

gallery.ecr.aws Registry

https://gallery.ecr.aws/

ECR Public Gallery

Amazon ECR Public Gallery is a website that allows anyone to browse and search for public container images, view developer-provided details, and see pull commands

gallery.ecr.aws

hub.docker.com 에서만 이미지를 다운받을수 있는게 아니다. AWS에서도 이런 컨테이너 기반 서비스를 제공한다.

> 사이트 접속후 apache(nginx와 같은 웹 서버) 검색

> bitnami/apache 클릭 (bitnami에서 만들어진 container는 trust container임)

> Copy

> docker pull [복사한 이미지]

> Registry 마다 이름이 다르게 운영되는걸 확인

docker inspect busybox

> 이미지 세부정보 보기

> Layer 등의 다양한 정보 확인 가능

docker history nginx

> 컨테이너가 어떻게 만들어졌는지 확인

> <missing> 이라고 표시된 부분이 Base Image

docker rmi [이미지 이름]

> 리소스 삭제해서 디스크 공간 확보

컨테이너 관리

컨테이너는 읽기전용의 이미지 레이어(불변의 Union File System(UFS)) + 읽기/쓰기 가능한 컨테이너 레이어를 결합
컨테이너 생성 (create) : 컨테이너 레이어 생성
컨테이너 실행 (start)을 하면 격리된 환경에서 프로세스로 동작

cd /var/lib/docker/overlay2

> 레이어 관리 디렉토리로 이동

docker create --name web nginx

> 컨테이너 생성

> 컨테이너 레이어 생성 확인

> 컨테이너를 실행한적은 없다. 다만 생성 했을 뿐

실행 하고 있지 않은 모든 컨테이너를 보고 싶다면?

docker ps -a

> -a 옵션

docker start [컨테이너 이름 OR CONTAINER ID]

> 프로세스로 동작 확인

> PORTS 열림

Container의 6가지 Isolation

PID, Network[IP address], Host[hostname], Mount, User, IPC(Shared Memory)

그렇다면 컨테이너의 IP 주소는 어떻게 찾지?

docker inspect [컨테이너 이름]

> IP 주소 확인

> curl 명령으로 nginx 컨테이너 접속

docker stop web

> Exited(0) : 정상종료 되었다는 의미

docker rm [컨테이너 이름]

> 레이어가 다시 줄어든것을 확인

Docker run 명령어

pull -> create -> start -> attach(이미지가 없다면 연결) 전부 포함
옵션이 굉장히 많음

-d 옵션 : 백그라운드(daemon 모드)로 동작
--name 옵션 : 뒤에 이름 붙일수 있음

docker run -d --name web nginx

> create + start 와 같은 결과

Docker exec 명령어 (컨테이너 내부로 들어가기)

docker exec [options] [container_name OR id] [컨테이너에서 실행하고 싶은 명령어]

-i + -t = -it 옵션 : bash OR shell 명령을 쓸때 무조건 사용

docker exec -it web /bin/bash

> Container ID, IP 주소 확인

cd /usr/share/nginx/html/

> Nginx html 파일인 index.html 파일 확인

exit

> 컨테이너 외부로 나오기

호스트 파일 컨테이너로 복사

docker cp index.html web:/usr/share/nginx/html

컨테이너 -> 호스트의 경우 파일 순서만 바꿔서 명령어를 입력해주면 된다.

> 디폴트 nginx 페이지 변경 확인

로그 파일 확인

docker logs [컨테이너 이름]

--follow 옵션, -f 옵션 : 실시간 로그
--since, --until : 기간에 따라 로그 조회
--tail 옵션 : 제일 마지막 몇 개까지 조회

docker top [컨테이너 이름] : 컨테이너 내부에서 어떤 프로세스가 동작 중?

docker diff [컨테이너 이름] : Base Image와 생성된 컨테이너 사이에 달라진 부분만 보여줌

> C : Change

> A : Add

> D : Delete

Foreground 컨테이너 설정

docker run -it

Background(Daemon) 실행 : -d 옵션
Foreground(터미널) 실행 : -it 옵션

ls /bin

명령어로 쓸 수 있는 명령어 확인

exit 하면 바로 컨테이너가 종료됨 (stop 상태)

정~~말 기본적인 Docker 명령어에 대해서 알아봤다! 많은 도움이 되었으면 합니다 :)

[DOCKER] Docker 아키텍처

Ls._.Rain — Sun, 15 Sep 2024 11:31:15 +0900

2024.09.15 - [DevOps/Docker] - [DOCKER] 도커 설치 및 컨테이너 개념과 동작 원리

[DOCKER] 도커 설치 및 컨테이너 개념과 동작 원리

클라우드 네이티브 이해 CNCF(Cloud Native Computing Foundation) : 클라우드 네이티브라는 용어를 처음 만든 단체https://www.cncf.io/ Cloud Native Computing FoundationCNCF is the vendor-neutral hub of cloud native computing, dedic

lsdiary.tistory.com

이전 포스팅에서는 EC2 인스턴스를 생성하고 인스턴스 내부에 도커를 설치해봤다.

이번에는 도커가 어떻게 생겼는지 알아보자

컨테이너 아키텍처

BUILD	SHIP	RUN
환경 시작(컨테이너 생성)	이미지 생성(컨테이너 저장소에 저장)	실행, 관리, 스케일링

출처 : https://docs.docker.com/get-started/docker-overview/

What is Docker?

Get an in-depth overview of the Docker platform including what it can be used for, the architecture it employs, and its underlying technology.

docs.docker.com

DOCKER_HOST : 리눅스 운영체제의 Docker daemon이 동작되는 서버를 앞선 포스팅에서 만들었다.
Registry : 컨테이너 이미지가 보관된 저장소, 컨테이너 이미지는 읽기 전용
Container Image : 읽기 전용의 컨테이너 템플릿
- 애플리케이션 실행환경, 소스, runtime(여러개의 layer)이 포함된 독립된 컨테이너 애플리케이션

> 다운로드 받은 컨테이너 이미지 위치

Container : 하나의 프로세스, 호스트 운영체제의 커널을 공유
- 호스트 입장에서 프로세스 중 하나라는 점은 변함없지만, 완벽히 격리되어 운영된다는 차이점

컨테이너 이미지 레이어

이미지는 한 개 이상의 불변의 읽기전용 레이어의 2집한인 Union 파일 시스템
가장 아래 Base Image부터 블록 쌓듯 레이어가 배치되어 overlay(여러 개의 레이어를 하나로 보여주는 것) 구현
컨테이너가 실행될 때(docker run 할때) Container layer(read/write 레이어)가 상단에 배치(생성)되고 전체 레이어를 merge

컨테이너 레지스트리

https://hub.docker.com/

Docker Hub Container Image Library | App Containerization

Increase your reach and adoption on Docker Hub With a Docker Verified Publisher subscription, you'll increase trust, boost discoverability, get exclusive data insights, and much more.

hub.docker.com

이 곳이 바로 컨테이너 레지스트리에 해당한다.

registry : 컨테이너 이미지를 보관하고 있는 저장소
repository : 하나의 컨테이너 이미지에 대해 태그를 사용해 다양한 출시버전을 보관하는 곳
레지스트리 > 레파지토리 > 컨테이너 이미지

Public Regisrty : 누구나 이용할 수 있는 공개된 레지스트리
- Docker Hub : hub.docker.com
- Redhat Quay : quay.io
- AWS : gallery.ecr.aws
Cloud Registry : CSP가 제공하는 레지스트리
- Amazon ECR, Azure container registry, GCP Artifact Registry, NHN Container Registry 등
Private Registry : 온프레미스 환경으로 사내에서 운영할 수 있는 오픈소스 레지스트리
- Harbor
- GitLab Container Registry
- docker registry

[DOCKER] 도커 설치 및 컨테이너 개념과 동작 원리

Ls._.Rain — Sun, 15 Sep 2024 00:56:25 +0900

클라우드 네이티브 이해

CNCF(Cloud Native Computing Foundation) : 클라우드 네이티브라는 용어를 처음 만든 단체

https://www.cncf.io/

Cloud Native Computing Foundation

CNCF is the vendor-neutral hub of cloud native computing, dedicated to making cloud native ubiquitous.

www.cncf.io

퍼블릭, 프라이빗, 하이브리드 클라우드와 같은 현대적이고 동적인 환경에서 확장 가능한 애플리케이션을 개발하고 실행할 수 있게 해줌
컨테이너(도커), 서비스 메쉬, 마이크로서비스(쿠버네티스), 불변 인프라, 선언형 API 등등이 클라우드 네이티브 접근 방식의 예시
회복성, 관리 편의성, 가시성을 갖춘 느슨하게 결합된 시스템을 가능하게 해줌
엔지니어 입장에서 영향이 큰 변경을 최소한의 노력으로 자주 배포할 수있다.
시간 흐름에 따라 생산성과 민첩성이 높아지면서 자연스럽게 생겨남

	Native APP	Web APP	Cloud Native App
애플리케이션 개발 방법론	폭포수 모델	애자일	DevOps
애플리케이션 운영 구조	모놀리틱	멀티티어(프론트 - 비즈니스 - 백엔드)	MSA
애플리케이션 운영 인프라	물리 서버	가상 서버	컨테이너

클라우드 네이티브 기술 계층

Cloud 서비스 -> 컨테이너 -> MSA -> 자동화

컨테이너 이해

애플리케이션과 운영환경이 모두 들어있는 독립된 공간
애플리케이션 가상화
- 경량의 독립 실행형 소프트웨어 패키지
- 코드, 런타임, 시스템 도구, 시스템 라이브러리 및 설정과 같이 응용 프로그램을 실행하는 데 필요한 모든 것을 포함

도커가 그냥 뚝 하고 만들어진것은 아니다! 이것도 역사가 깊다.

Jails -> VServer(리눅스) -> Zonesw -> cgroups(구글) : 특정 프로세스에게 CPU, 메모리, 디스크 같은 리소스 할당 -> Namespaces(redhat) : 특정 프로세스 격리시켜줌 -> LXC(IBM) 의 과정을 걸쳐서 최종적으로 Docker가 탄생했다.

도커 컨테이너 WorkFlow

출처 : https://docs.docker.com/get-started/docker-overview/

What is Docker?

Get an in-depth overview of the Docker platform including what it can be used for, the architecture it employs, and its underlying technology.

docs.docker.com

DOCKER_HOST : 도커 서버, 서비스 Daemon 동작
Registry : 컨테이너 저장
Client - Server 모델의 Daemon 형태로 운영

Docker vs Podman

Docker daemon : image, container, kernel에 대한 접근에 대해 제어
- 중지되면 컨테이너 관련된 애플리케이션 서비스는 하나도 할수없다.(의존성이 강하다)
Root 계정이 아니면 동작 할수없다.
PODMAN : 컨테이너 관리를 위한 도커와 아주 유사한 OCI 컨테이너 관리 툴, Deamon에 의존적인 형태가 아닌 각각 독립적으로 운영 (Root less 컨테이너 운영 가능)

도커 컨테이너 설치

Amazon EC2 인스턴스 만들기

이름 : docker-host
AMI : Ubuntu Server 22.04 LTS (HVM), SSD Volume Type
인스턴스 유형 : t2.micro(cpu 1, memory 1GiB)
키 페어 : 이전에 만들었던 developer.pem
네트워크 설정 : [편집]
VPC : default
서브넷 정보 : ap-northeast-2a
퍼블릭 IP 자동 할당 : 활성화
보안 그룹 : 보안그룹 생성
스토리지 : 8G, gp3

2024.08.15 - [DevOps/AWS] - [AWS] Amazon EC2 인스턴스 만들기

[AWS] Amazon EC2 인스턴스 만들기

2024.08.15 - [DevOps/AWS] - [AWS] Amazon 네트워크 운영하기 [AWS] Amazon 네트워크 운영하기2024.08.15 - [DevOps/AWS] - [AWS] Amazon 클라우드 시작하기 [AWS] Amazon 클라우드 시작하기클라우드 이해 Cloud는 IT 자원(서

lsdiary.tistory.com

이 글을 참고해서 만들면 된다.

ssh -i developer.pem ubuntu@43.203.199.110

> EC2에 ssh 원격접속

키 페어를 새로 만드는 경우 chmod 400 xxx.pem 명령어를 통해 권한 범위를 줄여줘야한다.

sudo apt update

> 관리자 권한 필요

sudo apt install -y apt-transport-https ca-certificates curl software-properties-common

> 필요한 의존성 패키지 설치

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

> 도커 공식 GPG 키 추가

echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

> 도커 repository 추가

sudo apt update
sudo apt install docker-ce

> 도커 설치

sudo docker --version

> 도커 설치 확인

sudo systemctl start docker

> 도커 시작

sudo systemctl enable docker

> 부팅시 도커 자동 시작 설정

docker 관리자(ec2-user) 설정

sudo usermod -aG docker $USER[ubuntu 사용]

> 도커 그룹에 현재 사용자 추가 (sudo 권한 없이 Docker 명령 사용)

id ubuntu

도커 설치가 완료 됐고, 다음 포스팅에선 Docker 명령어들에 대해서 알아보고자 한다.

도커 + EC2 + Nginx +Github Actions를 이용한 다중 컨테이너 배포하기

Ls._.Rain — Sat, 14 Sep 2024 16:44:07 +0900

요구사항

도커 컨테이너(Spring 프로젝트 2개)
MongoDB(MongoDB Atlas)
MySQL(RDS)
Redis(Elastic Cache)

위와 같이 스프링 프로젝트를 컨테이너화 시킨것을 CI/CD 구축할것이다.

먼저 위와 같이 많은 리소스들의 파이프라인 관리와 배포를 위해서 많은 도구들이 제공되어 있다.

ECS, ECR, Jenkins 등등... 아직 나는 그 정도까지는 못할것 같고, 비교적 간단하게(?) 도커, EC2, Nginx, Github Actions를 이용해 보려고한다.

먼저 배포를 위해서는 docker 파일에 대한 정보를 알려주기 위해 Dockerfile을 직접 작성하고, push하고, container Image에 build하고, registry에 등록 하는 방식은 정말 벌써부터 하기가 싫다... -> 이를 자동화 시켜준 도구가 바로 Jib 이다!

Jib

구글에서 만든 Java Image Container Service로, Java에 최적화된 방식으로 이미지를 만들어주고, 위와 같이 복잡한 flow를 Layer Caching으로 세분화 시켜서 이를 자동화, 변경사항만 다시 빌드시켜준다.

jib를 사용했을떄

이 명령어 하나면 모든 작업이 끝난다!!!

./gradlew jib

프로젝트 세팅

기존 작업했던 프로젝트를 들고 오고 Dockerfile을 세팅해주자.

# jdk 17사용
FROM openjdk:17
# 컨테이너속 저장 위치
WORKDIR /app
# 빌드된 JAR 파일 경로, 복사할 위치
COPY ./build/libs/helloworld-mvc-0.0.1-SNAPSHOT.jar /app/helloworld-mvc.jar
EXPOSE 8080
# 복사한 JAR 파일을 실행하도록 설정
CMD ["java", "-jar", "helloworld-mvc.jar"]

# jdk 17사용
FROM openjdk:17
# 컨테이너속 저장 위치
WORKDIR /app
# 빌드된 JAR 파일 경로, 복사할 위치
COPY ./build/libs/helloworld-webflux-0.0.1-SNAPSHOT.jar /app/helloworld-webflux.jar
EXPOSE 8082
# 복사한 JAR 파일을 실행하도록 설정
CMD ["java", "-jar", "helloworld-webflux.jar"]

docker 이미지를 기반으로 CI/CD를 진행하기 위해 이미지를 만들어줄 Docker Hub 계정이 필요하다.

https://hub.docker.com/

Docker Hub Container Image Library | App Containerization

Increase your reach and adoption on Docker Hub With a Docker Verified Publisher subscription, you'll increase trust, boost discoverability, get exclusive data insights, and much more.

hub.docker.com

여기서 로그인/회원가입 진행하면된다.

VPC, EC2, RDS, ElasticCache, MongoDB Atlas

2024.08.15 - [DevOps/AWS] - [AWS] Amazon 네트워크 운영하기

2024.08.15 - [DevOps/AWS] - [AWS] Amazon EC2 인스턴스 만들기

2024.08.17 - [DevOps/AWS] - [AWS] Amazon RDS 사용해보기

[AWS] Amazon RDS 사용해보기

2024.08.16 - [DevOps/AWS] - [AWS] Amazon EC2 원격 로그인 [AWS] Amazon EC2 원격 로그인2024.08.15 - [DevOps/AWS] - [AWS] Amazon EC2 인스턴스 만들기 [AWS] Amazon EC2 인스턴스 만들기2024.08.15 - [DevOps/AWS] - [AWS] Amazon 네트워

lsdiary.tistory.com

이미 만드는 방법에 대한 포스팅을 진행했기에 위 글들을 보고 오면 좋을것같다.

ElasticCache, MongoDB Atlas 사용법은 구글링을 통해 자세히 알아보길 추천한다(본인은 아직 잘 못하기에)

Github Action 스크립트 파일생성

** 꼭 root 디렉토리에 .github 이름의 폴더에 작성해줘야한다.

name: Hello-World Dev CI/CD

on:
  pull_request:
    types: [ closed ]
  workflow_dispatch: # (2).수동 실행도 가능하도록

jobs:
  build:
    runs-on: ubuntu-latest # (3).OS환경
    if: github.event.pull_request.merged == true && github.event.pull_request.base.ref == 'develop'

    steps:
      - name: Checkout
        uses: actions/checkout@v2 # (4).코드 check out

      - name: Set up JDK 17
        uses: actions/setup-java@v4
        with:
          java-version: 17 # (5).자바 설치
          distribution: 'adopt'

      - name: Setup Gradle
        uses: gradle/actions/setup-gradle@v3

      - name: Grant execute permission for gradlew
        run: chmod +x ./gradlew
        shell: bash # (6).권한 부여

      - name: Build with Gradle
        run: ./gradlew clean build -x test
        shell: bash # (7).build시작

      - name: Set Version
        id: set_current_date
        run: echo "version=$(date '+%Y-%m-%d-%H-%M-%S')" >> $GITHUB_OUTPUT

      - name: Docker Image Build
        run: |
          docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/helloworld-mvc:${{ steps.set_current_date.outputs.version }} .
          docker tag ${{ secrets.DOCKERHUB_USERNAME }}/helloworld-mvc:${{ steps.set_current_date.outputs.version }} ${{ secrets.DOCKERHUB_USERNAME }}/helloworld-mvc:latest

      - name: Docker Login
        uses: docker/login-action@v3
        with:
          username: ${{ secrets.DOCKERHUB_USERNAME }}
          password: ${{ secrets.DOCKERHUB_PASSWORD }}

      - name: Docker Hub Push
        run: |
          docker push ${{ secrets.DOCKERHUB_USERNAME }}/helloworld-mvc:${{ steps.set_current_date.outputs.version }}
          docker push ${{ secrets.DOCKERHUB_USERNAME }}/helloworld-mvc:latest

      #ssh 접속 후 docker-compose
      - name: Deploy in EC2
        uses: appleboy/ssh-action@master
        with:
          host: ${{ secrets.HOST }}
          username: ubuntu
          key: ${{ secrets.SSH_KEY }}
          script: |
            cd app
            sudo docker rm -f $(docker ps -qa)
            sudo docker pull ${{ secrets.DOCKERHUB_USERNAME }}/helloworld-mvc
            docker-compose up -d
            sudo docker logs -f helloworld-mvc &> helloworld-mvc.log &
            docker image prune -f

실행흐름도

develop 브랜치로 checkout
자바 설치
gradle 실행 권한 부여
.jar파일 생성
.jar파일 docker image로 빌드
docker-compose up -d 명령어로 도커 컨테이너 빌드

docker-compose.yml

services:
  helloworld-mvc:
    image: swlee1999/helloworld-mvc:latest
    container_name: helloworld-mvc
    ports:
      - "8080:8080"
    environment:
      - 환경 변수 설정

  helloworld-webflux:
    image: swlee1999/helloworld-webflux:latest
    container_name: helloworld-webflux
    ports:
      - "8082:8082"
    environment:
      - 환경 변수 설정

나의 경우 EC2 인스턴스 내부에 파일을 직접 작성해주었다.

문제상황

develop 브랜치가 merge 되었을때 CI/CD가 작동되게 한줄 알았으나, 터미널에서 원격(ssh)접속을 할때 무한 로딩되는 에러가 발생했다. 문제 원인을 살펴보니, AWS EC2모니터링에서 메모리 부족이슈로 인스턴스를 t3.micro -> t3.small 로 스펙업을 해주니 해결되었다.
현재 진행하고있는 사이드 프로젝트에 구글 로그인 구현 부분을 맡았는데, 구글 API에 redirect_url을 설정해줘야한다. 이 부분에서 구글은 비교적 최근부터 HTTPS즉, SSL(Secure Socket Layer)을 적용한 도메인을 배포된 url로 허용해준다.

** SSL : 웹 통신을 할때 적용하는 보안프로토콜
클라이언트 <-> 서버 보안이 향상된 통신 가능

도메인 등록

HTTPS를 적용하기 위해서는 우선 도메인을 먼저 등록해줘야한다.

이 과정 역시 이전 포스팅에서 방법을 다뤘으므로 찾아가서 보길 바란다.

2024.09.04 - [DevOps/AWS] - [AWS] Route 53으로 도메인 서비스 구축하기

[AWS] Route 53으로 도메인 서비스 구축하기

2024.08.18 - [DevOps/AWS] - [AWS] EC2에 스프링 프로젝트 띄우기 [AWS] EC2에 스프링 프로젝트 띄우기2024.08.17 - [DevOps/AWS] - [AWS] Amazon RDS 사용해보기 [AWS] Amazon RDS 사용해보기2024.08.16 - [DevOps/AWS] - [AWS] Amazon E

lsdiary.tistory.com

SSL 인증서 발급

- 발급 방법

EC2에 직접 인증서를 설치
AWS의 인증서 관리서비스인 ACM(AWS Certificate Manager) 사용

나는 AWS 클라우드 서비스를 사용하는김에 2번 방법을 선택해서 진행했다.

> AWS Certificate Manager -> 인증서 -> 인증서 요청 클릭

> 퍼블릭 인증서 요청

> 완전히 정규화된 도메인 이름 : 가비아에서 구매한 도메인 이름(와일드 카드 인증서 사용가능)

> 검증 방법 : DNS 검증

**와일드 카드 인증서 : HTTPS 프로토콜을 사용하여 안전하게 통신할 수 있도록 하는 디지털 인증서, 특정 도메인 이름의 하위 도메인에 얼마든지 사용할 수 있다.
ex. 도메인 이름 : naver.com
www.naver.com, hello.naver.com, bye.naver.com ... 등등 *.naver.com 즉 인증서 관리 최소화 및 비용 절감의 효과를 가져온다!

> 인증서 발급 확인

> CNAME 레코드 (도메인 이름 -> 다른 도메인 이름에 매핑) 확인

> 인증서 <-> Route53 연결

> Route53에서 레코드 생성 클릭

로드 밸런서 생성

AWS에서 HTTPS, 즉 SSL을 적용하기 위해선 서버 인스턴스가 하나더라도 ELB(로드 밸런서)를 적용해야한다.

로드 밸런서란?

들어오는 트래픽을 여러 타깃에 분산하고, 애플리케이션의 가용성, 확장성, 보안, 성능을 개선하며, 전송 중인 민감한 데이터를 HTTPS로 암호화, 트래픽 관리 및 모니터링을 위한 고급 기능을 제공하는 역할

> EC2 -> 로드 밸런서 -> Application Load Balancer 선택 (https 적용을 원하기 때문)

> 로드 밸런서 이름 설정

> 인터넷 경계 체계 선택

> IPv4 선택

> EC2가 있는 VPC 선택

> EC2가 있는 서브넷 하나 이상 선택

> 기존 EC2에 설정한 보안그룹 설정

> 보안그룹 인바운드 규칙 : HTTP(80 포트), HTTPS(443 포트) 추가

> 리스너 및 라우팅 2개 등록 (HTTP, HTTPS)

> HTTPS의 경우 인증된 ACM을 등록해주자.

> 80, 443 포트에서 들어오는 트래픽을 수신 대기하고 등록된 대상으로 전달하여 처리

대상 그룹을 만들어줘야한다!! 만들러가자

대상 그룹 생성

> EC2 -> 대상 그룹 -> 대상 그룹 생성

> 대상 유형 = 인스턴스 선택

> 대상 그룹 이름 입력

> 프로토콜 = HTTP, 포트 = 80 -> EC2 인스턴스가 80포트 이용하기 때문

> 로드 밸런서를 적용할 인스턴스 선택

> 대상 그룹 생성

로드 밸런서 생성 (다시 돌아와서)

위에서 하다 만 로드 밸런서 생성과정중 생성한 대상 그룹을 설정해주자.

> 최종적으로 로드 밸런서 생성!

HTTP -> HTTPS 리다이렉션

> 리스너 -> HTTP:80 편집

> 도메인 80포트로 들어왔을때 조건 추가

> HTTPS(443포트)로 URI 영구 리다이렉션

이제 HTTP로 접속해도 자동으로 SSL 접속이 된다!

Route53 설정

만든 도메인으로 접속하면 바로 EC2로 접속하는게 아닌, 로드 밸런서로 접근하게 해줘야한다. Route53에서 설정해주자.

> A레코드 선택

> 트래픽 라우팅 대상

> 리전 선택, 라우팅할 로드 밸런서 선택

** 맨앞에 내가 생성한 기억이 없는 dualstack이라는것이 붙어있는데 주소 체계를 IPv4, IPv6 모두 사용하는 경우에 해당하는 것이라고 하니 나 같이 IPv4 주소에 대해서 설정해줄때는 앞에 dualstack을 빼주자

EC2에 NGINX 설치

NGINX란?

대표적인 웹 서버로, Apache보다 높은 성능과 안정성이 특징인 웹 서버이다.
스프링에 띄운 서버 2개에 접근하기 위한 리버스 프록시 용도로 사용했다.

nginx에 대해서는 내용이 많으므로 다른 글에 따로 정리할 예정이다. 우선 리버스 프록시를 위해서 사용한다는 정도만 알고 있자.

sudo ssh -i <pem 키 파일 위치> ubuntu@<퍼블릭IP>

> bash에서 ssh 명령어로 EC2에 원격접속

sudo apt update
sudo apt-get install nginx

> nginx 설치

sudo service nginx start

> 설치 확인

cd /etc/nginx/sites-available/default

> nginx 설정파일 경로 이동

sudo vi default

server {
        listen 80 default_server;
        listen [::]:80 default_server;
        
        server_name gotoend.store;
        # HTTP 요청 받을시 Header에 _(언더바) 인식
        underscores_in_headers on;

        location / {
                # First attempt to serve request as file, then
                # as directory, then fall back to displaying a 404.
                try_files $uri $uri/ =404;
        }

        location /mvc {
        		# nginx에서 spring으로 요청할때 /mvc 제외하고 uri 요청
                rewrite ^/mvc(/.*)$ $1 break;
                # swagger 요청 prefix
                proxy_set_header X-Forwarded-Prefix /mvc;
                proxy_pass http://localhost:8080;
                # CORS 관련 헤더 추가
                add_header 'Access-Control-Allow-Origin' '*';
                add_header 'Access-Control-Allow-Methods' 'GET, POST, PUT, DELETE, OPTIONS';
                add_header 'Access-Control-Allow-Headers' 'Authorization, Content-Type';
                proxy_set_header    Upgrade             $http_upgrade;
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;	# 요청 클라이언트 IP
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;	# 클라이언트의 IP와 거쳐온 프록시 서버들의 IP들
                proxy_set_header X-Forwarded-Proto $scheme;
                proxy_pass_request_headers on; # 클라이언트의 모든 요청 헤더를 백엔드로 전달
        }

        location /webflux {
                # nginx에서 spring으로 요청할때 /webflux 제외하고 uri 요청
                rewrite ^/webflux(/.*)$ $1 break;
                # swagger 요청 prefix
                proxy_set_header X-Forwarded-Prefix /webflux;
                proxy_pass http://localhost:8082;
                # CORS 관련 헤더 추가
                add_header 'Access-Control-Allow-Origin' '*';
                add_header 'Access-Control-Allow-Methods' 'GET, POST, PUT, DELETE, OPTIONS';
                add_header 'Access-Control-Allow-Headers' 'Authorization, Content-Type';
                proxy_set_header    Upgrade             $http_upgrade;
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header X-Forwarded-Proto $scheme;
                proxy_pass_request_headers on; # 클라이언트의 모든 요청 헤더를 백엔드로 전달
        }
}

> defalut 파일에 리버스 프록시 구성 설정

sudo nginx -t  # 설정 파일 테스트
sudo systemctl restart nginx  # Nginx 재시작

> nginx 설정 파일 적용 테스트

 forward-headers-strategy: FRAMEWORK

> 스프링 .yml 파일 수정

X- : 비표준 헤더를 의미
스프링에서 디폴트 설정(none)은 표준헤더값만 가져올수있다.

최초 Client의 IP로 부터 header 정보를 함께 가져오는데
1. Nginx에서 remoteAddr로 최초 IP를 가져온다.
2. Nginx에서 설정한 proxy_set_header는 비표준 헤더이므로 스프링에 .yml 파일에 framework 설정을 추가해준다.
3. X-Forwarded-For, X-Forwarded-Proto, X-Forwarded-Prefix 등등 표준 헤더 외에 비표준 헤더를 가져올 수 있다.

도커 + EC2 + Nginx +Github Actions를 이용한 다중 컨테이너 배포하기 완료!!

클라이언트 접속 플로우

Route53에 있는 도메인 주소
ELB로 이동
ELB (80포트)로 이동
ELB(443포트)로 이동
EC2(80포트)로 이동
Nginx가 리버스 프록시 역할
1. /mvc(8080 포트) 로 이동
2. /webflux(8082 포트) 로 이동

[AWS] AWS 리소스 삭제하기!

Ls._.Rain — Wed, 4 Sep 2024 10:54:54 +0900

나를 포함해서 많은 사람들이 AWS를 사용하고 있지않는다고 생각함에도 매달 비용이 청구되는 경우가 있다.

이건 여러 서비스들을 이용하고 더 이상 필요하지 않은 리소스를 삭제해주지 않아서 생기는 문제다. 이 포스팅이 리소스를 잘 삭제할수있게 도와주고 돈을(?) 아끼게 해주면 좋겠다..

상황설명

나의 경우 AWS VPC를 만들어서 네트워크를 구축했고, 거기에 EC2 인스턴스를 만들었다.
RDS도 네트워크상에 만들어줬고, 만든 EC2에는 Route 53으로 도메인 이름을 설정해줬다.

리소스 삭제 순서

Route 53 삭제
1. 레코드 삭제
2. 호스팅 영역 삭제
RDS 삭제
1. 데이터베이스 삭제
2. 옵션그룹 삭제
3. 파라미터 그룹 삭제
4. 서브넷 그룹 삭제
EC2 인스턴스 삭제
1. 인스턴스 삭제
2. 탄력적 IP 삭제
3. 보안 그룹 삭제
4. 키페어 삭제 (옵션)
AWS 네트워크 삭제
1. NAT 게이트웨이
2. 인터넷 게이트웨이 삭제
3. VPC 삭제

Route 53 삭제

> 기본으로 생성된 NS, SOA 레코드를 제외한 모든 레코드 삭제

> 이후 호스팅 영역 삭제

** 가비아에서 구매한 도메인도 계속 과금이 되기 때문에 그것도 가비아에서 직접 삭제해줘야한다!

RDS 삭제

> 데이터베이스 삭제 (시간 조금 걸림)

> 옵션 그룹 삭제

> 파라미터 그룹 삭제

> 서브넷 그룹 삭제 (서브넷 그룹의 경우 데이터베이스가 삭제되어야 삭제가능)

EC2 인스턴스 삭제

> Terminate (delete) instance (인스턴스 종료 = 삭제)

> 탄력적 IP 클릭

> EC2에 할당된 탄력적 IP 주소 릴리스 클릭

> NAT 게이트웨이에 연결된 탄력적 IP주소는 VPC가 먼저 제거되어야 삭제가능

> EC2, DB에 대한 보안 그룹 삭제

AWS 네트워크 삭제

> VPC -> NAT 게이트웨이

> NAT 게이트웨이 삭제

> NAT 게이트웨이가 삭제완료되어야 인터넷 게이트웨이를 삭제할수 있다.

> 인터넷 게이트웨이 클릭

> 디폴트 IG 제외하고 VPC에서 분리 클릭

> 이후 인터넷 게이트웨이 삭제

> VPC 삭제

> 라우팅 테이블, 서브넷을 포함한 VPC와 관련된 모든 리소스 삭제

> 마지막으로 NAT 게이트웨이에 연결된 탄력적 IP 주소 릴리스

비용관리

> 청구서에서 얼마정도의 금액이 청구될것인지 확인할수있다.

> 프리티어 서비스의 경우 0.00$로 표시된다.

~~(NAT 게이트웨이 더럽게 비싸다)~~

> 프리티어 서비스 사용량도 확인할수 있다.

[AWS] Route 53으로 도메인 서비스 구축하기

Ls._.Rain — Wed, 4 Sep 2024 09:52:25 +0900

2024.08.18 - [DevOps/AWS] - [AWS] EC2에 스프링 프로젝트 띄우기

[AWS] EC2에 스프링 프로젝트 띄우기

2024.08.17 - [DevOps/AWS] - [AWS] Amazon RDS 사용해보기 [AWS] Amazon RDS 사용해보기2024.08.16 - [DevOps/AWS] - [AWS] Amazon EC2 원격 로그인 [AWS] Amazon EC2 원격 로그인2024.08.15 - [DevOps/AWS] - [AWS] Amazon EC2 인스턴스 만들

lsdiary.tistory.com

지난 포스팅까지 EC2에 스프링 프로젝트를 띄우고, 인터넷에서 Public IP 주소로 접근해서 나의 Rest API가 잘 작동하는지 테스트했다. 그렇다면 www.(호스트 이름)naver.com(도메인이름)같은 도메인 주소로 접근할려면 어떤 설정이 필요할까?

인터넷상의 모든 컴퓨팅 기기들은 고유한 IP 주소를 통해 통신한다.

위 개념에서 사람은 IP 주소 대신 호스트이름 + 도메인 이름 -> FQDN(Full Qualified Domain Name)을 사용한다.

왜? 사람한테 편하니까!

호스트이름 <-> IP 주소 매핑
초기에는 각 서버에 HOSTS.TXT(/etc/hosts) 라는 파일을 두고 관리를 했었다 -> 시간이 지날수록 네트워크로 연결되는 컴퓨터가 너무 많아짐
그래서 나온것이 DNS Server (IP주소, 호스트이름, 별칭)이다. HOSTS.TXT에서 DNS Server로 질의를 보내는 방식이다.

DNS(Domain Name System)

클라이언트/서버 모델
분산/계층 모델
ICANN(국제 인터넷 주소 관리 기구) -> 도메인 이름 유일성 만족시키게 관리

순서대로 계층적 관리 root(.) -> TLD(.com) -> SLD(naver) -> www

자신보다 한단계 밑에있는 도메인만 관리한다.

도메인 등록은 어떻게?

도메인 등록처에 중복되지 않는 도메인이름을 요청하면된다.

ex. aws, gabia 등 제공업체를 이용하자

도메인 접속 흐름도

사실 모든 HOST는 로컬 DNS서버가 등록되어있다.

도메인으로 접속 요청 -> Local DNS 서버
도메인에 해당하는 IP주소를 캐시로 요청한다.
1. 캐시에 정보 없으면 Local DNS 서버(Client) -> 전세계 13곳(A~N) Root 서버(Server)에 질의
2. TLD 질의
3. SLD 질의
실제 IP 주소로 접속 요청

Amazon Route 53

가용성과 확장성이 뛰어난 도메인 이름 시스템(DNS) 웹 서비스
사용자 요청을 AWS 또는 온프레미스에서 실행되는 인터넷 어플리케이션에 연결
주요기능
- 도메인 등록
- 상태 확인 및 모니터링
- DNS 장애 조치
- 다양한 라우팅 정책
- VPC 용 Private DNS

위의 도메인 접속 흐름도에서 캐시에 정보가 없다면 Root 서버에 질의 한다고 했는데, 마지막 SLD질의 이후 IP주소를 확인 하기 위해 Route 53에서는 레코드라는 것이 존재한다.

Key-Value 형식으로 도메인의 IP주소 저장

도메인으로 나의 서버를 접속할수 있게 만들기위해서 간단하게 정리하자면

도메인 신청
Route53 만들기
레코드 파일 만들기
레코드에 매핑정보 기록

Amazon Route 53 레코드 유형

NS(Name Server) : 도메인 네임서버의 이름을 나열. Route 53 만들면 기본 4개의 DNS서버가 레코드 정보를 관리 - 자동생성
SOA(Start Of Authority) : 레코드 및 Route 53 동작을 결정하는 기본 정보를 나열 - 자동생성
A(Address) : 특정 FQDN의 IP 주소 나열 - 따로 설정(IP가 자주 변동되면 안되기 때문에 EC2에 탄력적 IP 설정)

도메인 구매

https://domain.gabia.com/?utm_source=google-gdn&utm_medium=banner&utm_campaign=%EB%8F%84%EB%A9%94%EC%9D%B8&utm_term=%EB%8F%84%EB%A9%94%EC%9D%B8

가비아: 대한민국 도메인 점유율 1위

대한민국 100만 도메인 등록 업체

domain.gabia.com

AWS에서도 도메인을 등록할수있지만, 가비아에서 등록하도록 한다.

> 원하는 도메인 이름 검색

각각 TLD 마다 요금이 다르게 측정된다.

(연습이니까 저렴한걸로 구매..)

결제는 사이트 절차에 따라서 하면된다.

> Route 53 -> 호스팅 영역에서 구매한 도메인 등록할수 있음

> 등록된 도메인에서 도메인을 구매할수도 있음(나는 가비아에서 구매했으므로 패스)

> 호스팅 영역 생성 클릭

> 가비아에서 등록한 도메인 이름과 똑같이 입력

> 퍼블릭 호스팅 영역 선택

> 호스팅 영역 생성 클릭

> 자동생성된 NS 4개 -> 가비아에 등록

> 가비아 -> DNS 관리툴 -> 만든 도메인 클릭 -> 전체 도메인 -> 네임서버 -> 설정 -> 1차 ~ 4차 까지 NS 등록 (단 맨 뒤 '.' 제외)

> 소유자 인증 클릭

> 적용

> EC2 -> 탄력적 IP -> 탄력적 IP주소 할당 클릭

> 기존에 만든 EC2와 주소 연결

> EC2의 IP주소 고정

> 레코드 생성 클릭

> 호스트 이름 설정

> 레코드 유형 - A 설정

> 값에 - 탄력적 IP 주소 설정

> 레코드 생성

>> 도메인 이름으로 접속 가능!

** 동일한 IP 주소로 여러개의 이름을 등록하는것도 가능하다.

[AWS] EC2에 스프링 프로젝트 띄우기

Ls._.Rain — Sun, 18 Aug 2024 00:11:46 +0900

2024.08.17 - [DevOps/AWS] - [AWS] Amazon RDS 사용해보기

[AWS] Amazon RDS 사용해보기

lsdiary.tistory.com

이전 포스팅까지 AWS에서 제공하는 다양한 서비스들을 활용하며 테스트 해봤다.

서버/백엔드 개발자로서 많이 사용하는 Spring 프로젝트를 이때까지 진행했던 클라우드 서비스에 올려보려고한다.

전체과정

테스트 스프링 프로젝트 준비(property / yml 파일 변경)
Gradle로 패키징 -> jar 파일 생성
EC2에 jar 파일 업로드
EC2 서버 내부에서 스프링부트 실행(8080 포트)
1. 보안그룹 인바운드 규칙에 8080 포트 추가
MySQL 연결 확인

SpringBoot

로컬 설정파일

server:
  port: 8080


spring:
  datasource:
    url: jdbc:h2:mem:admin;mode=mysql
    username: admin
    password: admin
    driver-class-name: org.h2.Driver

  h2:
    console:
      enabled: true  # 웹 콘솔 사용 설정
      path: /h2-console
      settings:
        web-allow-others: true

  jpa:
    # jpa 수행 쿼리 확인.
    show-sql: true
    hibernate:
      ddl-auto: create-drop
      naming:
        physical-strategy: org.hibernate.boot.model.naming.PhysicalNamingStrategyStandardImpl
        implicit-strategy: org.hibernate.boot.model.naming.ImplicitNamingStrategyLegacyJpaImpl
    defer-datasource-initialization: true
  output:
    ansi:
      enabled: always
  sql:
    init:
      platform: h2
      data-locations: classpath:sql/admin.sql
      mode: always
logging:
  level:
    org.hibernate.type: trace

EC2에 연결될 설정

server:
  port: 8080


spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://test1-rds-mysql8.ctcbbrvzgs2x.ap-northeast-2.rds.amazonaws.com:3306/projectdb
    username: developer
    password: developer123!


  jpa:
    # jpa 수행 쿼리 확인.
    show-sql: true
    hibernate:
      ddl-auto: create-drop
      naming:
        physical-strategy: org.hibernate.boot.model.naming.PhysicalNamingStrategyStandardImpl
        implicit-strategy: org.hibernate.boot.model.naming.ImplicitNamingStrategyLegacyJpaImpl
    defer-datasource-initialization: true
  output:
    ansi:
      enabled: always
  sql:
    init:
      platform: h2
      data-locations: classpath:sql/admin.sql
      mode: always
logging:
  level:
    org.hibernate.type: trace

RDS 엔드포인트 설정

> 활성 yml파일 설정

>> 연결 확인!

admin.sql

INSERT INTO SampleProject (id,projectName, description) VALUES (1,'project-1', 'project-1-DESCRIPTION');
INSERT INTO SampleProject (id,projectName, description) VALUES (2,'project-2', 'project-2-DESCRIPTION');
INSERT INTO SampleProject (id,projectName, description) VALUES (3,'project-3', 'project-3-DESCRIPTION');

> API 작동 확인

> h2 데이터베이스 확인

로컬, RDS 연결 모두 확인

gradle로 패키징 (jar 파일)

> build로 jar파일 생성

> jar 파일 확인

> jar 파일 실행

java -jar projectsample-0.0.1-SNAPSHOT.jar

EC2에 jar파일 업로드

EC2 퍼블릭 IP 주소 필요

scp -i ~/desktop/Spring정리/AWS/developer.pem projectsample-0.0.1-SNAPSHOT.jar ec2-user@43.202.62.115:~/

원격 파일 복사 명령 : scp -i [.pem위치] [jar파일] [EC2사용자아이디@EC2 퍼블릭 IPv4주소]:~/[원하는 주소]

> EC2에 원격접속해서 복사된 파일 확인

ssh -i [.pem 파일] [EC2 사용자 아이디]@[EC2 퍼블릭 IPv4 주소]

EC2에 java 설치

루트 권한 부여

sudo su

Java 설치할수 있는 목록 확인

yum list | grep java-11

Java설치

yum install java-11-amazon-corretto.x86_64

> 중간에 "y" 로 설치 계속 진행

> 설치완료 확인

java -jar projectsample-0.0.1-SNAPSHOT.jar

> EC2 내부에서 jar 파일 실행

배포된 EC2의 퍼블릭 IPv4 주소로 접속

빙글빙글 로딩되는 것만 보이고 접속이 안됨..

왜 안되지???

-> 8080 PORT를 보안그룹의 인바운드 규칙에서 안열어줬기 때문!

AWS -> EC2 -> 보안그룹 이동
인바운드 규칙 8080포트 추가

> 간단 서버 배포 성공!

근데 이렇게 배포된 스프링부트는 아까 두가지의 설정이있었는데, 디폴트 설정만 적용되어서 배포되지 않나..?

CLI 명령어를 통한 옵션 설정

java -jar -Dspring.profiles.active=prd [jar 파일]

> prd로 구동되는것을 확인

로그 확인

nohup java -jar -Dspring.profiles.active=prd [jar 파일] &

nohup : 백그라운드로 jar 파일을 실행할수 있게하는 옵션
& : 실행시킨 프로세스의 PID를 반환

> 백그라운드로 실행되고, 로그를 확인할수 있게됨

EC2 내부 MySQL 접속 확인

 mysql -h [RDS 엔드포인트] -u [사용자아이디] -p

-p : 패스워드로 접속한다는 옵션

> 잘 접속 되었음!

백그라운드 실행 프로세스 종료

ps -ef

실행 프로세스 확인

ps -ef | grep java

java에 관련된 실행중인 프로세스 확인

kill -9 [PID]

프로세스 죽이기

간단하게 배포하는 방법을 살펴봤다!