yshim blog

리액터 패턴

2020-09-29T00:00:00+00:00

리액터 패턴

이벤트 처리(event handling) 디자인 패턴이다. JAVA TCP 통신에서 클라이언 수 만큼 Thread를 생성한다.
생성된 Thread에서 동시에 여러개의 요청이 들어올 경우 context switching이 빈번히 발생하게 되는데 리액터 패턴은
event handler에게 역할을 위임하여 이러한 문제를 해결한다.

에코 채팅 서버

public class Main {
    public static final int PORT = 5000;
    
    public void main(String[] args) {
        Reactor reactor = new Reactor(PORT);
        
        reactor.registerHandler(new ReactorEventHandler());
        reactor.startServer();
    }
}

public class Reactor {
    private ServerSocket serverSocket;
    private HandleMap handleMap;
    
    public Reactor(int port) {
        handleMap = new HandleMap();
        try {
            serverSocket = new ServerSocket(port);
        } catch (IOException e){
          e.printStackTrace();
        }
    }
    
    public void startServer() {
        ThreadPoolDispatcher dispatcher = new ThreadPoolDispatcher();
        dispatcher.dispatch(serverSocket, handleMap);
    }
    
    public void registerHandler(EventHandler handler) {
        handleMap.put(handler.getHandler(), handler);
    }
    
    public void removeHandler(EventHandler handler) {
        handleMap.remove(handler.getHandler());
    }
}

public interface Dispatcher {
    public void dispatch(ServerSocket serverSocket, HandleMap handleMap);
}

public class HandleMap extends HashMap<String, EventHandler> {
    private static final long serialVersionUID = 1L;
}

public class Demultiplexer implements Runnable {
	private final int HEADER_SIZE = 6;

	private Socket socket;
	private HandleMap handleMap;
	
	public Demultiplexer(Socket socket, HandleMap handleMap) {
		this.socket = socket;
		this.handleMap = handleMap;
	}

	@Override
	public void run() {
		InputStream inputStream = null;
		try {
			byte[] headerBuffer = new byte[HEADER_SIZE]; 
			inputStream = socket.getInputStream();
			
			inputStream.read(headerBuffer);
			String header = new String(headerBuffer);

			handleMap.get(header).handleEvent(inputStream);
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			if (inputStream != null) {
				try {
					inputStream.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
			
			if (socket != null) {
				try {
					socket.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
	}
}

public class ThreadPoolDispatcher implements Dispatcher {

	static final String NUM_THREADS = "8";
	static final String THREAD_PROP = "Threads";

	private int numThreads;

	public ThreadPoolDispatcher() {
		numThreads = Integer.parseInt(System.getProperty(THREAD_PROP, NUM_THREADS));
	}

	@Override
	public void dispatch(final ServerSocket serverSocket, final HandleMap handleMap) {
		for (int idx_thread = 0; idx_thread < (numThreads - 1); idx_thread++) {
			Thread thread = new Thread() {
				public void run() {
					dispatchLoop(serverSocket, handleMap);
				}
			};
			thread.start();
		}		
		dispatchLoop(serverSocket, handleMap);
	}

	private void dispatchLoop(ServerSocket serverSocket, HandleMap handleMap) {
		while (true) {
			try {
				Socket socket = serverSocket.accept();

				Demultiplexer demultiplexer = new Demultiplexer(socket, handleMap);
				Thread thread = new Thread(demultiplexer);

				thread.start();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}
}

힐 암호(Hill cipher)

2020-08-21T00:00:00+00:00

힐 암호(Hill cipher)

행렬을 이용한 치환 암호이다.
1929년 레스터 힐이라는 미국 수학자에 의해 발명되었다.
둘 이상의 알파벳을 함께 다른 문자로 치환하기때문에 빈도분석에 쉽게 깨지지않는다.

힐 암호문 복호화하기

키는 N*N행렬을 사용했다.
평문은 문장으로서 의미를 갖고있다.
영어 알파벳 a~z로 이루어져있다.

위에 조건과 함께 아래의 다음과 같은 암호문이 주어졌다고 가정한다.
HSVEUEELEEKOCELTNOAYAASPRNWZSTFZMGHQZDQDMTLTOWAAXHWJPXHLSJSRRVJNNBVAXLXWRTJDITBVISFACQGOEREGQVAPLBSTYCJRMDVTRTJFWFURCFQPKZUTSBITAIRQDITLFOLZFZFLLCTFSBFQCLYRDDDFQPNOHZIHXWZSHT

암호문의 길이는 174자이다. 이 문자열은 2,3,6..으로 나누어떨어지므로 복호화에 사용될 키행렬은 2x2, 3x3 6x6을 가지고 있다고 예상할 수 있다. 3x3 키행렬로 암호화가 되었다고 가정하고 복호화를 진행한다.

 [A, B, C]
 [D, E, F] x [HSV...3글자씩]
 [G, H, I]

= [H*`A`+S*`B`+V*`C`, H*`D`+S*`E`+V*`F`, H*`G`+S*`H`+V*`I`]

하나의 행의 계산 결과는 한글자를 의미하는 것을 알 수있다. 하나의 행에 각 원소는 26개의 알파벳을 가질 수있으므로 경우의 수는 26*26*26=17576의 경우를 계산한다. 각각의 경우의 수에서 알파벳의 각 분포도를 기반으로 카이 제곱근을 통해 행의 스코어를 매긴다. 스코어가 높을수록 복호화된 키일 가능성이 높다. 가능성있는 키 후보군을 뽑아 가능한 모든 조합의 평문을 출력하여 올바른 문장을 찾을 수 있다.

JAVA 코드

static final String TEXT = "HSVEUEELEEKOCELTNOAYAASPRNWZSTFZMGHQZDQDMTLTOWAAXHWJPXHLSJSRRVJNNBVAXLXWRTJDITBVISFACQGOEREGQVAPLBSTYCJRMDVTRTJFWFURCFQPKZUTSBITAIRQDITLFOLZFZFLLCTFSBFQCLYRDDDFQPNOHZIHXWZSHT";
static double[] frequency = {8.17, 1.49, 2.78, 4.25, 12.70, 2.23, 2.02, 6.09
,7.00, 0.15, 0.77, 4.03, 2.41, 6.75, 7.51, 1.93
,0.10, 5.99, 6.33, 9.06, 2.76, 0.98, 2.36, 0.15
,1.97, 0.07};
static int MOD = 26;
public static void main(String[] args){
    // 17576 경우의 모든 키값 조회
    for (int x=0; x<26; x++){
        for (int y=0; y<26; y++){
            for (int z=0; z<26; z++){
                processChiSquaredStatistic(x,y,z);
            }
        }
    }

    Collections.sort(list);
    for (int i=0; i<3; i++){
        Node n =list.get(i);
        System.out.println(n.x+" "+n.y+" "+n.z);
    }
}

public static void processChiSquaredStatistic(int x, int y, int z){
    int[] observedCount = new int[26];
    int length = TEXT.length();
    // 암호문 3글자씩 처리하기 
    for (int i=0; i<length-3; i+=3){
        int a = TEXT.charAt(i+0)-'A';
        int b = TEXT.charAt(i+1)-'A';
        int c = TEXT.charAt(i+2)-'A';
        observedCount[(a*x+b*y+c*z)%MOD]++;
    }

    double size = (double)(length/3); //428
    double total = 0;
    for (int i=0; i<observedCount.length; i++){
        double expectedCount = frequency[i]/100*size;
        double residual = (double)observedCount[i] - expectedCount;
        double cal = residual * residual / expectedCount;
        // System.out.println(expectedCount+" "+(double)observedCount[i]+" "+residual+" "+cal);
        total += cal;
    }
    list.add(new Node(x,y,z,total));
}

public static class Node implements Comparable<Node>{
    int x;
    int y;
    int z;
    double total;
    
    public Node(int x, int y, int z, double total){
        this.x=x;
        this.y=y;
        this.z=z;
        this.total=total;
    }
    
    public int compareTo(Node n){
        return Double.compare(this.total, n.total);
    }
    
    public String toString(){
        return x+" "+y+" "+z+" "+total;
    }
}

[백준] 1922 네트워크 연결

2020-08-10T00:00:00+00:00

union-find 정리

그래프 알고리즘이다.
union : 집합을 합친다.
find : 어떤 집합에 포함되어있는지 찾는다.

연결 관계를 나타내는 배열을 초기화한다.

int[] parent = new int[10+1];

for (int i=1; i<=10; i++){
    parent[i] = i;
}

연결 관계의 부모를 찾는다. find

public int find(int x){
    if (x == parent[x])
        return x;
    else
        return parent[x] = find(parent[x]);
}

두 집합을 합친다. union

public void union(int x, int y){
    x = find(x);
    y = find(y);
    
    if (x != y){
        if (x < y) parent[y] = x;
        else parent[x] = y;
    }
}

kruskal 알고리즘 정리

가장 적은 비용으로 모든 노드를 연결하기 위한 알고리즘이다.
union-find 알고리즘이 사용된다.

연결 관계, 비용을 멤버 변수로갖는 객체를 만들고 비용을 기준으로 오름차순 정렬한다. 적은 비용순서로 싸이클이 발생하지 않게 연결하여 최소 비용을 구한다.

public class Node implements Comparable<Node>{
    int v1;
    int v2;
    int cost;
    
    public Node(int v1, int v2, int cost){
        this.v1 = v1;
        this.v2 = v2;
        this.cost = cost;
    }
    
    public int compareTo(Node n){
        return Integer.compare(this.cost, n.cost);
    }
}

public int find(int x){
    if (parent[x] == x)
        return x;
    else
        return parent[x] = find(parent[x]);
}

public void union(int x, int y){
    x = find(x);
    y = find(y);
    
    if (x != y){
        if (x < y) parent[y] = x;
        else parent[x] = y;
    }
}


public static void main(String[] args){
    List<Node> list = new ArrayList<>();
    int[] parent = new int[10+1];
    for (int i=1; i<=10; i++)
        parent[i] = i;
    list.add(1,2, 0);
    list.add(2,3, 1);
    list.add(3,1, 2);
    Collections.sort(list);
    
    int cost = 0;
    for (Node n : list){
        cost += union(n.v1, n.v2);
    }
}

풀이

import java.util.*;

public class Main{

public static class Node implements Comparable<Node>{
    int v1;
    int v2;
    int cost;
    
    public Node(int v1, int v2, int cost){
        this.v1 = v1;
        this.v2 = v2;
        this.cost = cost;
    }
    
    public int compareTo(Node n){
        return Integer.compare(this.cost, n.cost);
    }
}

public static int find(int x, int[] parent){
    if (parent[x] == x)
        return x;
    else
        return parent[x] = find(parent[x], parent);
}

public static boolean union(int x, int y, int[] parent){
    x = find(x, parent);
    y = find(y, parent);
    
    if (x != y){
        parent[y] = x;
        return true;
    }
    return false;
}


public static void main(String[] args){
    Scanner sc = new Scanner(System.in);
    int v = Integer.parseInt(sc.nextLine());
    int e = Integer.parseInt(sc.nextLine());
    List<Node> list = new ArrayList<>();
    int[] parent = new int[v+1];
    for (int i=1; i<=v; i++)
        parent[i] = i;
    for (int i=0; i<e; i++){
        String input = sc.nextLine();
        int v1 = Integer.parseInt(input.split(" ")[0]);
        int v2 = Integer.parseInt(input.split(" ")[1]);
        int cost = Integer.parseInt(input.split(" ")[2]);
        list.add(new Node(v1, v2, cost));
    }
    Collections.sort(list);
    
    int cost = 0;
    for (Node n : list){
        if (union(n.v1, n.v2, parent))
            cost += n.cost;
    }
    System.out.println(cost);
}
}

CI&CD 환경 구축

2020-07-23T00:00:00+00:00

CI, CD 대략적인 과정

ci  
push / pull-request -> github action job 실행 -> 테스트/리포팅 -> docker build & push

cd  
push -> github action job 실행 -> aws ssh 접속 & 이동 후 미리 작성된 shell script 실행

github action 작성

name: CI

on:
  push:
    branches:
      - master

jobs:
  ci:
    name: E2E Tests and Unit Tests
    runs-on: ubuntu-latest

    steps:
      - name: Check out Git repository
        uses: actions/checkout@v2

      - name: Set up Node.js
        uses: actions/setup-node@v1
        with:
          node-version: 12

      - name: Install & Tests
        run: |
          npm install
          npm test
      - name: Upload coverage to Codecov
        uses: codecov/codecov-action@v1
        with:
          name: codecov-connected-server
          fail_ci_if_error: true
      - name: Docker build
        run: |
          docker build -t syh622/connected-42 .
      - name: Docker push
        run: |
          docker login -u $secrets.DOCKER_USER -p $secrets.DOCKER_PASSWORD
          docker tag syh622/connected-42 syh622/connected-42:latest
          docker tag syh622/connected-42 syh622/connected-42:$github.sha
          docker push syh622/connected-42:latest
          docker push syh622/connected-42:$github.sha
 cd:
    name: Push Docker image to Docker Hub
    runs-on: ubuntu-latest
    needs: ci

    steps:
      - name: SSH and Build Docker image and Push
        uses: appleboy/ssh-action@master
        with:
          host: $secrets.HOST
          username: $secrets.USERNAME
          key: $secrets.KEY
          port: $secrets.PORT
          script: |
            sh deploy.sh

latest로 최신 상태를 업데이트하고, 버전관리를 위해 github.sha 환경변수를 사용했다. 해당 repository에 버전이 2개이상 있을 경우 docker pull 이미지의 명령어를 사용할 경우 자동으로 tag에 latest가 붙는다. 버전이 1개라면 tag를 명시해야한다.

aws 환경 구성

AWS EC2 ubuntu를 사용했다. root계정을 사용하는 대신 ssh접속이 가능한 계정을 추가로 생성하고 접근 권한을 제한했다. 해당 과정은 이곳에 잘 나와있다.

docker설치 과정은 이곳을 참조했다. 추가로 docker-compose, nginx 패키지를 설치한다.

shell script 작성

blue/green 배포 방식으로 이미 누군가 잘 작성해놓은 것을 수정하여 사용했다.
docker build완료 후 docker hub에 이미지가 최신화가 되었을 때 실행되는 deploy.sh파일

#!/bin/bash

DOCKER_APP_NAME=server
DOCKER_DB_NAME=postgres

EXIST_BLUE=$(docker-compose -p ${DOCKER_APP_NAME}-blue -f docker-compose.blue.yml ps | grep Up)
EXIST_DB=$(docker-compose -p ${DOCKER_DB_NAME} -f docker-compose.db.yml ps | grep Up)

if [ -z "$EXIST_DB" ]; then
    echo "DB setting"
    docker-compose -p ${DOCKER_DB_NAME} -f docker-compose.db.yml up -d
fi

if [ -z "$EXIST_BLUE" ]; then
    echo "blue up"
    docker-compose -p ${DOCKER_APP_NAME}-blue -f docker-compose.blue.yml up -d

    sleep 10

    docker-compose -p ${DOCKER_APP_NAME}-green -f docker-compose.green.yml down
    docker image prune -f -a
else
    echo "green up"
    docker-compose -p ${DOCKER_APP_NAME}-green -f docker-compose.green.yml up -d

    sleep 10

    docker-compose -p ${DOCKER_APP_NAME}-blue -f docker-compose.blue.yml down
    docker image prune -f -a
fi

blue

version: '3.7'
services:
  server:
    image: "syh622/connected-42"
    restart: always
    volumes:
      - appdata:/app
    ports:
      - '8081:8080'
    command:
      - bash
      - -c
      - |
        /wait-for-it.sh postgres:5432 -t 30
        yarn start
    networks:
      - app
networks:
  app:
    driver: bridge
volumes:
  appdata:
    driver: local

green

version: '3.7'
services:
  server:
    image: "syh622/connected-42"
    restart: always
    volumes:
      - appdata:/app
    ports:
      - '8080:8080'
    command:
      - bash
      - -c
      - |
        /wait-for-it.sh postgres:5432 -t 30
        yarn start
    networks:
      - app
networks:
  app:
    driver: bridge
volumes:
  appdata:
    driver: local

서로 다른 포트를 가지도록 8080, 8081를 각각 사용했고, db 컨테이너가 정상 동작이 완료된 상태에서 서버를 시작해야 하기때문에 wait-for-it.sh를 사용했다.

version: '3.7'

services:
  postgres:
    image: postgres:10
    container_name: postgres
    volumes:
      - pgdata:/var/lib/postgresql/data
    environment:
      - POSTGRES_PASSWORD=${DB_ROOT_PASSWORD}
      - POSTGRES_USER=${DB_USER}
      - POSTGRES_DB=${DB_NAME}
    ports:
      - '5432:5432'
    networks:
      - app
networks:
  app:
    driver: bridge
volumes:
  pgdata:
    driver: local

nginx 설정

deploy.sh를 실행하면 *-blue, *-green이미지가 번갈아가며 실행되는것을 확인할 수 있다. 이때 실행되는 서버는 8080, 8081포트를 가지고있다.
클라이언트가 브라우저에서 동일한 포트로 접근할 수 있도록 중계서버를 이용한다. nginx의 reverse proxy를 구성하면 가능하다. 해당 설명은 이곳에 자세히 나와있다.

nginx 설정 파일 /etc/nginx/sites-available/default

upstream backend {
        server localhost:8081 weight=5 max_fails=3 fail_timeout=10s;
        server localhost:8080 weight=10 max_fails=3 fail_timeout=10s;
}

server {
        listen 80;
        server_name localhost;
        location / {
                proxy_pass http://backend;
        }
}

참조

https://smjeon.dev/web/deploy-with-jenkins-4/#nginxconf
https://github.com/JHyeok/jaebook-server

코드 커버리지(Code Coverage)

2020-07-22T00:00:00+00:00

Code Coverage

소프트웨어의 테스트를 논할 때 얼마나 테스트가 충분한가를 나타내는 지표중 하나이다. 테스트를 진행했을 때 코드 자체가 얼마나 실행되었는지를 확인한다.

구문(Statement)
조건(Condition)
결정(Decision)

CI & CD

2020-07-20T00:00:00+00:00

CI/CD

안정적인 배포 파일을 만드는 과정을 CI(Continuous Integration - 지속적 통합)라고 한다. 이 결과를 자동으로 운영 서버에 무중단 배포까지 진행되는 과정을 CD(Continuous Deployment - 지속적인 배포)라고 한다.

마틴 파울러의 4가지 CI 규칙

모든 소스 코드가 살아있고 현재의 소스에 접근할 수 있는 단일 지점을 유지
빌드 프로세스를 자동화해 누구든 소스로부터 시스템을 빌드하는 단일 명령어를 사용가능
테스팅을 자동화, 단일 명령어로 테스트를 실행 가능
실행 파일을 얻을경우 가장 완전한 실행 파일을 얻을 수 있어야함

CI 도구들

Travis CI
- 깃허브에서 제공하는 무료 CI 서비스
AWS CodeBuild
- 설치형 CI 서비스, 이를 위한 EC2 인스턴스가 하나 더 필요
젠킨스
- 빌드 시간만큼 요금이 부과되는 구조
  배포 전략
blue/green
- blue : 구버전, green : 새 버전을 의미한다.
- 구버전, 신버전을 동시에 구성하여 업데이트 완료 시 일제히 트래픽을 전환한다.
- 시스템 자원이 많이 필요하며 비용이 많이 들 수 있다.
rolling update
- 일반적인 배포 방식이다. 서비스중인 서버 외에 다른 서버를 새버전으로 교체해가며 트래픽을 전환한다. 배포 중 트래픽이 몰릴 수 있어 서버 처리 용량을 고려해야한다.
canary
- 특정 일부 사용자에게 새버전을 배포 한 후 오류 여부를 확인한다.
- 충분한 테스트를 거친 후 전체 배포를 진행한다.
  참조
스프링부트와 AWS로 혼자구현하는 웹서비스 - 이동욱저
https://reference-m1.tistory.com/211

postgresql 설정

2020-07-20T00:00:00+00:00

docker-compose 설정

docker-compose.yml 파일

version: '3.7'
services:
  postgres:
    image: postgres:10
    container_name: postgres
    volumes:
      - pgdata:/var/lib/postgresql/data
    environment:
      - POSTGRES_PASSWORD=password
      - POSTGRES_USER=user
      - POSTGRES_DB=db
    ports:
      - '5432:5432'
volumes:
  pgdata:
    driver: local

docker-compose up

docker exec -it [이름] bash

psql -U postgres의 경우 default설정으로 role "postgres" does not exist에러를 만난다. envrionment에 명시한 user, db명으로 접속이 가능하다.

psql --username user --dbname db

접속 실패

PostgreSQL Database directory appears to contain a database; Skipping initialization라는 메세지를 보내고 설정한 유저, DB, 비밀번호가 동작하지 않는 경우가 발생했다.

docker ps 종료, docker image 삭제, docker volume 삭제 후 다시 compose하여 해결했다.

```shell script docker ps -a docker rm [아이디]

docker volume ls docker volume rm [아이디] ```

hash 함수

2020-07-13T00:00:00+00:00

해시 함수란?

해시 함수(hash function)는 임의의 길이의 데이터를 고정된 길이의 데이터로 매핑하는 함수이다.

SW expert academy의 reference code의 해시 함수 일부

unsigned long hash(const char *str)
{
    unsigned long hash = 5381;
    int c;
 
    while (c = *str++)
    {
        hash = (((hash << 5) + hash) + c) % MAX_TABLE;
    }
 
    return hash % MAX_TABLE;
}

djb2 알고리즘이라고한다. 5381의 매직넘버가 쓰이는 이유는 다음과 같다.

5381 is just a number that, in testing, resulted in fewer collisions and better avalanching. You’ll find “magic constants” in just about every hash algo.

참조

https://swexpertacademy.com/main/code/referenceCode/referenceCodeDetail.do?referenceId=HASH&category=undefined http://www.cse.yorku.ca/~oz/hash.html https://stackoverrun.com/ko/q/2833167

[SpringBoot] lombok 설정

2020-07-09T00:00:00+00:00

설치

롬복은 플러그인 설치는 한 번만 하면 되지만, 프로젝트마다 설정해야한다.

dependencies {
    compile('org.projectlombok:lombok') // 추가
    //...
}

설정

Preference > Annotation Processors > Enable Annotation processing 체크

[프로그래머스] 징검다리

2020-07-09T00:00:00+00:00

풀이

최솟값을 이분탐색으로 찾아낸다. 범위는 0 ~ distance이다. 돌과 돌사이의 거리를 구하고 현재의 최솟값과 비교하여 없애야 하는 돌의 개수를 구한다. 현재의 최솟값을 만족 시키기위한 돌의 개수와 매개 변수로 주어진 제거해야할 돌의 개수n과 다시 비교한다. n과 같거나 이하인 경우, n보다 큰 경우를 분기처리하여 최솟값을 조절해서 값을 구해낸다.

코드

import java.util.*;

class Solution {
      public int solution(int distance, int[] rocks, int n) {
        Arrays.sort(rocks);
        return binerySearch(distance, rocks, n);
    }
    
    public int binerySearch(int d, int[] r, int n){
        int left = 0;
        int right = d;
        int mid = (left+right)/2;
        int ans = 0;
        while (left <= right){
            int prev = 0;
            int count = 0;
            mid = (left+right)/2;
            for (int i=0; i<r.length; i++){
                if (r[i]-prev < mid)
                    count++;
                else{
                    prev = r[i];
                }
            }
            if (d - prev < mid)
                count++;
            if (count <= n){
                ans = ans < mid ? mid : ans;
                left = mid+1;
            }else{
                right = mid-1;
            }
        }
        return ans;
    }
}

yshim blog

리액터 패턴

리액터 패턴

에코 채팅 서버

힐 암호(Hill cipher)

힐 암호(Hill cipher)

힐 암호문 복호화하기

JAVA 코드

[백준] 1922 네트워크 연결

union-find 정리

kruskal 알고리즘 정리

풀이

CI&CD 환경 구축

CI, CD 대략적인 과정

github action 작성

aws 환경 구성

shell script 작성

nginx 설정

참조

코드 커버리지(Code Coverage)

Code Coverage

CI & CD

CI/CD

CI 도구들

배포 전략

참조

postgresql 설정

docker-compose 설정

접속 실패

hash 함수

해시 함수란?

참조

[SpringBoot] lombok 설정

설치

설정

[프로그래머스] 징검다리

풀이

코드