기본 콘텐츠로 건너뛰기

Nginx.LoadBalancer-Nodejs : 엔진엑스로 nodejs에 로드밸런싱하기

Nginx.LoadBalancer-Nodejs : 엔진엑스로 nodejs에 로드밸런싱하기

이 포스팅 분류는 Docker를 정확히 어떻게 사용할지를 다루지 않는다. 대신 Docker로 특정 상황에 어떻게 환경을 구축해야하는지의 예제를 담고 있다. 만약 이 Docker에 대해서 어떻게 관리하는 지를 알고싶다면 인터넷을 검색을 활용하거나 필자의 블로그에서 Software-Docker를 확인해주기를 바란다. 현재 여기 업로드 되어있는 모든 예제들은 필자의 github repository에 올라와있다. 그 주소는 아래와 같다.

https://github.com/kukaro/Eris-DockerExampleTemplate 예제를 직접 확인하고 싶다면 해당 repository를 참조하라.

nginx는 로드 밸런서로도 많이 사용한다. 위의 경우 nginx에 두개의 nodejs(두 서버는 완벽하게 동일)서버에 붙혀져있다.

위를 명령어 하나로 실행하고 싶다면??

바로 필자처럼 하는 방법이 있다.

프로젝트 구조는 위와 같다.

필요없는 소스가 많으니 필요한것만 보도록하자.

#!/usr/bin/env bash

MY_ADDRESS1= ` ipconfig getifaddr en0 `

MY_ADDRESS1= $ {MY_ADDRESS1}

PORT_NUMBER1= 4000

MY_ADDRESS2= $ {MY_ADDRESS1}

PORT_NUMBER2= 5000

#run myubuntu instance

docker build -t mynginx --build-arg PORT_NUMBER1= $ {PORT_NUMBER1} --build-arg MY_ADDRESS1= $ {MY_ADDRESS1} --build-arg PORT_NUMBER2= $ {PORT_NUMBER2} --build-arg MY_ADDRESS2= $ {MY_ADDRESS2} ./mynginx/

docker build -t myserver ./myserver/

PORT_NUMBER1= $ {PORT_NUMBER1} MY_ADDRESS1= $ {MY_ADDRESS1} PORT_NUMBER2= $ {PORT_NUMBER2} MY_ADDRESS2= $ {MY_ADDRESS2} docker-compose up -d

init.sh에서는 현재 ip와 각각의 was(nodejs)에서 사용할 포트번호를 선택해준다.

하나는 4000으로, 하나는 5000으로 정했다.

나의 주소는 ipconfig로 가져오는데 이는 맥에만 있고 리눅스의 경우 ifconfig에서 적당히 가져와주면된다.

docker build -t mynginx --build-arg PORT_NUMBER1= $ {PORT_NUMBER1} --build-arg MY_ADDRESS1= $ {MY_ADDRESS1} --build-arg PORT_NUMBER2= $ {PORT_NUMBER2} --build-arg MY_ADDRESS2= $ {MY_ADDRESS2} ./mynginx/

nginx쪽을 빌드한다.

조금 긴데 잘라서 보자.

--build-arg PORT_NUMBER1= $ {PORT_NUMBER1} --build-arg MY_ADDRESS1= $ {MY_ADDRESS1} --build-arg PORT_NUMBER2= $ {PORT_NUMBER2} --build-arg MY_ADDRESS2= $ {MY_ADDRESS2}

--build-arg는 변수를 던질 수 있다.

이러면 Dockerfile에서는 ARG로 변수를 받을 수 있다.

PORT_NUMBER1= $ {PORT_NUMBER1} MY_ADDRESS1= $ {MY_ADDRESS1} PORT_NUMBER2= $ {PORT_NUMBER2} MY_ADDRESS2= $ {MY_ADDRESS2} docker-compose up -d

docker-compose를 동작할 때는 사용할 변수를 앞에 적어줘야한다.

마찬가지로 docker-compose에서 던진 변수는 docker-compose.yml에서 ${}로 사용할 수 있다.

먼저 nginx를 보도록 하자.

FROM ubuntu:latest

MAINTAINER kukaro < justkukaro@naver.com >

RUN apt-get update

RUN apt-get install - y openssh-server

RUN mkdir / var / run / sshd

#set password

RUN echo 'root:root' |chpasswd

#replace sshd_config

RUN sed - ri 's/^#?PermitRootLogin\s+.*/PermitRootLogin yes/' / etc / ssh / sshd_config

RUN sed - ri 's/UsePAM yes/#UsePAM yes/g' / etc / ssh / sshd_config

#make .ssh

RUN mkdir / root / .ssh

RUN apt-get clean && \

rm - rf / var / lib / apt / lists /* / tmp /* / var / tmp /*

#install git, vim

RUN apt-get update && apt-get install - y git

RUN apt-get install - y vim

#install nodejs

RUN apt-get install - y nodejs

RUN apt-get install - y npm

RUN apt-get install - y curl

#setting vim

RUN git clone https: // github.com / VundleVim / Vundle.vim.git

RUN mkdir - p / root / .vim / bundle

RUN mv Vundle.vim / root / .vim / bundle

ADD . / .vimrc / root /

RUN vim - c 'PluginInstall' - c 'qa!'

RUN cd / root / .vim / bundle / vim-prettier && npm install

#install nginx

RUN apt-get install - y nginx

ADD . / config / default / etc / nginx / sites-available

ADD . / run / / root

#install js beautify

RUN npm - g install js-beautify

ARG PORT_NUMBER1

ARG MY_ADDRESS1

ARG PORT_NUMBER2

ARG MY_ADDRESS2

RUN sed - ri 's/MY_ADDRESS1/' ${ MY_ADDRESS1 } '/' / etc / nginx / sites-available / default

RUN sed - ri 's/PORT_NUMBER1/' ${ PORT_NUMBER1 } '/' / etc / nginx / sites-available / default

RUN sed - ri 's/MY_ADDRESS2/' ${ MY_ADDRESS2 } '/' / etc / nginx / sites-available / default

RUN sed - ri 's/PORT_NUMBER2/' ${ PORT_NUMBER2 } '/' / etc / nginx / sites-available / default

EXPOSE 22 80 8080

CMD [ "/usr/sbin/sshd" , "-D" ]

길기는 한데 필자는 vim이나 ssh처럼 다른 필요없는것도 있어서 필요한 부분만보자.

FROM ubuntu:latest

MAINTAINER kukaro < justkukaro@naver.com >

기본 이미지는 우분투로 동작한다.

RUN apt-get update

업데이트 한번하고

#install nodejs

RUN apt-get install -y nodejs

RUN apt-get install -y npm

nodejs와 npm을 설치한다.

#install nginx

RUN apt-get install - y nginx

ADD . / config / default / etc / nginx / sites-available

ADD . / run / / root

그 다음 nginx를 설치하고 필자가 만든 설정파일인 default와 run의 쉘 스크립트를 이미지로 붙혀넣는다.

그럼 sites-available의 defualt를 보자.

upstream myserver {

server MY_ADDRESS1:PORT_NUMBER1;

server MY_ADDRESS2:PORT_NUMBER2;

}

server {

listen 80;

location / {

proxy_pass http://myserver;

}

}

upstream으로 서버를 선언하고 서버에는 proxypass를 해준다.

보면 host가 다른 MY_ADDRESS1과 PORT_NUMBER1으로 되어있는데 이 문자열을 대체하줄 것이다.

ARG PORT_NUMBER1

ARG MY_ADDRESS1

ARG PORT_NUMBER2

ARG MY_ADDRESS2

init.sh에서 던졌던 변수를 지정한다.

RUN sed - ri 's/MY_ADDRESS1/' ${ MY_ADDRESS1 } '/' / etc / nginx / sites-available / default

RUN sed - ri 's/PORT_NUMBER1/' ${ PORT_NUMBER1 } '/' / etc / nginx / sites-available / default

RUN sed - ri 's/MY_ADDRESS2/' ${ MY_ADDRESS2 } '/' / etc / nginx / sites-available / default

RUN sed - ri 's/PORT_NUMBER2/' ${ PORT_NUMBER2 } '/' / etc / nginx / sites-available / default

그 다음 sed 명령어를 실행해준다. 위의 경우 r옵션은 정규표현식, i옵션은 백업을 하는것을 의미한다.

그래서 위를 해석하자면 앞의 문자열을 뒤의 문자열로 대체하라는 것이다.

그래서 실제 실행할때는 default는 고쳐져서 대체된다.

#!/usr/bin/env bash

# Run nginx

nginx

# Start sshd

/usr/sbin/sshd -D

나중에 docker-compose에서는 init.sh를 실행한다.

nginx를 데몬으로 켠다음에 ssh를 켜는건데 사실 우리가 ssh안쓰면 안켜도된다.

이제 서버쪽을 보자. nodejs로 만들었다.

FROM ubuntu:latest

MAINTAINER kukaro < justkukaro@naver.com >

RUN apt-get update

RUN apt-get install - y openssh-server

RUN mkdir / var / run / sshd

#set password

RUN echo 'root:root' |chpasswd

#replace sshd_config

RUN sed - ri 's/^#?PermitRootLogin\s+.*/PermitRootLogin yes/' / etc / ssh / sshd_config

RUN sed - ri 's/UsePAM yes/#UsePAM yes/g' / etc / ssh / sshd_config

#make .ssh

RUN mkdir / root / .ssh

RUN apt-get clean && \

rm - rf / var / lib / apt / lists /* / tmp /* / var / tmp /*

#install git, vim

RUN apt-get update && apt-get install - y git

RUN apt-get install - y vim

#install nodejs

RUN apt-get install - y nodejs

RUN apt-get install - y npm

RUN apt-get install - y curl

RUN npm install pm2 - g

#setting vim

RUN git clone https: // github.com / VundleVim / Vundle.vim.git

RUN mkdir - p / root / .vim / bundle

RUN mv Vundle.vim / root / .vim / bundle

ADD . / .vimrc / root /

RUN vim - c 'PluginInstall' - c 'qa!'

RUN cd / root / .vim / bundle / vim-prettier && npm install

#install js beautify

RUN npm - g install js-beautify

#set server

ADD . / run / / root

RUN cd / root / server && npm install

EXPOSE 22 80 8080

CMD [ "/usr/sbin/sshd" , "-D" ]

이것도 길지만 중요한것만 보자.

FROM ubuntu:latest

MAINTAINER kukaro < justkukaro@naver.com >

RUN apt-get update

여기도 서버는 우분투로 해준다.

run안에는 서버(nodejs express) 코드들이 있다.

이를 옮겨서 실행해줘야한다. 여기서 bin.www를 잠시보자.

var port = normalizePort(process.argv[2] || '3000');

app.set('port', port);

bin/www에서 앞부분을 process.argv[2]로 받아놓자.

이는 실행할때 변수를 받는데 3번째(0번부터 카운트)거를 받는다는 뜻이다.

우리는 포트를 직접 던져줄꺼기에 이렇게 사용한다.

#install nodejs

RUN apt-get install -y nodejs

RUN apt-get install -y npm

RUN npm install pm2 -g

nodejs와 npm과 pm2를 설치한다.

nodejs를 데몬으로 실행해야하게 때문에 pm2를 사용한다.

#set server

ADD . / run / / root

RUN cd / root / server && npm install

그 다음 root에 run아래의 스크립트(init.sh)와 server코드들을 전달한다.

그 다음 서버로 이동해서 npm install을 해준다.

서버쪽의 init.sh를보자.

#!/usr/bin/env bash

PORT_NUMBER=$1

MY_ADDRESS=$2

# run server

cd /root/server && pm2 start bin/www server -- $ {PORT_NUMBER}

# Start sshd

/usr/sbin/sshd -D

보면 파라메터로 $1,$2를 받는다. 즉 우리는 쉘스크립트를 실행할 때 파라메터를 넣어줄 것이다.

근데 사실 ADDRESS는 필요없는데 어쩌다보니까 넣게 되었다.

그리고 pm2를 실행할 때 -- 후에 변수를 넣어주는데 그게 아까 위에서 bin/www에 process.env로 들어간다.

처음것이 2로시작하는데 그 이유는 [0]과 [1]은 명령어와 스크립트 이름이 들어가기 때문이다.

당연하지만 ssh는 없어도 된다.

이제 docker-compose.yml을 보자.

version : '3.3'

services :

mynginx :

image : mynginx

container_name : mynginx

command : /root/init.sh

ports :

- '10022:22'

- '10080:80'

- '18080:8080'

expose :

- '10022'

- '10080'

- '18080'

myserver1 :

image : myserver

container_name : myserver1

command : /root/init.sh ${PORT_NUMBER1} ${MY_ADDRESS1}

ports :

- '20022:22'

- '20080:80'

- '28080:8080'

- ${PORT_NUMBER1}:${PORT_NUMBER1}

expose :

- '20022'

- '20080'

- '28080'

- ${PORT_NUMBER1}

myserver2 :

image : myserver

container_name : myserver2

command : /root/init.sh ${PORT_NUMBER2} ${MY_ADDRESS2}

ports :

- '30022:22'

- '30080:80'

- '38080:8080'

- ${PORT_NUMBER2}:${PORT_NUMBER2}

expose :

- '30022'

- '30080'

- '38080'

- ${PORT_NUMBER2}

전체가 긴데 필요없는것도 많다.

필요한것만 보자.

services :

mynginx :

image : mynginx

container_name : mynginx

command : /root/init.sh

ports :

- '10022:22'

- '10080:80'

- '18080:8080'

expose :

- '10022'

- '10080'

- '18080'

nginx는 먼저 우리가만든 mynginx이미지를 빌드한 후 마지막에 init.sh를 실행한다.

여기서 포트는 80만 열면된다. 너머지는 테스트용이다.

myserver1 :

image : myserver

container_name : myserver1

command : /root/init.sh ${PORT_NUMBER1} ${MY_ADDRESS1}

ports :

- '20022:22'

- '20080:80'

- '28080:8080'

- ${PORT_NUMBER1}:${PORT_NUMBER1}

expose :

- '20022'

- '20080'

- '28080'

- ${PORT_NUMBER1}

서버는 1번과 2번은 똑같다. image는 우리가 빌드한 myserver로 통일하면된다. 같은내용이기 때문이다.

대신에 변수들을 넣어주는데 마찬가지로 실행할 때 쉘 스크립트를 실행하면서 변수를 넣어준다.

그러면 위의 init.sh를 실행하면서 포트번호와 자기 주소를 받게된다.

또한 여는 포트역시 변수로 정해준다.

이제 모든 준비는 끝났다.

실행해보면 부하가 양쪽으로 분산되고 있음을 확인할 수 있다.

from http://kamang-it.tistory.com/636 by ccl(A)

댓글

댓글 쓰기

이 블로그의 인기 게시물

카카오 오픈빌더와 외부 API 연동(feat.Nodejs)

카카오 오픈빌더와 외부 API 연동(feat.Nodejs) 이전에 플러스 친구와 외부 API 연동에 관한 글을 작성한 적 있습니다. 하지만 지난 2년동안 플러스 친구에 많은 변화가 생겼는데요. 카카오 플러스 친구의 명칭이 카카오 채널로 바뀌고, 챗봇 세팅 방식이 기존 [카카오 플러스 친구 - 외부 API 연동] 구조에서 오픈빌더가 추가되어 [카카오 채널(구 플러스 친구) - 카카오 i 오픈빌더 - 외부 API 연동] 구조로 바뀌었습니다. 이번 글에서는 오픈빌더의 챗봇 시나리오 관리 기능을 간단히 소개하고 외부 API를 연동하는 예제를 다뤄보겠습니다. (연동파트는 5번 항목부터 보시면 됩니다.) 1. 블록 블록은 오픈빌더에서 질의/응답을 관리하는 최소 단위로, 사용자의 발화와 챗봇의 대답을 입력할 수 있습니다. 예를들어 인사라는 블록을 만들고 인사에 해당하는 사용자 발화 패턴들을 입력해두면, 실제 채널 톡방에서 그에 해당하는 발화가 들어왔을때 입력해둔 응답이 나오는 형식입니다. 예전에는 패턴과 발화 키워드가 1:1 매칭, 즉 입력해둔 패턴과 사용자 발화의 string이 정확히 일치할때만 블록이 실행됐었는데, 발화 패턴을 20개 이상 등록하면 머신러닝 기능을 이용할 수 있도록 기능이 생겼습니다. 아마 유사도 분석 개념이 기본으로 들어가있을 것이기 때문에 블록의 주제와 벗어나는 너무 뜬금없는 발화패턴들을 많이 넣지 않도록 하는걸 권장하겠습니다. 2. 시나리오 시나리오는 '블록'들을 묶어서 관리할 수 있는 단위로, 일종의 폴더 구조라고 생각하면 쉽습니다. 오픈빌더에서 좌측 상단에 파란 버튼을 클릭하여 시나리오를 생성할 수 있습니다. 하나의 시나리오에서 모든 블록을 관리하면 챗봇 도메인이 커질수록 관리가 어려워지니 아래 같은식으로 시나리오를 사용하여 블록을 구조화하면 운영 측면에서 수월해집니다. 3. 컨텍스트 컨텍스트는 맥락이라는 뜻 입니다. 오픈빌더에 존재하는 컨텍스트는 자연어 분석을 통해서 맥...
댓글 쓰기
자세한 내용 보기

20.03.24 ShareBook TIL

20.03.24 ShareBook TIL Project/TIL 20.03.24 ShareBook TIL 중간 배포를 위해 EC2, RDS를 다시 설정하였다. EC2에 git에서 clone을 하고 서버를 작동시켜보니 ts로 돌려서 그런지 작동하지 않고 대기 상태로 있다가 timeout같은 시간 초과 에러가 났다. 그리고 갑자기 EC2 자체가 느려져서 nodejs를 삭제하고 다시 nvm으로 높은 버전의 node를 설치하였다. 그리고 나서 혹시 js로 돌리면 될까 해서 tsc로 js로 변환한뒤 돌려보니 RDS와 연결이 되지 않는 에러가 생겼다. workbench로 RDS를 연결했을 때는 정상적으로 작동해서 EC2에서 잘 못 설정한게 있다고 생각했다. 그래서 local에서 한번 config.json을 수정하고 연결하여도 똑같은 에러가 발생했다. 그럼 보안 설정에서 문제인가 싶어서 EC2, RDS 보안 그룹에서 설정을 막 만져보다 RDS에서 Custom TCP에 처음 RDS에서 설정한 포트를 넣어주었더니 연결되었다. config.json내용을 EC2에도 똑같이 적용시켜보려고 json파일을 vim으로 작성해서 넣어 주었지만 여전히 같은 에러를 반복하였다. 그럼 json 파일을 못 읽어내는게 아닌가 싶어서 그냥 module에 index.js에서 sequelize를 생성하는 부분에 직접 넣어 주었더니 마침내 연결이 되었다. 해결하고 난 뒤 생각의 흐름을 적어보니 매우 짧지만 정작 오늘 아침 10시 반부터 시작해서 저녁 10시 반까지 12시간을 고민하고나서야 해결되었다. from http://three-five.tistory.com/46 by ccl(A) rewrite - 2020-03-25 00:54:05
댓글 쓰기
자세한 내용 보기

AWS instance로 Nodejs 구현하기

AWS instance로 Nodejs 구현하기 서버와 데이터베이스 관리 차원에서 효율적으로 관리하기 위해선 로컬보다는 서버를 호스팅해서 하는 것이 좋다. 우리는 Nodejs를 구동하기 위해 AWS에서 인스턴스를 할당받을 계획이다. 인스턴스의 pem키를 발급받아 nodejs와 npm까지는 설치를 완료한 상태이다. $ sudo npm install -g express 다음의 명령어를 입력하면 글로벌 옵션으로 어느 path에서든 express를 사용할 수 있게 설치한다. 다음과 같이 실행이 된다면 성공이다. 이후 Express generator를 설치한다. $ sudo npm install -g express-generator@4 버전은 4.x이며 이 역시 글로벌 옵션으로 설치해 준다. 이제 Node monitoring을 위해 nodemon을 설치해 준다. $ sudo npm install -g nodemon 모든 설치가 끝났다. 이제 nodejs를 실행시킬 프로젝트용 directory를 만든다. 이렇게 만들어 주고 express를 실행시키면 된다. $ express -e 다음과 같은 결과가 나오면 된다. 이제 node package를 설치하는 명령어를 입력하자. $ sudo npm install 이제 vi를 통해 포트번호를 정의해보자. app.set의 마지막에 한줄을 추가하면 된다. app.set('port', process.env.PORT || 9000); 이로써 우리는 9000번 포트를 사용하게 되었다. 또한 마지막줄에 서버를 생성하기 위한 코드를 작성하자. module.exports = app; var server = app.listen(app.get('port'), function() { console.log('Express server listening on port ' + server.address().port); }); 이...
댓글 쓰기
자세한 내용 보기