so's devlog

nginx에서 특정 ip차단하기

sovelop — Thu, 6 Mar 2025 14:05:06 +0900

특정 ip에서 자꾸 괴랄한 요청을 해오길래 ip조회를 해보니 요상한 나라들 곳곳에서 조회가 들어왔다.
아마 vpn으로 ip주소를 바꿔가며 요청한 것으로 추측됨. 어차피 404라 냅둬도 되겠지만
일단 매우 찝찝하니 보이는데로 다 차단을 넣자.

nignx 전체로그 및 에러로그 확인방법

# 전체 로그 확인
cat /var/log/nginx/access.log

# 특정 로그 확인
grep "검색할문자열" /var/log/nginx/access.log


# 에러 로그 확인
cat /var/log/nginx/error.log

위의 결과물에서 맨 앞에 숫자가 request한 ip의 주소이다.

nginx에서 특정 목록 삭제

차단 ip주소 목록 작성

# /etc/nginx/deny.conf
deny 차단할ip주소1;
deny 차단할ip주소2;
...

Nginx 설정에서 `include` 사용

http {
    # 전역적으로 차단을 적용하려면 http 블록 내에 include
    include /etc/nginx/deny.conf;

    server {
        listen 80;
        server_name example.com;

        # 또는 server 블록 내부에서만 적용하고 싶다면 이 위치에서 include
        # include /etc/nginx/deny.conf;

        location / {
            try_files $uri $uri/ =404;
        }
    }
}

설정 반영

# 1. 설정 문법 검사
sudo nginx -t


# 2. Nginx 재시작
sudo systemctl reload nginx

이렇게 하면 deny.conf 를 수정 후 nginx를 reload하기만 하면 바로 차단된 ip가 반영된다.

vscode에서 ec2 인스턴스 접속

sovelop — Wed, 11 Dec 2024 17:57:06 +0900

배포 환경에서 디버깅을 통해 진짜 최종 테스트를 해보고싶은데 방법이 없을까 보던 중..

vim으로 디버깅환경을 셋팅해보자니 약간 배보다 배꼽이 커질거같고

좀 간단하게 볼 수 없을까... 하다가...

이런 것이 있다네요.

ec2 인스턴스를 vscode에서 열 수 있다니 짱인걸.

그래서 시작된 방법 찾기~!

먼저 위에꺼를 설치해주고 시작합시다.

그리고 ctrl/command + p 에서 Remote-SSH:Settings 에 들어가

ssh접속 정보를 적은 config파일의 경로를 넣어줍니다.

Host {아무이름!!!but @}
    HostName ec2-xxxxxxxx.compute.amazonaws.com
    User 유저명
    IdentityFile ~/.ssh/내pem파일.pem
    
    
Host {아무이름2!!!but @}
    HostName ec2-yyyyyyyyyy.compute.amazonaws.com
    User 유저명
    IdentityFile ~/.ssh/내pem파일.pem

위에는 config파일의 작성 예시이고요. 접속정보는 여러개 추가할 수 있어요~

Host에 아무 이름이라고 강조한 이유는
내가 {계정명@호스트url} 을 적었다가 자꾸 접속이 안돼서 화가 났기 때문. ㅋㅋㅋ..ㅋ...

(아 왜안되는건데~ 1시간 소리지르다가 엥 혹시 하고 지웠더니 바로 돼서 허탈했네요)

윈도우의 경우 pem파일의 권한을 처리할 때 permission denied에러가 뜰 것이다.

맨 하단의 첫번째 링크 참고해서 해결했다.

그리고 접속하면 당연한 말이지만 .vscode/launch.json을 잘 작성해서 웹서버가 돌아갈 수 있게 잘 구워준다.

vscode의 PORTS부분에 보면 Forwarded Address가 127.0.0.1:5001이라 내 로컬 브라우저에서 저 주소로 접속해도 잘 들어가진다.

vscode는 ec2 인스턴스 접속

브라우저에서 127.0.0.1:5001로 접속하면 터미널에서 로그가 뜨는걸 확인할 수 있다.

굳~

도움받음

https://ongamedev.tistory.com/494

Windows에서의 ssh 인증 파일 permission 문제 해결 방법

해당 파일 "속성"에서 "보안"탭을 선택 후 "고급"버튼을 선택합니다. 그리고 "상속 사용 안 함"을 선택 후 "이 개체에서 상속된 사용 권한을 모두 제거합니다."를 선택합니다. 기존 사용자 리스트

ongamedev.tistory.com

https://gre-eny.tistory.com/344

[AWS] VSCode에서 AWS EC2 instance 원격 접속하기(Remote)

Windows 환경의 VSCode에서 AWS EC2에 원격접속을 해보자. 이 포스팅은 EC2와 접속에 필요한 .pem키는 이미 있다고 가정하고 진행한다. vscode extension: Remote Development 설치하기 ctrl + shift + X 단축키로 MarketPl

gre-eny.tistory.com

vue2 를 Docker 컨테이너에서 개발하기

sovelop — Thu, 28 Mar 2024 16:04:29 +0900

매번 새로운 컴퓨터에서 개발환경 셋팅하기가 귀찮다... 도커면 셋팅 과정이 훨씬 간단해지지 않을까?

라는 생각에서 출발

생각지 못하게 vscode 를 통해 쉽게 도커 환경을 셋팅했다.

회사에서 개발환경이 vue2, node12 버전을 사용 중이었다. 그러나 노드 12버전은 지원이 종료되었기 때문에 vscode를 통해 도커를 셋팅하려면 그래도 노드 14버전은 써야할 것 같았다. 다행스럽게도 Vue2는 node 14까지 지원한다.

vue.config.js를 몇번 수정하니 node 14에서도 개발이 가능했다.

먼저 vscode에서 확장패키지를 몇개 설치 필요하다

Docker - Microsoft

2. Dev Containers - Microsft

Dev Containers 패키지를 설치한 후 ctrl+shift+p 를 통해

Dev Containers: Add Dev Container Configuration Files 를 통해 셋팅을 하면

자동으로 .devcontainer 폴더가 생기며 그 하위에 .devcontainer.json 파일이 생성된다.

나는 .devcontainer.json과 Docker파일을 다음과 같이 작성했다.

// .devcontainer/devcontainer.json
{
    "name": "let-docker",
    "dockerFile": "Dockerfile", // Dockerfile이 루트에 있다면 ../Dockerfile로 해도 된다
    "forwardPorts": [8081], // npm run serve/start 시 사용되는 포트로 사용
    "customizations": {
        "vscode": {
            "settings": {},
            "extensions": [
                "dbaeumer.vscode-eslint"
            ]
        }
    },
    "postCreateCommand": "npm install",
    "remoteUser": "usr"
}

# Dockerfile
FROM node:14
RUN apt update && apt install -y less man-db sudo
ARG USERNAME=usr
RUN echo $USERNAME ALL=\(root\) NOPASSWD:ALL > /etc/sudoers.d/$USERNAME \
&& chmod 0440 /etc/sudoers.d/$USERNAME
ENV DEVCONTAINER=true
RUN npm uninstall -g @vue/cli
RUN npm install -g @vue/cli
RUN npm rebuild node-sass

이렇게 셋팅해서 끝은 아니다.

vscode를 통해 기껏 컨테이너 개발환경을 구축해도 코드를 수정하면 바로 수정(hot reload)이 되어야 할텐데 그게 되지 않았다.

알아보니 프로젝트의 vue.config.js 를 좀 수정해줘야 했다.

module.exports = {
  ...
  ...,
  configureWebpack: {
        devServer: {
          watchOptions: {
            poll: true, // Enable polling
            ignored: /node_modules/, 
          },
        },
    },
  ...

}

vscode에서 ctrl+shift+p 에서 Dev Containers:Open Folder in Container...를 통해 새창을 열고 개발하면 된다.

도커 컨테이너 개발환경 구축 완료
하지만 일반 로컬에서 개발하는 것보다 reload가 조금 느린 것 같다.
그래도 여러 프로젝트에서 버전을 왔다갔다 해야하는 경우라면 도커 컨테이너로 개발환경을 셋팅하는게 확실히 편해보인다.

[python] 에러 발생 시 로그로 남길 때는 꼬옥 traceback을 써주기

sovelop — Fri, 5 Jan 2024 11:12:56 +0900

logging 을 import하여 exc_info를 로그로 남길 수도 있겠지만..

나는 에러가 발생했을 때 마다 slack으로 정확히 어떤 파일의 몇번째 줄에서 문제가 발생했는지 알림을 받고 싶었다.

traceback 모듈을 사용해보자.

히힛 신난다~ 이제 로그 파일 매번 열어서 찾아보지 않아도 된다~

traceback은 파이썬의 표준 라이브러리에 포함된 모듈이므로 별도 설치가 필요없다. :D

(구버전 파이썬을 써야만 하는 상황이라 버전 안맞을까봐 걱정할 필요가 없다!)

에러 정보를 콘솔에 출력(print) 하려면

traceback.print_exc()

특정 변수에 예외정보를 담으려면?

try:
    test = "이건 테스트지"
    print(test[100]) # test 문자열의 100번째 인덱스는 없으니 에러가 발생하지요

except Exception as e:
	import traceback
    exception_str = traceback.format_exc()

    # 슬랙에 에러 정보를 알리는 함수
    alert_slack(eception_str, ...)

이러면

exception_str 함수에는

string index out of range Traceback (most recent call last):
  File "D:\dev\test.py", line 85, in my_func
    print(test[100])
IndexError: string index out of range

이렇게 어떤 파일의 몇번째 줄, 어떤 함수의 어떤 부분에서 문제가 생겼는지에 대한 에러 정보를 담을 수 있다. :)

정말 편하고 쉬운데 이걸 왜 이제야 썼나~

mysql deadlock (디비 멈춤) 해결법

sovelop — Wed, 22 Nov 2023 10:11:01 +0900

mysql에서 데이터를 조회하는 도중 갑자기 디비가 멈췄다. 띠용.. @-@

db에서 deadlock 를 발견함.

D..ead...lock이요?

추정 원인으로는 데이터를 조회하던 도중 조회하는 테이블의 컬럼에 제약조건을 걸어서 그런 것 같다.

왜냐하면 Update ~ 를 친 후에 멈췄기 때문...

일단 급하게 해결하려면..

show processlist

이렇게 조회된 데이터 가운데 time이 많이 걸린 행이 있을 것이다. 그 행의 id를 찾아 죽이자.

kill {id}

실사용중에도 데드락이 발생할 수 있으니..

왜 데드락이 발생했는지,데드락 발생시 알아서 process를 kill하는 방법을 알아봐야 할 듯 하다..

파이썬 딕셔너리는 추가 순서를 보장한다.

sovelop — Wed, 8 Nov 2023 17:06:31 +0900

api를 만들 때 리스트로 만드는 것 보다 딕셔너리를 주로 많이 쓰게 된다.

내가 파이썬을 처음 배웠던 시절에는 딕셔너리 자료형이 순서를 보장하지 않는다고 했던 것이 기억나 가급적 순서보장이 필요할 땐 리스트를 주로 썼었다.

근데 아무리봐도 리스트보단 딕셔너리를 쓰는 것이 더 나아보이는 상황이 종종 있었는데 이것이 또 순서가 보장되었으면 했다.

그렇다고 키값을 요소로 가지는 리스트와 딕셔너리를 둘다 쓰긴 싫었는데...

다행스럽게 파이썬 3.6버전부턴 키 추가 순서가 보장된다!

https://blog.hwahae.co.kr/all/tech/6662

Python3.6 부터는 Dict가 순서를 기억한다. – 화해 블로그 | 기술 블로그

Python3.6 화해 개발팀에서는 닥블(닥치고 블로그)이라는 소모임을 운영하고 있습니다. 최근 닥블 활동으로 화해팀의 백엔드 플랫폼에서 사용 중인 Python 딕셔너리에 대해 새로 알게 된 내용을 정

blog-wp.hwahae.co.kr

putty 대신에 쓸만한 ssh, ftp 툴(window, mac) 추천

sovelop — Sat, 28 Oct 2023 17:34:19 +0900

putty 너무 못생겨서 못쓰겠어요(?)

진짜 못생겼어요...

쓰는 툴은 어느정도 아름다워야 쓸 맛이 난다고요.. putty말고 쓸만한 툴을 추천한다.

putty는 디자인을 제외하고도 ftp는 별도로 파일질라를 다운받아야 하기 때문에 여간 불편한 것이 아니다.

나는 유료를 좋아하지 않기 때문에 무료만 추천한다.

밑의 소개하는 툴들은 모두 ssh, ftp둘다 사용이 가능하다.

윈도우 - Mobaxterm

윈도우 환경이라면 Mobaxterm

개인적으로 레트로 느낌나서 좋아하고 잘 쓴다. 정말 심심할 땐 저기서 게임도 한다(?)

기존에 putty를 썼다면 mobaxterm에 지금껏 연결했던 클라우드 접속 정보를 연동할 수도 있다.

Max, 윈도우, ios, ... - Termius

맥 환경이라면 Termius

Mobaxterm에 비하면 훨씬 현대적이고 깔끔하다.

Termius의 경우 App store에서 다운로드 가능하며 물론 물론 아이패드에서도 사용이 가능하다는 엄청난 장점이 있다.
사실 Termius는 윈도우에서도 사용 가능하기 때문에 더더욱 좋다.

아름다운 ui... 아주 마음에 든다.

개인적으로 Termius전에 Mobaxterm을 먼저 사용했기에 윈도우에서는 Mobaxterm을 사용하기는 하는데 큰 이유는 없고 그냥 익숙해서..^^,,

이제 putty + 파일질라 조합을 벗어나보자고...~

python으로 openai api 사용해보기 (feat. 옵션값-temperature, top_p 설정)

sovelop — Fri, 27 Oct 2023 11:28:04 +0900

파이썬으로 openai에 요청하여 응답을 받아보자! 간지나는 무언가를 만들 수 있을 것만 같아요..?

예전에는 request를 통해서 openai에 요청하고 그랬는데 다시 알아보니 openai의 공식 python 관련 라이브러리가 따로 있었다.
정말 top-notch&full-fledged 개발자라면 자기 입맛에 맞게 requests를 사용해서 이것저것 할 수 있겠지만
나는 그냥 편하게 openai에서 직접 업데이트하고 호환성을 맞춰주는 라이브러리를 사용하겠다.

코드 보기

나는 어떤 녀석을 쓸거냐면...
코드는 얼추 이렇다.

import openai

openai.api_key='{당신이 발급받은 openai key}'

def request_openai(input_text):
    try:
            chat_completion = openai.ChatCompletion.create(
                model="gpt-3.5-turbo", 
                messages=[
                    {
                        "role": "system", # 사용하려는 용도가 어떤 것인지... 기계에게 너는 어떤 역할이라는 것을 알려줘라
                        "content": "You're a machine for ~~ write anything you want"
                    },
                    {
                        "role": "assistant", # 부가적으로 필요한 것이 무엇인지 알려줘라(필수는 아님)
                        "content": "Something is bla bla..."
                    },
                    {
                        "role": "user", 
                        "content": f"Answer this question. {input_text}"
                    }
                ],
                temperature=0
            )

            return jsonify({
                "code": True,
                "result": chat_completion.choices[0].message.content
            }), 200

        except Exception as e:
            print(e)
            if e.code == "context_length_exceeded":
                return jsonify({
                    "code": False,
                    "message": "요청 가능 token수 초과",
                    "error_code": "context_length_exceeded"
                }), 500

            if cnt>5:
                return jsonify({
                    "code": False,
                    "message": "open ai 에러입니다. 잠시 후 다시 사용해주세요."
                }), 500

            time.sleep(5)

            return request_openai(input_text, cnt+1)

message(구 prompt) 에 굳이 영어를 쓴건 아무래도 영어가 조금이라도 더 이해가 좋고 빠르지 않을까 싶어서다.. 어차피 한국어로 질문하면 한국어로 답을 하니 나는 영어로 지시했다.

여담으로 얼마 전에 open ai 서버가 터진 일이 있었다. 자그마치 3시간 넘게 작동이 안됐었는데...
만약 openai 서버가 지금 잘 작동하는지 아닌지 확인하려면 OpenAI Status 에서 확인할 수 있다.

자그마치 3시간이 넘게 터진 API 서버..

물론 openai 서버 문제로 인해 응답을 못받으면 아마 500에러가 돌아왔던걸로 기억하는데.. 일단 바로 고쳐질 수 도 있으니 나는 try excep를 통해 오류가 생겼을 때 5번까지는 계속 시도하게 코드를 짰다. 문제가 없는데 어쩌다 한번씩 응답이 제대로 안오는 경우도 있기 때문

openai의 옵션값 `temperature`와 `top_p`

이때 옵션값으로 중요한 부분이 temperature와 top_p가 있다. 이 값에 따라 대답하는 형식이 많이 달라질 수 있다.

간단히 말해 temperature는 말을 현학적으로 해주는 지수를 높여준다.

`creativity`를 조절하거나 텍스트 생성을 무작위로 뽑는 지수를 높여준다. 예를 들어 temperature지수가 0.7보다 높을 경우 다양하고 현학적으로 말을 뱉는 반면, 낮은 지수인 0.2가 되면 좀더 확정적이고 사용자의 질문에 초점을 맞춰서 답을 하게 된다. 이러한 경우 채팅의 경우 temperature를 높이고, 기술번역을 하는 경우에는 temperature를 낮추는게 좋아보인다.

top_p의 경우

다음 글이 잘 정리되어있으니 참고...!

간단히 말하면 답변을 몇 개 받을 지 정하는 것이다.

숫자가 작아질수록 답변의 variation...다양성이 낮춰진다고 보면 될 것 같다.

간단참고

옵션값을 조정하면서 바로 결과를 확인하고 싶다면 OpenAI Playground가 있으니

여길 참고해서 편하게 써보면 되겠다.

참고

https://community.openai.com/t/cheat-sheet-mastering-temperature-and-top-p-in-chatgpt-api-a-few-tips-and-tricks-on-controlling-the-creativity-deterministic-output-of-prompt-responses/172683

⛺️ Cheat Sheet: Mastering Temperature and Top_p in ChatGPT API (a few tips and tricks on controlling the creativity/determin

Hello everyone! Ok, I admit had help from OpenAi with this. But what I “helped” put together I think can greatly improve the results and costs of using OpenAi within your apps and plugins, specially for those looking to guide internal prompts for plugi

community.openai.com

https://platform.openai.com/docs/guides/gpt/chat-completions-api

OpenAI Platform

Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform.

platform.openai.com

아주 간단하게 Nginx vs Apache 정리

sovelop — Tue, 17 Oct 2023 23:23:30 +0900

대충 누군가 셋팅해놨던 아파치와 Nginx만을 써보다가 이제 Nginx Configuration에 대해 좀더 알아봐야겠다 생각했다.
언제까지나 남이 셋팅해준 서버에 기대며 살 순 없으니까... 그것이..개발자니까..(우웁..)

대충 웹서버하면 원픽으로 떠오르던 것이 아파치 였는데 어느 순간부터 Nginx 가 급부상하기 시작했을까.
무슨 차이가 있길래 Nginx라는 녀석이 아파치를 앞질러서 급부상하기 시작했나?

간단하게 말하자면 Nginx는 아파치보다 큰 트래픽에 훨씬 유용하다고 볼 수 있다.

예를 들어 1000명의 사용자가 동시에 서버에 http 요청을 보내는 경우를 생각해보자.

아파치의 경우 1000명에 맞춰서 1000개의 멀티프로세스 쓰레드를 생성해야 하는 반면,
Nginx는 하나의 프로세스로 1000명의 요청을 동시에 수행할 수 있다.
Nginx는 비동기로 응답을 해주는 시스템이기 때문이다.

이는 더 적은 자원을 통해 더 효율적으로 시스템을 돌릴 수 있게 된다.
요즘에는 점점 서버를 클라우드에서 운용하는 경우가 늘고 있는데, 비싼 서버비용을 조금이라도 아끼려면 자원을 조금이라도 더 아껴야 하는 상황에서 단연코 Nginx가 아파치보다 더 나은 이점을 가질 수 있다고 볼 수 있겠다.

무조건적으로 좋다고 볼 순 없고 당연히 장단점은 존재한다.

예를 들어 아파치의 경우 configuration셋팅이 좀더 다양하고 추후에 관련 모듈을 추가할 때 좀더 용이한 반면,
Nginx는 이미 기본셋팅이 많이 되어 있어서 크게 손볼 것은 없다는 장점은 가지지만

이는 다시 말하면 뭔가를 건드려서 추가하기는 쉽지 않다는 점이 있겠다.

아파치의 경우 여러 플랫폼에 사용될 목적(회사 인프라넷이라든가,,자료 공유용이라든가..) 으로 만들어졌기 때문에 오직 웹서버만을 위해 만들어진 Nginx와 비교했을 때 태생적으로 느릴 수 밖에 없겠다.

사실 둘다 겉핥기만 해본 입장에서 아직까지도 큰 차이가 아직까지 몸소 느껴지진 않지만 점점 서버를 다루다보면 알게 되겠지..?

참고

https://www.howtogeek.com/devops/apache-vs-nginx-which-web-server-is-the-better-choice/

Apache vs. Nginx: Which Web Server Is the Better Choice?

Nginx and Apache combined serve over 50% of the web.

www.howtogeek.com

https://www.sumologic.com/blog/nginx-vs-apache/

NGINX vs Apache: An Honest Guide | Sumo Logic

NGINX vs Apache. Understanding these differences is essential for making the right choice when deciding between NGINX and Apache as a Web hosting solution.

www.sumologic.com

[Nginx] Failed to parse PID from file /run/nginx.pid: Invalid argument 해결법

sovelop — Mon, 16 Oct 2023 14:38:08 +0900

sudo systemctl nginx status 를 눌렀을 때 괜히 이런 찝찝한 화면이 나온다면?

너 뭔데....왜 나온건데...

처음엔 nginx.conf 파일의 pid경로가 /run/nginx.pid; 가 아닌 /var/run/nginx.pid로 바꿔줘야 하나? 했는데 그건 아니고...

왜냐하면 /var/run이나 /run이나 같은겁니다 같은거.. symbolic link되어 있어요~

sudo vi /usr/lib/systemd/nginx.service 파일을 편집해서

ExecStartPost=/bin/sleep 1 를 추가해주면 끝난다.

그리고 다시

systemctl daemon-reload
systemctl restart nginx

를 통해 nginx를 재부팅해주면 끝.

없어졌다!

심각한 에러는 아닌데 그냥 찝찝하니까 없애준다.

https://www.webconn.tech/kb/failed-to-parse-pid-from-file-run-nginx-pid-invalid-argument

NGINX error: Failed to parse PID from file /run/nginx.pid: Invalid argument | Webconn

The nginx service status is active, but an error message is Failed to parse PID from file /run/nginx.pid: Invalid argument. Steps to resolve.