Seonu's

Helm Hook으로 쿠버네티스 배포 순서 문제 해결하기 안녕하세요! 오늘은 제가 현업에서 문제를 해결하면서 알게 된 Helm Hook이라는 친구를 소개해볼까 해요 :)😱 문제 상황실제 현업에서 이런 난감한 상황을 겪어보신 적 있으신가요?나: 오케이~ 새 버전 배포 고고!쿠버네티스: (서버 먼저 띄우면서) 엥? DB 스키마가 없는데요?나: 헐... 마이그레이션이 먼저 돌았어야 했는데...쿠버네티스: 그럼 롤백할까요~?나: ㅠㅠㅠㅠㅠ너무 무서운 순간이죠? 이런 상황은 실제로 프로덕션 환경에서 자주 발생할 수 있는 매우 위험한 시나리오예요. 하지만 이런 상황을 Helm Hook을 사용하면 쉽게 해결할 수 있어요!Helm Hook이란?Helm Hook은 쿠버네티스 리소스의 라이프사이클을 제어하는 특별한 '어노테이션'이에요. 쉽게 말하면 "이 리소스는 이때 실행해 ..

데이터 결합과 재구조화 🔄 - 자주 쓰는 명령어로 배우는 Polars #5 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 다섯 번째 글입니다. 지난 글에서는 데이터 그룹화와 집계에 대해 알아보았는데요. 오늘은 데이터 결합(Joining)과 재구조화(Reshaping) 기능에 대해 알아보도록 하겠습니다.데이터 분석을 하다 보면 여러 데이터셋을 하나로 합치거나, 데이터의 형태를 변환해야 하는 경우가 자주 있습니다. 특히 실무에서는 여러 소스의 데이터를 통합하고 분석하기 좋은 형태로 변환하는 작업이 매우 중요한데요. Polars는 이러한 작업을 효율적으로 수행할 수 있는 다양한 기능을 제공하고 있습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로 동작하지 않을 수 있습니다.먼저 필요한 라이브러리를 ..

Polars로 데이터 그룹화와 집계 📊 - 자주쓰는 명령어로 배우는 Polars #4 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 네 번째 글입니다. 지난 글에서는 데이터 필터링과 정렬에 대해 알아보았는데요. 오늘은 데이터 분석에서 매우 중요한 그룹화(Grouping)와 집계(Aggregation) 기능에 대해 알아보도록 하겠습니다.데이터를 그룹화하고 집계하는 과정을 통해 의미있는 인사이트를 얻을 수 있습니다. 예를들어, '지역별 매출 합계', '연령대별 고객 수' 등의 정보를 파악할 수 있습니다. Polars는 이러한 작업을 매우 효율적이고 직관적으로 수행할 수 있도록 다양한 기능을 제공하고 있습니다.오늘도 포켓몬 데이터 예시를 통해 그룹화와 집계에 대해 자세히 살펴보도록 하겠습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 ..

vscode에서 파이썬 개발환경 세팅하기 (가상환경, 개발도구) 안녕하세요, 이번 포스트에서는 vscode로 파이썬 개발을 시작하기 위해 개발 환경을 구성하는 방법에 대해서 다루어보겠습니다. 파이썬 관리 도구 및 가상환경, 패키지 매니저, 그리고 스타일 및 정적검사를 위한 개발 도구까지 소개해 보도록 하겠습니다. 파이썬으로 프로젝트를 구성하시는 분들에게 많은 도움이 되었으면 합니다. vscode 설치하기 우선 당연하게도 vscode를 설치해야 합니다. 아래 링크를 통해 본인의 환경에 맞는 vscode를 설치합니다. https://code.visualstudio.com/download 파이썬 설치 파이썬을 공식 홈페이지를 통해 설치할 수도 있지만, 저희는 pyenv라는 도구를 활용할 계획입니다. pyenv는 파이썬 버전을 쉽게 바꿀 수 있게 도와주는 툴입니다. 프로젝트..

배워봅시다 Draw.io '백문이 불여일견'이라는 말이 있습니다. '백 번 듣는 것이 한 번 보는 것만 못하다'는 뜻입니다. 이와 완전히 동일하지는 않지만, 백번 읽는 것보다 시각적으로 한 번 보는 것이 이해가 쉬운 경우가 많습니다. 정말 그런지 예시를 통해서 한 번 살펴보겠습니다. Velog라는 개발 블로그의 아키텍처는 다음과 같이 구성되어 있습니다. 프론트엔드 React로 만들어진 프로젝트를 AWS Lambda를 통해 서버사이드 렌더링 됩니다. Static File은 AWS S3에 저장되어 있고, CloudFront를 통해서 서비스됩니다. 백엔드 백엔드는 AWS Lambda를 통해 서비스되고, NAT Gateway를 통해서 AWS S3나 AWS SES 같은 외부 서비스에 접근합니다. 유저가 이미지를 업로드하면 백엔드 서버를 ..

파이썬 Typing 파헤치기 - 기초편 동적 언어에서의 타입 검사파이썬은 동적 언어로 잘 알려진 언어입니다. 즉, 변수의 타입을 일일이 명시하지 않아도 되고, 특정 변수의 타입이 중간에 바뀌어도 됩니다. 파이썬과 같은 동적 언어는 C, Java, Rust 등의 정적 언어보다 배우기도 쉽고, 좀 더 빠르게 프로그래밍이 가능하다는 장점이 있습니다. 하지만, 잘못된 타입을 사용하여 예상치 못한 에러를 만들어내고, 이로 인해 프로그램이 망가질 수 있다는 단점도 있습니다. 코드 양이 많아지고 복잡해질수록 잘못된 타입으로 인한 에러를 만날 확률이 높아지겠죠.따라서 최근에는 이런 동적 언어들에도 타입을 명시하고 검사하고자 하는 수요가 늘어나고 있습니다. Javascript계열에서는 Typescript가 많은 인기를 얻고 있으며, 파이썬 같은 경우도 3.5..

쉽게 설명하는 네트워크 (IP주소, DNS, 네트워크, 호스트, CIDR, Private IP, 포트포워딩) IP 주소가 뭔가요? IP 주소는 각각의 컴퓨터 기기가 서로 통신하기 위해 가지고 있는 네트워크 주소입니다. 우리가 우편주소로 집의 위치를 찾는 것처럼, 컴퓨터는 IP주소라는 주소체계를 통해 컴퓨터를 식별합니다. IPv4와 IPv6 IP 주소체계는 IPv4와 IPv6로 나눌 수 있습니다. IPv4 IPv4는 *8비트씩 4블럭으로 이루어져 있는 주소체계입니다. 현재 주로 활용되고 있는 주소체계입니다. 8비트는 10진수로 표현하면 0~255 (2^8 = 256) 까지의 값을 가집니다. 즉, 0~255가 4블럭으로 이루어졌다고 보셔도 됩니다. 이를 표현하면 아래와 같은 형태를 가지고 있습니다. 172.217.25.14 그렇다면 IPv4 주소체계로는 총 몇 개의 IP주소를 만들 수 있을까요? 8비트씩 4블럭이라..

파이썬 Typing 파헤치기 - 심화편 지난 글 '파이썬 Typing 파헤치기 - 기초편'에서는 Typing의 기본적인 내용과 8개의 타입에 대해 다루어봤습니다. 이번 포스트에서는 조금 더 심화된 타입들에 대해 다뤄보도록 하겠습니다. 심화 타입 알아보기 1. tying.Callable[..., ReturnType] 지난 포스트에서 typing.Callable에 대해서 간단하게 다뤄봤습니다. 함수를 인자로 받는 경우에 Callable 타입을 활용하면 된다고 했습니다. def on_some_event_happened(callback: Callable[[int, str, str], int]) -> None: ... def do_this(a: int, b: str, c:str) -> int: ... on_some_event_happen..

Helm Hook으로 쿠버네티스 배포 순서 문제 해결하기 안녕하세요! 오늘은 제가 현업에서 문제를 해결하면서 알게 된 Helm Hook이라는 친구를 소개해볼까 해요 :)😱 문제 상황실제 현업에서 이런 난감한 상황을 겪어보신 적 있으신가요?나: 오케이~ 새 버전 배포 고고!쿠버네티스: (서버 먼저 띄우면서) 엥? DB 스키마가 없는데요?나: 헐... 마이그레이션이 먼저 돌았어야 했는데...쿠버네티스: 그럼 롤백할까요~?나: ㅠㅠㅠㅠㅠ너무 무서운 순간이죠? 이런 상황은 실제로 프로덕션 환경에서 자주 발생할 수 있는 매우 위험한 시나리오예요. 하지만 이런 상황을 Helm Hook을 사용하면 쉽게 해결할 수 있어요!Helm Hook이란?Helm Hook은 쿠버네티스 리소스의 라이프사이클을 제어하는 특별한 '어노테이션'이에요. 쉽게 말하면 "이 리소스는 이때 실행해 ..

HTML을 이미지로 저장하기 - 트러블 슈팅 경험 공유 🔥 안녕하세요, 오늘은 제가 최근에 개발한 사이드 프로젝트 '퀵썸네일'을 만들면서 겪은 문제와 해결 방법에 대해 이야기해보려고 합니다. 퀵썸네일은 '몇 번의 간단한 클릭만으로 예쁜 썸네일을 빠르고 쉽게 만들 수 있는 프로젝트'인데요, HTML과 스타일 요소를 사용하고 있어서 HTML을 이미지로 저장하는 것이 핵심 기능이었습니다.트러블슈팅 #1: 사파리 이미지 저장 문제HTML을 이미지로 변환할 때 가장 유명한 라이브러리는 'html-to-image'입니다. 하지만 이 라이브러리를 사용하면 저장 시에 사파리 브라우저에서 이미지가 깨지는 문제가 있었습니다. 배경 이미지가 사라지거나, 폰트가 적용되지 않는 등의 문제가 존재했습니다.사파리나 파이어폭스 브라우저에서는 해당 라이브러리를 활용해서 이미지를 저장할 때 외..

AWS Secrets Manager로 쿠버네티스 시크릿(Secret)을 관리해보자 기존에는 시크릿을 그냥 yaml파일로서 생성해서 개인 컴퓨터에 가지고 있었습니다. 이 때는 사내에서 쿠버네티스를 관리하는 사람이 저밖에 없었기 때문에 크게 문제가 되지 않았습니다. 하지만, 어느새 쿠버네티스를 관리하는 팀원이 3명으로 늘어났습니다. 물론 시크릿 파일을 코드 저장소에 올리진 않았지만, 시크릿을 계속 파일로 관리하는 것은 보안적으로도 시스템적으로도 문제가 된다는 판단을 했습니다. 시크릿이 수정될 때마다 관리하는 팀원들에게 계속 공유를 해줘야했고, 누군가 해당 부분을 적용 안 한 상태로 수정사항을 적용할 경우 해당 시크릿이 누락되는 문제가 발생할 수 있었습니다. 이런 상황을 인지하고 AWS의 Secrets Manager를 활용하여 쿠버네티스의 Secret을 동기화할 수 있게하는 작업을 진행했습..

Vue3로 프로젝트를 진행하면서 알게 된 것들 최근에 Vue3와 Typescript를 학습하기 위한 목적으로 간단한 개인 프로젝트를 진행하였다. 해당 프로젝트를 진행하면서 알게 된 것들을 정리하고자 한다. Vue3에 대한 튜토리얼은 아니고, 시행착오에 대한 기록이라 할 수 있다. script setup Vue3의 composition api는 보통 아래와 같은 형태로 사용했다.(Vue.js 공식문서의 예제) 하지만, 최근 Vue의 공식문서를 보면 setup function을 쓰는 것보다 훨씬 단순하고, Props나 Event를 순수 Typescript를 활용해 선언할 수 있다. 그리고 런타임 시에 성능이 더 좋으며, IDE 지원이 잘된다고 한다. 해당 내용에 대해서 더 자세히 알고 싶다면 아래 공식문서를 확인하자. SFC 을 활용한 엄청난 규모의 오..

프로그래밍 폴더 구조에 대한 생각정리 코딩을 할 때 가장 고민을 많이 했던 부분이 바로 폴더 구조이다. 어떤 폴더들이 있어야 할지 그리고 해당 폴더들에는 어떤 파일들이 들어가야 할지가 정리가 잘 되지 않았다. 예를 들면 utils폴더와 libs폴더, core폴더의 차이점들은 뭔지, 현재 작업하고 있는 파일들은 utils로 봐야 할지 core로 넣어야 할지 등이 굉장히 애매했다. 얼마 전 팀원들이랑 관련해서 이야기를 나눴는데 역시 모두 다 해당 부분에 대해서 고민을 하고 있었다. 많이 고민해보고 여러 오픈소스들을 참고하면서 나름의 정리를 하게 되었고 해당 부분을 기록한다. 1. 정해진 정답은 없다. ⭕❌ 잘나가는 오픈소스들도 기준이 달랐다. utils.py나 utils.js처럼 utils를 파일로만 관리하는 곳도 있고, utils를 폴더로 관..

파이썬과 비동기 프로그래밍 #2, 파이썬에서 비동기 프로그래밍 시작하기 지난글에 이은 두번째 글입니다. 지난 글에서는 비동기 프로그래밍이 의미하는 바와 쓰레딩과 비동기의 차이점에 대해 알아봤습니다. 이번 글에서는 파이썬에서 어떻게 비동기를 구현할 수 있는지에 대해 알아보겠습니다. 용어정리 우선 용어부터 최대한 쉽게 설명해보겠습니다. 파이썬에서 비동기 프로그래밍을 하기 위해서는 이벤트 루프와 코루틴을 이해해야 합니다. 1. 이벤트 루프(Event Loop) 이벤트 루프는 작업들을 루프(반복문)를 돌면서 하나씩 실행시키는 역할을 합니다. 이때, 만약 실행된 작업이 특정한 데이터를 요청하고 응답을 기다려야 한다면, 이 작업은 다시 이벤트 루프에 통제권을 넘겨줍니다. 통제권을 받은 이벤트 루프는 다음 작업을 실행하게 됩니다. 그리고 응답을 받은 순서대로 멈췄던 부분부터 다시 통제권..

파이썬의 컨텍스트 매니저 (Context Manager) 에 대해 알아봅시다. 기초 컴퓨터에서 사용할 수 있는 리소스는 제한적입니다. 따라서 사용한(acquired) 리소스는 종료해주는 것(released)이 중요합니다. 그렇지 않다면 프로그램이 종료된 이후에도 사용한 리소스가 계속 열려있는 resource leak현상이 발생합니다. f = open('memo.txt', 'r') print(f.read()) 위의 코드처럼 파일을 열고 닫아주지 않는다면, 파일이 계속 컴퓨터에 남아있을 확률이 있습니다. (대부분 Python이 종료해준다고 하긴 합니다.) >> Hello, World따라서 아래와 같이 열었던 파일을 닫아주어야 합니다. f = open('memo.txt', 'r') print(f.read()) f.close() 하지만, 코드가 복잡해지다보면 파일을 닫기전에 에러가 발생할..

파이썬 asyncio로 생산자/소비자 (Producer/Consumer) 패턴 구현하기 오늘은 파이썬에서 공식적으로 지원하는 비동기 라이브러리인 asyncio로 생산자/소비자 (Producer/Consumber) 패턴을 구현하는 방법에 대해서 다뤄보겠습니다. 해당 포스트에서 사용하는 모든 예시는 파이썬 3.11 버전 이상을 가정하고 있습니다. 비동기 프로그래밍과 생산자/소비자 (Producer/Consumer) 패턴 비동기 프로그래밍이란 비동기 프로그래밍은 모든 코드가 순차적으로 실행되는 동기식 프로그래밍과 달리, 작업에 대기가 발생했을 때 (e.g., 네트워크 요청 후 응답) 해당 작업이 끝나기 전까지 다른 작업을 수행하는 프로그램 방식을 의미합니다. 이를 통해 네트워크 입출력(I/O)와 같이 대기가 발생하는 일을 처리할 때 성능을 높일 수 있다는 장점이 있습니다. 보다 자세한 내용은 이..

Asnycio Lock에 대해 알아보자. asyncio는 한 개의 쓰레드에서 돌아가지만, 동시성이 존재한다. 이 때문에, 잘 못 쓰면 작업들이 예상치 못한 순서로 일어날 수도 있다. threading이나 multiprocessing에서와 같은 Lock을 사용하면 예기치 못한 상황을 예방할 수 있다. (save concurrency) Example Without Lock import asyncio import random owner = None async def coro1(): global owner owner = 'IAMMAN' print(f"I am owner, {owner}") await asyncio.sleep(random.random()) print(f"{owner} is man.") async def coro2(): gl..

자주쓰는 명령어로 배우는 Pandas #2 : Index와 Column 조작하기 자주쓰는 명령어로 배우는 Pandas 1편에 이어 2편입니다. 이번에는 Index와 Columns를 직접적으로 조작해보도록 하겠습니다. 1편에서 작성했던 코드 결과들은 계속 유지되니 직접 실습을 따라 하고 싶으신 분들은 1편을 참고해주세요. 지금까지의 데이터프레임은 이렇게 생겼습니다. df.head() 실행결과 Index 조작하기 Index 초기화 기존에 설정된 인덱스를 초기화하려면 reset_index 메소드를 사용하면 됩니다. df = df.reset_index() df.head() 실행결과 Index 설정하기 특정 컬럼을 Index로 설정하고 싶으시다면, 해당 컬럼을 set_index 메소드의 인자로 넣으시면 됩니다. df = df.set_index("username") df.head() 실행결과 ..

지금 노션 웹 클리퍼로 괜찮나요? 'Save to Notion'을 소개합니다. 웹 클리퍼는 이렇게 만드는 거야 : Save to Notion 안녕하세요, 지난 번 설치하지 않고 Notion 데스크탑 앱으로 이용하기 이후로 노션에 관한 두번째 포스팅입니다. 오늘은 웹페이지를 노션에 북마크 할 수 있는 놀라운 툴을 소개해드릴까 합니다. 'Save to Notion' 이라는 크롬 확장 도구입니다. 크롬뿐만이 아니라, 웨일이나 엣지 등의 크롬 기반 브라우저에서 모두 사용 가능합니다. 이미 노션에서 공식적으로 웹 클리퍼를 제공하고 있는데 왜 이 툴을 소개하는 걸까요? 노션 공식 웹 클리퍼의 불편함 저도 'Save to Notion'을 알기 전까지는 노션의 공식 웹 클리퍼를 사용하고 있었습니다. 저는 주로 하나의 블로그를 그때 그때 정독하는 편이 아닙니다. Medium, Velog, 혹은 F..

Notion 설치하지 않고 데스크탑 앱으로 이용하기 Notion 소프트웨어를 사용하다보면 가끔 에러가 나서 다시 설치해야하는 문제를 겪곤했습니다. 그리고 리눅스환경에서 Notion을 크롬에서만 이용할 수 있기 때문에 불편을 겪을 떄가 많습니다. (저만 그런가요?) Notion은 소프트웨어와 웹의 환경의 95%이상 일치하기 때문에 크롬의 바로가기만들기를 통해 웹사이트를 앱으로 만들면 데스크탑앱처럼 이용할 수 있습니다. 웹이기 때문에 심지어 설치나 업데이트도 필요하지 않습니다. 그럼 어떻게 웹을 데스크탑 앱으로 만들 수 있는지 알아봅시다. 우선, 노션 웹페이지로 갑니다. 이 때 웹에서 로그인한 적이 있는 경우 바로 자신의 페이지로 가게됩니다. url을 살펴보시면 아래 사진과같이 notion.so 이후에 이상한 문자의 주소가 붙어있는 것을 확인할 수 있습니다...

정규표현식의 표현식 그룹 이름 지정 (Named Capture Group)에 대해 알아봅시다. 정규표현식에서 ?P을 원하는 패턴 앞에 써주면 특정 표현식에 대해 이름으르 그룹을 지정할 수 있습니다. 예를 들어, 아래와 같이 사용하면 major, minor, patch 라는 이름으로 표현식 그룹을 만들 수 있습니다. (?P\d+)\.(?P\d+)\.(?P\d+) 괄호로 묶는 범위만큼 그룹이 생성되어 특정 그룹을 지정할 수 있습니다. (정규표현식에서 이렇게 일부 패턴을 뽑아내는 것을 캡처(Capture)라고 부릅니다.) 파이썬에서는 아래와 같이 사용할 수 있습니다. import re m = re.search(r"v(?P\d+)\.(?P\d+)\.(?P\d+)", "v1.2.3") m.group('major') # '1' m.group('minor') # &#..

파이썬으로 만드는 나만의 커맨드라인 프로그램 #2 - click 지난 시간에는 argparse모듈을 활용해 커맨드 라인 프로그램을 만드는 법에 대해 알아봤습니다. 이번에는 click모듈을 사용하여 커맨드 라인 프로그램을 만드는 법에 대해 소개하겠습니다. click 모듈 argparse뿐만이 아니라 click모듈도 많이 사용됩니다. click모듈은 argparse에서 제공하는 기능을 보다 쉽고, decorator를 사용해 보다 깔끔하게 사용할 수 있게 해줍니다. Flask에서 CLI(Command Line Interface)를 구현하기 위해 사용한 모듈이기도 합니다. click을 사용하여 argparse와 똑같은 코드를 작성해보겠습니다. 이번엔 프로젝트명을 hello 대신 cello를 사용하겠습니다. # cello/main.py import click import sy..

프로그래밍 언어 선택의 5가지 기준 '어떤 프로그래밍 언어를 선택해야할까?' 위의 질문은 개발자들이 가장 고민하는 문제 중 하나입니다. 해당 주제를 가지고 굉장히 많은 블로그 포스트나 유튜브 영상이 있고, 해당 콘텐츠들의 조회수 역시 높습니다. 해당 문제를 가지고 커뮤니티들에서 논쟁이 벌어지기도 합니다. 저 역시 프로그래밍 언어 선택에 있어서 많은 고민을 했고, 아직도 하고 있습니다. 그렇다면 어떤 프로그래밍 언어를 선택하는 것이 좋을까요? 가장 완벽한 프로그래밍 언어가 있다면 좋겠지만, 아쉽게도 그러한 언어는 존재하지 않습니다. 특정한 분야에서 강점을 가지면, 다른 분야에서 약점을 가지기 마련입니다. 예를 들어, C나 C++ 같은 언어는 속도는 빠르지만, 배우기 어렵고 개발하는데 시간이 다른 언어들에 비해 오래 걸립니다. ..

Polars로 데이터 불러오기 및 조작하기 - 자주 쓰는 명령어로 배우는 Polars #2 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 두 번째 글입니다. 지난 글에서는 Polars의 주요 특징과 Pandas와의 차이점에 대해 알아보았는데요. 오늘은 본격적으로 Polars를 사용하여 데이터를 다루는 방법에 대해 알아보도록 하겠습니다.데이터 분석의 첫걸음은 데이터를 불러오는 것부터 시작합니다. Polars는 다양한 포맷의 데이터를 효율적으로 처리할 수 있으며, 대용량 데이터 처리에 장점을 가지고 있습니다. 이번 포스트에서는 데이터를 불러오고 기본적인 조작을 하는 방법에 대해 자세히 알아보겠습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로 동작하지 않을 수 있습니다.먼저 필요한 라이브러리를 임포트하겠습니다. ..

정말로 단위 테스트를 통합 테스트보다 많이 작성해야 할까? 테스트 피라미드 통합 테스트를 줄이고, 단위 테스트를 많이 작성해야 한다는 말 들어보셨나요? 이러한 주장을 하면 보통 리팩터링의 저자 마틴 파울러의 테스트 피라미드를 예시로 사용합니다. 해당 그림을 보면 UI 테스트나 통합 테스트는 지양해야 할 대상처럼 보이고, 테스트 더블(e.g. 모킹)을 활용한 단위 테스트를 늘려야만 할 것 같습니다. 테스트 피라미드에 대한 논쟁 하지만 얼마 전 우연히 마틴 파울러의‘테스트 피라미드에 반박하는 트위터 게시글을 보게 되었습니다. “마틴 파울러의 테스트 피라미드는 시대가 지난 개념이다. 통합 테스트를 유닛 테스트보다 많이 작성하는 게 새로운 통념이다. 프론트엔드에서는 트로피 모양 테스트, 백엔드에서는 벌집 모양 테스트 등이 이를 뒷밤침한다.” 트위터에서 언급된 사람들 같..

내 코드를 우아하게 만드는 파이썬 꿀팁 😮 파이썬은 코드를 보다 쉽고 우아하게 작성할 수 있게 도와주는 여러 도구들을 내장하고 있습니다. 오늘은 이중 제가 자주 사용하는 몇 가지를 소개해드리겠습니다. 이러한 도구들을 잘 활용한다면 훨씬 가독성이 높고 우아한 코드를 작성할 수 있습니다. 글이 본의 아니게 꽤 길어졌는데, 코드 위주로 보시고 이해가 되지 않는 부분만 설명을 참고하시면 금방 읽으실 수 있을듯합니다. 😂 f-string f-string은 파이썬 3.6부터 도입된 기능으로서, 문자열의 포맷팅을 쉽게 도와줍니다. 파이썬에 문자열을 만드는 따옴표 앞에 f를 붙여주기만 하면 됩니다. 이렇게 하면 해당 문자열에 {변수명}을 활용하여 바로 해당하는 변수를 문자열에서 사용할 수 있습니다. 예제를 확인해보겠습니다. one = "Hello" two = ..

vscode에서 파이썬 개발환경 세팅 vscode 코드 설치 Download Visual Studio Code - Mac, Linux, Windows 파이썬 또는 Anaconda(Miniconda) 설치 파이썬 다운로드 (가장 기본적인 파이썬) 아나콘다 다운로드 (데이터 사이언스, 머신러닝을 위한 각종 라이브러리들이 포함된 파이썬) 미니콘다 다운로드 (아나콘다의 미니 버전, pip과 같은 기본적인 라이브러리들이 설치되어 있다. 미니콘다 설치 이후 원한다면 anaconda에 포함된 모든 라이브러리를 쉽게 설치할 수 있다.) 가상환경 생성 및 활성화 (택 1) virtualenv # virtualenv 설치 pip install virtualenv # 가상환경 생성 virtualenv .venv # 가상환경 활성화 # Mac OS / Linux..

파이썬 크롤링 공부, 도움받은 자료 모음 크롤링 공부하면서 도움받은 자료들을 공유합니다. BeautifulSoup 기초 HTML 기초 -> 웹 페이지 크롤링 실습하면소 공부하기 좋은 것들 공시크롤링 시리즈 (이 사람 블로그는 공시크롤링 외에도 크롤링 따라하면서 배울 수 있는게 많음) 공시크롤링#1 기업공시시스템 open api 사용하기 공시크롤링#2 기업공시시스템 open api로 매출총이익률 계산하기 공시크롤링#3 기업공시시스템 open api로 다수 기업의 매출총이익률 구하기 WOOSA 블로그 금감원 전자공시(DART) 크롤링: 위랑 같은 사이트를 크롤링하나 다른 것들을 배울 수 있다. 거래소 상장법인목록 크롤링 거래소 일자별 시세 크롤링 셀레니움 (현재 실력으로 긁기 어려운 사이트에 활용) 나만의 웹 크롤러 만들기: Login with S..

파이썬 단위 테스트 모듈 unittest에 대해 알아보자 기초 TDD (Test Driven Development) 또는 Test Case를 작성하기 위한 파이썬 내장 모듈입니다. unittest.TestCase를 상속받아 Custom Test Class를 정의합니다. test_로 시작하는 함수를 정의하면 unittest가 실행되면서 해당 함수를 테스트합니다. 예제 import unittest def add_two_numbers(a, b): return a + b class TestAdd(unittest.TestCase): def test_numbers_3_4(self): # 3+4 must be 7 self.assertEqual(add_two_numbers(3, 4), 7) def test_numbers_0_0(self): # 0+0 must be 0 sel..

데이터 결합과 재구조화 🔄 - 자주 쓰는 명령어로 배우는 Polars #5 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 다섯 번째 글입니다. 지난 글에서는 데이터 그룹화와 집계에 대해 알아보았는데요. 오늘은 데이터 결합(Joining)과 재구조화(Reshaping) 기능에 대해 알아보도록 하겠습니다.데이터 분석을 하다 보면 여러 데이터셋을 하나로 합치거나, 데이터의 형태를 변환해야 하는 경우가 자주 있습니다. 특히 실무에서는 여러 소스의 데이터를 통합하고 분석하기 좋은 형태로 변환하는 작업이 매우 중요한데요. Polars는 이러한 작업을 효율적으로 수행할 수 있는 다양한 기능을 제공하고 있습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로 동작하지 않을 수 있습니다.먼저 필요한 라이브러리를 ..

Polars 시작하기 (소개 및 설치) - 자주쓰는 명령어로 배우는 Polars #1 안녕하세요, 데이터 처리와 분석을 위한 라이브러리 polars에 대해 들어보셨나요? Polars는 Pandas보다 빠른 성능과 직관적인 API로 최근 데이터 엔지니어와 사이언티스트 사이에서 큰 주목을 받고 있습니다.이전에 '자주 쓰는 명령어로 배우는 Pandas 시리즈'를 연재한 적이 있는데요, 이번에는 그와 유사하게 '자주 쓰는 명령어로 배우는 Polars 시리즈'를 작성해 보려고 합니다.이번 포스트에서는 Polars의 주요 특징과 설치 방법, 그리고 기본적인 사용법에 대해 알아보겠습니다.🤔 Pandas vs Polars: 무엇이 다를까?Pandas와 Polars는 모두 강력한 데이터 조작과 처리를 위한 라이브러리지만, 몇 가지 중요한 차이점이 있습니다:성능: Polars는 Rust로 작성되어 Pan..

웹 컴포넌트 Svelte로 만들고 배포까지 (feat. 사이드 프로젝트) 12월 사이드 프로젝트로 카카오톡 광고에 영감을 받아 Adsense-Popover라는 프로젝트를 진행했습니다. Adsense Popover는 페이지의 우측 하단(또는 원하는 위치)에 구글 애드 센스 광고가 슬라이드 하며 나타나는 프로젝트입니다. 오늘은 해당 프로젝트를 진행하면서 사용한 기술인 웹 컴포넌트에 대한 소개와, Svelte를 통해 직접 웹 컴포넌트를 만들어 배포하는 과정을 다뤄보겠습니다. 웹 컴포넌트란? 웹 컴포넌트는 브라우저 상에서 커스텀 태그 (Custom Elements)를 만들 수 있게 해주는 기술입니다. 브라우저의 div, span과 같은 표준 태그 외에 본인이 만든 커스텀 태그를 사용할 수 있습니다. 웹 컴포넌트를 왜 사용하나요? 웹 컴포넌트를 사용하면 외부 개발자들에게 쉽게 컴포넌트..

파이썬 예제로 보는 직접 의존성과 간접 의존성 의존성 (Dependencies) 없는 프로그램은 존재하지 않습니다. 소프트웨어의 일부분(함수, 클래스, 모듈 등)은 어떤 기능을 수행하기 위해 다른 부분에 의존하고 있습니다. 그리고 의존성은 직접 의존성 (또는 명시적 의존성, Explicit Dependencies)과 간접 의존성 (또는 암시적 의존성, Implict Dependencies)으로 나눌 수 있습니다. 이번 포스트에서는, 이러한 의존성들의 정의와 각각의 장단점에 대해서 알아보는 시간을 가져보도록 하겠습니다. 😎 직접 의존성 직접 의존성은 어떤 함수나, 클래스가 각자의 인터페이스를 통해 '의존 대상'에 직접적으로 의존하고 있는 것을 의미합니다. 의존 대상이 인터페이스에 직접적으로 정의되어 있기 때문에 인터페이스만 보고도 의존하..

파이썬과 비동기 프로그래밍 #1, 비동기 프로그래밍이란 비동기(Asynchronous)란? 이해를 돕기 위해 약간은 비현실적인 예를 들어보겠습니다. 여러분들은 10대의 세탁기를 돌리고, 10대의 커피포트에 물을 끓여야 합니다. 이 일을 하기 위한 방법은 아래와 같이 두 가지 방법이 있습니다. 첫번째 방법 1번 세탁기를 돌린다. 1번 세탁기가 완료될 때까지 기다린다. 1번 세탁기에서 빨래를 수거한다. 2번 세탁기를 돌린다. 2번 세탁기가 완료될 때까지 기다린다. 2번 세탁기에서 빨래를 수거한다. ... (위의 과정 반복) 10번 세탁기를 돌린다. 10번 세탁기가 완료될 때까지 기다린다. 10번 세탁기에서 빨래를 수거한다. 1번 커피포트에 물을 끓인다. 1번 커피포트의 물이 끓기를 기다린다. 1번 커피포트의 물로 녹차를 탄다. 2번 커피포트의 물을 끓인다. 2번..

선형대수 왜 공부해야할까? 선형대수 왜 공부할까? 요즘 KOCW 에서 이옥연 교수님이 강의하시는 선형대수학 강의를 듣고 있습니다. 현재 앞부분만 들었는데, '어떻게 이렇게 선형대수를 잘 가르치시나'하는 생각이 듭니다.. 대학교 1 학년 때 학교에서 선형대수를 들었고, KOCW 에서 이상화 교수님의 선형대수 강의를 들었지만 왜 선형대수, 벡터, 행렬 같은 것들을 배우는지 막막했는데 이 부분에 대한 명쾌하고 쉬운 답을 주십니다. 아래는 이옥연 교수님의 강의 링크입니다. KOCW 선형대수학 및 연습 선형대수는 무엇을 공부하는 학문인가? 선형대수는 기본적으로 벡터공간을 공부하는 학문입니다. 벡터공간을 이해하기 위한 도구로서 행렬, 내적, 기저, 등을 배웁니다. 벡터공간에 대한 자세한 정의는 컨텐츠를 연재하면서 선형대수를 공부하면서 차차 ..

poetry와 github actions를 활용한 파이썬 라이브러리 배포 자동화 파이썬 개발을 하다 보면 필요한 라이브러리를 pip install 커맨드를 통해 쉽게 다운받아서 활용합니다. pandas, pydantic, fastapi 등 유명한 라이브러리가 많습니다. 이렇게 라이브러리를 설치해 사용하기도 하지만, 때로는 직접 라이브러리를 만들어서 배포하고 싶을 때가 있습니다. 파이썬에서는 어떻게 다른 사람들이 사용할 수 있는 라이브러리를 만들어 배포할까요? 오늘은 실습을 통해 직접 파이썬 라이브러리를 만들고, Github Actions를 이용해 라이브러리의 버전이 변경될 때마다 자동으로 배포하는 시스템을 만들어보겠습니다. poetry 소개 poetry는 의존성 관리 및 패키지 배포를 손쉽게 잘할 수 있도록 도와주는 도구입니다. poetry를 사용하지 않더라도 requirements..

SEO를 위한 sitemapr 라이브러리 소개: 구글에 서비스 페이지를 알려주자. 안녕하세요, 오늘은 제가 최근에 진행한 작은 사이드 프로젝트 'sitemapr'에 대해서 소개해 볼까 합니다.프로젝트를 시작한 계기광고비를 쓰지 않고도 (줄이고도) 서비스를 효과적으로 노출시키고 싶었습니다. 여러 가지 방법이 있겠지만, 저는 SEO를 잘하는 것이 무엇보다 중요하다고 생각했습니다. SEO란 '검색엔진 최적화'라는 의미로 검색엔진(e.g. Google)이 웹사이트의 내용을 효과적으로 파악하도록 웹페이지를 구조화하는 작업을 의미합니다. 최적화를 수행하기 위한 다양한 방법이 있지만, 검색엔진에 우리 서비스 페이지를 잘 알리는 것이 우선이라고 생각했습니다. 보통 검색엔진은 각 사이트에서 제공하는 사이트맵을 활용해서 페이지를 색인합니다.블로그를 운영하고 있다면 보통 블로그 서비스나 정적 웹사이트 제..

Rust 버전의 노마드 코인 nomadcoin-rs 안녕하세요, 오늘은 제가 2년 전에 했던 사이드 프로젝트 'nomadcoin-rs' 경험을 소개해 볼까 합니다. 작업한 지 2년도 더 된 프로젝트이지만 블로그에서 한 번도 다뤄본 적이 없어 다루어 보려고 합니다. 해당 프로젝트는 '노마드 코인: Go로 암호화폐 만들기'라는 노마드 코더의 온라인 강의를 Rust로 클론 코딩하는 프로젝트였습니다. 해당 프로젝트의 메인 언어는 golang이었지만 Rust에 대한 관심이 높았고, 막 공식 문서 공부를 끝낸 참이어서 언어에 좀 더 익숙해지기 위해 Rust로 프로젝트를 진행하기로 결심했습니다. 프로젝트 목표 해당 프로젝트를 진행함에 있어서 저는 크게 두 가지 목표가 있었습니다. 블록체인과 그것을 어떻게 만드는지 기술적으로 이해하기 Rus..

자주쓰는 명령어로 배우는 Pandas #4 : 데이터 능숙하게 다루기 자주쓰는 명령어로 배우는 Pandas 3편에 이어 4편입니다. 이번 편이 마지막 편입니다! 1편, 2편, 3편에서 작성했던 코드 결과들은 계속 유지되니 직접 실습을 따라 하고 싶으신 분들은 이전 시리즈를 참고해주세요. 지난번 실습까지 잘 따라오셨다면, 아래와 같은 데이터 프레임을 가지고 있으실 겁니다. df.head() 실행결과 참고사항: 이번 포스트에서 보여드리는 대부분의 예시에서는 원본 df를 변경시키지 않기 위해 연산 결과를 다시 df에 지정시키지 않습니다. 연산 결과로 데이터를 변경시키기 위해서는 df = 연산결과구문을 활용해서 원본 데이터를 변경해주시면 됩니다. 데이터 마스킹(Masking) 하기 요즘 코로나 때문에 모두들 마스크를 써서 입을 가리죠? 데이터에서도 일부 데이터를 가린다는 의미로 ..

vue에서 node_modules모듈 babel 문제해결 Problem Google Analytics를 보는데, 어느 순간 부터 인터넷 익스플로러의 활성사용자수가 0임을 확인하였다. (망할 IE...) 알고보니 우리가 Vue에서 Google Tag Manager를 사용하기 위해 vue-gtm이라는 라이브러리를 쓰고 있는데 해당 라이브러리의 익스플로러 지원이 안됐던 것이다. vue-cli에서 기본 적으로 babel을 활용하여 코드를 IE에서도 사용할 수 있게 트랜스파일 해주지만, node_modules에 속해 있던 라이브러리는 해주지 않아 생기는 문제이다. (안해주는게 효율면에서 낫기도 하다.) How I Solved transpileDependencies 옵션을 활용해 node_modules에 속해있는 라이브러리도 babel을 적용할 수 있다는 것을 알게 되었..

[오픈소스에서 배우다] 믹스인 클래스 활용하기 (Django Rest Framework) 믹스인이란 특정한 클래스에 상속을 통해 새로운 속성이나 새로운 기능을 추가(Mix in)하는 것을 의미한다. 이를 잘 활용한 오픈소스가 있는데 바로 Django Rest Framework이다. Django Rest Framework에서는 GenericAPIView에 생성, 수정 등의 다양한 믹스인 클래스를 추가해 쉽게 API View를 구현할 수 있게 해준다. Django Rest Framework 공식문서 에서 제공하는 예제를 보자. ListModelMixin과 CreateModelMixin을 상속받음으로써 get메소드와 post메소드에서 list와 create라는 메소드를 사용할 수 있다. 이를 통해 개발자들은 본인들이 원하는 기능을 보다 쉽고 간편하게 이용할 수 있다. from snippets.mo..

파이썬으로 만드는 나만의 커맨드라인 프로그램 #1 - argparse 데이터 분석을 하시는 분들은 jupyter notebook이라는 키워드가 익숙하실 겁니다. Django 또는 Flask로 웹 개발을 하시는 분들은 django-admin startproject, flask run과 같은 명령어를 많이 쳐보셨을 겁니다. 파이썬으로 이런 명령어 프로그램은 어떻게 만드는 걸까요? 오늘은 파이썬으로 커맨드 라인 프로그램을 만드는 법을 알아보겠습니다. argparse 모듈 먼저 파이썬 표준 라이브러리에서 제공하는 모듈인 argparse에 대해 알아보겠습니다. 우선 다음과 같이 hello 폴더에 똑같은 hello 폴더를 만들고 안에 __init__.py파일과 main.py파일을 만들어줍니다. main.py에는 다음과 같이 입력합니다. # hello/main.py # argparse..

벡터공간에 대해서 알아보자 (벡터, 벡터공간, 선형방정식) 지난 시간에는 선형대수를 왜 배워야하는지, 또 무엇을 배우는지를 살펴봤습니다. 그리고 벡터와 스칼라에 대해 잠시 다뤘는데요. 오늘은 벡터에 대해 다시 알아보고, 벡터들이 이루는 공간인 벡터공간에 대해 알아보겠습니다. 벡터 (Vector) 지난 시간에 설명했듯이, 벡터는 크기와 방향을 가진 성분입니다. 따라서 다음과 같이 좌표계에 화살표를 이용해 나타낼 수 있습니다. 하지만 4 차원, 5 차원 이상의 벡터를 좌표계에 표시하기는 불가능합니다. 또한 벡터를 화살표로 나타낼 수 있다 해도, 늘 이렇게 표현하기는 불편하죠. 따라서 숫자의 나열로도 나타낼 수 있습니다. 행벡터와 열벡터로 나타낼 수 있지만, 주로 벡터라고 하면 열벡터를 의미합니다. 벡터공간 (Vector Space) 지난 시간에 선형대수는 벡터공간을..

ANACONDA 자주쓰는 명령어 정리 ANACONDA 가상환경 생성 conda create --name *패키지명에 anaconda를 써주면 anaconda의 모든 패키지를 설치 *한 번에 여러 패키지를 하려면 여러 패키지를 띄어서 써주면 됨 예제 conda create --name ml anaconda conda create --name ml pandas numpy matplotlib scikit-learnANACONDA 가상환경 제거 conda remove --name --all 예제 conda remove --name ml --allANACONDA 설치된 가상환경 목록보기 conda env list ANACONDA 가상환경 활성화 conda activate 또는 activate (윈도우 cmd) 또는 source activate (맥/..

쉽고 빠른 썸네일 만들기, 퀵썸네일 (Quick Thumbnails) 소개 | 사이드 프로젝트 안녕하세요! 오늘은 제가 진행한 사이드 프로젝트, '퀵썸네일'에 대해 소개해 보려고 합니다. 인스타그램, 유튜브, 블로그 등의 플랫폼에서 썸네일은 콘텐츠의 첫인상을 결정짓는 매우 중요한 요소입니다. 하지만, 디자인 스킬이 부족한 사람들에게는 썸네일 제작이 결코 쉬운 일이 아닙니다. 이러한 어려움을 해결하고자 시작한 '퀵썸네일'은 디자인 도구에 익숙하지 않은 사용자도 멋진 썸네일을 쉽고 빠르게 만들 수 있도록 돕는 웹서비스로 개발되었습니다.퀵썸네일 바로가기🚀 프로젝트의 시작저는 블로그 운영 중 썸네일 제작에 지속적인 불편함을 겪었습니다. 포토샵과 같은 디자인 도구를 전혀 다룰 줄 몰랐고, 온라인상의 썸네일 제작 도구는 기능이 너무 제한적이었습니다. 썸네일을 한 번 만들어두고 재사용할 수 있는 것이 아니라..

테스트 코드가 어색한가요? 테스트 코드와 친해지기 테스트 코드가 어색하신가요? 개발자라면 누구나 한 번쯤 테스트 코드나 TDD에 대한 이야기를 들어봤을 것입니다. 그리고, 대부분 이 중요성에 대해서 알을 거라고 생각합니다. 하지만 실제로 테스트 코드를 작성하고 팀에 이를 도입하는 것은 쉽지 않습니다. 저 또한 스타트업 개발자로 근무하면서 사내에 테스트 코드를 도입하고자 했으나 많은 어려움에 부딪혔습니다. 어찌저찌 팀에서 테스트 코드를 작성하기 시작했지만, 마음 한 켠에는 답답함이 남아 있었습니다. '테스트 코드를 이렇게 짜는게 맞는건가...?' 이러한 답답함을 극복하기 위해 많은 강의나 콘텐츠들을 스터디하면서 적용해 나갔고, 점점 팀에는 테스트 코드 작성의 노하우가 쌓이기 시작했습니다. 그리고 현재는 테스트 코드 작성이 어색하지 않은 조직..

주식투자 공부만 하는 당신에게, 이제는 연습할 시간입니다. 2020년 코로나 시국, 주가가 미친 듯이 올라가기 시작했고 거의 모든 사람이 주식시장에 뛰어들었다. 그때는 주식을 하는 거의 모든 사람들이 돈을 벌었다. 어딜 가나 주식 이야기가 들렸고, 투자와 관련된 서적과 유튜브가 쏟아져 나왔다. 하지만, 2021년 하반기부터 언제 그랬냐는 듯이 상황이 바뀌었다. 주식이야기를 하는 사람들은 거의 없어졌다. 심지어 대형주라고 불리는 종목들도 -50% 이상 하락했고, 그렇게 힘든 게 모은 돈이 반이상 사라졌다. 물론, 투자라는 것이 항상 돈을 벌 수 있는 것은 아니다. 하지만, 주가가 한없이 하락하는 상황에서 어떻게 대응해야 할지 생각해 본 사람들이 얼마나 있었을까? 아마 지금도 어떻게 할지 모르고 울며 겨자 먹기 식으로 주식을 들고 있는 사람들이 많을 것이다.옛말에 ..

[TIL] Rust에서 자동화된 테스트 작성하기 Rust에서 테스트코드 작성하는 법 lib 프로젝트 생성한다. cargo new adder --lib lib 프로젝트를 만들면 아래와 같이 src/lib.rs에 아래와 같은 테스트 코드가 작성되어 있다. #[cfg(test)] mod tests { #[test] fn it_works() { assert_eq!(2 + 2, 4); } } test 돌리기 cargo test 테스트 하고 싶은 함수는 함수 위에 #[test]라고 붙여주면 된다. 일단 mod포함 상단 부분은 신경쓰지 말자. #[cfg(test)] mod tests { #[test] fn exploration() { assert_eq!(2 + 2, 4); } } assert! Macro로 결과 확인하기 assert!매크로는 값이 true인지 확인..

Django ELB ALLOWED HOSTS 에러 수정 *AWS Elastic Load Balancer를 사용해서 Django 애플리케이션에 로드밸런싱을 하면 Health Check가 계속 실패하고, 로그를 확인해보면 아래와 같은 문제가 생기는 경우가 있습니다. Invalid HTTP_HOST header: . You may need add to ALLOWED_HOSTS Health Check를 시도하는 IP주소가 Django Settings 중의 하나인 ALLOWED_HOSTS에 등록되어 있지 않아서 발생하는 문제이다. ALLOWED_HOSTS = ["*"]로 해결할 수 있지만 이는 보안상 좋지 않습니다. 해당 IP를 ALLOWED_HOSTS에 등록하는 것도 해결책은 아닙니다. ELB의 Private IP가 계속 바뀌기 때문입니다. 이를 해결하는 솔루션은 ..

Vue 스타일가이드 정도는 읽어봐야겠죠? Vue.js Style Guide의 내용을 정리한 글이다. Vue.js를 메인 프레임워크로 사용하고 있었지만, 해당 문서를 살펴보지 않았다. 최근에서야 스타일가이드를 읽고 '이걸 왜 이제야 읽었을까?'하는 생각이 들었다. 안티패턴을 굉장히 많이 사용하고 있었다. 물론 스타일 가이드에 나온 내용을 무조건 따라야하는 것은 아니지만, 적어도 그 안에 들어 있는 철학을 배우는게 중요하다. 그리고 다른 패턴을 사용할 때는 그만한 합리적인 이유가 있어야한다. 이 가이드에서는 우선순위에 따라 다음과 같은 네가지 카테고리로 내용을 분류하였다. Essential: 반드시 따라야한다. Strongly Recommended: 가능하면 따라야한다. Recommended: 따르면 좋다. Use with Cauti..

[요약] 데이터 아웃라이어 처리하기 How to Deal with Outliers in Your Data 내용을 한글로 정리해 보았습니다. 아웃라이어란? 아웃라이어란 데이터 상의 다른 값들의 분포와 비교했을때 비정상적으로 떨어져있는 관측치이다. 하지만, 어느정도가 비정상적으로 떨어져 있는 데이터인지 말하기는 참 모호하다. 아웃라이어의 정도에도 차이가 있다. (Mild outliers / Extrem outliers) 아웃라이어는 실제로 가치있는 정보를 담고 있을 수도 있으며, 기록의 실수인한 무의미한 정보일 수도 있다. 따라서 아웃라이어의 실제 의미가 무엇인지에 대해 의문을 품고, 분석할 필요성이 있다. 데이터에서 어떻게 아웃라이어를 잡아낼 것인가 Data visualization은 데이터 분석에 있어서 필수적이다.소통을 하기위해서도 중요..

선형방정식과 행렬에 대해 알아봅시다. 선형방정식과 행렬 지난 포스팅에서 선형방정식에 대해 간단히 다루어 봤습니다. 아래의 꼴을 가진 방정식을 선형방정식이라 불렀습니다. 행렬은 "수나 기호, 수식등을 사각형 형태로 배열"(위키백과)한 것을 의미합니다. 아래와 같은 모양을 하고 있습니다. 아래는 3 개의 행과 2 개의 열을 가지고 있는 3x2 행렬입니다. (각 원소의 아래첨자 중 앞에 있는 것이 행, 뒤에 있는 것이 열을 가리킵니다.) 바로 이 행렬로 선형방정식을 표현할 수 있습니다. 예를 들어 아래와 같은 세 개의 선형방정식이 있습니다. 위의 선형 방정식을 행렬로 표현하면 다음과 같이 표현할 수 있습니다. 행렬 곱은 따로 설명하지 않겠습니다. 행렬 곱에 대해 잘 모르시는 분들은 여기를 참고해주세요. 이를 일반화하면 다음과 같습니다. 아래와 같..

파이썬과 비동기 프로그래밍 #3, 파이썬에서 비동기 프로그래밍 활용하기 지난글에 이은 세번째 글입니다. 지난 글에서 파이썬에서 비동기를 구현하는 법에 대해 알아봤습니다. 이번 글에서는 어떻게 비동기를 활용할 수 있을지에 대해 알아봅시다. 비동기를 사용하면 네트워크 IO의 지연 때문에 낭비되는 시간을 줄일 수 있습니다. 온라인 사전사이트에서 단어들의 의미를 크롤링하는 코드를 작성한다고 가정해봅시다. 동기적인 방식을 사용한다면 아래와 같이 코드를 작성할 수 있습니다. 동기적 방식 # requests와 bs4 설치 필요 import requests import time from bs4 import BeautifulSoup def get_text_from_url(url): print(f'Send request to ... {url}') res = requests.ge..