본문 바로가기

개발

성능 최적화 및 SQL 활용 🚀 - 자주 쓰는 명령어로 배우는 Polars #6 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 마지막 글입니다. 이번에는 Polars의 성능 최적화와 SQL 기능 활용에 대해 자세히 알아보도록 하겠습니다.지금까지 Polars의 기본적인 데이터 처리 방법부터 그룹화, 결합, 재구조화 등 다양한 기능들을 살펴보았습니다. 오늘은 Polars의 성능을 극대화할 수 있는 최적화 기법들을 자세히 알아보면서, LazyFrame을 활용한 쿼리 최적화, 데이터 타입 최적화, 병렬 처리 등 실무에서 꼭 필요한 성능 개선 방법들을 살펴보도록 하겠습니다. 또한 SQL에 익숙한 사용자들을 위해 Polars에서 제공하는 SQL 기능도 함께 알아보겠습니다.💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로..
Helm Hook으로 쿠버네티스 배포 순서 문제 해결하기 안녕하세요! 오늘은 제가 현업에서 문제를 해결하면서 알게 된 Helm Hook이라는 친구를 소개해볼까 해요 :)😱 문제 상황실제 현업에서 이런 난감한 상황을 겪어보신 적 있으신가요?나: 오케이~ 새 버전 배포 고고!쿠버네티스: (서버 먼저 띄우면서) 엥? DB 스키마가 없는데요?나: 헐... 마이그레이션이 먼저 돌았어야 했는데...쿠버네티스: 그럼 롤백할까요~?나: ㅠㅠㅠㅠㅠ너무 무서운 순간이죠? 이런 상황은 실제로 프로덕션 환경에서 자주 발생할 수 있는 매우 위험한 시나리오예요. 하지만 이런 상황을 Helm Hook을 사용하면 쉽게 해결할 수 있어요!Helm Hook이란?Helm Hook은 쿠버네티스 리소스의 라이프사이클을 제어하는 특별한 '어노테이션'이에요. 쉽게 말하면 "이 리소스는 이때 실행해 ..
데이터 결합과 재구조화 🔄 - 자주 쓰는 명령어로 배우는 Polars #5 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 다섯 번째 글입니다. 지난 글에서는 데이터 그룹화와 집계에 대해 알아보았는데요. 오늘은 데이터 결합(Joining)과 재구조화(Reshaping) 기능에 대해 알아보도록 하겠습니다.데이터 분석을 하다 보면 여러 데이터셋을 하나로 합치거나, 데이터의 형태를 변환해야 하는 경우가 자주 있습니다. 특히 실무에서는 여러 소스의 데이터를 통합하고 분석하기 좋은 형태로 변환하는 작업이 매우 중요한데요. Polars는 이러한 작업을 효율적으로 수행할 수 있는 다양한 기능을 제공하고 있습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로 동작하지 않을 수 있습니다.먼저 필요한 라이브러리를 ..
Polars로 데이터 그룹화와 집계 📊 - 자주쓰는 명령어로 배우는 Polars #4 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 네 번째 글입니다. 지난 글에서는 데이터 필터링과 정렬에 대해 알아보았는데요. 오늘은 데이터 분석에서 매우 중요한 그룹화(Grouping)와 집계(Aggregation) 기능에 대해 알아보도록 하겠습니다.데이터를 그룹화하고 집계하는 과정을 통해 의미있는 인사이트를 얻을 수 있습니다. 예를들어, '지역별 매출 합계', '연령대별 고객 수' 등의 정보를 파악할 수 있습니다. Polars는 이러한 작업을 매우 효율적이고 직관적으로 수행할 수 있도록 다양한 기능을 제공하고 있습니다.오늘도 포켓몬 데이터 예시를 통해 그룹화와 집계에 대해 자세히 살펴보도록 하겠습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 ..
Polars로 데이터 필터링 및 정렬하기 - 자주 쓰는 명령어로 배우는 Polars #3 자주 쓰는 명령어로 배우는 Polars #3: 데이터 필터링과 정렬 🔍안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 세 번째 글입니다. 지난 글에서는 데이터를 불러오고 기본적으로 조작하는 방법에 대해 알아보았는데요. 오늘은 필터링과 정렬 기능에 대해 알아보도록 하겠습니다.데이터 분석에서 필터링과 정렬은 매우 중요한 작업입니다. Polars는 이러한 작업을 빠르고 직관적으로 수행할 수 있도록 다양한 기능을 제공하고 있는데요. 실제 데이터를 활용한 예제를 통해 살펴보도록 하겠습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로 동작하지 않을 수 있습니다.먼저 필요한 라이브러리를 임포트하고 예제 데이터를 불러와 보겠습니다. ..
Polars로 데이터 불러오기 및 조작하기 - 자주 쓰는 명령어로 배우는 Polars #2 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 두 번째 글입니다. 지난 글에서는 Polars의 주요 특징과 Pandas와의 차이점에 대해 알아보았는데요. 오늘은 본격적으로 Polars를 사용하여 데이터를 다루는 방법에 대해 알아보도록 하겠습니다.데이터 분석의 첫걸음은 데이터를 불러오는 것부터 시작합니다. Polars는 다양한 포맷의 데이터를 효율적으로 처리할 수 있으며, 대용량 데이터 처리에 장점을 가지고 있습니다. 이번 포스트에서는 데이터를 불러오고 기본적인 조작을 하는 방법에 대해 자세히 알아보겠습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로 동작하지 않을 수 있습니다.먼저 필요한 라이브러리를 임포트하겠습니다. ..
Polars 시작하기 (소개 및 설치) - 자주쓰는 명령어로 배우는 Polars #1 안녕하세요, 데이터 처리와 분석을 위한 라이브러리 polars에 대해 들어보셨나요? Polars는 Pandas보다 빠른 성능과 직관적인 API로 최근 데이터 엔지니어와 사이언티스트 사이에서 큰 주목을 받고 있습니다.이전에 '자주 쓰는 명령어로 배우는 Pandas 시리즈'를 연재한 적이 있는데요, 이번에는 그와 유사하게 '자주 쓰는 명령어로 배우는 Polars 시리즈'를 작성해 보려고 합니다.이번 포스트에서는 Polars의 주요 특징과 설치 방법, 그리고 기본적인 사용법에 대해 알아보겠습니다.🤔 Pandas vs Polars: 무엇이 다를까?Pandas와 Polars는 모두 강력한 데이터 조작과 처리를 위한 라이브러리지만, 몇 가지 중요한 차이점이 있습니다:성능: Polars는 Rust로 작성되어 Pan..
HTML을 이미지로 저장하기 - 트러블 슈팅 경험 공유 🔥 안녕하세요, 오늘은 제가 최근에 개발한 사이드 프로젝트 '퀵썸네일'을 만들면서 겪은 문제와 해결 방법에 대해 이야기해보려고 합니다. 퀵썸네일은 '몇 번의 간단한 클릭만으로 예쁜 썸네일을 빠르고 쉽게 만들 수 있는 프로젝트'인데요, HTML과 스타일 요소를 사용하고 있어서 HTML을 이미지로 저장하는 것이 핵심 기능이었습니다.트러블슈팅 #1: 사파리 이미지 저장 문제HTML을 이미지로 변환할 때 가장 유명한 라이브러리는 'html-to-image'입니다. 하지만 이 라이브러리를 사용하면 저장 시에 사파리 브라우저에서 이미지가 깨지는 문제가 있었습니다. 배경 이미지가 사라지거나, 폰트가 적용되지 않는 등의 문제가 존재했습니다.사파리나 파이어폭스 브라우저에서는 해당 라이브러리를 활용해서 이미지를 저장할 때 외..