본문 바로가기

개발/파이썬

데이터 결합과 재구조화 🔄 - 자주 쓰는 명령어로 배우는 Polars #5 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 다섯 번째 글입니다. 지난 글에서는 데이터 그룹화와 집계에 대해 알아보았는데요. 오늘은 데이터 결합(Joining)과 재구조화(Reshaping) 기능에 대해 알아보도록 하겠습니다.데이터 분석을 하다 보면 여러 데이터셋을 하나로 합치거나, 데이터의 형태를 변환해야 하는 경우가 자주 있습니다. 특히 실무에서는 여러 소스의 데이터를 통합하고 분석하기 좋은 형태로 변환하는 작업이 매우 중요한데요. Polars는 이러한 작업을 효율적으로 수행할 수 있는 다양한 기능을 제공하고 있습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로 동작하지 않을 수 있습니다.먼저 필요한 라이브러리를 ..
Polars로 데이터 그룹화와 집계 📊 - 자주쓰는 명령어로 배우는 Polars #4 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 네 번째 글입니다. 지난 글에서는 데이터 필터링과 정렬에 대해 알아보았는데요. 오늘은 데이터 분석에서 매우 중요한 그룹화(Grouping)와 집계(Aggregation) 기능에 대해 알아보도록 하겠습니다.데이터를 그룹화하고 집계하는 과정을 통해 의미있는 인사이트를 얻을 수 있습니다. 예를들어, '지역별 매출 합계', '연령대별 고객 수' 등의 정보를 파악할 수 있습니다. Polars는 이러한 작업을 매우 효율적이고 직관적으로 수행할 수 있도록 다양한 기능을 제공하고 있습니다.오늘도 포켓몬 데이터 예시를 통해 그룹화와 집계에 대해 자세히 살펴보도록 하겠습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 ..
Polars로 데이터 필터링 및 정렬하기 - 자주 쓰는 명령어로 배우는 Polars #3 자주 쓰는 명령어로 배우는 Polars #3: 데이터 필터링과 정렬 🔍안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 세 번째 글입니다. 지난 글에서는 데이터를 불러오고 기본적으로 조작하는 방법에 대해 알아보았는데요. 오늘은 필터링과 정렬 기능에 대해 알아보도록 하겠습니다.데이터 분석에서 필터링과 정렬은 매우 중요한 작업입니다. Polars는 이러한 작업을 빠르고 직관적으로 수행할 수 있도록 다양한 기능을 제공하고 있는데요. 실제 데이터를 활용한 예제를 통해 살펴보도록 하겠습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로 동작하지 않을 수 있습니다.먼저 필요한 라이브러리를 임포트하고 예제 데이터를 불러와 보겠습니다. ..
Polars로 데이터 불러오기 및 조작하기 - 자주 쓰는 명령어로 배우는 Polars #2 안녕하세요! '자주 쓰는 명령어로 배우는 Polars' 시리즈의 두 번째 글입니다. 지난 글에서는 Polars의 주요 특징과 Pandas와의 차이점에 대해 알아보았는데요. 오늘은 본격적으로 Polars를 사용하여 데이터를 다루는 방법에 대해 알아보도록 하겠습니다.데이터 분석의 첫걸음은 데이터를 불러오는 것부터 시작합니다. Polars는 다양한 포맷의 데이터를 효율적으로 처리할 수 있으며, 대용량 데이터 처리에 장점을 가지고 있습니다. 이번 포스트에서는 데이터를 불러오고 기본적인 조작을 하는 방법에 대해 자세히 알아보겠습니다. 😊💡 여기서 사용하는 Polars 버전은 1.5입니다. polars 버전이 1 미만이면 예시 코드가 제대로 동작하지 않을 수 있습니다.먼저 필요한 라이브러리를 임포트하겠습니다. ..
Polars 시작하기 (소개 및 설치) - 자주쓰는 명령어로 배우는 Polars #1 안녕하세요, 데이터 처리와 분석을 위한 라이브러리 polars에 대해 들어보셨나요? Polars는 Pandas보다 빠른 성능과 직관적인 API로 최근 데이터 엔지니어와 사이언티스트 사이에서 큰 주목을 받고 있습니다.이전에 '자주 쓰는 명령어로 배우는 Pandas 시리즈'를 연재한 적이 있는데요, 이번에는 그와 유사하게 '자주 쓰는 명령어로 배우는 Polars 시리즈'를 작성해 보려고 합니다.이번 포스트에서는 Polars의 주요 특징과 설치 방법, 그리고 기본적인 사용법에 대해 알아보겠습니다.🤔 Pandas vs Polars: 무엇이 다를까?Pandas와 Polars는 모두 강력한 데이터 조작과 처리를 위한 라이브러리지만, 몇 가지 중요한 차이점이 있습니다:성능: Polars는 Rust로 작성되어 Pan..
poetry와 github actions를 활용한 파이썬 라이브러리 배포 자동화 파이썬 개발을 하다 보면 필요한 라이브러리를 pip install 커맨드를 통해 쉽게 다운받아서 활용합니다. pandas, pydantic, fastapi 등 유명한 라이브러리가 많습니다. 이렇게 라이브러리를 설치해 사용하기도 하지만, 때로는 직접 라이브러리를 만들어서 배포하고 싶을 때가 있습니다. 파이썬에서는 어떻게 다른 사람들이 사용할 수 있는 라이브러리를 만들어 배포할까요? 오늘은 실습을 통해 직접 파이썬 라이브러리를 만들고, Github Actions를 이용해 라이브러리의 버전이 변경될 때마다 자동으로 배포하는 시스템을 만들어보겠습니다. poetry 소개 poetry는 의존성 관리 및 패키지 배포를 손쉽게 잘할 수 있도록 도와주는 도구입니다. poetry를 사용하지 않더라도 requirements..
SEO를 위한 sitemapr 라이브러리 소개: 구글에 서비스 페이지를 알려주자. 안녕하세요, 오늘은 제가 최근에 진행한 작은 사이드 프로젝트 'sitemapr'에 대해서 소개해 볼까 합니다.프로젝트를 시작한 계기광고비를 쓰지 않고도 (줄이고도) 서비스를 효과적으로 노출시키고 싶었습니다. 여러 가지 방법이 있겠지만, 저는 SEO를 잘하는 것이 무엇보다 중요하다고 생각했습니다. SEO란 '검색엔진 최적화'라는 의미로 검색엔진(e.g. Google)이 웹사이트의 내용을 효과적으로 파악하도록 웹페이지를 구조화하는 작업을 의미합니다. 최적화를 수행하기 위한 다양한 방법이 있지만, 검색엔진에 우리 서비스 페이지를 잘 알리는 것이 우선이라고 생각했습니다. 보통 검색엔진은 각 사이트에서 제공하는 사이트맵을 활용해서 페이지를 색인합니다.블로그를 운영하고 있다면 보통 블로그 서비스나 정적 웹사이트 제..
파이썬 asyncio로 생산자/소비자 (Producer/Consumer) 패턴 구현하기 오늘은 파이썬에서 공식적으로 지원하는 비동기 라이브러리인 asyncio로 생산자/소비자 (Producer/Consumber) 패턴을 구현하는 방법에 대해서 다뤄보겠습니다. 해당 포스트에서 사용하는 모든 예시는 파이썬 3.11 버전 이상을 가정하고 있습니다. 비동기 프로그래밍과 생산자/소비자 (Producer/Consumer) 패턴 비동기 프로그래밍이란 비동기 프로그래밍은 모든 코드가 순차적으로 실행되는 동기식 프로그래밍과 달리, 작업에 대기가 발생했을 때 (e.g., 네트워크 요청 후 응답) 해당 작업이 끝나기 전까지 다른 작업을 수행하는 프로그램 방식을 의미합니다. 이를 통해 네트워크 입출력(I/O)와 같이 대기가 발생하는 일을 처리할 때 성능을 높일 수 있다는 장점이 있습니다. 보다 자세한 내용은 이..

티스토리툴바