모질라 썬더버드(Mozilla Thunderbird)는 속도가 빠르고, 높은 자유도를 가진 메일 클라이언트입니다. 그런데 분명히 가이드라인에 따라 IMAP 또는 POP 설정을 했는데도 네이버 계정이나 구글 계정을 추가하는 데 실패하는 경우가 있습니다. '서버에 로그인할 수 없습니다. 설정이나 계정 이름, 비밀번호가 잘못되었을 수 있습니다' 비밀번호를 여러차례 확인해 보고, IMAP과 SMTP 포트 설정을 확인해보아도 문제가 없음에도 이 오류가 반복된다면, 그것은 각 계정의 보안설정 이슈일 가능성이 높습니다. 아래는 구글 / 네이버 메일계정 각각의 해결 방법입니다. 1) 구글 G메일 계정의 경우 구글 로그인 후, 우측 상단의 원형 프로필 이미지를 클릭합니다. 우측에 나타나는 오버레이 창에서 'Google 계정 관리'를 선택해 줍니다.(이미지에서 붉은 상자로 표시) 이어서 나타나는 Google 계정관리 페이지의 좌측 탭에서 '보안' 메뉴 선택 '보안 수준이 낮은 앱의 엑세스' 항목을 '

1. moviepy.editor.VideoFileClip()의 이해 moviepy는 파이썬에서 동영상 편집을 할 수 있게끔 해주는 패키지입니다. moviepy가 제공하는 기능 중에는, MP4 동영상 파일을 움직이는 GIF 이미지로 변환 / 크롭 / 축소하는 것도 있습니다. EZGIF 등 동영상을 업로드할 시 GIF로 변환해 주는 웹앱도 존재하지만, 다소 느리다는 문제가 있습니다. 하지만 파이썬을 이용해 변환할 시 굉장히 빠르게 GIF 변환이 가능합니다. 2. moviepy.editor.VideoFileClip()의 사용 먼저 PIP 등을 이용해 moviepy를 설치하고, moviepy.editor의 VideoFileClip을 불러와 줍니다. from moviepy.editor import VideoFileClip import os os 패키지는 파일을 불러오거나 저장할 때, 주소처리에 유용합니다. 1) 동영상 준비 변환하려는 mp4 동영상 파일을 준비해 줍니다. 본 예제에서는 다음

1. pandas:: wide_to_long() 개요 1) 이해 데이터프레임 형태를 바꾸어야 할 때가 있는데, 이때 wide_to_long()과 melt(), pivot_table() 등을 많이 사용합니다. wide_to_long()은 넓은 형식(wide format)의 데이터프레임에서 긴 형식(long format)로 데이터프레임 피벗을 해제해 주는 메서드입니다. wide_to_long을 사용하면 데이터프레임 형태를 아래와 같이 바꿀 수 있습니다. 일정한 규칙성을 갖는 이름의 여러 열(col1, col2, col3...)을 num이라는 열로 분류하고, 그 값을 col이라는 열에 한꺼번에 표시하도록 한 것입니다. plotly.express 등의 이용해 집단별 그래프를 그릴 때, 이런 long 형식의 데이터프레임을 사용하곤 합니다. 2) 사용 long 형식으로 바꾸어줄 데이터프레임과 피벗을 해제할 컬럼 이름, 그대로 값을 유지할 컬럼을 지정해 주어야 합니다. 이 때, 피벗을 해제할 컬

1. 비선형, 커스텀 함수의 최적화된 모수 찾기 보유중인 데이터의 분포가 기존에 존재하는 확률분포와 유사하다면, fitter.Fitter() 등을 사용하여 가장 적합한 함수의 형태를 찾고, 그 함수의 최적화된 모수 또한 찾아낼 수 있습니다. 하지만, 데이터가 특이한 분포를 가지고 있는 경우가 있습니다. 아래와 같이 2개 이상의 극대값을 갖거나, 기존의 확률분포함수와 전혀 다른 형태의 분포를 지니는 경우에, 분포함수로 특수한 개형을 갖는 커스텀 함수를 설정하여 적용해야 할 수 있습니다. 이 때, scipy.optimize.curve_fit()을 사용하여 문제를 해결할 수 있습니다. 2. scipy.optimize.curve_fit()을 사용한 모수 탐색 본 포스팅의 예제는 다음의 단계로 구성됩니다. 데이터 준비, 분포 확인 (* 히스토그램 등) 커스텀 분포함수 정의 초기 파라미터 설정 (* 최적의 파라미터=모수 탐색을 위해서 초기값 입력) scipy.optimize.curve_fit(

1. plotly.express :: write_html() 사용 시 한글 깨짐 문제 write_html()은 plotly로 그린 인터랙티브 그래프를 html 확장자 형태로 저장해 주는 메서드입니다. 영문으로 된 데이터를 사용했을 경우(즉, 그래프에 알파벳, 숫자만 있을 경우)에는 문제가 없습니다. 하지만 한글이 포함된 데이터를 사용할 경우, 축 이름, 범례 등등 모든 한글이 아래와 같이 깨지는 인코딩 오류가 발생합니다. encoding = 'cp949' 인수를 추가해도 문제는 해결되지 않고, 오류가 발생합니다. 2. 문제 해결 write_html()의 인코딩 문제를 해결하려면, with open --- as file 문을 사용해야 합니다. fig.write_html(저장경로) 대신 아래의 코드를 사용하면 됩니다. with open(저장경로, 'w', encoding = 'utf-8') as file: file.write(fig.to_html(full_html = False, inc

1. plotly.express.histogram()의 이해 plotly는 인터랙티브(interactive) 그래프를 그릴 수 있게 해 주는 파이썬 패키지입니다. 그래프 위에 마우스 커서를 올리면 관련 정보(예 : 특정 계급의 도수 등)를 조회할 수 있고, 이미지의 원하는 부분을 확대하거나 축소할 수도 있습니다. 또한, 결과물을 저장할 때 png, jpeg 형태의 고정된 이미지 형식 외에 인터랙티브 기능을 쓸 수 있는 html 파일로 저장할 수 있다는 점도 plotly의 큰 장점입니다. 2. plotly.express.histogram()의 사용 Python 내에서 plotly.express 를 px라는 별칭으로 불러옵니다. import plotly.express as px 다음과 같은 형태로 그래프를 그릴 수 있습니다. (1) 기본형 가장 기본적인 px.histogram() 그래프와 코드는 다음과 같습니다. 데이터프레임 A 내 변수X의 도수분포를 알아봅니다. px.histogram

1. numpy.random.()의 이해 '' 자리에 numpy에서 제공하는 확률분포함수 이름을 기입할 경우, 해당 확률분포를 따르는 무작위 숫자들로 구성된 리스트나 배열을 생성할 수 있습니다. 제공되는 함수 리스트와 그 인수는 아래 URL을 참조해 주세요. (확률분포함수마다 인수가 다르다는 점을 유의) Legacy Random Generation — NumPy v1.25 Manual NumPy reference Random sampling ( numpy.random ) Legacy Random Generation Legacy Random Generation The RandomState provides access to legacy generators. This generator is considered frozen and will have no further improvements. It is guaranteed to produce the same values as the fina

1. fitter.Fitter의 이해 fitter는 데이터에 맞는 최적의 확률분포(distribution function)와 그 모수(parameter)를 찾는 데 유용한 패키지입니다. fitter.Fitter와 관련 메서드들은 다음의 기능을 수행합니다. fit() : 데이터에 확률분포 적합시키기(fitting) summary() : 데이터에 적합된 확률분포를 요약, 그래프로 출력 get_best() : 데이터에 가장 잘 맞는 확률분포(best distribution) 탐색 best_params() : 최적 확률분포의 모수(parameter) 탐색 2. fitter.Fitter의 사용 Python 내에서 fitter를 불러옵니다. 이 때, 데이터를 사용해야 하므로 numpy 또는 pandas 패키지도 함께 불러오게 됩니다. from fitter import Fitter, get_common_distributions import numpy as np (1) 코드의 구성 기본적인 코드는

1. fitter.get_distributions()의 이해 1) fitter 패키지 fitter 패키지는 데이터에 확률분포를 맞추는(fit), 즉 모형을 적합시킬 목적으로 사용되는 파이썬 라이브러리입니다. 따라서 가장 적합한 분포를 선택하고, 그 모수를 탐색할 때 매우 유용합니다. 주로 scipy.stats와 함께 사용하기 좋습니다. 데이터에 대한 최적 분포 탐색, 모수 추정 분포함수 간 적합성 비교 FITTER documentation — fitter 1.7.0 documentation Compatible with Python 3.7, and 3.8, 3.9 What is it ? The fitter package is a Python library used for fitting probability distributions to data. It provides a straightforward and and intuitive interface to estimate paramete

1. plotly.express.box()의 이해 plotly는 인터랙티브(interactive) 그래프를 그릴 수 있게 해 주는 파이썬 패키지입니다. 이중 plotly.express 는 빠르고 편리하게 그래프를 디자인할 수 있게 합니다. 그래프를 그려주는 패키지인 만큼, pandas 또는 numpy 패키지와 함께 사용합니다. plotly 인터랙티브 박스플롯은 박스에 마우스 커서를 올리면 다음과 같이 최대값, 중간값, 최소값, 그리고 Q1, Q3 사분위수를 나타내 줍니다. 또한, 마우스 드래그를 통해서 원하는 부분을 확대해 볼 수 있다는 장점도 있습니다. 2. plotly.express.box()의 사용 Python 내에서 plotly.express 를 px라는 별칭으로 불러옵니다. import plotly.express as px 다음과 같은 형태로 그래프를 그릴 수 있습니다. (1) 기본형 가장 기본적인 px.box() 그래프와 코드는 다음과 같습니다. px.box(데이터프레임명

파이썬을 이용해 분석할 때, 내가 가지고 있는 자료에 잘 맞는 함수(best fit function), 또는 최적화된 함수(optimized function)를 찾아야 하는 경우가 있습니다. 분포함수가 선형함수이거나 다항함수라면 어렵지 않게 찾을 수 있습니다. 하지만 만약 내가 가진 자료가 어떤 분포를 가지는지 모를 경우에는, 내 자료의 분포와 유사한 분포함수를 찾아서 파라미터를 추정하는 과정을 거쳐야 합니다. Statistical functions (scipy.stats) — SciPy v1.12.0 Manual Statistical functions ( scipy.stats ) This module contains a large number of probability distributions, summary and frequency statistics, correlation functions and statistical tests, masked statistics, kernel

유튜브 뮤직 이용 2022 연말결산이 저에게도 떴어요! 유튜브 프리미엄을 구독하면 유튜브 뮤직을 무료로 이용할 수 있지만, 무엇보다도 저에게는 유튜브 뮤직에는 스포티파이나 멜론에 없는 음원이 많다는 것이 장점으로 다가왔습니다. 11,761분 유튜브 뮤직 청취 저 측정치를 보고 나서 2023년에는 그래도 이용시간 절감을 목표로 하기로 마음을 굳혔습니다. Aviators 음악을 많이 듣긴 했는데 정작 뭘 들었는지 기억이 안 나요. 주로 앨범째로 재생목록 전체듣기를 하는 경우가 많아서 그런 것 같습니다. Dynazty 음악을 가장 많이 들은 사람 세계 상위 0.5% 달성 아니 왜 그렇게 많이 안들은거 같은데? 왜죠? Orden Ogan, Amaranth, TTRM 앨범은 노동요로 정말 많이 들었습니다. 이게 아마 저를 Dynazty 상위 0.5% 청취자로 만들어준 곡인듯(...) 따릉이로 퇴근할 때 / 코딩할 때 / 업무 시 많이 듣기는 했는데... 근데 생각해보니 지금도 하루에 몇번씩

파일의 크기를 계산하거나, 파일의 크기에 따라서 다른 연산을 수행해야 할 때 os.path.getsize() 메서드를 사용할 수 있습니다. os.path.getsize()메서드는 지정된 파일의 크기를 byte 단위로 반환하는 메서드입니다. 본 포스팅은 스택 오버플로우 관련 포스팅을 참조하고 있습니다. 1. 방법론 파일 경로만 있다면 간단히 확인이 가능합니다. file_path = '파일 경로' os.path.getsize(file_path) 2. 예제 워킹 디렉토리에 들어있는 임의의 폴더 내 .csv 파일에 대하여 용량 확인을 수행합니다. file_dir = 'D:/OneDrive - 연세대학교 (Yonsei University)/Blog/Coding_Python/06_2023/vissim_trj.csv' os.path.getsize(file_dir) 해당 파일의 용량은 약 350MB 입니다. 파일의 크기(367,059,783 byte) 값이 정확히 반환된 것을 확인할 수 있습니다.

파이썬에서 자동으로 폴더를 만들기 위해서는 os.mkdir() 또는 os.makedirs() 메서드를 사용할 수 있습니다. 하지만 두 메서드 사이에는 약간의 차이가 있습니다. 저의 경우 os.makedirs()가 좀 더 편리하고, 따라서 더 많이 쓰는 편입니다. 두 메서드의 차이는 다음과 같습니다: makedirs() : 새로 생성할 폴더를 위해, 중간 폴더가 없을 경우 목적한 폴더를 포함하는 중간 경로 내의 폴더를 모두 새로 생성해줌. mkdir() : 새로 폴더를 생성함. 만약 최종 폴더를 포함하는 중간 경로의 폴더가 없을 경우 에러가 발생함 본 포스팅은 스택 오버플로우의 관련 포스트를 참조하고 있습니다. 1.방법론 1) os.mkdir()을 사용한 폴더 생성 os.mkdir()는 생성할 폴더가 반드시 현존하는 폴더 내에 있어야 합니다. 즉, 생성하려는 최종 폴더를 위해서 중간 폴더들을 자동으로 만들어주지 않습니다. 또한, 만드려는 폴더가 해당 경로에 이미 존재할 경우 오류를 발

한 폴더 내에 있는 여러 파일에 대해서 반복적인 작업을 수행하거나, 폴더 내의 파일 개수를 확인해야 하는 경우가 있습니다. 이 경우 os.listdir()를 사용하면 무척 편하게 작업을 수행할 수 있습니다. os.listdir()는 폴더 내에 든 모든 파일의 리스트를 파이썬 리스트의 형식으로 반환하는 메서드입니다. (작업 과정의 예) 한 폴더 내에 반복 작업할 파일을 모으기 os.listdir(폴더경로)를 통해서 폴더 내의 파일이름(+확장자) 리스트를 뽑아내기 for 또는 while 반복문을 사용하여 각 파일에 대한 반복작업 수행하기 1. 방법론 먼저 os 패키지를 불러옵니다. import os 이어서, 작업할 폴더 경로를 확인 후 os.listdir()에 투입합니다. folder_dir = 'X:/XXX/XXX/...' os.listdir(folder_dir) 2. 예제 * os 패키지를 불러오는 것을 잊지 마세요! folder_dir = 'D:/' os.listdir(folder

데이터프레임을 행 방향으로 덧대거나, 혹은 몇 개의 열을 덧대어 병합해야 하는 경우가 있습니다. 특히 반복문을 이용해서 계속 새로운 행 또는 새로운 데이터프레임을 기존의 데이터프레임 아래에 덧붙여야 할 때, concat을 써서 두 데이터프레임을 병합하기도 합니다. 본 포스팅에서는 다음의 예시를 다루고 있습니다. 1) 행 방향으로 두 데이터프레임 붙이기 = 행 추가하기 2) 열 방향으로 두 데이터프레임 붙이기 = 열 추가하기 * 본 포스팅은 Pandas 문서를 참조하였습니다. 1.방법론 1) concat() 및 주요 인수 pd.concat(obs, axis = 0, ignore_index = False, ...) Argument 상세 사용례 objs 병합할 데이터프레임 리스트 [df1, df2] axis 데이터프레임을 병합하는 방향(행 방향, 열 방향) axis = 0(행=인덱스 방향, 기본), axis = 1(열 방향) ignore_index concat 시 index 값을 사용하지

아이패드를 쓰게 되면서 플래너 기록 방식도 종이에서 디지털로 바뀌게 되었습니다. 올해 말~내년까지 어떤 것을 쓸지 고민했어요. 제가 다이어리를 찾는 조건은 5가지였습니다: 1) 주 사용 필기앱인 플렉슬(Flexcil)에서 편하게 사용할 수 있는 UI 2) 하이퍼링크 기능 지원 3) 너무 불필요한 요소가 많은 구성/필수 요소가 부재하는 구성은 제외 4) 일상 기록, 할일 정리, 아이디어 기록을 편하게 할 수 있는 구성 5) 베이지 혹은 그레이 컬러(어떤 색상으로 필기하든 무난히 잘 어울리는 디자인) 그리고 저의 목적&필요에 부합하는 플래너 양식을 찾았습니다! 무니니 플래너에서 판매중인 2022/2023 올인원 플래너에요. 보통 연말(11~12월)에 플래너를 구매하기 때문에, 2022년 11월부터 사용할 수 있도록 2023년 양식과 2022년 연말 양식을 함께 판매하고 있습니다. [2022 올인원 플래너] 만년형 굿노트 다이어리 / 아이패드 속지 PDF 플래너 서식 : 무니니플래너 [2

선형회귀모형, 로짓모형, 각종 머신러닝 모형 등을 구축하기 위해서 특정 범주형 변수(categorical variable)을 더미변수로 만들어야 하는 경우가 많습니다. 그때마다 연구자들은 이런 함수들을 만들었는데... 이런 더미변수를 만들기 위한 함수를 일일히 만들어 함수로 저장한 뒤 그 함수들을 .apply()를 이용해 데이터프레임에 적용하여 일일히 더미변수 컬럼을 만들어내야 했습니다. 범주형 변수의 개수와 각 변수 내의 값의 종류에 따라서 함수가 많아지는 문제가 있었습니다. 이 과정에서 실수로 함수를 잘못 입력해서 잘못된 더미변수가 만들어지기도 합니다. 하지만, pandas는 정말 감사하게도 범주형 변수를 더미변수로, 더미변수를 범주형 변수로 만드는 기능도 제공하고 있습니다. 본 포스팅은 pandas 문서의 get_dummies()에 대한 정보를 국문으로 요약 정리한 것입니다. 1. 방법론 1) 코드 pd.get_dummies() 함수를 사용합니다. 이때, columns의 컬럼A

자료의 분석 과정에서 pandas 데이터프레임을 자주 쓰게 되는데, pandas를 처음 배웠을 때 인덱싱을 위한 iloc, loc을 잘못 써서 곤란을 겪었던 적이 적지 않았습니다. 특히 어려웠던 점은, 데이터프레임의 특정 위치를 찍어서 내가 원하는 값을 개별적으로 입력하는 것이었습니다. 새로운 컬럼을 만들거나, 특정 컬럼의 값을 동일한 값으로 채울 수는 있겠습니다. 하지만 다중 반복문으로 조건에 맞는 값들을 각 셀에 개별적으로 입력할 필요가 있습니다. 그때 df.at 을 사용할 수 있습니다. 1. 방법론 1) 값을 변경할 셀의 인덱스와 컬럼 확인하기 .head() 등을 통해서 데이터프레임의 생김새를 확인합니다. 이 과정에서 값을 변경할 셀의 인덱스와 컬럼 이름을 확인합니다. 2) 해당 셀의 값을 변경하기 .at을 사용해서 지정한 인덱스, 컬럼의 값을 변경합니다. 데이터프레임객체.at[인덱스번호, 컬럼이름] = 변경할 값 2. 예제 * 본 예제에서는 슈퍼마리오 시리즈 : 요시 아일랜드

여러 이유로, 100mb 이상의 용량을 가진 .csv 파일을 다루어야 하는 경우가 있습니다. 웬만한 용량의 파일도 Pandas를 통해 처리할 수 있지만, 어느 정도의 용량 이상을 가지는 경우에는 read_csv, to_csv 사용 시 파일 당 수 초 이상의 시간이 소요되기도 합니다. 파일의 수가 몇천 개 이상이라면 그에 따른 시간 손실도 엄청날 것입니다. 본 포스팅은 대용량 .csv 처리 시 처리시간을 단축하기 위한 몇 가지의 기능을 소개하는 해외 블로거의 포스팅(Optimized ways to Read Large CSVs in Python), dask 데이터프레임을 다루는 스택 오버플로우 게시글을 국문으로 요약한 것입니다. 1. 방법론 1) pandas에서 chunksize argument 활용하기 (1) 필요 패키지 pandas를 불러옵니다. 여기서 read_csv, concat, to_csv를 사용할 것입니다. import pandas as pd (2) chunk를 나누어 파일