Passwd

개요 2022.12.25 - [Python] Pandas - 데이터프레임 합성 1 (merge / join)에서 두 데이터프레임에 대한 INNER JOIN과 OUTER JOIN(left, right, full)에 대해서 살펴봤다. 이 글에서는 두 데이터프레임에 대한 LEFT ANTI JOIN, RIGHT ANTI JOIN... 즉, 차집합을 구하는 방법을 정리한다. 예시 데이터 예시로 아래의 데이터프레임 두 개를 사용하여 글을 작성한다. import pandas as pd df1 = pd.DataFrame( [ (1, 345, 'B', True), (2, 100, 'C', False), (3, 300, 'B', False), (4, 151, 'A', False), (5, 212, 'A', True) ],..

개요 Pandas.read_csv 함수를 이용해 CSV 파일을 읽어 들이면 데이터의 타입을 추론하여 DataFrame을 생성한다. 그러다 보니 간혹 문자열로 저장한 네 자리 숫자의 형식이나 소수점 둘째 자리 등의 자릿수가 휘발될 때가 있다. 예시 코드 import numpy as np import pandas as pd map_code_message = [ {'code':'00','return_message':'Continue'}, {'code':'01','return_message':'Switching Protocol'}, {'code':'02','return_message':'Processing'}, {'code':'03','return_message':'Early Hints'}, ] df = pd...

개요 아래와 같은 CSV 파일이 있다고 하자. date, idx, val 1/5/2020 10:00:00, 1, 10 1/5/2020 10:10:00, 1, 12 1/5/2020 10:20:00, 1, 17 1/5/2020 10:00:00, 2, 11 1/5/2020 10:10:00, 2, 14 1/5/2020 10:20:00, 2, 16 날짜 형식의 데이터인 date 컬럼이 존재하는데, 이 파일을 read_csv로 읽은 후 데이터형을 확인하면 다음과 같다. 코드) import numpy as np import pandas as pd f_name = 'sample.csv' df = pd.read_csv(f_name) print(df.info()) datetime 형이 아니라 object 형 데이터로 추론..

개요 DataFrame의 데이터 타입을 확인할 때는 dtypes 속성을 사용한다. 그리고 dtypes 속성은 Series이다. import numpy as np import pandas as pd map_code_message = [ {'code':'00','return_message':'Continue'}, {'code':'01','return_message':'Switching Protocol'}, {'code':'02','return_message':'Processing'}, {'code':'03','return_message':'Early Hints'}, ] df = pd.DataFrame(map_code_message) print(df.dtypes) print(f'type : {type(df.d..

개요 2022.12.31 - [Python] Pandas - 피봇테이블과 그룹분석 2에서 그룹 분석을 위한 groupby와 그룹 연산에 대해 정리했다. 이 글에서는 그룹 분석 후 결과 데이터의 인덱스와 컬럼에 대해 적어둔다. 예시 데이터 예시로 사용할 데이터는 아래와 같다. import pandas as pd df = pd.DataFrame({ 'key1': ['A', 'A', 'B', 'B', 'A'], 'key2': ['one', 'two', 'one', 'two', 'one'], 'data1': [1, 2, 3, 4, 5], 'data2': [10, 20, 30, 40, 50] }) 그룹화 기준 컬럼 처리 groupby 함수로 전달한 그룹화 기준 컬럼은 그룹 연산한 결과의 index가 된다. 결과의..

개요 두 개의 DataFrame을 merge 한 결과 DataFrame에서 DataFrame 컬럼을 다르게 변경하려고 한다. 아래의 DataFrame을 예시로 방법을 적어둔다. df= pd.DataFrame({'col_str_1': ['1', '2', '3'], 'col_str_2': ['4', '5', '6'], 'col_str_3': ['7.0', '8.1', '9.2']}) df.rename df.rename 함수는 index 또는 column의 이름을 변경할 수 있다. index 또는 columns 매개변수에 변경 대상의 이름(AS_IS)과 변경할 이름(TO_BE)을 딕셔너리로 전달한다. df.rename(columns={as_is_name: to_be_name, as_is_name2: to_be..

개요 Pandas DataFrame의 데이터 타입을 변환할 때는 astype 함수를 사용한다. astype 함수는 DataFrame 컬럼의 데이터 타입 변경할 때에도 사용하는데 방법을 적어둔다. 단일 컬럼 형변환 다음과 같이 object 형으로 구성된 DataFrame이 있다고 하자. df= pd.DataFrame({'col_str_1': ['1', '2', '3'], 'col_str_2': ['4', '5', '6'], 'col_str_3': ['7.0', '8.1', '9.2']}) df.dtypes # 실행 결과 col_str_1 object col_str_2 object col_str_3 object dtype: object 데이터 중 col_str_1 컬럼을 int 형으로 변경해 본다. 변경할 ..

개요 2023.01.22 - [Python] 리스트 랜덤 추출 (샘플링)와 비슷하게 이 글에서는 DataFrame에서 데이터를 무작위로 추출하는 방법에 대해 알아본다. DataFrame.sample DataFrame에서 무작위로 몇 개의 값을 출력하는 함수이다. DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None, ignore_index=False) 매개변수는 다음과 같다. n : 추출할 개수. frac 매개변수와 동시에 사용할 수 없다. frac : 추출할 비율. 1 이하의 값을 설정하며 n과 동시에 사용할 수 없다. replace : 중복 샘플링 허용 여부. weight : 샘플링할 데..

개요 DataFrame에서 특정 문자열과 일치하거나 포함하는 데이터를 찾기 위한 방법을 정리한다. 예시 데이터는 다음과 같다. ## importing modules import numpy as np import pandas as pd ## creating a pandas DataFrame with strings, NaN, digit df = pd.DataFrame({ 'id': [1, 2, 3, 4, 5, 6, 7] , 'fruit': ['apple', 'PERSIMON', 'grapes', 'mango', 'peach and perl', np.NaN, '1004'] }) 문자열 일치 일치 여부는 비교 연산자 ==을 사용하여 확인할 수 있다. df['fruit'] == 'apple' # 실행 결과 0 T..

개요 데이터를 전처리하다 보면 문자열 컬럼을 분할하여 컬럼을 여러 개 추가해야 하는 경우가 많다. 이 글에서는 아래 데이터를 이용해 주소 컬럼을 분할해 도시와 구로 추가하는 방법을 몇 가지 정리한다. df = pd.DataFrame( {"이름":["A", "B", "C", "D"], "나이":["10", "15", "42", "22"], "주소":["서울;강동구", "인천;연수구", "안양;동안구", "부산;수영구"]} ) 반복문 DataFrame 인덱서를 이용해 반복적으로 셀에 접근하여 데이터를 처리하는 방식이다. for i in df.index: df[['도시', '구']] = df.loc[i, '주소'].split(';') 데이터양이 적을 때는 사용해도 괜찮지만, 반복문으로 처리하기 때문에 데이터양..