Passwd

개요 아래와 같은 CSV 파일이 있다고 하자. date, idx, val 1/5/2020 10:00:00, 1, 10 1/5/2020 10:10:00, 1, 12 1/5/2020 10:20:00, 1, 17 1/5/2020 10:00:00, 2, 11 1/5/2020 10:10:00, 2, 14 1/5/2020 10:20:00, 2, 16 날짜 형식의 데이터인 date 컬럼이 존재하는데, 이 파일을 read_csv로 읽은 후 데이터형을 확인하면 다음과 같다. 코드) import numpy as np import pandas as pd f_name = 'sample.csv' df = pd.read_csv(f_name) print(df.info()) datetime 형이 아니라 object 형 데이터로 추론..

개요 DataFrame의 데이터 타입을 확인할 때는 dtypes 속성을 사용한다. 그리고 dtypes 속성은 Series이다. import numpy as np import pandas as pd map_code_message = [ {'code':'00','return_message':'Continue'}, {'code':'01','return_message':'Switching Protocol'}, {'code':'02','return_message':'Processing'}, {'code':'03','return_message':'Early Hints'}, ] df = pd.DataFrame(map_code_message) print(df.dtypes) print(f'type : {type(df.d..

멀티 프로세싱 부모 프로세스가 OS에 요청해 자식 프로세스를 만드는 과정을 process spawning이라고 하는데, 파이썬에서는 multiprocessing과 같은 모듈을 이용하면 process spawning을 쉽게 수행할 수 있다. 즉, 부모 프로세스가 많은 작업을 처리할 때 작업 중 일부를 자식 프로세스에게 위임하여 처리하는 멀티 프로세싱을 수행할 수 있다. 멀티 프로세싱을 사용하면 복잡하거나 양이 많아 오래 걸리는 작업을 병렬 처리할 수 있어 단일 프로세스를 사용할 때보다 짧은 소요시간을 기대할 수 있다. 이 글에서는 멀티 프로세싱을 위한 mutliprocessing 모듈 사용법을 간단히 정리한다. 모듈 import 아래와 같이 multiprocessing 라이브러리를 import 하여 사용할..

개요 2022.12.31 - [Python] Pandas - 피봇테이블과 그룹분석 2에서 그룹 분석을 위한 groupby와 그룹 연산에 대해 정리했다. 이 글에서는 그룹 분석 후 결과 데이터의 인덱스와 컬럼에 대해 적어둔다. 예시 데이터 예시로 사용할 데이터는 아래와 같다. import pandas as pd df = pd.DataFrame({ 'key1': ['A', 'A', 'B', 'B', 'A'], 'key2': ['one', 'two', 'one', 'two', 'one'], 'data1': [1, 2, 3, 4, 5], 'data2': [10, 20, 30, 40, 50] }) 그룹화 기준 컬럼 처리 groupby 함수로 전달한 그룹화 기준 컬럼은 그룹 연산한 결과의 index가 된다. 결과의..

개요 작업을 하다 보면 datetime 또는 timestamp를 자주 사용하게 된다. 주로 사용하는 자료형은 사람이 읽기 쉬운 datetime이지만, 결괏값이 timestamp인 경우에는 형변환이 필요하다. 이 글에서는 datetime에서 timestamp를, timestamp에서 datetime을 얻는 방법을 정리해둔다. timestamp -> datetime timestamp로부터 datetime을 얻을 때는 datetime 모듈의 fromtimestamp 함수를 사용한다. from time import time from datetime import datetime current_timestamp = time() print(current_timestamp) print(datetime.fromtimes..

개요 2022.08.29 - [정규 표현식] Group에서 메타문자 소괄호를 이용해 특정 문자열의 패턴 일치 여부를 확인했다. 이 글에서는 그룹화한 패턴에 일치한 문자열을 Dictionary로 반환해 본다. 패턴 그룹화 및 네이밍 정규표현식 그룹화 및 네이밍 방법은 아래와 같다. (?PPATTERN) 예시) import re val = 'jon@geekforgeeks.org' match_object = re.match(r"(?P\w+)@(?P\w+)\.(?P\w+)", val) print(match_object.groups()) re.groupdict re.groupdict 함수는 group의 이름을 키로, 패턴에 일치한 문자열을 값으로 하는 Dictionary를 반환한다. 만약 일치하는 문자열이 없는 ..

개요 2023.01.21 - [boto3] S3 Select - OverMaxRecordSize 에러 대안에서 S3에 저장된 데이터를 읽는 방법에 대해 소개했는데, 이 글에서는 JSON이나 CSV가 아니라 일반 텍스트 객체를 읽어 들여보려고 한다. Pandas를 이용한 JSON, CSV 객체를 읽는 방법도 같이 적어둔다. 일반 객체 읽기 S3 객체에 대해 GET을 수행하면 응답의 Body 속성이 객체 데이터에 해당한다. Body 속성은 botocore.response.SteamingBody 클래스로, read() 함수를 이용하여 Byte 데이터를 얻을 수 있다. 문자열로 변경하고 싶다면 utf-8 등으로 캐릭터 셋을 변경한다. 객체 데이터는 client, resource를 사용하여 읽어들일 수 있다. C..

개요 두 개의 DataFrame을 merge 한 결과 DataFrame에서 DataFrame 컬럼을 다르게 변경하려고 한다. 아래의 DataFrame을 예시로 방법을 적어둔다. df= pd.DataFrame({'col_str_1': ['1', '2', '3'], 'col_str_2': ['4', '5', '6'], 'col_str_3': ['7.0', '8.1', '9.2']}) df.rename df.rename 함수는 index 또는 column의 이름을 변경할 수 있다. index 또는 columns 매개변수에 변경 대상의 이름(AS_IS)과 변경할 이름(TO_BE)을 딕셔너리로 전달한다. df.rename(columns={as_is_name: to_be_name, as_is_name2: to_be..

croniter _ _ ___ _ __ ___ _ __ (_) |_ ___ _ __ / __| '__/ _ \| '_ \| | __/ _ \ '__| | (__| | | (_) | | | | | || __/ | \___|_| \___/|_| |_|_|\__\___|_| base 시각으로부터 cron 스케줄에 일치하는 datetime을 구할 수 있는 라이브러리이다. 간단히 사용 방법을 정리해 본다. 설치 및 import Python 기본 라이브러리가 아니기 때문에 별도로 설치가 필요하다. pip install croniter croniter 패키지로부터 필요한 모듈을 import 하여 사용한다. from croniter import croniter 기본 사용법 기본적으로 crontier 라이브러리는 생성자..

argparse 사용자 친화적인 명령줄 인터페이스 작성을 도와주는 모듈이다. 프로그램이 어떤 매개변수를 요구하는지 정의하고 sys.argv부터 인자값을 분석한다. 또한 help와 usage 메시지를 자동으로 생성한다. argparse는 기본적으로 다음과 같은 방식으로 사용한다. argparse 모듈 import ArgumentParser 인스턴스 생성 add_argument 함수로 인수 추가 parser 실행하여 분석 인자값 사용 이 글에서는 2023.02.11 - [Python] 명령행 인자 전달 - 1에 이어 argparse 모듈을 이용해 명령행 인자 전달하는 방법을 마저 정리한다. 모듈 import 아래와 같이 모듈을 import 하여 사용한다. import argparse ArgumentParse..