Passwd

개요이전에 2024.06.26-[Python] asyncio - 비동기 프로그래밍에서 Python에서 비동기 프로그래밍을 하기 위한 라이브러리, 문법, 실행 방법을 알아보았었다.근데 실제로 사용해 보니 동작 방식에 대한 이래도가 너무 낮다는 느낌이 들었다. 그래서 이번 글에서는 Python에서 비동기 함수를 실행하는 주체인 EventLoop에 대한 개념을 적어두려고 한다.  EventLoopEventLoop는 비동기 프로그램의 핵심적인 요소로, 비동기 작업과 콜백, 네트워크 I/O 연산, 자식 프로세스 등을 실행한다.일반적으로 개발자는 asyncio.run과 같은 고수준 함수를 사용하여 비동기 프로그래밍을 개발하게 된다. 즉, EventLoop를 직접 참조하거나 관련 메서드를 호출할 필요가 없다. 하지만..

개요최근 새로 API 개발 업무를 맡게 되었는데…… 기존에 공부를 했었던 Flask, Tornado가 아니라 FastAPI라는 웹 프레임워크를 사용하게 되었다. 기본적인 설치나 실행 방법에 대해서 알아보자.  FastAPIPython 타입 힌트(타입 어노테이션)를 기반으로 API 개발에 초점을 둔 Python 웹 프레임워크. 공식 문서에 의하면 다음과 같은 특징을 갖고 있다.내부적으로 Starlette라는 비동기 프레임워크를 사용하며 가장 빠른 Python 프레임워크 중 하나이다.Pydantic을 사용해 입출력 항목을 빠르게 정의하고 값을 검증할 수 있으며, Swagger를 사용하여 빠르게 API 문서를 작성할 수 있다.내부 테스트에 의하면 개발자에 의한 오류를 40% 정도 감소시키는 것으로 측정되었다...

개요이전에 2024.06.26-[Python] asyncio - 비동기 프로그래밍에서 Python에서 비동기 프로그래밍을 하기 위한 라이브러리, 문법, 실행 방법을 알아보았었다.근데 실제로 사용해 보니 동작 방식에 대한 이해도가 낮아 프로그래밍에 어려움을 느꼈다. 그래서 이번 글에서는 Python 비동기 프로그래밍에서 사용하는 Future와 Task 개념에 대해 정리한다.  FutureFuture란 비동기 프로그래밍에서 널리 사용하는 개념으로, 어떠한 작업의 실행 상태와 결과를 저장하는 객체이다.실행 상태는 PENDING, CANCELLED, FINISHED 값을 가지는데, CANCELLED / FINISHED가 작업의 완료를 의미한다. 실행 결과는 작업의 결과 또는 작업을 진행하면서 발생한 예외 객체가..

개요Pandas로 처리한 DataFrame을 압축한 CSV 형태로 S3에 업로드하고 싶다. 가능하면 CSV 파일을 파일 시스템에 남기지 않을 수 있었으면 좋겠다. 적절한 방법이 있는지 찾아보자.  테스트 데이터이전에 S3에 저장했던 아래 데이터를 사용하여 테스트해 본다.one, 1two, 2three, 3   코드DataFrame의 CSV 형식 데이터를 gz 압축 파일 객체에 쓰고, 압축 파일 객체의 값을 S3에 업로드하는 방식으로 문제를 해결할 수 있다.  1. 압축할 DataFrame 로드import boto3import pandas as pdbucket = 'BUCKET_NAME'prefix = 'PREFIX'filename = 'FILE_NAME# 압축할 파일 로드df = pd.read_csv(f..

개요Python 코드를 보다 보면 드물게 yield라는 키워드를 발견하게 된다. 관련 개념을 잘 알고 있지 않아 이번 글에서는 yield 키워드의 개념 및 역할 등에 대해 정리해보려고 한다.  제너레이터 (generator)yield 키워드에 대해서 알기 전에 제너레이터(generator)라는 개념을 먼저 짚을 필요가 있다.제너레이터는 필요한 데이터를 미리 만들어놓는 것이 아니라 필요할 때마다 하나씩 만들어내는 객체를 말한다.호출할 때마다 값을 반환하기 때문에 처리에 필요한 시간이 길수록 한 번에 데이터를 반환하는 return보다 성능 측면에 이점을 가질 수 있다. 또한 return문은 모든 결괏값을 메모리에 올려야 하지만 제너레이터는 결괏값을 하나씩 메모리에 올려놓는다는 차이를 가진다.이러한 특징으로 ..

개요다음과 같은 JSON 문자열을 JSON 객체로 변환하려고 하던 중 아래와 같은 에러가 발생했다. import jsonpayload = """{ 'http://example.org/about': { 'http://purl.org/dc/terms/title': [ {'type': 'literal', 'value': "Anna's Homepage"} ] }}"""print(json.loads(payload))원인을 알아보고 해결 방법을 적어둔다.   원인문자열이 JSON 형식에 맞지 않아 파싱 에러가 발생한 것이다. https://www.rfc-editor.org/rfc/rfc7159#section-7에 의하면 JSON에서는 문자열이 큰 따옴표로 시작..

개요최근 알고리즘 문제를 풀면서 구간 합을 구할 때는 구간 합 자체를 계산하기보다는 누적 합을 이용해 계산하는 방법이 더 효율적인 방법임을 알게 되었다. 누적 합 자체는 for문을 이용해서도 구할 수 있지만, itertools.accumulate 함수를 이용하는 것이 좀 더 효율적이다.이번 글에서는 accumulate 함수 사용법에 대해서 적어둔다.  accumulateaccumulate 함수는 function으로 전달받은 함수에 대해 누적된 합계나 누적된 결과를 반환하는 iterator를 만든다.itertools.accumulate(iterable[, function, *, initial=None])기본적으로 덧셈에 해당하는 add 함수를 사용한다. initial에는 초기값을 전달할 수 있는데, ini..

개요이전에 2024.04.22-[Python] 상속과 오버라이딩에서 Python에서의 클래스 상속에 대해서 정리하면서 super 함수를 언급했었다.이번 글에서는 관련 개념을 좀 더 정리해 본다.   supersuper는 부모 또는 형제 클래스에 메서드 호출을 위임하는 프록시 객체를 반환한다. 클래스에서 재정의된 메서드를 접근할 때 유용하다.class super(type, object_or_type=None)type 매개변수에는 자식 클래스의 이름을 전달하고, object_or_type에는 프록시 객체를 반환받을 객체를 전달한다. 즉. super는 type으로 전달한 클래스의 부모 클래스에 접근한다. 참고로 Python 2까지는 type과 object_or_type을 명시적으로 지정해야 했으나 Python..

개요함수 내에서 매개변수에 대한 반복 작업을 하고 싶은데, 그러기 위해서는 매개변수 목록에 대한 정보가 먼저 있어야 한다. 이번 글에서는 Python에서 함수의 매개변수 목록을 얻는 방법을 적어둔다.  inspectPython inspect 모듈은 모듈, 클래스, 메서드, 함수 등과 같은 객체애 대한 정보를 얻을 때 유용한 함수를 제공한다. 클래스의 내용을 검사하거나, 메서드의 소스 코드를 얻거나, 함수의 인자 리스트를 추출하는 등이 포함된다.기본 Python 내장 모듈로 별도 설치 없이 바로 import 하여 사용할 수 있다.import inspect 아래에 함수의 인자 리스트를 추출할 때 사용하는 함수를 정리한다.  getfullargspecinspect.getfullargspec(func)함수의 매..

개요프로그래밍을 하다 보면 수많은 오류를 직면하기 때문에 예외 처리는 거의 필수에 가까운 요소에 해당한다. 내 경우에는 보통 try - except 문을 사용해 예외가 발생한 경우에 대해서만 처리하는 상황이 대다수였는데, 최근에 예외가 발생하지 않은 경우에 실행되는 else문이 별도로 있다는 것을 알게 되었다. (Java에는 없었던 것 같다…….)그래서 이번 글에서는 Python에서의 예외 처리 흐름에 대해서 간단히 짚고 넘어간다.  try - except가장 기본적인 구문으로, try 절 내에 코드 실행 중 에러가 발생하는 상황을 처리하기 위함이다.try: raise Exceptionexcept: print("Oops! Something wrong.")except 구문에 처리할 예외를 지정하..