Passwd

개요이전에 SQLAlchemy 사용법, 문법 등을 한창 정리했었는데, 사실 이는 Pandas DataFrame을 데이터베이스 테이블로 저장할 때 UPSERT를 수행하는 방법을 정리하기 위함이었다……!2025.07.10-[Python] SQLAlchemy - UPSERT 수행하기에서 SQLAlchemy로 MySQL에 UPSERT를 수행하는 방법은 정리해 두었다. 이번 글에서는 Pandas의 to_sql 함수로 수행하는 방법을 적어둔다. 작업할 데이터베이스는 기존과 동일하게 MySQL로 한다. pandas.DataFrame.to_sql아래는 to_sql 함수의 매개변수 정의이다.DataFrame.to_sql(name, con, *, schema=None, if_exists='fail', index=True..

개요여러 데이터베이스 엔진과 연동하는 라이브러리는 대체로 여러 매개변수를 매핑할 수 있게 하는 placeholder를 지원한다. 이는 쿼리를 반복해서 실행할 때 유용하지만 실제 실행되는 쿼리를 한눈에 확인할 수 없다는 불편함이 있는데, 알아보니 execute 함수로 실행되는 SQL문을 확인할 수 있는 방법이 있다고 해서 적어둔다. psycopg2.cursor.mogrifymogrify 함수는 값을 자리대체자에 바인딩하여 SQL 쿼리 문자열을 포매팅하는 방법으로, 이는 cursor.execute 또는 유사한 메서드가 데이터베이스로 전송하는 문자열과 일치한다. 반환 문자열은 항상 바이트 문자열이다. 사용 예시import psycopg2sql = f"""\SELECT *FROM employeesWHERE S..

개요Python으로 개발하고 테스트를 수행하다 보면 개발한 코드의 성능을 확인하고 개선해야 할 필요가 있다. 이때 프로파일링을 활용할 수 있는데, 프로파일링이란 프로그램의 시간 복잡도, 메모리 정보, 함수 호출 주기, 빈도 등을 분석하는 것이다. Python에서는 cprofile, profile과 같은 모듈을 제공하고 있다. 이번 글에서는 Python 기본 모듈은 아니지만, 프로파일링 도구 중 하나인 line_profiler에 대해서 알아보고자 한다. line_profilerline_profiler는 함수의 줄 별 프로파일링을 수행하는 도구다. pip로 설치할 수 있고, Jupyter 노트북에서 매직 커멘드를 통해 활용할 수도 있다. 설치 명령어는 다음과 같다.pip install line_profil..

개요이전 글에서 SQLAlchemy를 사용해 테이블 생성과 데이터 삽입, 갱신, 삭제 등의 기본적인 데이터베이스 작업을 수행하는 방법을 알아보았다.이번 글에서는 UPSERT를 구현하는 방법을 알아보려고 한다. UPSERT의 경우에는 데이터베이스 엔진마다 쿼리문이 조금씩 다른데 이 글에서는 MySQL을 기준으로 적어두려고 한다. Dialectsdialect란 SQLAlchemy가 다양한 DBAPI를 구현하고 데이터베이스와 통신하는 데 사용하는 시스템이다. 이를 위해서는 적절한 DBAPI 드라이버가 설치되어 있어야 한다.SQLAlchemy는 PostgreSQL, MySQL, MariaDB, SQLite, Oracle, Microsoft SQL Server에 대한 dialect를 포함하고 있다. 이외의 데이..

개요2025.07.02-[Python] SQLAlchemy - UPDATE 문 에서 SQLAlchemy를 사용해 테이블에 데이터를 UPDATE 하는 방법을 알아보았다. 이번 글에서는 테이블에 있는 데이터를 삭제하는 방법을 알아본다. DELETEinsert, update를 수행할 때와 마찬가지로 deleted() 함수로 DELETE 문을 나타내는 객체를 생성하여 작업을 수행할 수 있다. 기본적인 사용 방법은 아래와 같다.from sqlalchemy import deletestmt = delete(user_table).where(user_table.c.name == "patrick")print(stmt) 영향받는 행의 수 확인DELETE 수행에 영향을 받는 행의 수를 확인하고 싶을 때는 쿼리를 수행한 결..

개요2025.06.25-[Python] SQLAlchemy - SELECT 하기에서 데이터베이스 테이블의 데이터를 조회하는 방법을 알아보았다. 이번 글에서는 조건에 맞는 데이터를 필터링하는 WHERE 절을 사용하는 방법을 적어둔다. WHEREWHERE 절은 Select.where() 메서드에 원하는 조건을 지정하여 생성할 수 있다.from sqlalchemy import selectstmt = select(user_table).where(user_table.c.name == "spongebob")print(stmt.compile()) ANDAND로 연결된 조건절을 생성할 때는 Select.where()을 필요한 만큼 호출한다.from sqlalchemy import selectstmt = (selec..

개요2025.06.20-[Python] SQLAlchemy - SQL 표현 언어와 메타데이터에서 SQLAlchemy로 데이터베이스 테이블을 다루는 방법을 알아보았는데, 이번 글에서는 테이블에 데이터를 추가하는 방법을 적어둔다. InsertSQL INSERT문은 insert() 함수를 사용해 생성한다. insert() 함수는 SQL에서의 INSERT문을 나타내는 새로운 insert 객체를 생성해 테이블에 새로운 데이터를 추가한다.insert() 함수는 아래와 같이 매개변수로 데이터를 추가할 테이블을 지정하고 values 속성으로 컬럼과 값을 지정하면 된다.insert(TABLE_NAME).values(COLUMN_NAME=VALUE, COLUMN_NAME=VALUE) 아래 예시는 user_account라..

개요2025.06.20-[Python] SQLAlchemy - SQL 표현 언어와 메타데이터에서 데이터베이스의 테이블을 나타내는 Table 객체를 생성해 보았다. 이번 글에서는 데이터베이스 내의 테이블을 로드하여 자동으로 Table 객체를 생성하는 테이블 리플렉션에 대해서 적어둔다. 테이블 리플렉션테이블 리플렉션이랑 데이터베이스의 현재 상태를 읽어 Table과 관련 객체를 생성하는 프로세스를 의미한다. 테이블 객체를 Python으로 선언했던 방식과는 반대로 데이터베이스에서의 DDL을 사용해 Python 내에 데이터 구조를 생성한다.테이블 리플렉션으로 Table 객체를 생성할 때는 Table 생성자에 autoload_with 매개변수에 create_engine으로 생성한 engine 객체를 전달하면 된..

개요2025.02.25-[Python] sqlalchemy - Trino 다루기에서 SQLAlchemy를 사용해 SQL을 수행하는 방법을 적어두었었다. 그런데 최근에 공식 문서를 보니 SQL문을 문자열로 작성하고 처리하는 것이 아니라 python 코드로 작성하여 처리하고 있는 것을 보았다. 이는 SQLAlchemy의 주요 특징 중 하나인 'SQL 표현 언어(SQL Expression Language)' 기능으로, 이번 글에서는 이 기능에 대해서 좀 알아보려고 한다. 메타데이터일반적으로 메타데이터는 ㅇ데이터를 설명하는 데이터를 의미한다. 즉, 데이터의 형식 및 구조를 나타내는 데이터이다. 하지만 SQLAlchemy에서는 SQL 표현 언어가 기반으로 하는 Python 객체를 통칭한다. 테이블, 열과 같..

개요2024.08.07-[Python] redis - pub/sub 구현하기에서 Python Redis 라이브러리를 사용해 pubsub를 구현했었는데, subcriber에서 서 예기치 않은 연결 종료로 인해 구독이 멈춘 이력이 있다. 구현 코드에 연결 재시도 로직이 따로 없어서 추가 구현이 필요할 것 같다.그보다 우선 Redis-py에서 제공하고 있는 재시도 기능부터 살펴보려고 한다. retryRedis-py는 실패 후 특정 횟수만큼 재시도를 수행하는 Retry 기능을 제공하고 있다.from redis.retry import RetryRetry(backoff, retries, supported_errors=(, , ))기본적으로 재시도 간격, 그리고 재시도 횟수를 지정해야 하는 것 같다. Retry 객..