Passwd

[Azure] AI Search - Index 다루기

개요2024.11.01-[Azure] AI Search - 인덱스에서 인덱스의 개념을 알아보았었다. 이번 글에서는 Python Azure SDK를 사용해 인덱스를 생성하고 조회하는 등의 작업을 수행해보려고 한다. AI Search 서비스 리소스는 이미 생성되어 있다고 가정한다.  Index 생성Index는 SearchIndex라는 객체를 생성한 뒤, SearchIndexClient.create_or_update_index 메서드를 호출하여 생성할 수 있다. 먼저 아래 예시 코드와 같이 Index 스키마를 구성한다. from azure.core.credentials import AzureKeyCredentialfrom azure.search.documents.indexes import SearchIndex..

[FastAPI] APIRouter - 모듈 분리

개요FastAPI 공식 문서를 보면 하나의 파일에 경로를 구성하게끔 되어있는데, 사실 애플리케이션을 개발할 때 하나의 파일에 모든 내용을 넣을 수 있는 경우는 거의 없다. FastAPI는 모듈 분리를 할 수 있도록 APIRouter라는 기능을 제공하는데, 이번 글에서는 관련 내용을 정리해 둔다.  APIRouter 정의APIRouter는 경로를 그룹화하는 데 사용하며, 애플리케이션을 구조화할 수 있게 하는 역할을 한다. 일종의 작은 FastAPI 객체라고 생각해도 된다.사용할 때는 APIRouter 클래스를 임포트 한 뒤, APIRouter 객체를 생성하고, FastAPI 객체에 대한 경로를 데코레이터로 추가했던 것과 동일한 방식으로 APIRouter 객체에 대한 경로를 데코레이터로 추가한다. 아래는 예..

개요Airflow를 사용하다 보면 Web UI에서 다음과 같은 Import 에러가 발생하는 모습을 확인할 수 있다.Import Errors가 발생하면 Dag 활성화 자체가 되지 않기 때문에 주기적으로 동작 확인이 필요한 경우에는 별도로 모니터링이 필요해 보였다. 관련하여 알람 등을 구성하기 위해 프로그래밍적인 방법으로 확인할 수 있는 방법이 있는지 확인해본다.   import_error 테이블잠깐 Airflow Meta DB 스키마를 확인해 봤더니 바로 import_error 테이블이 존재하는 모습을 확인할 수 있다.-- airflow.import_error definitionCREATE TABLE `import_error` ( `id` int NOT NULL AUTO_INCREMENT, `times..

개요Python에서 PyMySQL을 사용해 데이터를 조회하다 보면 다음과 같이 Decimal이라는 객체로 값을 반환받는 경우가 있다.이런 데이터를 Python float이나 double로 취급하고 싶다. 방법을 적어둔다.   Decimal데이터베이스에서 Decimal은 고정 소수점 타입으로, 실수의 값을 정확하게 표현하기 위해 사용한다. 고정 소수점 방식은 소수부의 자릿수를 고정하여 표현한다. DECIMAL(M,D)M은 소수부와 정수부를 포함한 전체 자리수를자릿수를 의미하고, D가 소수부의 자릿수를 나타낸다.  converters.conversionsPyMySQL은 conversion dictionary라는 개념으로 데이터베이스의 데이터 타입을 Python의 데이터 타입으로 변환하는 규칙을 사용하고 있다..

개요현재 Python 개발을 진행 중인데, 딕셔너리의 키가 특정 조건을 만족하는 것만 필터링하려고 한다. 적당한 방법을 찾아보다 python 내장 함수인 filter 함수에 대해 알게 되어 기록해 둔다.  filter특정 조건을 만족하는 요소들로 이루어진 iterator를 반환한다.filter(function, iterable) 바로 사용 예시를 보는 편이 이해하기 좋을 것 같다. 다음과 같은 숫자로 이루어진 리스트가 있다고 하자.numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9]이 리스트에서 짝수에 해당하는 값만 추출하고 싶다. 그러면 아래와 같이 짝수인 경우가 참이 되는 함수를 정의하여 전달하면 된다.def is_even(num): return num % 2 == 0filtere..

개요이전에 2021.10.03-[자료 구조] 동명이인 찾기 / 딕셔너리에서 딕셔너리 내의 특정 키 값을 삭제하는 방법을 적어두었었다. 그런데 삭제하려는 키의 값이 딕셔너리에 항상 있을 거라는 보장이 없는 경우도 있을 수 있다.관련해서 딕셔너리 내의 키 값을 안전하게 삭제하는 방법을 몇 가지 더 알아본다.   DEL먼저 기존에 알았던 방법을 다시 적어둔다. del 키워드를 사용하면 특정 변수나 딕셔너리 내의 키 값을 삭제할 수 있다. test_data = {k:k for k in range(5)}del test_data[0]  poppop 함수를 사용하면 딕셔너리에서 키 값을 삭제하면서 값을 반환받을 수 있다.test_data = {k:k for k in range(5)}test_data.pop(4)이 때..

HashingHashing이란 임의 길이의 데이터를 고정된 길이의 데이터로 변화시켜 저장하는 것을 말한다.해싱을 수행하는 함수나 알고리즘을 해시 함수, 해시 알고리즘이라 하고, 해시 함수의 결과를 해시 값, 해시 코드, 해시 체크섬 또는 해시라고 일컫는다.해시는 빠른 데이터 검색을 위한 해시 테이블이라는 자료 구조에 사용하거나, 해시 값으로는 원문을 알아내기 힘들다는 점을 이용해 값을 암호화하는 데 사용할 수도 있다. 또는 전송된 데이터의 무결성을 확인하는 데 사용하기도 한다.  hashlibPython에서 해시 함수를 사용할 때는 hashlib라는 모듈을 사용한다. hashlib에는 암호화 알고리즘인 SHA1, SHA224, SHA256, MD5 등등의 여러 알고리즘을 포함하고 있다.별도 설치 없이 바..

개요2024.06.26-[Python] asyncio - 비동기 프로그래밍에서 asyncio.run, 그리고 await을 이용한 코루틴 실행 방법을 알아보았다. 사실 코루틴 실행 방법은 한 가지 더 존재하는데, 바로 create_task 함수를 이용하는 방법이다.이번 글에서는 create_task를 이용한 비동기 프로그래밍을 정리한다.  create_taskasyncio.create_task(coro, *, name=None, context=None)전달받은 코루틴으로 Task 객체를 생성하고 실행을 예약한다. Task 객체를 반환한다.Task는 get_running_loop으로 반환된 이벤트루프에서 실행되고, 현재 스레드에 실행 중인 이벤트 루프가 없으면 RuntimeError가 발생한다.보통 여러 개..

개요간혹 몇 년에 걸쳐 유지되어 용량이 엄청 커진 Git 저장소를 클론 할 때가 있는데, 전송해야 하는 데이터의 양이 너무 많아 시간이 아주 오래 걸리거나 중간에 실패하는 경우가 발생할 수 있다.만약 저장소의 전체 이력이 필요하지 않다면 저장소의 일부 이력만 받아오는 Shallow Clone이 방법이 될 수 있다. 이번 글에서는 git clone 또는 fetch 시 일부 이력만 받아오는 방법을 적어둔다.  depthgit clone 또는 git fetch 명령어를 사용할 때 --depth 옵션을 통해 받아올 이력, 즉 커밋의 수를 지정할 수 있다.git clone --depth=Ngit fetch --depth=N최신 이력부터 지정한 수의 커밋을 받아오게 된다. 즉, depth를 1로 주면 최신 1개의..

개요API 서버는 클라이언트에 대한 요청을 처리하고 응답을 반환한다. 하지만 데이터 처리나 IO 작업과 같이 처리해야 하는 작업이 오래 걸리는 경우에는 응답을 반환한 후 작업을 백그라운드로 수행하도록 처리할 수도 있다.FastAPI는 애플리케이션이 응답을 반환한 후에 실행할 백그라운드 작업을 정의할 수 있도록 제공하고 있다. 방법을 알아본다.  BackgroundTasksFastAPI는 BackgroundTasks라는 클래스를 사용하여 애플리케이션에서의 백그라운드 작업을 지원한다. 임포트는 아래와 같이 하면 된다.from fastapi import BackgroundTasksFastAPI는 BackgroundTasks 객체를 생성하고, 경로에 매핑된 함수에 매개변수로 전달하는 방식으로 사용하게 된다.  ..