개요2026.06.10-[AI Prompt] AI와 모델에서 AI, 그리고 모델에 대한 아주 기본적인 개념을 다뤘다. 이번 글에서는 AI 서비스를 사용할 때 필연적으로, 그리고 아주 자연스럽게 접하게 되는 개념인 토큰에 대해서 정리한다. 토큰 (Token)AI의 기본적인 읽기 단위. 문장을 단어로 나누듯이 AI는 텍스트를 토큰으로 나눈다. 단, 항상 단어로 나누지는 않는다. 즉, 토큰은 단어일 수도 있고 단어의 일부 또는 단일 문자일 수 있다.예를 들어, hello는 일반적으로 하나의 토큰이지만, uncomfortable와 같은 단어는 un, comfort, able과 같이 여러 토큰으로 나뉠 수 있다. 토큰 수가 중요한 이유토큰 수는 매우 중요하다.- 비용 : AI 서비스는 토큰당 요금을 부과하며, ..