Token — unidad mínima de información que procesa un modelo de lenguaje (LLM). Un token puede ser una palabra, parte de una palabra o un carácter, según el modelo. Por ejemplo, la frase «Hola, ¿cómo estás?» se divide en varios tokens. Los modelos tienen un límite máximo de tokens por petición (ventana de contexto) y el coste de uso se calcula por tokens procesados. Los tokens de los LLMs no deben confundirse con los tokens de autenticación o seguridad.
Similar a: LLM, Ventana de contexto