¿Cómo funcionan los tokens de GPT?
Si estás leyendo esto es porque sabes qué es GPT, al menos su existencia, porque por mi experiencia la mayoría no entiende en que consiste un algoritmo generativo, que puede hacer y que no, y quizás lo más curioso, si es consciente. Pero eso lo dejo para otro artículo.
En este artículo quiero dar unas pinceladas sobre lo que son los tokens, como se calculan y para que sirven.
Los tokens
Si llevas tiempo por internet seguro que estas pensando que los tokens son la forma de facturar en GTP y tienes razón, pero estarás pensando que una palaba es un token y ahí es donde te equivocas. Los tokens son una forma de representar las palabras, pero no son las palabras en si. Aunque ya me he encontrado algún artículo como este que dice eso, pero estan generados con IA, asi que ya sabes que no siempre dicen la verdad.
Si tuvieras que representar un texto se te ocurrirían dos formas: por carácteres o por palabras. Pero si lo haces por carácteres como unidad mínima seguramente terminarías generando palabras impronunciables o que no tuviesen sentido. Si lo haces por palabras no podrías gestionar conceptos nuevos y te atarías fácilmente a un idioma. El concepto empleado es el uso de términos independientes que aportan información al texto, sus morfemas.
Vale, pero los morfemas aplican a cada idioma ¿Cómo lo hace GPT? Pues sabemos que esta basado en el inglés y de ahí que algunos análisis de texto en castellano tengan algunos morfemas que no identificamos al 100%. OpenAI ofrece una herramienta para saber cuantos tokens tendrá un texto.
Os dejo un ejemplo en el que estos morfemas no aplican bien y el modelo necesita un entrenamiento extra, con el islandés.
¿Qué palabra va ahora?
Pues aquí está un poco la pregunta que se hace ahora mismo toda su competencia. Es verdad que tenemos algo de información sobre los Embeddings y creo que si me atreviese a explicarlo desde muy alto nivel me lloverían más críticas que otra cosa, el tema no es sencillo y entraría en muchas simplificaciones, además de que no sabemos exáctamente como funciona GPT, solo que funciona.