Embedding.

En la práctica

Un modelo de embeddings lee un texto y devuelve una lista larga de números. Lo útil es la distancia entre dos listas: según la documentación de OpenAI, cuanto más cerca están, más relacionados están los textos.

Sirve para buscar por significado, agrupar textos parecidos, recomendar, clasificar y detectar lo que se sale de lo normal. Es también lo que usa un RAG para encontrar los fragmentos que vienen al caso: los documentos se convierten en embeddings una vez, se guardan, a menudo en una base de datos vectorial, y cada pregunta se compara con ellos. Google ya ofrece un modelo multimodal que pone texto, imágenes, vídeo y audio en el mismo espacio, de modo que una frase puede encontrar una foto.

Un ejemplo. El buscador de ayuda de una empresa de software solo encontraba palabras exactas, y quien escribía «no me llega la factura» se quedaba sin respuesta. Con embeddings, el mismo buscador le devuelve el artículo sobre el envío de facturas electrónicas, aunque nadie lo haya etiquetado así.

Por qué te importa

Porque el modelo de embeddings es otra decisión, aparte del LLM con el que conversas. Anthropic, por ejemplo, no tiene modelo de embeddings propio y remite a otro proveedor. Cada modelo da listas de tamaño distinto (los dos de OpenAI, de 1.536 y de 3.072 números), y los vectores de uno no se comparan con los de otro. Si un día se cambia de modelo, hay que recalcular los de todos los documentos.

Los límites

Parecerse en el significado no garantiza acertar en lo exacto. Anthropic advirtió en septiembre de 2024 de que los embeddings captan bien las relaciones de significado pero pueden perder coincidencias exactas, como una referencia, un código o un nombre propio. Por eso recomienda combinarlos con la búsqueda por palabras de siempre. Y el buscador trae lo más parecido a la pregunta, que no siempre es lo que la contesta. Cómo se trocean los documentos y cómo se ordenan los resultados también cuenta.