Los embeddings como tipo de dato: vectores de longitud fija, una función de distancia y lo que necesita una columna de ellos

Qué es

Un modelo de embeddings hace corresponder una entrada (texto, imagen, código) con un vector de longitud fija. El vector no tiene significado por sí solo; es útil porque la distancia entre dos vectores del mismo modelo aproxima una similitud para la que se entrenó el modelo. La guía de métricas por pares de scikit-learn define la similitud coseno como el producto escalar normalizado de dos vectores. El README de pgvector muestra la visión de tipo de dato de forma concreta: una columna declarada vector(3) tiene una dimensión fija, las consultas ordenan las filas mediante un operador de distancia (entre ellos, la distancia L2, el producto interno negativo y la distancia coseno), y por defecto la extensión realiza una búsqueda exacta de vecinos más próximos con recall perfecto, mientras que un índice HNSW o IVFFlat pasa a una búsqueda aproximada que sacrifica algo de recall a cambio de velocidad y puede devolver resultados distintos.

Por qué importa

Los equipos almacenan los embeddings como arreglos de coma flotante opacos y más tarde no pueden decir qué modelo los produjo, si dos tablas son comparables, o por qué la calidad de la búsqueda bajó tras una actualización del modelo. Tratar el vector como un valor tipado con procedencia evita los tres problemas.

Cómo aplicarlo

• Almacenar junto a cada vector, o por tabla, el identificador y la versión del modelo de embeddings, la dimensión, la función de distancia que espera el modelo, y cualquier preprocesamiento (truncado, normalización, fragmentación) aplicado a la entrada.
• No comparar nunca vectores de modelos o versiones distintos; una actualización de modelo es un nuevo cálculo de embeddings de todo el corpus, idealmente en una columna o tabla nueva con una conmutación (cut-over).
• Normalizar los vectores si el modelo espera similitud coseno y el almacén usa producto escalar, y documentar cuál de los dos está en uso.
• Decidir entre búsqueda exacta y aproximada según el tamaño del corpus y el requisito de recall; al usar un índice aproximado, medir el recall frente a la búsqueda exacta sobre una muestra de consultas.
• Conservar la entrada original (o una referencia a ella) que produjo el vector, para que el nuevo cálculo de embeddings y la depuración sean posibles.

Trampas

Almacenar los vectores como texto JSON cuesta espacio, pierde la dimensión fija y no puede usar un índice vectorial. Una columna de vectores sin la versión del modelo registrada queda inutilizable tras la primera actualización. Las puntuaciones de similitud no son probabilidades calibradas y no son comparables entre modelos.