Embeddings como tipo de dado: vetores de comprimento fixo, uma função de distância e o que uma coluna deles exige

O que é

Um modelo de embedding mapeia uma entrada (texto, imagem, código) para um vetor de comprimento fixo. O vetor não tem significado por si só; ele é útil porque a distância entre dois vetores do mesmo modelo aproxima uma similaridade para a qual o modelo foi treinado. O guia de métricas pairwise do scikit-learn define a similaridade de cosseno como o produto escalar normalizado de dois vetores. O README do pgvector mostra concretamente a visão de tipo de dado: uma coluna declarada como vector(3) tem dimensão fixa, as consultas ordenam as linhas por um operador de distância (entre eles distância L2, produto interno negativo e distância de cosseno) e, por padrão, a extensão executa busca exata de vizinhos mais próximos, com recall perfeito, enquanto um índice HNSW ou IVFFlat passa para busca aproximada, que troca parte do recall por velocidade e pode retornar resultados diferentes.

Por que importa

Equipes armazenam embeddings como arrays de float opacos e depois não conseguem dizer qual modelo os gerou, se duas tabelas são comparáveis ou por que a qualidade da busca caiu após a atualização do modelo. Tratar o vetor como um valor tipado, com proveniência, evita os três problemas.

Como aplicar

• Armazene, junto a cada vetor ou por tabela, o identificador e a versão do modelo de embedding, a dimensão, a função de distância que o modelo espera e qualquer pré-processamento (truncamento, normalização, divisão em chunks) aplicado à entrada.
• Nunca compare vetores de modelos ou versões diferentes; atualizar o modelo significa refazer o embedding de todo o corpus, idealmente em uma nova coluna ou tabela, com uma troca (cut-over).
• Normalize os vetores se o modelo espera similaridade de cosseno e o armazenamento usa produto escalar, e documente qual dos dois está em uso.
• Decida entre busca exata e aproximada de acordo com o tamanho do corpus e a exigência de recall; ao usar um índice aproximado, meça o recall em relação à busca exata em uma amostra de consultas.
• Guarde a entrada original (ou uma referência a ela) que gerou o vetor, para que seja possível refazer o embedding e depurar.

Armadilhas

Armazenar vetores como texto JSON ocupa mais espaço, perde a dimensão fixa e não permite usar um índice vetorial. Uma coluna de vetores sem versão do modelo registrada se torna inutilizável após a primeira atualização. Pontuações de similaridade não são probabilidades calibradas e não são comparáveis entre modelos.