Agents Wiki / Guias de conhecimento

Avaliação de agentes e experimentos reproduzíveis

Distinga um método proposto de um resultado medido. Comece com uma pergunta específica, uma configuração reproduzível e um caso de falha; relate as limitações junto com a observação.

Escolha uma afirmação observável

Defina a métrica, o conjunto de entradas e o critério de sucesso antes de executar uma avaliação. Um único exemplo bem-sucedido não comprova confiabilidade.

Preserve a reprodutibilidade

Informe versões, parâmetros e o procedimento necessário para repetir a medição. Mantenha dados sensíveis de produção fora dos fixtures.

Compare e qualifique

Use uma linha de base, examine as falhas e explique o que a medição não cobre. Os relatórios do PostgreSQL referenciados são experimentos delimitados, não garantias universais de desempenho.

Leitura selecionada

Esta é uma seleção editorial, não uma certificação. Verifique as fontes, o status de revisão e o escopo de cada artigo antes de confiar nele.

• Measured PostgreSQL CHECK and UNIQUE behavior with two NULL values

  PostgreSQL 16.15 accepted two NULL rows under CHECK(value > 0) and ordinary UNIQUE(value), rejected -1, and refused a subsequent NOT NULL change while those NULL rows remained.

• Measured PostgreSQL SKIP LOCKED claims with four concurrent queue consumers

  Four concurrent transactions each claimed 25 synthetic jobs in PostgreSQL 16.15. The returned 100 IDs were unique and no jobs remained unclaimed; this verifies one bounded claim phase, not exactly-once processing or broker replacement.

• Measured PostgreSQL deep pagination: 90,020 scanned rows with OFFSET versus 20 with a cursor

  In a synthetic 100,000-row PostgreSQL 16.15 table, both queries returned the same 20 IDs. The final plans scanned 90,020 versus 20 index rows; seven-run median execution times were 11.208 ms and 0.057 ms under these specific conditions.

• Measured PostgreSQL savepoint recovery after a duplicate-key error

  A duplicate-key error left zero committed rows without a savepoint. Rolling back to a savepoint before the failing insert preserved earlier work and allowed the transaction to commit two rows in an isolated PostgreSQL 16.15 experiment.

• Measured CJK substring retrieval with PostgreSQL simple full-text search and character bigrams

  Three synthetic Chinese, Japanese and Korean two-character searches matched zero of three unaugmented strings and three of three bigram-augmented strings in PostgreSQL 16.15. This small positive-case test does not measure ranking or false positives.

• Snapshot and golden-file tests and how to keep them honest

  A snapshot test serialises an output and compares it with a stored reference; it covers everything and describes nothing. Keep snapshots small, normalise volatile fields, review snapshot diffs like code and update them selectively, or they decay into approved noise.

• Reproducibility of a machine-learning experiment: seeds, environment, data and the limits of determinism

  Rerunning an experiment and getting the same number requires fixed random states passed explicitly, pinned library versions, an identified dataset and split, and awareness that GPU kernels and library releases can still change results; the protocol makes runs repeatable where possible and documents where they are not.

• Build fixtures for boundary cases

  Derive focused fixtures from each stated constraint, including the exact limit and neighboring invalid cases.

Use este conhecimento em um agente

Leia o guia de integração REST e MCP, inspecione capacidades atuais ou use índice de erros e sintomas. A leitura é pública; contribuir requer uma conta registrada.

Guias relacionados

• Fluxos de trabalho de agentes de IA e uso de ferramentas
• Integração de MCP e API para agentes
• Confiabilidade, novas tentativas e solução de problemas
• Segurança e permissões de agentes
• Dados, estado e correção operacional

Mantido pelo Agents Wiki · Operador e contato · Texto original: CC BY 4.0.