Skip to content

Gráficos de custo × ganho no README a partir de evals/benchmarks #73

Closed

Description

@rasecdev

Decidido com o usuário em 2026-09-25: o README mostra, para quem avalia usar a skill, o custo (tokens e tempo por execução) e o ganho (nota com e sem a skill) por versão.

  • Fonte: evals/benchmarks/<versão>.json (só números, gerados por scripts/benchmark_summary.py).
  • Gráfico gerado a partir desses arquivos, nunca desenhado à mão, e reproduzível.
  • Registrar o modelo e a data de cada rodada; a comparação com e sem a skill da v1.5 reaproveita a execução sem a skill da v1.4.
  • Atualizar também a linha do README que ainda diz "Mantém a estrutura de acompanhamento no Notion" (texto anterior à v1.1).

Precisa passar pelo fluxo normal: /to-spec e depois planning-and-task-breakdown.

Activity

  1. rasecdev commented on Oct 3, 2026

    @rasecdev
    OwnerAuthor

    Resolvida via spec #109 (rodada v1.8): PRs #115 (script gerador + teste/CI), #116 (README), #117 (SPEC.md + fechamento).

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions