You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
Gráficos de custo × ganho no README a partir de evals/benchmarks #73
Decidido com o usuário em 2026-09-25: o README mostra, para quem avalia usar a skill, o custo (tokens e tempo por execução) e o ganho (nota com e sem a skill) por versão.
Fonte: evals/benchmarks/<versão>.json (só números, gerados por scripts/benchmark_summary.py).
Gráfico gerado a partir desses arquivos, nunca desenhado à mão, e reproduzível.
Registrar o modelo e a data de cada rodada; a comparação com e sem a skill da v1.5 reaproveita a execução sem a skill da v1.4.
Atualizar também a linha do README que ainda diz "Mantém a estrutura de acompanhamento no Notion" (texto anterior à v1.1).
Precisa passar pelo fluxo normal: /to-spec e depois planning-and-task-breakdown.
Activity
rasecdev commentedon Oct 3, 2026
Resolvida via spec #109 (rodada v1.8): PRs #115 (script gerador + teste/CI), #116 (README), #117 (SPEC.md + fechamento).