Skip to content

Commit 3903dff

Browse files
docs: clarify deferred estimation design points [skip-ci]
1 parent e8c0e48 commit 3903dff

3 files changed

Lines changed: 58 additions & 1 deletion

File tree

docs/cx/BENCHKIT_GAP_ANALYSIS.md

Lines changed: 34 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -57,6 +57,40 @@ BenchKit already has a solid foundation for continuous benchmarking, especially
5757
Continuous estimation has now moved beyond a mere entry point: a common estimation flow, a `weakscaling` reference path, a detailed dummy package for `qws`, and result-provenance handoff have all been implemented.
5858
However, estimation is still not yet broadly deployed across multiple applications, and AI-driven optimization integration remains mostly at the integration-point stage.
5959

60+
## 2.1 現時点で明示しておく設計負債 / Explicit Design Debts to Keep Visible
61+
62+
現時点では、未実装というより「いったん止めている」「境界をまだ固定しきっていない」論点がいくつかある。
63+
この節は、それらを後で見失わないための明示的なメモである。
64+
65+
- 推定 package / flow の境界:
66+
BenchKit 共通層と package 側の責務分担はかなり整理されたが、metadata discovery、複数 detailed package 間の一般化、package 間 compare の扱いはまだ固定していない。
67+
- app 側の推定宣言 API:
68+
`estimate.sh` に current / future package と section 宣言を書く流れは見えてきたが、他 app へ横展開する前提の最終 API はまだ固めていない。
69+
- 推定結果 compare UI:
70+
detail 画面で current / future breakdown、fallback、applicability は見えるようになったが、同一 `code/exp` 間の差分把握 UI はまだ後回しにしている。
71+
- 結果 quality の扱い:
72+
portal 上の quality badge / detail は実装済みだが、CI を fail させる validator にはしていない。品質評価は現在も可視化中心である。
73+
- site capability checker:
74+
`/results/usage` に lightweight configuration checks は入ったが、CI 実行可否と直接結び付く自動 checker にはまだしていない。
75+
- app/system coverage 判定:
76+
現在の coverage matrix は `list.csv``build.sh` / `run.sh` の mention ベースであり、将来的により厳密な capability 定義へ置き換える余地がある。
77+
78+
At the current stage, several issues are not simply “missing implementations” but rather intentionally deferred or not yet fully fixed as design boundaries.
79+
This section keeps those visible so they are not forgotten later.
80+
81+
- estimation package / flow boundary:
82+
the separation between BenchKit common flow and package-owned behavior is much clearer now, but metadata discovery, generalization across multiple detailed packages, and package-level comparison are not yet fixed.
83+
- application-side estimation declaration API:
84+
the direction of declaring current / future packages and section bindings in `estimate.sh` is becoming clear, but the final cross-application API is not yet frozen.
85+
- estimation compare UI:
86+
detail views now expose current / future breakdown, fallback, and applicability, but same-`code`/`exp` comparison remains intentionally deferred.
87+
- result quality handling:
88+
quality badges and detail views are implemented, but they are not yet enforced as CI-failing validation; the current approach remains visibility-first.
89+
- site capability checker:
90+
`/results/usage` now has lightweight configuration checks, but there is still no automatic checker directly tied to CI execution readiness.
91+
- app/system coverage evaluation:
92+
the current coverage matrix uses `list.csv` plus mention-based detection in `build.sh` / `run.sh`, leaving room for a stricter future capability definition.
93+
6094
## 3. 機能別ギャップ分析 / Function-by-Function Gap Analysis
6195

6296
| 機能 | 仕様要求 | 現状実装 | 不足・課題 | 他機能への影響 | 優先度 |

docs/cx/ESTIMATION_PACKAGE_SPEC.md

Lines changed: 0 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -285,7 +285,6 @@ These should preferably be mappable, in principle, into `estimate_metadata` and
285285

286286
例:
287287

288-
- FOM のみを使う簡易推定
289288
- section / overlap を使う推定
290289
- 詳細性能カウンターを使う推定
291290
- アノテーション区間時間を使う推定

docs/cx/ESTIMATION_SPEC.md

Lines changed: 24 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -635,6 +635,30 @@ The following are intentionally left open at this stage:
635635

636636
These are kept open so that multiple approaches remain possible under the principles of replaceability and avoiding lock-in.
637637

638+
### 7.1 今は固定しないことを明示する論点 / Explicitly Deferred Design Points
639+
640+
現時点で未確定の事項のうち、特に「今は固定しない」と判断している論点を明示しておく。
641+
642+
- 複数 detailed package の一般化:
643+
`instrumented_app_sections_dummy` は参照実装として扱い、複数 detailed package 間の discovery / compare / fallback 規則はまだ一般化しない。
644+
- package metadata discovery の本格利用:
645+
metadata はすでに package 側の責務として整理されているが、portal や compare UI でどこまで積極的に活用するかは未確定とする。
646+
- compare UI の最終形:
647+
current / future の detail 表示はあるが、複数 estimate を並べて差分を読む UI は今は固定しない。
648+
- acquisition path の本格差異:
649+
`instrumented_app_sections``instrumented_tool_sections``counter_based` の概念は保持するが、各 path の厳密な capability contract はまだ固定しない。
650+
651+
Among the open items above, the following are explicitly considered “not fixed yet” at the current stage.
652+
653+
- generalization across multiple detailed packages:
654+
`instrumented_app_sections_dummy` is treated as a reference implementation, while discovery / comparison / fallback rules across multiple detailed packages remain intentionally unfixed.
655+
- deeper use of package metadata discovery:
656+
metadata is already owned by packages, but how aggressively it should drive portal behavior or comparison UI is still open.
657+
- the final compare UI shape:
658+
current / future detail display exists, but a stable multi-estimate comparison interface is intentionally deferred.
659+
- fully specified acquisition-path contracts:
660+
the concepts of `instrumented_app_sections`, `instrumented_tool_sections`, and `counter_based` remain, but their strict capability contracts are not yet frozen.
661+
638662
## 8. 次に必要な詳細仕様 / Next Detailed Specifications
639663

640664
本書の次に必要なのは、少なくとも以下である。

0 commit comments

Comments
 (0)