Skip to content

fix(rmn): alza il client timeout del fetch da 900s a 1800s - #12

Merged
Gabrymi93 merged 1 commit into
mainfrom
fix/rmn-fetch-timeout
Nov 5, 2026
Merged

Gabrymi93 merged 1 commit into
mainfrom
fix/rmn-fetch-timeout

Conversation

@Gabrymi93

Copy link
Copy Markdown
Member

Sintesi

Alza il client.timeout del fetch di ispra_rmn da 900s a 1800s. Il fetch scarica ~30K CSV e dura ~11-15 min, variabile col carico di rete: nel run post-merge di #9 è andato in timeout a 900.021s (run rosso), mentre nel run del 2026-11-01 era passato (~11 min).

Contesto collegato

Issue #4 (normalizzazione RMN pre/post 2014) — il timeout è il blocco operativo che ne impedisce l'esecuzione.

Cosa cambia

  • datasets/ispra-rmn/dataset.yml: client.timeout: 900 → 1800 (+ commento sul perché)

Impatto

  • Documentazione o testi
  • Policy GitHub o template
  • Codice o automazioni
  • Pipeline dati o trasformazioni
  • Contenuti o metadati di dataset
  • Nessun impatto visibile per chi usa il repository

Verifica

  • toolkit run preflight --config datasets/ispra-rmn/dataset.yml → Config: OK
  • Run completo non eseguito in locale (fetch ~15 min); la modifica è solo di timeout, il comportamento del fetch è invariato. Il prossimo run post-merge o il cron mensile confermerà.

Controlli

Note per chi revisiona

  • Mitigazione, non fix definitivo: il fetch resta lento (~30K file). L'ottimizzazione (incrementale o più parallelismo) è tracciata in fix(pipeline): normalizzare dati RMN con colonna era pre/post 2014 #4.
  • Perché 1800: 2x il massimo osservato (~15 min), con margine; il job GitHub ha un limite di 6h, quindi non è un problema.
  • Effetto collaterale positivo: il pipeline open-ispra torna verde (oggi rosso per il timeout di rmn), e il prossimo run non salta rmn nel batch.

Il fetch scarica ~30K CSV e dura ~11-15 min, variabile col carico di rete.
A 900s andava in timeout a intermittenza (run #9 rosso; run 2026-11-01 ok).
1800s = 2x headroom.

Mitigazione: l'ottimizzazione del fetch (incrementale/parallela) resta
tracciata nell'issue #4.
@Gabrymi93
Gabrymi93 merged commit 8e7fe8a into main Nov 5, 2026
2 checks passed
@Gabrymi93
Gabrymi93 deleted the fix/rmn-fetch-timeout branch November 5, 2026 15:22
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant