WP3405 ha come obiettivo la progettazione, implementazione e gestione di pipeline di riduzione dati e flussi di lavoro (workflows) per l’elaborazione dei dati acquisiti, dalla fase raw all’output scientifico finale. L’obiettivo è garantire che i dati grezzi diventino prodotti scientificamente validi, mantenendo traccia della provenienza (provenance), della configurazione e dei parametri di riduzione, in modo riproducibile e documentato.
## Attività principali
- Definizione dei requisiti per le pipeline di riduzione dati e dei casi d’uso supportati (tipi di dati, modalità osservativa, telemetria, metadata, calibrazioni, ecc.).
- Progettazione dell’architettura software per la pipeline: moduli di pre-processing, calibrazione, correzione, validazione qualità, generazione output formattato (immagini, tabelle, log, metadata).
- Implementazione dei moduli software in linguaggio appropriato (Python, C/C++, o altro), con gestione modulare e configurazione flessibile.
- Integrazione di un sistema di gestione dei parametri e della provenienza — inclusa la registrazione di metadati, versioning delle configurazioni, log di esecuzione, e tracciabilità dei dati.
- Validazione su dataset simulati e reali: esecuzione pipeline, confronto output rispetto a standard di riferimento, stesura di report di validazione e test di regressione.
- Automazione del workflow: creazione di script o tool di orchestration che permettano esecuzioni batch e ripetibili, monitoraggio degli stati di elaborazione, reportistica e gestione errori.
- Documentazione completa: manuali utente, guida per i developer, template di configurazione, esempi d’uso, protocolli di test e validazione.
## Risultati attesi / Deliverable
- Repository software della pipeline, con codice modulare, documentazione e test di base.
- Un set di pipeline validato su esempi reali e simulati, con output verificati qualità, pronto per uso scientifico.
- Una procedura standard per la riduzione dati: descrizione dei passaggi, configurazioni, parametri, formati in/output.
- Report di validazione e benchmarking, con confronto risultati, indicazione di limiti e best-practice.
- Un meccanismo di tracciabilità dei dati e delle configurazioni (metadati, log, versioning), per garantire riproducibilità e coerenza nei risultati.
- Documentazione per utenti e developer, con guide all’installazione, all’uso, e all’extension della pipeline.
## Motivazione scientifica / contesto
Nell’era dei grandi dataset e delle osservazioni complesse — in ottica adattiva, telescopi moderni, strumentazioni avanzate — è fondamentale disporre di pipeline di riduzione automatizzate, robuste e riproducibili. Un approccio manuale non garantisce riproducibilità, qualità costante né efficienza. WP3405 assicura che la riduzione dati sia sistematica, tracciabile e verificabile, e permette di scalare l’analisi su molte osservazioni in modo coerente, con documentazione e metadata completi.
## Ruoli e responsabilità
-**Team sviluppo software**: implementazione moduli pipeline, test, manutenzione codice.
-**Team validazione / test**: esecuzione pipeline su dataset di prova, analisi risultati, report di qualità.
