Verifica e performance
Verifica e performance
La verifica delle previsioni meteorologiche consiste essenzialmente nell'esaminarne l'attendibilità attraverso il confronto tra le osservazioni (dati misurati da stazioni meteorologiche, immagini satellitari e dati derivati dai radar) e le previsioni fatte.
 

Perché verificare l’attendibilità delle previsioni?

Sapere dove si sbaglia La maggior parte delle informazioni che derivano dalla verifica delle previsioni hanno un valore innanzitutto per il servizio meteo che le eroga. L'analisi permette infatti ai meteorologi di avere una misura oggettiva dell'affidabilità delle proprie previsioni e offre indicazioni per migliorare il processo previsionale. Può ad esempio emergere che in una determinata area, in presenza di una certa tipologia di tempo, c'è la tendenza a sovrastimare o sottostimare la pioggia così come la temperatura minima o massima, fattori che possono essere causati dal particolare periodi dell'anno o dalla particolare posizione geografica.

Trasparenza verso gli utenti In linea con la filosofia di trasparenza e apertura del LaMMA, intendiamo fornire agli utenti un'ulteriore strumento di verifica (e quindi anche di controllo, in un certo senso) sulla qualità del servizio offerto. Il Consorzio LaMMA, infatti, oltre a realizzare e pubblicare quotidianamente un report meteorologico giornaliero e un report mensile (vedi la pagina Report meteo), archivia tutti i bollettini meteorologici emessi ogni mattina sul proprio sito (vedi Archivio bollettini). Pubblicare i risultati della verifica può costituire un valore aggiunto in un processo decisionale, oltre che un motivo di scambio e discussione nell'ottica del miglioramento del servizio.

Cosa si verifica?

Nel 2011 il LaMMA ha iniziato un percorso di verifica dei bollettini meteorologici relativamente al fenomeno pioggia.
Il confronto è tra i singoli simboli meteo presenti nelle mappe di previsione (relativamente al "domani" e al "dopodomani") e le piogge rilevate dai pluviometri presenti nell'area sottesa dai rispettivi simboli.
Considerato che ogni simbolo meteo della mappa del bollettino ordinario costituisce un evento, ogni giorno gli eventi considerati sono 81 (ovvero 27 eventi per ogni mappa, per una totalità di 3 mappe al giorno (mattina, pomeriggio e sera) e in un anno sono 29.565.
 

Metodo di verifica seguito

Esistono in letteratura diversi metodi e tecniche per verificare l’affidabilità delle previsioni le cui linee guida sono dettate dal Joint Working Group on Forecast Verification Research del WMO (World Meteorological Organization). 
Nel caso specifico della pioggia, il Consorzio LaMMA ha utilizzato le tecniche di verifica per previsioni deterministiche di tipo discreto
Gli indici e il metodo usati sono descritti alla pagina: Metodo di verifica. Di seguito solo un riepilogo degli indici statistici considerati:
  • Accuracy - Permette di determinare la frazione di previsioni corrette rispetto al totale delle previsioni (sia di pioggia che di non pioggia) - Nel complesso, quante volte le nostre previsioni sono corrette?
  • Probability of Detection (POD) - Permette di valutare la percentuale di volte in cui la pioggia è stata prevista correttamente rispetto a tutte le volte che è piovuto - Su tutte le volte che ha piovuto quante volte è stata prevista pioggia correttamente?
  • False Alarm ratio (FAR) - Permette di valutare la percentuale di volte in cui è stata prevista la pioggia ma non si è verificata rispetto al totale di volte in cui è stata prevista pioggia - Quante volte abbiamo previsto pioggia e invece non ha piovuto?
  • BIAS - E' il rapporto tra il numero degli eventi di pioggia previsti e il numero di eventi di pioggia effettivamente osservati; fornisce quindi indicazioni sulla tendenza a sovrastimare o sottostimare il numero di eventi di pioggia.
I risultati della verifica possono ritenersi soddisfacenti se, congiuntamente, l’indice POD è superiore a 0.6 , il FAR inferiore a 0.4 , l’ ACCURACY superiore a 0.8 e il BIAS compreso tra 0.8 e 1.2.  
 

Risultati del 2015

I grafici mostrano i risultati della verifica relativa a tutti i bolllettini regionali del 2015 (previsioni a 24 ore e a 48 ore) - quindi a livello annuale per tutta la Toscana - per quanto riguarda l'indice "accuracy".
L'accuratezza, ovvero la capacità di attribuire correttamente al simbolo meteo sia l’evento “pioggia” che quello di “non pioggia”, è stata del 90% sia per la previsione "per il giorno dopo" che per la previsione per 2 giorni dopo.
Il dettaglio e gli altri indici alla pagina Risultati dell'ultimo anno: il 2015

    ACCURACY
     
    Previsione per il giorno dopo   Previsione per 2 giorni dopo

Confronto risultati dal 2011 al 2015

Risultati del 2014

Risultati del 2013


Report completo 2011-2015
Il report, scaricabile in pdf, contiene sia un'introduzione sul metodo e gli obiettivi, che i risultati di dettaglio per ogni anno (2011, 2012, 2013, 2014, 2015) e per il quinquennio 2011-2015. Oltre alla sintesi annuale e regionale, trovate anche i valori relativi alle singole stagioni e ai capoluoghi di provincia.
Scarica il report