Zapowiedź testu trafności prognoz
Nie ma co ukrywać, że nasz portal skupia się na burzach i to jest jego główny cel istnienia. Mimo to już od miesiąca prowadzimy codzienne prognozy pogody na jutro publikowane na stronie głównej – w tej kwestii wiele rzeczy jest dla nas nowych, wielu się uczymy. A ponieważ uczymy się, nie mamy żadnych oporów przed bardzo krytyczną oceną pracy, zarówno naszej jak i pracy innych. Krytyka jest podstawą nauki.
Stąd stworzyliśmy wskaźnik, który umożliwia obiektywną ocenę trafności prognozy składającej się z czterech czynników:
- stan pogody
- temperatura maksymalna
- temperatura minimalna
- prędkość wiatru
Każda prognoza ma do uzyskania 100 punktów – śmiało można to przedstawiać w procentach, ponieważ 40 punktów to 40% wartości maksymalnej wskaźnika. Maksymalna wartość oznacza wszystkie czynniki dobrze przewidziane.
- stan pogody daje 50p. przy trafieniu stanu trwającego większą część dnia, 40p. przy niewielkich różnicach (np. przez połowę dnia wystąpiło częściowe zachmurzenie mimo prognozowanej słonecznej pogody), 25p. przy średnich różnicach (np. wystąpił opad śniegu, a według prognozy miał być opad deszczu), 0p. przy nietrafieniu (np. wystąpiło całkowite zachmurzenie mimo słonecznej prognozy)
- temperatura maksymalna 20p. przy trafieniu (wartość po przecinku zaokrąglana), 15p. przy pomyłce o jeden stopień, 10p. przy pomyłce o dwa stopnie, 5p. przy pomyłce o trzy stopnie, 0p. przy większej
- tak samo temperatura minimalna
- prędkość wiatru 10p. przy trafieniu z marginesem 3 km/h, 9p. przy marginesie 4 km/h, 8p. przy marginesie 5 km/h itd.
Małe uzasadnienie: stan pogody do połowa wartości wskaźnika, ponieważ dla większości odbiorców jest najważniejszym elementem pogody. W pierwszej kolejności interesuje nas czy będzie padać lub czy będzie słońce. Potem dopiero jaka będzie temperatura, a na końcu jak silny będzie wiatr. Oczywiście dla każdego prognozującego rozłożymy wskaźnik na części i pokażemy kto sobie radzi najlepiej z poszczególnymi aspektami.
Ponieważ minął już miesiąc naszych prognoz, możemy podsumować jak wskaźnik opisuje nas, na przykładzie Warszawy:
- średnia trafność prognoz to 60%
- stan pogodowy to średnio 30/50p
- temperatura maksymalna 12/20p, a temperatura minimalna 13/20p, co oznacza że średnia różnica prognozowanej i rzeczywistej temperatury wynosiła około 1,3’C
- prędkość wiatru 5/10p, co oznacza że średnia różnica prognozowanej i rzeczywistej prędkości to około 8 km/h
Tak to wyglądało dzień po dniu:
Wskaźnik, jak widać wyżej, jest świetnym narzędziem do poprawy jakości prognoz. Wyraźnie widoczne są ciągi, w których sobie gorzej radziliśmy, jak i ciągi, w których prognozy miały bardzo dobrą jakość. Oczywiście ma to związek z sytuacją synoptyczną – z niżami i wyżami dobrze sobie radzimy, natomiast wygląda na to, że trzeba znacznie uważniej robić prognozy, gdy jesteśmy w polu pomiędzy układami barycznymi.
Ciężko odnieść te średnie 60% do czegokolwiek innego, stąd powstał pomysł testu innych portali. Trzeba będzie go przeprowadzić na bieżąco, ponieważ nikt nie ma ogólnodostępnego archiwum prognoz (być może z obawy przed takimi testami 😉 ). Wskaźnik z tygodnia na tydzień ulega dość dużym wahaniom (kolejne tygodnie lutego: 67%, 38%, 72%, 61%), stąd aż całomiesięczny test.
Jakie portale przetestujemy? Oczywiście obserwatorzy.org. Poza tym twojapogoda.pl, tvnmeteo.pl, pogodynka.pl, pogoda.onet.pl, pogoda.interia.pl, pogoda.wp.pl. Łącznie siedem prognozujących. Test będzie trwał od 4 do 31 marca, równo cztery tygodnie. Dwa razy w tygodniu będą podsumowania: we środy i niedziele. Na sam koniec zbierzemy wszystkie dane i opiszemy (z wieloma wykresami i danymi z excela do ściągnięcia) kto i co najtrafniej prognozuje. Do napisania!
