Blockhead voting at the Eurovision Song Contest

The task of a jury member at the Eurovision Song Contest is pretty straightforward:

  1. Watch the Jury Show of the semifinal that your country is allocated to and submit a ranking of all the entries.
  2. Watch the Jury Show of the grand final and submit a ranking of all the entries.

However, it could also go like this:

  1. Watch the Jury Show of the semifinal that your country is allocated to and submit a ranking of all the entries.
  2. Notice that you had to rank them and not give them points, so you should have actually put a 1 next to your favourite song and not a 17, oopsie daisy.
  3. Watch the Jury Show of the grand final and submit a ranking of all the entries, feeling very smug this time because you actually understand the task description.

This is of course an entirely hypothetical scenario. As is widely known, jury members are highly vetted, specifically trained professionals. See, it’s even written in the jury member selection criteria:

Blockhead voting at the Eurovision Song Contest
Oh. music professionals. Right. Anyway!

Let’s call the mishap outlined above “blockhead voting”. A clever play on words on the term “bloc voting”, which is a fan favourite excuse for blaming the own country’s lack of success on external factors.

How would we go about finding cases of blockhead voting?

The Eurovision Song Contest is notorious for its plentitude of voting rule changes over the years. However, we do have detailed voting records for jury members since 2016 on eurovision.tv. This gives us data from 5 contests overall to work with, at the low cost of a bit of web scraping and a few hours of our life that we will never get back.

Now that we have the raw data, it is time to think about what we actually want to find.

Of course we have to work with a few assumptions:

People are inertial.

Assumption 1

Meaning, if a jury member liked a song in the semifinal, they will probably also like the song in the grand final, and give it a high score / low rank again. Also:

Love and hate are stronger than indifference.

Assumption 2

This is an extension to the first assumption. We expect the song a jury member placed on top of the list for the semifinal to be towards the top again for the grand final. The same is true for the end of the list – a bit weaker probably, since we likely lose the bottom half of the ranking when we go from the semifinal to the final. We also expect the order of the songs in the middle to be a lot more volatile.

And finally, a third assumption:

Most jury members are not blockheads.

Assumption 3

This might come to a surprise to some, but we expect most jury members to be able to follow simple instructions.

Our strong belief in Assumption 3 allows us to postulate that there is only a negligible number of jury members who filled out their scoring sheet in the wrong order. Therefore, the statistical properties of “correct” jury votes are roughly equal to the statistical properties of all jury votes. With this, we can try to confirm Assumption 1 and 2.

Checking our own assumptions

We begin by simplifying the data we work on.

After scraping, we have two rankings for each jury member:

  • the ranking of the songs in their respective semifinal
  • the ranking for the songs in the grand final.

Since ten songs advance from each semifinal to the grand final and you cannot vote for your own country, there are a total of nine songs which a jury member has ranked twice – or ten, if we are looking at a jury member from the so-called big five or the host country, who are pre-qualified for the grand final.
We will only focus on those songs that have been ranked twice. This simplifies things a lot.

Now for our assumptions. The average rank difference over all jury members and entries is 1.53, meaning that an entry on average gains or loses 1.53 ranks when comparing the semifinal to the final. If everyone just ranked the entries randomly, the average rank difference would be around 3.2. That seems to support assumption 1. Yay!

To investigate assumption 2, we are going to check how frequently an entry that gets ranked first or last in the semifinal also gets ranked first or last in the grand final1. It turns out that in 58 % of the cases, the entry ranked first is the same for semifinal and grand final, while this is only the case for 35 % of entries that are ranked second, and for 25 % of entries that are ranked third. A similar pattern can be observed for the end of the rankings: 44 % of entries ranked last for the semifinal are then also ranked last for the grand final, which is also true for 27 % of the second-to-last entries, and 22 % of the third-to-last entries. These findings seem to support assumption 2 well enough that we can continue with the most interesting stuff.

The most interesting stuff

We want to find suspicious rankings. It therefore makes sense to start by defining what we actually deem suspicious and what we deem innocuous. Since we don’t want to look through all 1029 jury members by hand, we also want an automated way to find the most suspicious candidates automatically. For this, we try to find a metric that gives the suspicious configuration the highest score and the innocuous one the lowest score. Since some jury members have ranked nine entries twice and some ten, it will probably make sense to normalise the resulting scores to account for that.

To demonstrate what’s suspicious and what is not, we will use Netherlands D from 2016 as an example. The internal order of the 9 songs that were ranked twice did not change at all between the semifinal and the final. In our world, that is as unsuspicious as it gets. If we then flip the order of the semifinal, we get the most suspicious ranking pattern ever™.

The concrete metric that we use does not matter too much since we will investigate the results manually anyway2.

The first thing we find are three more jury members who did not reorder their entries at all:

But we are of course interested in the other end of the list. Let’s have a look at all ten jury members who have scored at least 7 / 10.

Tel Aviv 2019: Czech Republic C – 7.25 / 10

Looks a bit fishy, right? Especially those two first places once you invert the semifinal? Well: Dear readers, we gottem. A certified Blockhead. Plus, we have an indicator that our filtering method might actually work well enough to generate some results.

Lisbon 2018: Belarus A – 7.27 / 10

Once again, there is a suspicious diaginal line in the actual voting behaviour from the bottom of the semifinal to the top of the final, and vice versa. This time though, no article on eurovoix (that I know of).

Rotterdam 2021: Malta C – 7.33 / 10

There seems to be a recurring pattern here, where the last ranks in the semifinal suddenly become the first ranks in the final. How could that be? I wonder.

Lisbon 2018: FYR Macedonia E – 7.82 / 10

Now this is a tricky one. What is more plausible: A stable center, and the tops and bottoms switch places? Or three relatively stable groups where just the internal order switches? I do not know.

Rotterdam 2021: France B – 7.88 / 10

Now this looks like a clear mis-vote to me. A french jury member that ranks the swiss entry, which has been sung in french, last? Heresy. If we flip the votes from the semifinal, it suddenly looks a lot more in character. A clear blockhead candidate for me.

O wait! It’s Gilbert Marcellus! He is the reason this article exists in the first place.

Tel Aviv 2019: Sweden C – 7.92 / 10

We are creeping ever closer to the 8 point mark, and here we have another very clear case of Blockhead voting. If you do not trust me, trust the internet instead.

Lisbon 2018: Israel D – 8.67 / 10

Pointwise, we take a big leap forward with this one. What looked somewhat reversed before, looks like a complicated shoelace pattern after the ranks from the semifinal got switched. Definitely highly suspicious.

Stockholm 2016: Georgia B – 8.67 / 10

With the same score as the previous jury member, this one seems a lot clearer. Not entirely sure what is up with Latvia there (boop!), but either way we are looking at a clear case of Blockhead voting here.

Kyiv 2017: Portugal E – 8.75 / 10

The true atrocity here is not that we are dealing with a case of suspected Blockhead voting, but that this jury member seems to be immune to the saxyness of the moldovan entry.

But hold up. The whole column for this jury member in the grand final looks suspicious. Ranking Croatia first, whereas most other Portuguese jury members rank it towards the end? The same with Romania and Ukraine? This is either spite voting against the other jury members, or an extremely rare case of reverse Blockhead voting. Amazing.

After that high we get to the grand final (hehe) of our investigation.

What we have seen so far included some highly suspicious cases, but our top scorer operates entirely on another level.

Here we go:

Tel Aviv 2019: Russia C – 9.83 / 10

Barely missing the highest achievable score of 10 / 10, this jury member clearly does not know their tops from their bottoms. This is so blatantly obvious, yet nobody seems to have picked up on it. Probably because ranking countries in reverse order seemed to be an ongoing theme in 2019. Who knows.

Conclusion

I don’t know, seems like we have had some success. Sadly.

Since jury members can obviously not be trusted with putting things into the correct order, and we can only detect it in some cases and only once it is too late, there is only one possible solution: The juries must be abolished. One more reason to add to the list.

  1. Where “ranking last in the semifinal” of course means the last rank that still advanced to the grand final. Remember, we’re only looking at entries that were ranked twice.
  2. For completeness: We use the sum of the squares of the numbers of places each entry changes from semifinal to final. We use the square instead of only the absolute value because that puts emphasis on big changes over little changes – bigger number, much bigger square value.

ESC-Plotmania 2021

Da meine Plotgenerierskripte immer noch funktionieren, gibt es auch dieses Jahr eine grafische Aufarbeitung der Ergebnisse des Eurovision Song Contest 2021 in Rotterdam. Dieses Jahr habe ich sogar den Abruf der Ergebnisse von der Webseite geskriptet, und mir somit eine Menge händischer hin-und-her-Kopiererei gespart. Fortschritt!

Wer hat dieses Jahr eigentlich gewonnen?

ESC-Plotmania 2021
Mal wieder gibt es ein paar Ausreißer

Glücklicherweise hat sich der Lieblingsbeitrag des Publikums (Italien) ein weiteres Mal insgesamt durchsetzen können. Mit den Jurys ist es ja folgendermaßen: Wenn sie gleich entscheiden wie das Publikum, braucht man sie nicht, und wenn sie anders entscheiden als das Publikum braucht man sie ebenfalls nicht, weil welches Land will sich schon von fünf dahergelaufenen Hanseln die eigene Stimmabgabe invalidieren lassen.

Naja, jedenfalls. Als nächstes blicken wir freilich auf die historische Meisterleistung: UK mit 0 Punkten! Im letzten Bild ist das das Land ganz rechts ohne Balken.

ESC-Plotmania 2021
Uff.

Der Beitrag von James Newman war so unbeliebt, dass lediglich die polnische Jury ihm gaaaanz knapp keine Punkte gegeben hat. Überall sonst war es nicht einmal knapp. Schon hart.

Und Deutschland so?

ESC-Plotmania 2021
Auch uff, aber nicht so uff wie eben.

Die Publikumsränge sind deutlich höher als beim UK – davon kann man sich aber auch nichts kaufen. Die zwei Ausreißer bei der österreichischen und der rumänischen Jury verhindern, dass es bei 0 Punkten bleibt.

Am anderen Ende des Feldes1 sieht es hingegen so aus, dass Italien und Frankreich aus allen Ländern Publikumspunkte bekommen haben – nur die Juries waren wieder teilweise anderer Ansicht.

Das Publikum war übrigens nicht erst im Finale so ungroßzügig bei der Punktevergabe: Bereits im zweiten Halbfinale hieß es für Tschechien (ganz rechts im Bild): Nothing for you!

ESC-Plotmania 2021
Omaga you’re so rude

Schauen wir uns doch einmal die Jurybewertungen genauer an. Da jede Jury einmal in einem Halbfinale und dann im großen Finale abstimmt, haben wir für alle Jurymitglieder zehn Lieder, die sie zweimal bewertet haben – nämlich die, die es aus dem Halbfinale ins Finale geschafft haben. Betrachten wir nur die Rangfolge dieser zehn Beiträge untereinander, können wir sehen, wie sich ihre Bewertung durch die Jurys vom Halbfinale zum Finale geändert hat.

So eine Bewertungsänderung kann an vielen Dingen liegen. Eventuell wurde im Finale einfach viel besser oder schlechter gesungen. Oder ein Jurymitglied hat oben und unten verwechselt. Nicht, dass sowas vorkommen würde. Die sind ja geschult. Die haben eine einzige Aufgabe. Das kriegen die hin.

Jedenfalls.

Hier sind ein paar Beiträge mit Verschiebungen nach unten (das heißt mehr negative Werte rechts als positive Werte links):

ESC-Plotmania 2021
Von Startplatz 8 im Halbfinale auf Startplatz 1 im Finale
ESC-Plotmania 2021
Von Startplatz 11 im Halbfinale auf Startplatz 2 im Finale

Lag es nur an den ungünstigen Startplätzen im Finale? Vordere Startplätze erhalten statistisch gesehen weniger Punkte als hintere Startplätze. Vielleicht ist den beiden aber auch im Juryfinale ein Malheur passiert. Wer weiß.

Wo es Verliererinnen gibt, gibt es freilich auch Gewinner*innen:

ESC-Plotmania 2021
Ringlight-Rave let’s go!
ESC-Plotmania 2021
Kein Verkehrsunfall: Die Schweiz im Finale

Shum wird halt mit jedem Mal Hören besser. Und wenn man sich an die schweizerische Architektur gewöhnt hat, lässt sich die Performance vermutlich auch etwas besser aushalten.

Doch hoppla, was ist das denn für ein Ausschlag bei der Schweiz ganz links? Plus 9? Also vom letzten auf den ersten Rang? Schauen wir uns doch mal Juror “France B” genauer an.

eurovision.tv verrät uns, dass es sich um “Gilbert MARCELLUS” (sic) handelt. Wie lief es bei dem denn sonst so?

ESC-Plotmania 2021
Fast ein Treppchen

Das sieht schon fast verdächtig danach aus, als habe da wieder einmal jemand das Formular falsch herum ausgefüllt. Gilbert!

In einer anderen Darstellung stellt sich die Sache folgendermaßen dar:

ESC-Plotmania 2021
hmmmmmm…

Es ist keine einfache Umkehrung der Reihung aus dem Halbfinale, aber Jurymitglieder dürfen ihre Einschätzung eines Beitrags für das Finale natürlich anpassen. Dass die beiden Enden der Reihung praktisch Plätze tauschen, ist allerdings schon sehr, sehr verdächtig.

Nur mal zum Vergleich: So sieht das bei seiner Kollegin Géraldine Allouche (France C) aus:

ESC-Plotmania 2021
Order!

Gilbert. You had one job.

Alle Auswertungen gibt es wie üblich hier zum Download (ab sofort unter CC0):

  1. also am Anfang des Feldes

ESC 2021: Jury vs. Publikum

Wie schon 2013, 2014, 2015, 2016, 2017, 2018 und 2019 wollen wir – völlig überraschend – auch dieses Jahr einen Blick auf die detaillierten Ergebnisse des Eurovision Song Contest 2021 werfen und uns zwei Fragen widmen: Wer wurde von den Jurys abgestraft und vom Publikum nach vorn gevotet? Und bei wem ist es umgekehrt?

Die willkürlich gewählte Grenze für “signifikante” Verschiebungen liegt auch in diesem Jahr bei 5 Punkten, denn das haben wir schon immer so gemacht. (Das wird aber dieses Jahr noch lustig.) Zusätzlich werden die Beiträge betrachtet, bei denen auch geringere Verschiebungen Auswirkungen auf ihr Fortkommen im Bewerb hatten, beziehungsweise die im Finale in die / aus den Top 10 rutschen.

Zur Erläuterung: Im Abschnitt “Die Jurys1” betrachten wir, wie das Juryvoting sich auf die Endplatzierung eines Beitrags im Vergleich zum reinen Publikumsvoting ausgewirkt hat. Im Abschnitt “Das Publikum” hingegen betrachten wir, wie sich die Endplatzierung eines Beitrags durch das Publikumsvoting verbessert/verschlechtert hat im Vergleich zur Platzierung im Juryvoting.

Disclaimer: Dieser Blogartikel ist nicht Teil eines Experimentes der niederländischen Regierung!

Los geht es mit dem

1. Halbfinale

Hier die erste Überraschung: Unsere willkürliche 5-Punkte-Grenze können wir uns in die Haare schmieren, weil Jurys und Publikum bei keinem Beitrag derart verschiedener Meinung waren. Am stärksten hat Litauens Beitrag von der Publikumswertung profitiert, was die Platzierung immerhin um 4 Plätze (8 ↗ 4) verbessert hat.

Bei den Qualifikationen für das Finale gibt es allerdings einiges, was bemerkenswert ist.

Die Jurys

up 🇧🇪 Belgien (Hooverphonic – The Wrong Place) gewinnt 2 Plätze (11 ↗ 9)

down 🇭🇷 Kroatien (Albina – Tick-Tock) verliert 2 Plätze (9 ↘ 11)

Die Jurys tauschen ein abgespacetes silbernes Glitzerkleid durch ein schwarzes Kleid mit Achsellöchern aus. Dachten sich vielleicht “You’re in the wrong place”, höhö. Schade für Kroatien, das sich im Vorentscheid allerdings nicht einmal für den besten™ Beitrag entschieden hatte.

Das Publikum

up 🇦🇿 Aserbaidschan (Efendi – Cleopatra Mata Hari) gewinnt 3 Plätze (11 ↗ 8)

up 🇳🇴 Norwegen (TIX – Fallen Angel) gewinnt 2 Plätze (12 ↗ 10)

down 🇭🇷 Kroatien (Albina – Tick-Tock) verliert 1 Platz (10 ↘ 11)

down 🇷🇴 Rumänien (Roxen – Amnesia) verliert 3 Plätze (9 ↘ 12)

Das Publikum rettet den Beitrag mit der vermutlich größten Beinkleiddiversität ins Finale sowie die Gummischwanzträger*innen, die den angeketteten Engel eigentlich am Abheben hindern sollten.

ESC 2021: Jury vs. Publikum
v.l.n.r: Zwei Strümpfe, Ganzkörperstrumpf, keine Strümpfe, ein Strumpf, halbe Strümpfe

Dran glauben müssen dagegen eine vergessliche Rumänin und… Moment mal, Kroatien wurde doch bereits von der Jury runtergevotet? Und jetzt auch noch vom Publikum? So zeigt sich der kleine Schönheitsfehler unseres Bewertungsmaßstabs: Selbst wenn sowohl Jury als auch Publikum einen Beitrag eigentlich im Finale sehen, kann es durch bessere Bewertungen von anderen Beiträgen dazu kommen, dass der Beitrag verdrängt wird, aber beide mit dem Finger auf die Gegenseite zeigen können.

Doch lassen wir das erste Halbfinale nun hinter uns und blicken wir auf das

2. Halbfinale

Hier ist noch weniger los als im ersten Halbfinale. Fast schon traute Einigkeit herrscht bei der Frage, wer ins Finale soll und wer nicht. Fast.

Die Jurys

up 🇦🇱 Albanien (Anxhela Peristeri – Karma) gewinnt 1 Platz (11 ↗ 10)

down 🇩🇰  Dänemark (Fyr og Flamme – Øve os på hinanden) verliert 3 Plätze (8 ↘ 11)

Während im ersten Halbfinale noch ein silbernes Glitzerkleid rausgeworfen wurde, wird es hier durch die Jurys gerettet. Dafür fliegt die bunte dänische 80er-Band raus. Bedauerlich! (Zweiteres, nicht Ersteres)

Das Publikum

Das Publikum kann hier gar nichts ausrichten. Die Jury-Plätze 1-10 kommen ins Finale. Zwar wird versucht, den dänischen Beitrag zu pushen, aber es reicht nur für eine Verbesserung um 4 Plätze auf den undankbaren Halbfinalplatz 11.

Und damit haben wir sie auch schon, unsere 26 Beiträge für das große

Finale

Und: Endlich Beef zwischen Jurys und Publikum!

Die Jurys

up 🇲🇹 Malta (Destiny – Je me casse) gewinnt 7 Plätze (14 ↗ 7)

up 🇧🇬 Bulgarien (Victoria – Growing Up Is Getting Old) gewinnt 7 Plätze (18 ↗ 11)

up 🇵🇹 Portugal (The Black Mamba – Love Is on My Side) gewinnt 7 Plätze (19 ↗ 12)

down 🇷🇸 Serbien (Hurricane – Loco loco) verliert 6 Plätze (9 ↘ 15)

down 🇳🇴 Norwegen (TIX – Fallen Angel) verliert 5 Plätze (13 ↘ 18)

down 🇦🇱 Albanien (Anxhela Peristeri – Karma) verliert 5 Plätze (16 ↘ 21)

Wir fassen zusammen: Die Jurys mögen also:

  • fingertanzende Soul-Diven (ab in die Top 10 damit!)
  • langweilige Sandspielereien
  • dröge schwarz-weiß-4:3-Inszenierungen

und finden doof:

  • Windmaschineneinsatz und volles Haar (RIP Top-10-Platzierung)
  • angekettete Engel (wie bereits im Halbfinale)
  • die Albanierin im Auge des Sturms (anders als noch im Halbfinale)

Das Publikum

up 🖕 Finnland (Blind Channel – Dark Side) gewinnt 5 Plätze (11 ↗ 6)

up 🇱🇹 Litauen (The Roop – Discoteque) gewinnt 6 Plätze (14 ↗ 8)

up 🇷🇸 Serbien (Hurricane – Loco loco) gewinnt 6 Plätze (21 ↗ 15)

down 🇧🇬 Bulgarien (Victoria – Growing Up Is Getting Old) verliert 5 Plätze (6 ↘ 11)

down 🇵🇹 Portugal (The Black Mamba – Love Is on My Side) verliert 5 Plätze (7 ↘ 12)

down 🇮🇱  Israel (Eden Alene – Set Me Free) verliert 5 Plätze (12 ↘ 17)

down 🇧🇪  Belgien (Hooverphonic – The Wrong Place) verliert 6 Plätze (13 ↘ 19)

Das Publikum weiß die schlimmen Finger aus Finnland einfach mehr zu wertschätzen als die Jurys und verhilft ihnen zu einem Platz in den Top 10. Auch The Yellow Roop aus Litauen finden deutlich mehr Anklang und werden in die Top 10 gehievt. Richtig Beef gibt es bei Serbien, Bulgarien und Portugal, wo das Publikum mit der Einschätzung der Jurys so gar nichts anfangen kann und in die jeweils andere Richtung nachkorrigiert – was bedeutet, dass die bulgarische Sandkastenspiele und die Schwarzweiß-Mamba aus den Top 10 fliegen.

Israel findet trotz hoher Note nicht so richtig Anklang beim Publikum – war vielleicht das Outfit zu experimentell? Die Stimme zu angeschlagen? Oder die Aussprache zu boarisch (“let me take you hoiah, set de pläis on foiah”)? Und Belgien, von den Jurys noch ins Finale gerettet, wird ebenfalls abgestraft, den zweiten Wrong-Place-Witz sparen wir uns allerdings an dieser Stelle.

ESC 2021: Jury vs. Publikum
Hair-je, was für ein Dress.

Honourable Mentions

Großbritannien hat das Unmögliche möglich gemacht und tatsächlich im neuen2 Wertungssystem 0 Punkte geholt – etwas, was ich damals als sehr, sehr schwierig eingeschätzt hatte. Zitat: “getting zero points becomes very, very, very unlikely.” Glückwunsch?

Die Jurys wurden eigentlich mal eingeführt, um Punkteschacherei zwischen Nachbarländern einzudämmen. Wie effektiv das ist, zeigt sich daran, dass der Zwölfpunkteaustausch zwischen der griechischen und der zypriotischen Jury (!) inzwischen so ein Meme ist, dass sie als griechischen Punktesprecher lieber ein Kind vorschicken, und der zypriotische Punktesprecher das Ganze auch nicht mehr so ganz ernst zu nehmen scheint – mal abgesehen davon, dass bereits der ganze Saal weiß, was kommt.

Die einzig logische Konsequenz: Jurys abschaffen. Die stören nur die Willensbildung des Publikums.

  1. Jurys, das sind fünf von der jeweiligen Rundfunkanstalt ausgewählte Clowns, deren Fantasiebewertung 50 % der vergebenen Punkte ausmacht und deren Abschaffung ich hiermit erneut aus offensichtlichen Gründen fordere.
  2. Das ist immerhin auch schon wieder fünf Jahre alt