Mellokollen

Förutsägelsen är bara baserad på data. Vi har inte tagit hänsyn till vad tyckare på Twitter säger, hur populära artisterna är eller hur "bra" folk tycker deras uppträdanden var, eller vilka kläder de hade på sig. Vi har tagit hänsyn till de hårda fakta som finns tillgängliga.

Vi har beräknat följande variabler för alla låtar som har tagit sig ända till finalen de senaste 13 åren:

• Variabler relaterade till låtskrivare: antal Mellolåtar som tidigare skrivits av låtskrivarna, antal Mellolåtar som skrivits av de låtskrivare som gått till final, antal Mellolåtar som skrivits av de låtskrivare som nåt topp 3, antal låtskrivare
• Variabler relaterade till låt: språk, antal ord i titeln, skrikighet, tempo
• Variabler relaterade till detävling: deltävling, placering i deltävling, startorder i deltävling, om låten gick direkt till final
• Variabler relaterade till artisten: om artisten tidigare deltagit i Melodifestivalen, om artisten tidigare varit i en final, om det är fler än en artist som framför låten
• Startposition i finalen

Vi anpassade alla variabler till en skala mellan 0 och 1.

För att generera prediktioner använde vi en "rank support vector machine (SVM)", vilket är en maskininlärningsalgoritm. Varje enskilt år kodades som en separat query. Vidare använde vi en linjär kärna och ett trefaldigt korsvalideringsförfarande för att välja parameter C.

Efter att ha valt parameter C använde vi samtlig träningsdata, det vill säga alla finalister från de senaste 13 åren, för att kalibrera SVM modellen.

I det sista steget applicerade vi den modell SVM maskinen tagit fram för finalisterna 2015, och kunde därmed ta fram en ranking. Som alla nördar förstår ger viktvektorn för hyperplanet också vikterna för variablerna.

Här är den fullständiga listan över våra förutsägelser om finalresultatet:

1. Eric Saade: Sting
2. Mariette: Don’t Stop Believing
3. Måns Zelmerlöw: Heroes
4. Linus Svenning: Forever starts today
5. Jessica Andersson: Can't Hurt Me Now
6. Isa: Don't stop
7. Magnus Carlsson: Möt mig i Gamla stan
8. JTR: Building It Up
9. Samir & Viktor: Groupie
10. Dinah Nah: Make me (La La La)
11. Hasse Andersson: Guld och gröna skogar
12. Jon Henrik Fjällgren: Jag är fri (Manne Liem Frije)

Vi har satsat 100 SEK på att Eric Saade vinner och 50 SEK var att Mariette och Måns Zelmerlöw kommer hamna på första till tredje plats.

Vår analys denna vecka jämför årets upplaga av Melodifestivalen med datan från Mello 2002-2014. Vi har gjort en jämförelse per område, och du kan läsa mer om hur vi räknat ihop tidigare års siffror genom att scrolla ned på sidan eller klicka på länken under varje avsnitt.

För att samla ihop data för 2015 års Mello gjorde vi precis som tidigare. Uppgifter om namn på låtar, artister och låtskrivare hämtade vi från Wikipedia. Metadata om musiken kommer från Echonest. Uppgifter om artisternas boende- och födelseort kommer från Wikipedia och andra öppna datakällor. Könsstatistiken lät vi vår dator räkna ut genom att matcha listan över alla artister och låtskrivare med en lista över mans- och kvinnonamn, samt vissa manuella justeringar. Texterna hämtade vi från SVT:s egen Bidragsbibeln.

För vår analys letade vi reda på nästan alla artisternas födelse- och nuvarande bostadsorter. Som källa använde vi dels Wikipedia, dels andra öppet tillgängliga datakällor. Generellt är datakvaliteten något sämre ju längre sedan det var artisten uppträdde i Mello: ju längre bak i tiden, desto svårare att hitta korrekt ort.
För individuella artister har vi tagit deras respektive födelse- eller uppväxtort och deras bosättningsort. För duetter har vi oftast utgått ifrån den artist som kommer först i gruppens namn, och för band har vi tagit orten där bandet grundades som födelseort. När vi saknade någon av orterna har vi antagit att artistens fötts på samma ställe som hen bor just nu.
För några artister kunde vi inte hitta varken födelse- eller boendeort. De finns inte med på kartan.

Med hjälp av OpenStreetMaps API har vi tagit fram koordinaterna och sedan beräknat avståndet till närmaste storstad. Storstadsområden är Stockholm, Göteborg och Malmö med omgivning. Gränsen för ett sådant område har vi satt till 60 kilometer från centrum, se Jordbruksverket: Så gjorde vi Allt om landet.

Vi samlade in information om alla låtskrivare från 2002 till 2014 från Wikipedia, med web-scraping metoder. Vi använde en databas med alla manliga och kvinnliga svenska namn för att automatiskt tilldela kön till ca 60% av alla artister och 80% av alla låtskrivare inblandade i Melodifestivalen mellan 2002-2014. För de som inte gick att tilldela kön automatiskt gjorde vi det manuellt.

Vi delade sedan låtarna i tre grupper: låtar skrivna enbart av män, enbart av kvinnor, eller av en blandad grupp. Som jämförelse gjorde vi en liknande gruppering baserad på artisterna.

Vi upptäckte även att könsbalansen under åren blivit något bättre. I grafen nedan syns en svag trend i en mer jämställd riktning.

Vi använde en enkel linjär regressionsanalys för att räkna ut när det kommer bli helt jämställt på låtskrivarsidan om trenden skulle fortsätta. Resultaten var att det kommer bli helt jämställd år 2045 om utvecklingen fortsätter i samma takt. Det är om 30 år! Det ska dock sägas att årets Melodifestival (2015) är betydligt mer jämställd än tidigare år. Det beror på att Mellodifestivalen ändrat tävlingsreglerna så att minst hälften av alla låtar måste vara skrivna av minst en kvinna.

Vi räknade också de 10 låtskrivarna som var inblandade i de mest Mellolåtar, och hur många av deras låtar som faktiskt vann Melodifestivalen. För att förstå hur de samarbetar med andra och med varandra byggde vi också ett interaktivt nätverk. Det finns en länk mellan två låtskrivare om de har samarbetat i minst en mellolåt. Vi programmerade själva nätverken med hjälp av kod från FlowingData

För att undersöka vad det är som gör den "typiska" Mellolåten valde vi att jämföra vinnare (lila färg i grafiken) med förlorare (grå färg i grafiken). Vår definition av vinnare är de låtar som kom på första till fjärde plats under 2002-2014. Förlorarna består av de 64 låtar som fick absolut minst antal röster under samma tidsperiod. Vi upptäckte snabbt att vinnarna skiljer ut sig från förlorarna på vissa punkter. De variabler där skillnaderna var särskilt stora var tempo, känslopoäng, antal unika ord per låttext, språk och noise.

• Med tempo menas antalet taktslag per minut, ofta kallat BPM.
• Med känslopoäng menas den "glädje-score" vi beräknade i vårt första inlägg, texterna (se nedan).
• För att beräkna antal unika ord per låttext har vi helt enkelt räknat antalet unika ord per låt. Ett ord som förekommer flera gånger räknas alltså bara en gång.
• Språk är helt enkelt vilket språk artisten sjunger på.
• Noise är ett lite svårförklarat begrepp, men det mäter hur högljudd en låt är i genomsnitt.

Det ska i ärlighetens namn sägas att det även finns en hel del områden där det inte finns någon klar skillnad mellan vinnare och förlorare. Till exempel är ca 50% av vinnarna i moll och 50% i dur, medan knappt 60% av frlorarlåtarna är i moll och drygt 40% i dur. Knappt någon skillnad alls, alltså.

Så betyder detta att den typiska Mellovinnaren går i 125 BPM, är känsloladdad och högljudd, och har en lång text på engelska? Kanske. Det finns nog många andra saker som avgör vem som vinner Mello också, och det finns alltid gott om undantag för att bekräfta regeln. Men trenden är tydlig: för att en låt som är jättesnabb, inte handlar om känslor, har en kort text och är på svenska ska vinna Mello, ja då krävs det förmodligen både en hel del tur och en hejdundrans scenshow.

Är du nyfiken på datan bakom Mello? Eller tycker du vi har räknat fel? Ladda ned vår databas via länken längst ned på sidan och gör en egen analys!

Hur avgör man vad en låt handlar om? Förvånansvärt ofta är det mest effektivt att helt enkelt räkna vilka ord som är med. För att få en bra uppfattning om vad låtarna i Melodifestivalen handlar om gjorde vi först en översiktskarta av de ämnen som vanligtvis brukar förekomma i låttexter, t.ex. kärlek, längtan/äventyr, tidsangivelser, religion, familj och många andra. Vi skapade en lista med ord relaterade till varje ämne och räknade hur ofta ett ämne nämndes i Mellolåtarna. Inte helt förvånande vann kärlek helt överlägset. Mer än 80% av alla bidrag till Mello innehåller kärlekord - och då har vi säkert missat en massa metaforer. Låtar som hade få (1-3) kärleksord har vi klassat som "lite kärlek", och de som hade fler kärleksord som "mycket kärlek". Alla låtar utom fem är på svenska eller engelska, så vi begränsade oss till de två språken.

För att avgöra vilka låtar som är "peppigast" och "deppigast" har vi gjort en så kallad sentimentanalys på låttexterna. Alla ord i texten får en poäng baserad på om ordet ofta förekommer i glada eller ledsna sammanhang. Detta är ofta en mycket effektiv metod, men kan ibland leda till en del överraskande resultat. Efter solsken av Panetoz är verkligen inte någon deppig låt, men är ändå den låt som har den "ledsnaste" texten enligt vår modell.

Det samlade låtmaterialet i vår analys består av 391 av de 416 låtar som deltog i Mello åren 2002-2014. Till 25 av låtarna har vi inte kunnat hitta någon text och de ingår därför inte i datan.

Är du nyfiken på datan bakom Mello? Eller tycker du vi har räknat fel? Ladda ned vår databas via länken längst ned på sidan och gör en egen analys!