Start

Pink Floyd-låt återskapad genom avläsning av lyssnares hjärnor

”We don't need no education” – vi behöver ingen utbildning – är de första orden i Pink Floyd-klassikern Another Brick in the Wall från 1979. Men det passar inte in på ett färskt framsteg i hjärnforskning: att avläsa just den låten ur lyssnares hjärnor.

Ett kollage av ljudkurvor och en röntgenbild av ett huvud med elektroder.
Elektroderna hade placerats i patienternas hjärnor i samband med epilepsibehandling, men det gav möjlighet att göra ett experiment med musikavläsning. Bild: Bellier L, et al., 2023, PLOS Biology

Det låter inte som på skivan – New York Times beskriver det som att det låter som om musiken spelades under vatten – men med god vilja går det faktiskt att urskilja orden ”all in all it was just another brick in the wall”.

Materialet i studien, som publicerades i den vetenskapliga tidskriften PLOS Biology i tisdags, samlades in genom att ha en grupp på 29 epilepsipatienter vid Albany Medical Center in den amerikanska delstaten New York lyssna på samma låt och avläsa deras hjärnor.

Avläsningen skedde 2009–2015 och gjordes på epilepsipatienter som i sin epilepsibehandling hade fått ett antal elektroder inplanterade i hjärnan.

Ett kollage av ljudkurvor och en röntgenbild av ett huvud med elektroder.
Låten rekonstruerades med data från 347 elektroder hos 29 patienter, vilket gav ett spektrogram av ljud som sammanställdes till en ljudfil. Bild: Bellier L, et al., 2023, PLOS Biology
Rekonstruerad musik
Lyssna till ett klipp ur den hjärnavlästa versionen av Another Brick in the Wall.

Ord och melodi

Forskarteamet, som leddes av neurologen Robert Knight vid University of California, Berkeley, valde låten Another Brick in the Wall (Part 1) för att den bara har 41 sekunder sång och över två minuter instrumentalmusik, vilket ger tillfälle att analysera hur hjärnan hanterar å ena sidan ord och andra sidan melodi.

Det har tidigare klarlagts att musik och ord bearbetas på olika sätt. Till exempel kan en del strokepatienter som har svårt att tala uttrycka sig tydligt om de sjunger i stället för pratar.

En annan orsak till att valet föll på Pink Floyd var att det var viktigt att patienterna gillade musiken. Om patienterna hade sagt att de inte vill lyssna skulle det ha påverkat avläsningsresultatet, säger neurologen Gerwin Schalk, en av dem som samlade in data från patienter, till New York Times.

Pink Floyd - The Wall
Forskningsteamet valde Pink Floyd-låten delvis för att de äldre patienterna gillade den. Bild: Yle/Roger Källman

Skärpa i ljudbilden

För att ljudbilden inte skulle bli alltför suddig behövs tillräckligt mycket information. Forskarna i teamet använde sig av 128 frekvensområden och lärde upp 128 datamodeller som tillsammans bygger upp låten.

De 29 patienter som deltog i studien hade sammanlagt 347 elektroder inplanterade i temporalloben, men forskarna började med att köra data från fyra patienter genom sina modeller på ett sätt som tidigare använts för taligenkänning, men inte musik. Var och en av patienternas låtversioner gick att känna igen, men de var alla olika.

Forskargruppen antar att placeringen av patienternas elektroder i hjärnan påverkade resultatet, men neurologerna hade inte tillgång till information om vilka av patienterna som eventuellt själva var musiker eller hur bekant sången var för dem, så en sådan analys av resultatet var inte möjlig.

Genom att kombinera resultatet från samtliga 29 patienter kunde teamet ändå få fram en tydligare ljudbild av låten.

Lika tydlig som en dekonstruerad version av Another Brick in the Wall blev den hjärnavlyssnade låten ändå inte, men den dekonstruerade versionen visar hur det kunde låta.

Dekonstruerad Pink Floyd
Här har ljudet från Pink Floyd-låten behandlats på samma sätt som hjärnsignalerna: ljudet har fördelats på 128 frekvenser och omvandlats till ett ljudspektrogram och sedan tillbaka till en vågform som går att höra.

Banbrytande studie

Det är första gången som data från intrakraniell elektroencefalografi (iEEG), alltså elektroder som är inplanterade i hjärnan, direkt har använts till att rekonstruera en låt så att den går att känna igen.

Andra grupper arbetar med samma område i hjärnan, men utan elektroder inne i huvudet utan till exempel med hjälp av magnetresonans som läser av hjärnaktivitet, vilket gör det möjligt att undersöka ett större antal patienter. Den färska amerikanska studien visar ändå att ett begränsat antal elektroder kan ge exakt information.

Framsteg på det här området kan bidra till att utveckla hjälpmedel för kommunikation för människor som inte kan tala.