kvinde<\/em>“<\/li><\/ol>\n\n\nHVORDAN FINDER MAN WORD EMBEDDINGS? ALGORITMER!<\/h4>\n\n\n\n I praksis kan man ikke sidde og lave embeddings for alle ord i ordbogen i h\u00e5nden. I stedet bruger man forskellige algoritmer, alts\u00e5 en slags “opskrifter” for computere. Algoritmerne virker ved at tage en stor m\u00e6ngde tekster og kigge p\u00e5 hvordan de forskellige ord forekommer i forhold til hinanden.<\/p>\n\n\n\n
En s\u00e5dan m\u00e6ngde af tekster kaldes et korpus <\/em>(engelsk: corpus<\/em>). P\u00e5 hjemmesiden ovenfor var der mulighed ofr at v\u00e6lge mellem modeller tr\u00e6net p\u00e5 tre forskellige korpusser. Algoritmen der er benyttet hedder word2vec<\/strong>, men det er ikke s\u00e5 vigtigt i denne smamenh\u00e6ng.<\/p>\n\n\n\nENDNU ET SIMPELT EKSEMPEL<\/h4>\n\n\n\n Man er dog sj\u00e6ldent s\u00e5 heldig, at v\u00e6rdierne er s\u00e5 enmme at fortolke som ovenfor; der vil sj\u00e6ldent v\u00e6re et enkelt tal der beskriver k\u00f8n, for eksempel. Det g\u00f8r det sv\u00e6rere for et menneske at overskue hvad der egentlig foreg\u00e5r, og hvad der betyder hvad, mens computeren intet problem har.<\/p>\n\n\n\n
Vi forestiller os nu at vi har sat en algoritme til at tr\u00e6ne en m\u00e6ngde tekster. Tabellen nedenfor viser dens to-dimensionele embeddings for seks forskellige ord<\/p>\n\n\n\nOrd<\/td> x<\/td> y<\/td><\/tr> mand<\/td> -0,72<\/td> 0,85<\/td><\/tr> kvinde<\/td> 0,84<\/td> -0,48<\/td><\/tr> konge<\/td> -1,08<\/td> 0,79<\/td><\/tr> dronning<\/td> 0,45<\/td> -0,57<\/td><\/tr> bl\u00e5<\/td> 1,84<\/td> 2,27<\/td><\/tr> pink<\/td> 3,32<\/td> 0,72<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\nL\u00e6g igen m\u00e6rke til, at vi umiddelbart ikke med hvad de to koordinater betyder, s\u00e5 derfor kar vi blodt kaldt dem x og y. Figuren herunder viser hvordan de seks ords embeddings ligger i planen<\/p>\n\n\n\novervej hvorfor nogle ord ligger t\u00e6t p\u00e5 hinanden, mens andre ikke g\u00f8r.<\/li><\/ol>\n\n\nLIGHEDER MELLEM ORD<\/h4>\n\n\n\n En m\u00e5de at give et m\u00e5l for hvor ens eller forskellige to ord er fra hinanden, bruger man ofte det der kaldes cosinus-similaritet (engelsk: cosine similarity). Det er ikke s\u00e5 indviklet som det lyder. Man bruger den almindelige form for vinklen mellem to vektorer, men i stedet for at beregne selve vinklen med $\\cos^{-1}$ til sidst, bruger vi $\\cos(v)$ som et m\u00e5l for afstand.<\/p>\n\n\n\n\n\n\n\n\n\n
Hvis vi for eksempel vil beregne cosinus-similariteten mellem ordene mand og konge kan vi g\u00f8re det p\u00e5 f\u00f8lgende m\u00e5de. Formlen for vinklen mellem to vektorer er<\/p>\n\n\n\n
$\\cos(v)=\\frac{\\vec{a}{\\Large\\bullet}\\vec{b}}{|\\vec{a}|\\cdot |\\vec{b}|}$<\/p>\n\n\n\n
I dette tilf\u00e6lde betyder det<\/p>\n\n\n\n
$\\cos(v)=\\frac{-0,72\\cdot (-1,08)+0,85\\cdot 0,79}{\\sqrt{(-0,72)^2+ 0,85^2}\\cdot \\sqrt{(-1,08)^2+ 0,79^2}}=0,97$<\/p>\n\n\n\n
I stedet for at beregne vinklen v bruges nu tallet 0,97 som et m\u00e5l for ligheden. Dette er cosinus-similariteten mellem mand og konge.<\/p>\n\n\n
beregn cosinus-similariteten mellem f\u00f8lgende par af ord:mand – kvinde<\/li> mand – bl\u00e5<\/li> droning – pink<\/li><\/ul><\/li> mellem hvilke to tal kan v\u00e6rdien af cosinus-similariteten ligge? <\/li> hvad betyder det, at to ord har en cosinus-similaritet t\u00e6t p\u00e5 1?<\/li> hvad betyder det, at to ord har en cosinus-similaritet t\u00e6t p\u00e5 -1?<\/li> hvad betyder det, at to ord har en cosinus-similaritet t\u00e6t p\u00e5 0?<\/li><\/ol>\n\n\nTekniske begr\u00e6nsninger<\/strong>: dette ligheds-m\u00e5l kommer ikke helt til sin ret her, da antallet af dimensioner er s\u00e5 lavt (2). I h\u00f8jere dimensioner vil langt de fleste par af ord have cosinus-similariteter t\u00e6t p\u00e5 nul, da der i en vis forstand er “mere plads” i rum med h\u00f8j dimension. I vores eksempel f\u00e5r urelaterede ordpar som dronning <\/em>og pink <\/em>en kunstig h\u00f8j cosinus-similaritet af denne grund. Ordparret mand <\/em>og kvinde<\/em>, der her ser ud til at v\u00e6re mods\u00e6tninger, ville tilsvarende havde en cosinus-similaritet t\u00e6t p\u00e5 1, da de begge er navneord, angiver personer osv. De adskiller sig faktisk kun p\u00e5 \u00e9t punkt: k\u00f8n.<\/p>\n\n\n\nHVILKE ORD MINDER MEST OM HINANDEN?<\/h4>\n\n\n\n Hvis man har givet et ord kan man v\u00e6re interesseret i hvilke andre ord der ligner det mest, alts\u00e5 har egenskaber der er t\u00e6ttest p\u00e5. Hvis man har en lang r\u00e6kke embeddings for forskellige ord, kan man sammenligne cosinus-similariteterne mellem det givne ord og alle de andre ord i ordbogen. Herefter udv\u00e6lger man det\/de ord der havde h\u00f8jest cosinus-similaritet.<\/p>\n\n\n
hvilke ord minder mest om mand i eksemplet ovenfor? Konge<\/em>, kvinde <\/em>eller bl\u00e5<\/em>?<\/li><\/ol>\n\n\nHjemmesiden vi s\u00e5 tidligere (http:\/\/labs.statsbiblioteket.dk\/dsc\/<\/a>) har ogs\u00e5 mulighed ofr at lave en s\u00e5dan s\u00f8gning. Dette foreg\u00e5r i feltet “Nearest words”.<\/p>\n\n\nhvilke tre ord er t\u00e6ttest p\u00e5 hest i f\u00f8lge modellen p\u00e5 siden?<\/li> find selv p\u00e5 flere ord at pr\u00f8ve med, og skriv de bedste\/sjoveste resultater ned.<\/li><\/ol>\n\n\nANALOGIER I EKSEMPLET<\/h4>\n\n\n\n Vi vender nu tilbage til eksemplet fra f\u00f8r, og \u00f8nsker at finde analogier mellem ord. Unders\u00f8g ved hj\u00e6lp af word embeddings om f\u00f8lgende analogier g\u00e6lder og kommenter resultaterne<\/p>\n\n\n
“Mand <\/em>forholder sig til kvinde<\/em>, som konge <\/em>forholder sig til dronning<\/em>“<\/li>“Mand <\/em>forholder sig til kvinde<\/em>, som konge <\/em>forholder sig til bl\u00e5<\/em>“<\/li>“Mand <\/em>forholder sig til kvinde<\/em>, som bl\u00e5<\/em>forholder sig til pink<\/em>“<\/li><\/ol>\n\n\nBIAS SKABER PROBLEMER<\/h4>\n\n\n\n Den sidste analogi ser potentielt problematisk ud! I en moderne, ligestillet verden skulle m\u00e6nd og kvinder helst ikke identificeres med forskellige farvekoder. Dette er et eksempel p\u00e5 bias i modellen, alts\u00e5 en type forudindtagethed<\/em>.<\/p>\n\n\n\nDette kan synes harml\u00f8st n\u00e5r det handler om farver, men det kan g\u00e5 grueligt galt hvis der er andre biases i modellen.<\/p>\n\n\n
unders\u00f8g historien om Microsofts Twitter-chatbot Tay, og forklar hvad der gik galt.<\/li><\/ol>\n\n\nHVOR KOMMER BIAS FRA?<\/h4>\n\n\n\n Som du m\u00e5ske fandt ud af i historien om Tay, er sprogteknologiske modeller kun s\u00e5 gode som de data man baserer dem p\u00e5. Hvis det korpus man bruger til at tr\u00e6ne modellen er rasistisk eller sexistisk vil det ogs\u00e5 afspejle sig i de word embeddings den producerer. <\/p>\n\n\n\n
Probelemt kunne derfor l\u00f8ses ved at brige et andet korpus der ikke indeholder de biases man \u00f8nsker at undg\u00e5. I praksis kan det dog v\u00e6re sv\u00e6rt eller kostbart at finde s\u00e5dan et korpus. Men der er ogs\u00e5 andre muligheder som vi skal se i n\u00e6ste afsnit.<\/p>\n\n\n\n
DE-BIASING<\/h4>\n\n\n\n Nu hvor vi ved at der er et problem med analogien mellem k\u00f8n og farve i vores model, kan vi aktivt fors\u00f8ge at fjerne denne sammeng\u00e6ng. Denne proces kaldes de-biasing<\/em>, idet vi pr\u00f8ver at reducere bias i modellen.<\/p>\n\n\n\nF\u00f8rst sp\u00f8rger vi os selv: Hvordan udtrykkes k\u00f8n i modellen? N\u00e5r vi kigger p\u00e5 de fire ord der har tydeligt k\u00f8n ser vi, at de i store tr\u00e6k ligger p\u00e5 en lige linje. I mods\u00e6tning til vores f\u00f8rste leget\u00f8jseksempel, hvor k\u00f8n kunne afl\u00e6ses p\u00e5 x-aksen er k\u00f8ns-elementet her tilsyneladende udtrykt ved hvor vi befinder os langs en linje der g\u00e5r fra 2 kvadrant til 4 kvadrant.<\/p>\n\n\n
Find en retningsvektor $\\overrightarrow{r_{k\u00f8n}}$ for denne linje ved at tage gennemsnittet af de fire k\u00f8nnede ords embeddings.<\/li><\/ol>\n\n\nVi kigger nu p\u00e5 de to ord vi \u00f8nsker at fjerne k\u00f8ns-elementet fra, alts\u00e5 bl\u00e5 og pink.<\/p>\n\n\n\n
Hvilken del at disse ords embedding er parallel med $\\overrightarrow{r_{k\u00f8n}}$? Svaret er, at det er projektionen <\/em>p\u00e5 $\\overrightarrow{r_{k\u00f8n}}$.<\/p>\n\n\nberegn $\\overrightarrow{bl\u00e5_{v_{k\u00f8n}}}$, alts\u00e5 projektionen af $\\overrightarrow{bl\u00e5}$ ned p\u00e5 $\\overrightarrow{v_{k\u00f8n}}$.<\/li><\/ol>\n\n\nDet er denne del af bl\u00e5<\/em>‘s embedding vi \u00f8nsker at slippe af med. Derfor kan vi finde den de-biasede<\/em> embedding ved at tr\u00e6kke projektionen fra<\/p>\n\n\nberegn $\\overrightarrow{bl\u00e5_{debiased}}$<\/li> lav en skitse af den tilsvarende geometri for pink<\/em>. Beregn den de-biasede embedding $\\overrightarrow{pink_{debiased}}$<\/li>hvad betyder det, at de to debiasede embeddings nu er t\u00e6t p\u00e5 hinanden?<\/li> Undes\u00f8g analogien “mand <\/em>forholder sig til kvinde<\/em>, som bl\u00e5 <\/em>forholder sig til pink<\/em>” med de nye, de-biasede embeddings<\/li><\/ol>
![\"\"](\"https:\/\/i0.wp.com\/mxth.dk\/wp-content\/uploads\/2022\/10\/jan-meeus-xV7Fxi5xjJM-unsplash.jpg?resize=1024%2C682&ssl=1\")
<\/a>![\"\"](\"https:\/\/i0.wp.com\/mxth.dk\/wp-content\/uploads\/2022\/10\/geogebra-export7-884x1024.png?resize=884%2C1024&ssl=1\")
<\/figure>\n\n\n