Plagg kan tolka omvärlden för personer med dövblindhet

I början på 2018 startade ett mycket intressant EU-projekt – koordinerat från Högskolan i Borås. Forskarna skulle ta fram ett plagg som skulle fungera som en kommunikativ kontaktyta för personer med dövblindhet.

– För en person som inte kan se och inte höra något blir vardagslivet utmanande i vårt samhälle. Vi ville sammanföra kunskap från lärosäten och företag i Europa med olika expertis för att bidra med ett tekniskt hjälpmedel för ökad självständighet och uppfattning av omgivningen, säger Nasrine Olson, projektkoordinator för SUITCEYES samt universitetslektor inom biblioteks- och informationsvetenskap vid Högskolan i Borås.

Tre och ett halvt år senare är det dags att avsluta projektet. Nasrine Olson känner sig både jäktad och förväntansfull. Det är bara någon vecka kvar till det att projektet ska redovisas för och utvärderas av EU-kommissionen och det är många framgångsrika delar av projektet som ska visas upp.

Algoritmer som känner igen

Det finns både kameror och sensorer integrerade i plagget som läser av omgivningen. Forskarna har skapat algoritmer som med hjälp av kameran kan känna av och känna igen ansikten, objekt, avstånd och scener. Sedan översätts detta till haptisk kommunikation: Vibrationer på kroppen hos den som bär plagget.

– Till exempel kan systemet berätta att du är i köket, det finns fem personer i rummet och två av dem är kända för dig. Systemet kan nu även känna igen om någon har ansiktsmask, med anledning av coronasituationen, berättar Nasrine Olson.

– Det går också att ställa frågor till systemet som ”var är min mobil”. Då kan plagget guida personen för att kunna söka av rummet – den ber dig till exempel att gå framåt eller till vänster. Men det kan också minnas och berätta ”att senast du hade den var den i sovrummet”, fortsätter hon.

Program för haptogram

Nasrine Olson berättar om innovationen ”haptogram”, ett mönster som bär på en innebörd (t.ex. glad, kopp, rum) och som skapas genom att aktivera ”vibro-taktila” aktuatorer – små elektroniska enheter som vibrerar. Det är med hjälp av haptogrammen som betydelsefulla meddelanden formas och förmedlas till den som bär plagget.

Haptogrammen kommuniceras med de ”vibro-taktila” aktuatorerna som är organiserade i ett rutnät av rader och kolumner i plagget – dessa kan vibrera i sekvenser eller samtidigt. Varje haptogram är unikt med sitt egna mönster: Ordningen och antalet noder involverade, intensiteten i vibrationen och antalet gånger varje nod aktiveras. Aktuatorerna är integrerade i textilen och går att koppla till olika delar på kroppen – rygg, skuldror, axlar, över- och underarmar, midja och över- och underben. Teoretiskt finns ingen begränsning på hur stort rutnät som kan användas, men det största som använts i projektet är 96 aktuatorer.

– Vi har skapat flera olika varianter av hårdvaror och även mjukvara som gör att det går att programmera in mönstret och dess betydelse via en skärm, till exempel en läsplatta. Detta bildar sedan ett bibliotek av haptogram som motsvarar ord som t.ex. glad, ledsen, ett, två, tre och så vidare.

Tekniken går också att använda för tolkar. En tolk kan teckna på läsplattan istället för direkt på kroppen så som det görs i dag. Tolken kan skriva in exempelvis ”alla skrattar” och detta kan kommuniceras med haptogram via plagget till en eller flera olika personer samtidigt. Dessa behöver heller inte befinna sig i samma rum som tolken, under testningen var användarna till och med placerade i olika länder.

Dessutom finns det i systemet prototyper på spel tänkta att användas dels för att lära sig tekniken men också som underhållning. Användaren kan också programmera egna haptogram.

Allt integrerat i ett plagg

Det har också ingått forskare från Smart Textiles, vid Science Park Borås vid Högskolan i Borås, i projektet för att arbeta med att integrera tekniken i textil, eftersom vi människor i stort sett alltid har tyg mot våra kroppar. Detta har resulterat i flera olika prototyper. De nuvarande variationerna inkluderar ett antal västar från helt justerbara (utformade för experimentändamål och som passar olika storlekar och kroppsformer hos deltagarna) till en skräddarsydd väst (utformad för att passa en specifik användare). Det finns också klänningar för att visa potentialen för att skapa estetiskt tilltalande fashionabla kläder som samtidigt kan rymma sofistikerade tekniska komponenter. Förutom dessa finns det ett annat bärbart plagg med multi-paneler som är avsett för förmedling av semantiskt innehåll till olika kroppsdelar. Inte alla versioner är utformade som kläder, till exempel är en version kallad ”chairable” utformad för att monteras på baksidan av en typisk kontorsstol för att förmedla meddelanden till den som sitter i stolen.

– Liksom alla andra aspekter av livet har pandemin också påverkat genomförandet av vårt projekt på olika fronter. SUITCEYES är till sin natur ett användarcentrerat innovationsprojekt och därför är tillgången till både användare och tekniska komponenter kärnan i projektet. Tillgången till båda dessa har påverkats kraftigt på grund av covid-19. Trots de utmaningar som vi mött är vi glada att se en stark avslutning på projektet, berättar Nasrine Olson.

Många idéer för framtiden

För några veckor sedan hade projektet ett slutsymposium. Det var över 400 deltagare från 39 länder, bland annat från organisationer och företag som skulle kunna vara intresserade av att kommersialisera produkten.

– Det vi har tagit fram är prototyper. Det är långt kvar tills det här finns till försäljning. Men intresset finns även om marknaden är liten och vi kommer att fortsätta att samarbeta via de nätverk vi har byggt upp, säger hon.

– Alla artiklar och forskningsresultat är öppna för andra forskare att bygga vidare på. Vi har också ansökt om medel till nya projekt som vi hoppas få beviljade. Så även om projektet nu avslutas så fortsätter vi att jobba vidare med våra idéer, avslutar Nasrine Olson.

Läs mer

Se video om projektet på Youtube

Läs mer på projektets webbsida

Nasrine Olsons forskarprofil