Blogi

Läpinäkyvää analytiikkaa eri käyttäjäryhmille

Analytiikkaälyn käyttäjätarvekyselyissä lähdettiin liikkeelle arkihavainnosta, että oppimisanalytiikka ja sen käyttäminen ei ole termeinä tuttu opiskelijoille tai edes henkilökunnalle. Vastaajille oli toki selvää, että erilaisissa rekistereissä on tietoa opiskelijoista, opinnoista ja koulutuksista, mutta varsinaisesti oppimisanalytiikka ei ole käsitteenä erityisen tuttu. Esimerkiksi Tampereen yliopistossa ei ole toimintoa “oppimisanalytiikka”. 

Hankkeessa toteutettiin käyttäjätarvekyselyitä keväällä 2019 kuudessa partneriyliopistossa. Kyselyitä oli yhteensä viisi ja ne oli kohdistettu eri käyttäjäryhmille: opiskelijoille, opettajille, tutoropettajille/omaopettajille, opintokoordinaattoreille sekä koulutuksesta vastaaville. Kyselyyn vastasi 183 opiskelijaa ja 170 henkilökuntaan kuuluvaa henkilöä. Eri käyttäjäryhmille suunnatuilla kyselyillä saatiin selville, minkälaisia opiskeluun liittyvän analyyttisen tiedon hyödyntämisen tarpeita eri käyttäjäryhmillä on. Rikasta aineistoa saatiin erityisesti avoimista kysymyksistä, joissa selvitettiin, miten yliopiston tulisi hyödyntää rekisteridataa sekä minkälaisia eettisiä kysymyksiä liittyy rekisteridatan hyödyntämiseen. Avoimia vastauksia kertyi hyvin, sillä noin puolet vastaajista vastasi myös näihin avoimiin kysymyksiin. 

Sekä opiskelijat että henkilökunta olivat erityisen yksimielisiä opiskeludatan hyödyntämisestä yliopistossa. Reilu puolet vastaajista kertoi avoimissa vastauksissa toivovan yliopiston hyödyntävän rekisteridataa opetuksen suunnitteluun ja kehittämiseen. Eettisiä kysymyksiä käsittelevissä vastauksissa sen sijaan nousi esiin erilaisia näkemyksiä eri käyttäjäryhmillä. Opiskelijat pitivät mm. ohjeistusta, läpinäkyvyyttä, tietojen vaikutusta ja väärinkäyttöä sekä arkaluonteisen tiedon käyttöä suurimpina eettisinä ongelmina. Henkilökunta piti pitkälti näitä samoja asioita eettisinä ongelmina, mutta henkilökunnan joukossa oli yllättävän monta henkilöä (13,8 % kysymykseen vastanneista), joiden mielestä rekisteritiedon hyödyntämiseen ei liity lainkaan eettisiä ongelmia. Tämä oli mielenkiintoinen tutkimustulos, sillä kysymykseen ei oltu annettu valmiita vastausvaihtoehtoja vaan jokainen vastaaja sai kirjoittaa omia näkemyksiään siitä, mitä eettisiä kysymyksiä rekisteritiedon hyödyntämiseen liittyisi. 

Opiskelijoiden ja henkilökunnan poikkeaviin näkemyksiin lienee selityksenä asian lähestyminen eri näkökulmista. Opiskelijat eivät välttämättä ole täysin sisäistäneet analytiikan tarjoamia mahdollisuuksia heidän opintojensa tai yleisen yliopistonhallinnon vinkkelistä. Henkilökunnalla saattaa taas olla hyvin välineellinen suhtautuminen oppimisanalytiikan hyödyntämiseen. Opiskelijalle oman datan luovuttaminen on myös henkilökohtainen asia, henkilökunta näkee opiskelijat kuitenkin osittain myös kasvottomana massana. Mitään varsinaista ristiriitaa asiassa ei kuitenkaan ole, vaan ne edustavat analytiikan eri puolia esimerkiksi yksityisyyttä ja tuottavuutta. Tärkeintä lienee se, että eri toiminnallisuudet ja niiden merkitys on tarkkaan mietitty, eettisesti perusteltu ja kaikkien osapuolten hyväksyttävissä. Tulosten perusteella oppimisanalytiikassa riittää vielä runsaasti tehtävää. Käyttäjille tulee tarjota koulutusta yleisesti analytiikasta sekä erityisesti erilaisten palvelujen ja sovellusten käyttöön. Tähän yhteyteen tulisi liittää myös keskustelu analytiikan eettisestä käyttämisestä ja analytiikan pelisäännöistä. 

Hanna Lindsten

Jussi Okkonen

Tampereen yliopisto

Blogi, featured

Analytiikka ohjauksen tukena

Oulun yliopistossa omaopettajat (HOPS-opettajat, opettajatuutorit) toimivat opiskelijan opintojen etenemisen tukijoina ja opintopolkujen ohjaajina. Omaopettaja on opiskelijalle tärkeä lähikontakti yliopisto-opintoihin ja hänen tehtäviinsä kuuluvat esimerkiksi opiskelijan tukeminen henkilökohtaisen opintosuunnitelman laatimisessa, opintojen etenemisen seuranta sekä opiskelijan ohjaus opintojen etenemiseen ja uravalintoihin liittyvissä asioissa. Omaopettajat ovat tyypillisesti saman tieteenalan lehtoreita, yliopisto-opettajia tai tutkijoita ja hoitavat omaopettajan tehtäviä oman työnsä ohella. 

Osana AnalytiikkaÄly -hanketta Oulun yliopistossa on kehitteillä  omaopettajille analytiikkatyökaluja, jotka helpottavat omaopettajan yksittäisen opiskelijan opintojen etenemisen seurantaa reaaliajassa. Kehitteillä olevien visualisointien tavoitteena on antaa omaopettajalle selkeä käsitys opiskelijan edistymisestä suhteessa opiskelijan omiin suunnitelmiin. Työkaluja voidaan hyödyntää esimerkiksi ohjaustilanteeseen valmistautumisessa, ohjaustilanteen aikana sekä yleisemmin opintojen seurannassa. Samalla kun kehitämme uusia oppimisanalytiikan työkaluja, tutkimme ja kehitämme myös käytäntöjä, joissa tietoa voidaan hyödyntää. Pelkkien työkalujen olemassaolon lisäksi tarvitsemme ymmärrystä siitä, kuka työkaluja käyttää, millaisiin tarkoituksiin ja missä tilanteissa.

Oulussa testataan seuraavaksi opintojen etenemistä visualisoivan työkalun toimivuutta toisen vuoden opiskelijan ja omaopettajan välisessä ohjauksessa. Tarkoituksena on selvittää, miten kehitetty työkalu toimii tietoa välittävässä ja keskustelua pohjustavassa roolissa, kun tavoitteena on miettiä yhdessä opiskelijan kanssa opintojen etenemistä ja opiskelijan omia tavoitteita opintojen suhteen. Yksi pilottitutkimuksen olennainen osa on luoda molemmille käyttäjäryhmille ohjeita ja opastusta uusien työkalujen käyttöön ohjauksen tukena. Samalla kun keräämme palautetta näkymien ymmärrettävyydestä ja mielekkyydestä, saamme tietoa erilaisten käyttäjien kokemuksista työkalun parissa. Jotta teknologian käyttöönotto olisi pysyvää, on sen käyttöympäristön ymmärtäminen olennaista.

Opiskelijan näkökulmasta on tärkeää kehittää työkaluja, jotka osana ohjaus- ja opiskelukäytäntöjä tukevat heitä opiskeluun ja sen suunnitteluun liittyvien valintojen tekemisessä. Opiskelijan ja omaopettajan yhteisiä ohjaustapaamisia ajatellen on tärkeää, että kehitettävät visualisoinnit ja työkalut edistävät laadukkaan vuorovaikutuksen muodostumista opiskelijan ja ohjaajan välille, teknisen tarkastelun tai tiedon kaivamisen sijasta. Tällöin kehitetyt työkalut auttavat merkityksellisten kohtaamisten syntymistä aidoissa vuorovaikutustilanteissa. 

Tekstin kirjoittivat

Anni Silvola ja Riku Hietaniemi, Oulun yliopisto

Blogi, featured

Opintojen etenemisen ennustaminen muuttuvassa osaamistavoitteiden ympäristössä

Kenelle ennustamme

Aika usein olemme nähneet ”ennustemalleja”, jotka kykenevät kuvaamaan tapahtumia vuosia, jopa vuosikymmeniä taaksepäin. Tiedämme varsin tarkkaan opiskelijajoukon tai vuosikurssin valmistuttua, kauanko valmistumiseen vaadittavat opinnot kestivät, mikä oli suoritettujen opintojen keskiarvo tai kyseisen vuosikurssin drop-out –rate. Kun tällaista dataa on tarpeiksi paljon, muodostamme keskiarvojen keskiarvoja, joita käyttäen kuvittelemme voivamme ennustaa tulevien opiskelijoiden etenemistä, johtamaan koulutusohjelmia tai tukemaan opintojen ohjausta. Todellisuudessa olemme kuitenkin hukanneet yksilön, jonka etenemistä meidän tulisi tarkastella ja samalla unohtaneet, että todellisessa ennustemallissa tulisi käsitellä opintojaan aloittavia uusia yksilöitä.

Monesti opintojen ennustemalleja suunnataan työkaluiksi opintojen ohjaamiseen, koulutusohjelmien johtamiseen tai yliopistotasoisen rahoitusmallin työkaluksi. Hieman yllättäen saattaa unohtua asiakkaan eli yksilöllisen opiskelijan tarvitseman ennustemallin tuottama tuki ja vielä useammin unohtuu ennustemallin hyödyntäminen loppukäyttäjän näkökulmasta: ennustemallin tulisi kyetä tuottamaan luotettavaa tietoa koulutustuotteiden kehittämiseksi siten, että valmistuvia opiskelijoita tarvitseva teollisuus saisi oikealla ja ajantasaisella osaamisprofiililla varustettuja asiantuntijoita käyttöönsä. Kun nykyisin ennustamme opintojen etenemistä, keskitymme ehkä liikaa tuotettuihin opintopisteisiin, valmistuvien määriin, opiskelun kestoon tai aiheutuneisiin opetuksen kustannuksiin. Hyvä ennustemalli kykenisi nostamaan näiden lisäksi esille osaamisprofiilin tarvitsemia muutoksia ja se huomioisi myös loppukäyttäjän. Aivan uuden haasteen luovat yleistyneet monimuoto- ja etäohjelmat, joissa opiskelijat etenevät digitaalisissa ympäristöissä oman aikataulunsa mukaisesti ja joiden sisältöjä voidaan päivittää reaaliaikaisesti missä kohtaa kalenterivuotta tahansa. Riippumatta oppimisympäristöstä ennustemallin tulisi kyetä ottamaan huomioon, että joku tarvitsee nämä valmistuvat opiskelijat!

Tukeeko järjestelmä toimintaamme vai ohjaako järjestelmä tekemistämme

Varsin klassinen kysymys tietojärjestelmiä kehitettäessä on, kuinka paljon joustavuutta järjestelmässä tulisi olla, jotta se soveltuisi erilaisten käyttäjien tarpeisiin? Puhtaasti analytiikan ja tilastollisen tarkastelun näkökulmasta tiukasti sääntöpohjainen ja lukittu järjestelmä olisi helpoin, mutta opintojen etenemistä kuvaavan ennustemallin kohdalla on ainakin kaksi isoa muuttujaa, jotka vaativat järjestelmältä joustavuutta. Ensinnäkin opiskelija taustoineen ja elämäntilanteineen on yksilö, joka joka tapauksessa etenee omia polkujaan. Toiseksi ennustemallin runkona olevat tutkintorakenteet ja niihin sisältyvät opintojaksot ainakin toivottavasti kehittyvät edellä mainitun loppukäyttäjän tarpeiden mukaisesti. Tämän vuoksi ennustemallin taustalla oleva järjestelmän tulee sallia ja tunnistaa monenlaista joustavuutta, joka koskee yksilön tekemiä valintoja, tutkintorakenteiden muutoksia ja päivityksiä, muuttuvalaajuksisia opintojaksoja sekä alun perin erimittaisiksi suunniteltuja opintopolkuja. Olisi kenkkua, jos järjestelmä olisi niin jäykkä, että opiskelijat pakotettaisiin johonkin tiettyyn muottiin tai että joustavuus opintojen toteutuksessa estettäisiin ”järjestelmäohjatusti”. Epäilemättä joustavuuden salliminen vaikeuttaa ennustemallin algoritmien muodostamista, mutta vain sallimalla joustavuus voidaan tuottaa ennustetietoa, joka palvelee koko ketjua asiakkaasta loppukäyttäjään saakka.

Jotta kuvatut tarpeet voitaisiin täyttää, olemme AnalytiikkaÄly-hankkeen kuvauksessa määritelleet mm. seuraavaa: ”Hankkeen viimeisessä vaiheessa koostetaan järjestämäriippumattomat ja geneeriset määrittelyt yhteisille toiminnanohjauksen kannalta keskeiselle tietosisällölle sekä eHopsia hyödyntävälle ennustemallille”.

Pidetään tämä mielessä, kun viemme hanketta yhdessä eteenpäin.

Kirjoittajat

Harri Eskelinen & Terho Lassila

Lappeenrannan-Lahden teknillinen yliopisto LUT

Blogi, featured

Oppimisanalytiikka arviointityökaluna – tietosuoja, oikeusturva ja virkavastuu

Tekoälysovellusten hyödyntäminen opiskelijoiden oppimisen tukena, opiskelijan ohjauksessa, oppimisen arvioinnissa sekä tiedolla johtamisessa voivat muuttaa yliopistoissa opetuksen antamiseen liittyviä menettelyjä ja käytäntöjä. Juridisesti tekoälyn käyttöön opiskelijan ohjauksessa ja oppimisen arvioinnissa liittyy useita ongelmakohtia, joihin ei ole vielä lainsäädännössä olemassa ratkaisuja.

Tietosuoja-asetuksessa on säädetty niistä edellytyksistä, joilla henkilötietoja voidaan käsitellä sekä niistä rajoitteista, jotka liittyvät rekisteröidyn profilointiin ja automatisoituun päätöksentekoon. Henkilötietojen käsittelyllä on oltava tietosuoja-asetuksen mukainen oikeusperuste. Esimerkiksi silloin kun tietojen käsittely on tarpeen yliopiston lakisääteinen velvoitteen noudattamiseksi, henkilötietojen käsittelyllä on olemassa asianmukainen oikeusperuste. Yliopistoille on asetettu lakisääteisiä velvoitteita muun muassa yliopistolaissa, jonka mukaan yliopistojen tehtävänä on esimerkiksi antaa tutkimukseen perustuvaa ylintä opetusta sekä järjestää opetus ja opintojen ohjaus siten, että tutkinnot on mahdollista suorittaa päätoimisesti opiskellen säädetyssä tavoitteellisessa suorittamisajassa. Oppimisanalytiikan käyttö yliopistoissa näiden velvoitteiden noudattamiseksi on oikeusperusteen näkökulmasta sallittua.

Oppimisanalytiikkaa hyödynnettäessä opiskelijoita joudutaan käytännössä profiloimaan heistä kertyneiden tietojen perusteella. Tietosuoja-asetuksen mukaan profiloinnilla tarkoitetaan mitä tahansa henkilötietojen automaattista käsittelyä, jossa henkilötietoja käyttämällä arvioidaan luonnollisen henkilön tiettyjä henkilökohtaisia ominaisuuksia. Opiskelijan oppimisen analysointi on tietosuoja-asetuksessa tarkoitettua profilointia, sillä opiskelijan kyky oppia on henkilökohtainen ominaisuus, jota oppimisanalytiikassa arvioidaan. Profilointia ei ole tietosuoja-asetuksessa kategorisesti kielletty, mutta sillä on oltava tietosuoja-asetuksessa säädetyt henkilötietojen käsittelyperusteet, joissa on huomioitava käyttötarkoitussidonnaisuus, tietojen minimointivaatimus ja tarpeellisuus, käsittelyn läpinäkyvyys ja rekisteröidyn oikeuksien toteuttamisen huomioiminen. Rekisteröidyllä on useissa tilanteissa oikeus vastustaa profilointia, mutta tällaista oikeutta ei ole, jos käsittely perustuu rekisterinpitäjän lakisääteisen velvollisuuden toteuttamiseen, kuten yliopistolaissa säädettyjen opetuksen antamisen ja ohjauksen toteuttamiseen.

Oppimisanalytiikkaa voidaan myös hyödyntää opiskelijoiden opintosuoritusten arvioinnissa. Tällainen oppimisanalytiikan käyttö voi olla tietosuoja-asetuksessa tarkoitettua automatisoitua päätöksentekoa, joka on lähtökohtaisesti kielletty. Yliopistoissa oppimisanalytiikkaa voidaan hyödyntää opiskelijoiden arvioinnissa ainoastaan, jos arviointiin liittyy opettajan tosiasiallinen kontrolli arvioinnin lopullisista tuloksista tai automatisoidusta arvioinnista säädetään erikseen laissa.

Opiskelijoiden oppimisen automaattiseen arviointiin liittyy myös muita kuin henkilötietojen suojaa koskevia kysymyksiä. Opiskelijan hyväksi on yliopistolaissa säädetty opintosuoritusten arviointiin liittyviä oikeusturvakeinoja. Oppimisanalytiikkaa hyödynnettäessä näistä oikeusturvakeinoista ei voida tinkiä. Oppimisen arviointi on myös julkisen vallan käyttöä, johon liittyy virkavastuun tosiasiallinen toteuttaminen. Virkavastuuta ei voida nykyisen lainsäädännön perusteella ulkoistaa automatiikalle, vaan virkavastuun kantaa viime kädessä arvioinnista vastannut opettaja.

Oppimisanalytiikan kehittämiselle on olemassa teknologisia edellytyksiä, mutta toiminnalliset ja oikeudelliset edellytykset hakevat vielä sijaa tekoälyn kehittämisessä. Juridiset haasteet eivät välttämättä muodosta nykyäänkään estettä oppimisanalytiikan hyödyntämiselle opiskelijoiden ohjaamisessa ja arvioinnissa, mutta kehitystyö edellyttää huolellisuutta toimintaprosesseja kehitettäessä opiskelijoiden henkilötietojen suojan ja oikeusturvan varmistamiseksi unohtamatta myöskään opettajan omaa oikeusturvaa.

Kirjoittajat

Tomi Voutilainen ja Juuso Ouli

Itä-Suomen yliopisto

Blogi

Mitä oppimisanalytiikka on?

Niin korkeakouluissa kuin muissakin organisaatioissa erilaisiin sähköisiin järjestelmiin jää jatkuvasti käyttäjistä sähköisiä jälkiä, eli dataa. Kun opiskelija tekee sähköisen tentin, rekisteröityy tieto, kuinka kauan hän käytti aikaa vastaamiseen ja montako sanaa hän kirjoitti. Oppimisympäristöt tallentavat tietoa esimerkiksi opiskelijan tehtäväpalautuksista ja kirjautumiskerroista. Opintorekisteriin kertyy taas kurssisuorituksia ja arvosanoja.

Ihmisestä kertyvä data voidaan jaotella aktiiviseen tai passiiviseen jalanjälkeen. Aktiivinen jalanjälki syntyy, kun ihminen esimerkiksi kirjoittaa viestejä tai jättää palautetta. Passiivinen jälki taas jää kaikesta mistä käyttäjä ei ole itse tietoinen, esimerkiksi ajankäytöstä ja klikkauksista.1

Laajasti käytetyn määritelmän mukaan oppimisanalytiikalla tarkoitetaan oppijasta kertyvien tietojen keräämistä, mittaamista, analysointia ja raportointia tarkoituksenaan ymmärtää sekä optimoida oppimista ja oppimisympäristöjä.2 Oppimisanalytiikassa siis haetaan lisäarvoa tiedoista, joita on ollut liian työlästä käsitellä ennen analytiikkaa, palvelemaan eri käyttäjäryhmiä: opiskelijoita, opettajia, ohjaajia sekä hallintoa ja johtoa.

Analytiikan hyödyntämisen mahdollisuudet riippuvat siitä millaisia sovellutuksia sen ympärille rakennetaan. Digitaalinen oppimisalusta kerää dataa luonnostaan ja useissa oppimisympäristöissä onkin analytiikkaominaisuuksia. Analytiikan piiriin voidaan halutessa kuitenkin ulottaa myös esimerkiksi kirjastokortilla tehtävät lainat tai jopa luento-osallistuminen lisäämällä sähköinen rekisteröityminen oppitunneille, vaikkapa mobiilisovelluksen kautta. Tietoja voidaan teoriassa kerätä loputtomasti, joten olennaista on tunnistaa minkä tiedon kerääminen ja käyttäminen on oikeasti hyödyllistä oppimisprosessien kehittämiselle.

Oppimisanalytiikkaa voidaan hyödyntää monin eri tavoin palvelemaan käyttäjien tarpeita. Analytiikka voi olla suoraan kuvailevaa, jolloin esimerkiksi opiskelija näkee reaaliaikaista tietoa opintojensa kokonaistilanteesta tai opettaja kurssinsa opiskelijoiden opintosuorituksista. Kuvailevaa tietoa voidaan hyödyntää vertailuun. Tällöin opiskelija voi nähdä miten on edennyt suhteessa muihin opiskelijoihin tai opettaja voi tarkastella miten kurssitoteutus suhteutuu saman kurssin aiempiin kierroksiin. Analytiikka mahdollistaa myös ennakointia. Pitemmältä aikaväliltä kerätty data voi ennustaa, että tietyt kriteerit täyttävä opiskelija on putoamisvaarassa kurssilta, jolloin opiskelijalle voidaan tarjota tilanteenmukaista tukea. Lisäksi tekoäly voi automaattisesti tarjota opiskelijalle palautetta tai tämän taitotasoa vastaavia harjoituksia. Listaa esimerkeistä voisi jatkaa pitkään.

Oppimisanalytiikan onnistuneen hyödyntämisen kannalta on lopuksi keskeistä se, kuinka data esitetään käyttäjille erilaisina tuloksina ja raportteina.3 Visualisoinnin tavoitteena on oppimisanalytiikan raportoinnissa käsiteltävän tiedon ja suositusten mahdollisimman selkeä esittäminen käyttäjille.4, 5 Alle on luonnosteltu kaksi esimerkkiä oppimisanalytiikan esittämisestä kuvaajin.

Oppimisanalytiikasta huhtikuussa kirjoitti

Janne Mikkola,

Turun yliopisto

Lähteet:

1 Madden, M.  – Fox, S. – Smith, A. – Vitak, J. (2007). Digital Footprints – Online identity management and search in the age of transparency. https://www.pewinternet.org/2007/12/16/digital-footprints/

2 Siemens, G. (2013). Learning analytics: The emergence of a discipline. American Behavioral Scientist, 57(10), 1380-1400.

3 Auvinen, A. (2017). Oppimisanalytiikka tulee – Oletko valmis? Suomen eOppimiskeskus Ry. https://poluttamo.fi/2017/08/02/oppimisanalytiikka-tulee-oletko-valmis/

4 Brown, M. (2012). Learning analytics: Moving from concept to practice. EDUCAUSE Learning Initiative, 1-5.

5 Reyes, J. A. (2015). The skinny on big data in education: Learning analytics simplified. TechTrends, 59(2), 75-80.