Blogi, Uncategorized

Tarjolla oppimisanalytiikka-aiheisia webinaareja!

AnalytiikkaÄly-hanke toteuttaa vuoden 2020 aikana kolme oppimisanalytiikka-aiheista webinaaria. Webinaarien tarkoituksena on jakaa hankkeen tuloksia laajemmalle yleisölle sekä tuoda esille erilaisia oppimisanalytiikkaan liittyviä näkökulmia. Webinaarit järjestetään Zoomissa, löydät liittymislinkit alta. Tule mukaan kuuntelemaan ja keskustelemaan!

Ilmoittautuminen webinaareihin: bit.ly/AIwebinaarit

Lisätietoa webinaareista:

Tietosuojaperiaatteet, riskiarvio ja vaikutustenarviointi

Tommi Haapaniemi (ISY), Jiri Lallimo (AY), Viivi Väisänen (HY)

Osana AnalytiikkaÄlyn oppimisanalytiikan juridisia seikkoja koskevaa työtä Viivi Väisäsen esitys käsittelee Aalto-yliopiston tapauskuvauksen kautta tietosuojaperiaatteita ja vaikutustenarviointia. Esityksessä tuodaan esille tapausselvityksen tärkeimmät johtopäätökset sekä konkreettisena
 esimerkkinä vaikutustenarvioinnin tekeminen Moodle:n drop-out rate:sta. Työ on palvellut myös AnalytiikkaÄlyn oppimisanalytiikan linjauksia koskevaa työtä.

Hankkeessa on kehitetty Itä-Suomen yliopiston johdolla yksinkertaistettua henkilötietojen käsittelyn riskiarvion mallia, jota voidaan soveltaa erityisesti oppimisanalytiikan erilaisiin käyttötapauksiin. Esityksessä tutustutaan riskiarviomalliin ja siihen, millaisia keskeisiä riskejä ja näkökulmia oppimisanalytiikan käyttöönotossa tulee tietosuoja-asetuksen perusteella tarkastella.

AnalytiikkaÄly-sovellus, Student Dashboard

Heikki Hyyrö ja Sami-Santeri Svensk (TaY)

Hankkeessa on kehitetty Tampereen yliopiston johdolla oppimisanalytiikkaa hyödyntävää sovellusta opiskelijoiden, ohjaajien ja koulutuksesta vastaavien käyttöön. Esityksessä pureudutaan konkreettisesti sovelluksen keskeisiin elementteihin ja erityisesti siihen, miten sovelluksella voidaan tukea opiskelijoiden sujuvaa opintojen etenemistä.

Opintopolku palvelupolkuna – analytiikan näkökulmia

Titta Jylkäs ja Essi Kuure (LaY)

Millaisia kehitysmahdollisuuksia voimme tunnistaa, kun tarkastelemme opiskelijan opintopolkua palvelupolkuna? Esityksessä avataan palvelumuotoilun perusteiden ja menetelmien kautta ihmislähtöistä lähestymistä oppimisanalytiikkaan. Opiskelijan palvelupolun tunnistamisen kautta oppimisanalytiikan hyödyt voidaan kohdentaa opintoihin oikea-aikaisesti ja tuottaa näin opiskelijalle konkreettista hyötyä opintojen edistämiseen. Palvelumuotoilun ja oppimisanalytiikan kautta voimme hahmottaa opintopolun kokonaisuutena ja tarjota opiskelijalle palveluarvoa kohdennetusti.

Blogi

Oppimisanalytiikan linjaus suuntaa ja edistää analytiikan mielekästä käyttöä

Miksi ja miten oppimisanalytiikan linjausta on rakennettu?

Oppimisen muodot ja mahdollisuudet yliopistoissa moninaistuvat. Samalla opiskelijan toiminnasta sekä opetuksesta kertyvä datamäärä lisääntyy ja moninaistuu. Dataa analysoimalla voidaan paremmin ymmärtää oppimisen mahdollisuuksia sekä myös kapeikkoja. Oppimisanalytiikka on nopeasti kasvava alue, jolla tarkoitetaan oppijasta kertyvien tietojen keräämistä, mittaamista, analysointi ja raportointia siten, että tarkoituksena on ymmärtää ja optimoida oppimista ja oppimisympäristöjä (Siemens 2013).

AnalytiikkaÄly-hankkeen keskeisiä tavoitteita on tuottaa välineitä oppimisanalytiikan käytäntöjen tueksi. Näistä yksi on oppimisanalytiikan linjaus, joka sisältää tarkasti punnittuja, avoimia ja hyväksyttyjä periaatteita, ohjeita ja päätöksiä, jotka turvaavat analytiikan mielekkään käytön. Linjaus on monimuotoinen väline, jossa tulee huomioida oppimisen ja opettamisen strategisia, pedagogisia, eettisiä ja juridisia sekä teknisiä ja dataan liittyviä näkökulmia. Pohjimmiltaan oppimisanalytiikan linjaus siis tukee opiskelijoita sekä henkilöstöä oppimisanalytiikan ymmärrettävässä, yhdenmukaisessa ja vastuullisessa hyödyntämisessä. AnalytiikkaÄlyn linjaustyötä on valmisteltu Aalto-yliopiston johdolla, jonka tekemä pohjatyö ja linjausdokumentti palvelee kaikkia hankkeen toimijoita. Ensimmäisessä vaiheen Aallossa työstetty linjausdokumentti tulee seuraavassa vaiheessa työstettäväksi muiden yliopistojen omiin tarpeisiin.

Aallossa linjauksen tehtäväksianto vahvistettiin Oppimisen alueen ohjausryhmältä ja sitä varten kerätty linjaus-työryhmä koostui oppimispalveluiden (oppimisen ja opettamisen palvelut ja prosessit, pedagogiikka ja oppimisanalytiikan vastuu), johtamisen tietopalveluiden (osaamisalueena raportoinnit ja datan ylläpito, kehittäminen ja johtaminen), IT-palveluiden (oppimisen ja opetuksen järjestelmien kehittäminen ja palvelut sekä datan ja yliopiston analytiikan kehittäminen ja hallinta), akateemisten lakipalvelujen (tietosuoja ja muut juridiset asiat) sekä opettajien ja opiskelijoiden edustajista. Tämä edustuksellisuus on osoittautunut toimivaksi. Linjauksen tulee tukea yliopiston monia palveluprosesseja ja toimintakäytäntöjä, myös kehitteillä olevia, jonka vuoksi linjauksen kehittämisen on kytkeydyttävä tiivisti yliopiston eri osaamisalueisiin.

Linjaustyö on edennyt siten, että laajan kansainvälisen kirjallisuuskatsauksen pohjalta tarkensimme ensin oppimisanalytiikan periaatteet, joita haluemme noudattaa. Tämä toimi pohjustuksena varsinaisille linjauksen teemoille, joiden kautta oppimisanalytiikan käyttöä koskevat näkökulmat tarkentuivat. Keskeisiä esimerkkejä ovat olleet Sheila-verkoston luoma R.O.M.A. viitekehitys (Rapid Outcome Mapping System) sekä erityisesti JISC-yhteisön ja ORLA-yhteisön luomat linjauksen työstämisen ohjeet ja teemat. Olemme hyödyntäneet useaa kansainvälistä linjaustyötä, joista löytyy kattavasti esimerkkejä.

Oppimisanalytiikan käyttöä ohjaaviksi periaatteiksi valittiin seuraavat:

  1. Oppimisanalytiikan tavoitteiden ja käytäntöjen läpinäkyvyys sekä oikeus vaikuttaa omien henkilötietojensa käsittelyyn: Oppimisanalytiikan datan keräys ja käyttö, sen jakaminen ja datan eettinen käyttö perustuvat läpinäkyviin perusteisiin ja päätöksiin oppimisanalytiikan hyödyistä ja käyttötavoista  
  2. Yliopiston arvot ja strategia oppimisanalytiikan pohjana: Oppimisanalytiikan käyttö ja kehittäminen ohjautuvat yliopiston arvojen ja strategian mukaisesti.  
  3. Tasapuolisuus: Oppimisanalytiikan avulla pyritään ymmärtämään monimuotoisten opiskelijaryhmien tarpeita ja tarjoamaan heille tukea ja ohjausta ennakoivasti ja oikea-aikaisesti 
  4. Laadun parantaminen eri toimijoille: Opiskelijat voivat käyttää oppimisanalytiikkaa opintojen sujuvoittamiseen. Opetushenkilöstö voi käyttää oppimisanalytiikkaa opetuksen arviointiin ja kehittämiseen. Koulutusohjelmien johtajat sekä yliopiston johto voi käyttää oppimisanalytiikkaa johtamisen tukena sekä opetuksen laadun kehittämisessä. 
  5. Positiivisen opiskelukokemuksen vahvistaminen: Oppimisanalytiikan tarjotaan sisältöjä ja polkuja opiskelijan tukemaan henkilökohtaista suunnitelmaa ja opiskelijan hyvinvointia. 
  6. Henkilökohtainen tuki ja palaute: Oppimisanalytiikalla voidaan tunnistaa opiskelijoiden opiskeluun liittyviä tarpeita ja tarjota niihin henkilökohtaista tukea. 
  7. Oppimisanalytiikka opettajan ja ohjaajan tuen apuna: Ymmärrämme, että oppimisanalytiikan käyttö antaa vain osittaisen kuvan opiskelijoiden toiminnasta, suoriutumisesta, aktiivisuudesta, hyvinvoinnista ja muista tekijöistä. Tämän vuoksi oppimisanalytiikan tuloksiin nojautuvat tukitoimet arvioidaan ihmisten tekeminä. Oppimisanalytiikka täydentää kasvokkaisen ja verkkopohjaisen vuorovaikutuksen muotoja. 
  8. Datan ja algoritmien kriittinen tarkastelu: Tunnistamme, että data ja algoritmit voivat olla vääristyneitä. Työskentelemme systemaattisesti mahdollisen puutteellisen datan, virheellisten algoritmien sekä päätelmien ja vaikutusten korjaamiseksi. 
  9. Käyttäjäkeskeisyys oppimisanalytiikan kehittämisessä: Oppimisanalytiikan kehittäminen ja käyttö nojautuvat yliopiston eri toimijaryhmien käyttäjäkeskeiseen näkökulmaan.
  10. Digitaalisen kyvykkyyden kehittäminen: Oppimisanalytiikan käytöllä tuetaan opiskelijoiden ja henkilöstön ymmärrystä ja kyvykkyyttä toimia digitaalisissa ympäristöissä.

Varsinaiset linjauksen teemat pitävät sisällään tarkempia ohjeistuksia ja niihin liitetään yliopiston olemassa olevia muita linjauksia (esimerkiksi Tietosuojapolitiikka) ja dokumentteja (esimerkiksi Tiedonohjaussuunnitelma ja tietosuojailmoitus)

Oppimisanalytiikan linjauksen teemat 

  1. Oppimisanalytiikan osa-alueet ja vastuukysymykset 
  2. Tietosuojaperiaatteet oppimisanalytiikassa 
  3. Oppimisanalytiikan datan ja tulosten validiteetin varmistaminen 
  4. Pääsy analytiikan tuloksiin ja dataan 
  5. Positiivisten interventioiden oikeuttaminen ja mahdollistaminen 
  6. Oppimisanalytiikan haitallisten vaikutusten tunnistaminen ja huomiointi 

Oppimisanalytiikan käyttöönotto on juuri tuloillaan yliopistoissa. Linjaus on olennainen väline tämän toiminnan suuntaamisessa. Linjaus on myös elävä dokumentti, jota tulee tarkentaa kokemusten karttumisen ja analytiikan uusien mahdollisuuksien kautta.

Jiri Lallimo

Aalto-yliopisto

Lähteet

JISC, UK (2015). Code of Practice for Learning Analytics. (Noudettu 18.10.2019) 
https://www.jisc.ac.uk/sites/default/files/jd0040_code_of_practice_for_learning_analytics_190515_v1.pdf

Sheila-project, Supporting Higher Education to Intgrate Learning Analytics. (Noudettu 18.10.2019) https://sheilaproject.eu/

Siemens, G. (2013). Learning Analytics: The Emergence of a Discipline. American Behavioral Scientist, 57(10), 1380–1400. 

Blogi

Analytiikkaälyä turvallisesti tähän päivään ja avarakatseisesti ylihuomiseen

Näin vuodenvaihteessa useimmissa yliopistoissa ja korkeakouluissa on analysoitu päättyneen vuoden tulostavoitteiden saavuttamista tutkintomäärillä koulutusohjemittain tai muiden valittujen kriteereiden mukaan. Näinä aikoina on myös käynnistynyt monissa oppilaitoksissa seuraavan lukuvuoden tutkintorakenteiden ja erilaisten opetuskokonaisuuksien valmistelu. Kuinkahan monessa oppilaitoksessa tuloksia on ennustettu perinteisellä kerroinajattelulla vaikkapa niin, että aloittaneista 70% valmistuu määräajassa? Seuraakohan tästä ennustemallista edelleen se, että toteutetaan tulevan lukuvuoden opetus kuten aina ennenkin?

On hiukan kiusallista, että juuri samaan aikaan AnalytiikkaÄly-hankkeen toteutusajankohdan kanssa on meneillään siirtyminen SISU- ja Peppi-järjestelmiin, jolloin osa ennustemallin kehityksestä todennäköisesti onkin uusien järjestelmien ominaisuuksien opettelua varsinaisen analytiikkatyökalun kehittämisen sijasta. Miksi kaikilla ei ole sama järjestelmä käytössä? Oman haasteensa kokonaiskuvaan luo täydellä voimallaan jokin aika sitten hyväksytty tietosuojalaki. Tämä taas on johtanut siihen, että jopa analytiikan kehitystyössä olemme joutuneet olemaan kovin varovaisia ”oikeiden” ennustemallien kehittämisessä.

Onneksi hankkeessa olemme yhdessä tunnistaneet edellä kuvatut vaaranpaikat ja pystymme katsomaan kokonaisuutta avarakatseisesti siten, että ensin tunnistamme ja tunnustamme jo olemassa olevat ja ainakin jossakin korkeakoulussa käytössä olevat todelliset ennustemallit. Vasta tämän jälkeen kehitämme uusia, tarkoituksenmukaisia analytiikkatyökaluja. Tällä tavoin toimien emme tule keksineeksi jotakin sellaista, joka jo olisikin valmiiksi saatavilla SISU:sta tai Pepistä. Analytiikkatyökalujen kehitystyön tueksi onkin perusteltua ajatella aikajana kolmeen osaan jaettuna: jo olemassa olevat, huomisen ja ylihuomisen ennustemallin työkalut.

Tällä hetkellä voimme jo varsin luotettavasti poimia SISU:sta esimerkiksi opiskelijakohtaiset HOPS:t, opiskelun kuormittavuustiedot periodeittain, valmistuneiden määrät koulutustuotteittain jne. Nämähän eivät tosin vielä varsinaisesti ennusta mitään, vaan kuvaavat jo tapahtunutta.  Pienellä työmäärällä on kuitenkin suhteellisen helppoa saada huomiseksi lisäominaisuuksina mahdollisuus hakea kunkin opiskelijan tai opiskelijaryhmän seurantatiedot opintojen aloitusvuoden mukaan, ja arvioida saavutettavien tutkintojen määrä koulutustuotteittain ennakoiden seuraavien 3-4 vuoden kehitysnäkymiä. Nämä esimerkit kuvastavat pyrkimystä esittää analytiikan tulokset trendeinä, jotka tukevat nykyistä paremmin sekä opiskelijan opintojen etenemisessä, että koulutustuotteen johtamisessa tarvittavien toimenpiteiden valintaa. SISU:n ominaisuuksia hyödyntäen on myös helppo tuottaa järjestelmälähtöisiä hälytyksiä niin opiskelijoille kuin johdolle, jos esimerkiksi opiskeluaika uhkaa venyä tai tutkintotavoitteiden määrä ei näyttäisi täyttyvän. Tällöin korjaaviin toimenpiteisiin voidaan ryhtyä välittömästi, eikä tapahtunutta vahinkoa tarkastella vasta jälkikäteen.

Hankkeen loppupuolella meillä on varmaankin jo valmius esittää ylihuomisen ennustemalliin koulutustuotteiden suunnittelun tueksi työkalu, jonka avulla työnantajapalautteet ja työmarkkinoiden osaajatarpeet voidaan liittää osaksi koulutustuotteen tuottavuusanalyysiä. Koska katsomme hankkeessa vahvasti tulevaan, on mielestämme hyvinkin perusteltua jatkaa kehitystyötä myös ”ylihuomisen” jälkeen. Toivottavasti hankkeen rahoittaja näkee asian samansuuntaisesti, kun jatkohankkeiden ideointi tulee ajankohtaiseksi.

Katriina Mielonen ja Harri Eskelinen

Lappeenrannan-Lahden teknillinen yliopisto LUT

Blogi

Menneitä ja tulevia askeleita

AnalytiikkaÄlyn hankekautta on jäljellä nyt vajaa vuosi. Kokoonnuimme hanketoimijoiden kanssa tammikuun lopuksi Turkuun katsastamaan hankkeen ajankohtaisia kysymyksiä. 

Tähän mennessä hankkeen puolentoista vuoden toimintakauden aikana on ehtinyt tapahtua jo paljon. Työ alkoi syksyllä 2018 opiskelijoiden ja henkilökunnan käyttäjätarpeita kartoittavilla työpajoilla, joita järjestettiin hankeyliopistoissa pitkin maata. Työpajoja seurasi keväällä 2019 kysely, jolla edelleen täydennettiin tietoja analytiikan tarpeista.  

Kerätyn tiedon pohjalta on alettu tuottamaan hankkeen omaa AnalytiikkaÄly-sovellusta sekä analytiikkatyökaluja Oulun yliopiston omaopettajille. Lisäksi analytiikan käyttöä varten on tehty selvitystyötä analytiikan juridisista kysymyksistä, yliopistotason policy-työstä, riskien tunnistamisesta sekä analytiikan käytöstä ennustamisessa

Turun tapaamisessa fokus oli seuraavissa askeleissa, joissa painottuu erityisesti käynnissä oleva sovelluskehittäminen ja sen pilotointi. Alkaneen vuoden aikana pääsemme tosissaan pilotoimaan hankkeen sovellusta. Keväällä aloitamme sovelluksen opiskelijanäkymästä ja syksyn puolelle pilotoitavaksi saadaan ohjaajien ja johdon näkymät. Pilotointeihin haetaan testaajia eri korkeakouluista ja niistä tiedotetaan kohderyhmiä, kun ne tulevat ajankohtaisiksi. 

Haluamme myös jakaa hankkeen tuloksia laajemmalle yleisölle ja yhtenä kanavana tähän tulemme toteuttamaan vuoden 2020 aikana kolme webinaaria. Aiheet sekä ajankohdat näet alta ja tarkempia linkkejä kannattaa odotella näiltä sivuilta sekä hankkeen somekanavilta. 

  • Tietosuojaperiaatteet, riskiarvio ja vaikutustenarviointi, 21.4.2020 klo 14-15 
  • AnalytiikkaÄly-sovellus, Student Dashboard, 27.5.2020 klo 13-14 
  • Opintopolku palvelupolkuna – analytiikan näkökulmia, 18.8.2020 klo 13-14 

Lisäksi Oulun Pedaforumin yhteydessä 19.8.2020 järjestetään avoin oppimisanalytiikan verkostotapaaminen. Tervetuloa mukaan! 

Janne Mikkola 

Turun yliopisto 

Blogi

Oppimisanalytiikan riskien tunnistaminen

Oppimisanalytiikalle on tyypillistä, että sen avulla kerätään monin eri tavoin ja hyödynnetään eri yhteyksissä opiskelijan toiminnasta syntyvää tietoa ilman, että opiskelijan tarvitsee joka vaiheessa tietoisesti ja aktiivisesti sitä tuottaa. Yliopiston on henkilötietoja käsittelevänä rekisterinpitäjänä arvioitava oppimisanalytiikan tietojen käsittelyyn liittyviä riskejä niiden hallitsemiseksi sekä henkilötietojen asianmukaisen käsittelyn varmistamiseksi.

AnalytiikkaÄly-hankkeen osana toteutetussa selvityksessä Oppimisanalytiikka ja opiskelijatietojen käsittely yliopistossa (Ouli, J. & Voutilainen, T. 2019) on tarkasteltu monipuolisesti eri oikeudellisia kysymyksiä oppimisanalytiikan käytöstä yliopistokoulutuksessa erityisesti yliopisto-opiskelijan näkökulmasta. Raportin liitteenä on myös oppimisanalytiikan näkökulmasta muokattu yksinkertaistettu riskiarviomalli tietojen käsittelyn riskien arviointiin erilaisille oppimisanalytiikan käyttötapauksille. Olemme valmistelleet tämän mallin pohjalta erillistä työvälinettä riskiarvion toteuttamiseksi, joka on tarkoitus julkaista ohjeistuksineen verkossa avoimesti käytettäväksi. Julkaistavan työvälineen muotoa hiotaan vielä. Valmistelun haasteellisuutta on lisännyt se, että uudenlaisen teknologian ohella asiaan liittyvä lainsäädäntö on osittain suhteellisen tuoretta. Tästä johtuen ohjeistuksia tai käyttötapauksia asiaan on melko vähän löydettävissä.

Oppimisanalytiikan riskien arvioinnissa omat haasteensa luovat myös painotuksiltaan erilaiset riskitekijät. Esimerkiksi yksi merkittävä riskitekijä on se, mikäli analytiikan käytön yhteydessä tehdään opiskelijaa koskevia automaattisia päätöksiä. Nimittäin Oulin ja Voutilaisen selvityksen perusteella ei ole olemassa lainsäädäntöä, joka mahdollistaisi automaattisen päätöksenteon hyödyntämisen oppimisanalytiikan käyttötapauksissa. Samankaltaisia asioita on noussut julkiseen keskusteluun myös koskien Kelan ja verottajan automaattisia päätöksiä.

Hankkeessa valmisteltava riskiarvion työväline ei automaattisesti vastaa siihen kysymykseen, onko rekisterinpitäjän toteutettava tietosuoja-asetuksen mukainen vaikutuksenarviointi. Se kuitenkin antaa oppimisanalytiikan erityiskysymyksiin sovelletun pohjan ja nostaa esille keskeiset pohdittavat riskit ja näkökulmat, joita joka tapauksessa on tietosuoja-asetuksen riskiperusteisen näkökulman mukaan arvioitava.

On myös huomattava, että vaikka tietojen käsittely riskiarvion näkökulmasta olisi oppimisanalytiikan käytössä hyvällä mallilla, on erikseen tarkasteltava myös sitä, toteutetaanko sitä eettisesti kestävin käytännöin ja perustein ja minkälaiset periaatteet analytiikan käyttöön hyväksytään ja miten eri tahojen vastuut toiminnassa määritellään. Lisäksi on huomattava Oulin ja Voutilaisen selvityksen perusteella se, että oppimisanalytiikkaa ei voida kehittää yliopistoissa pelkästään tietosuojalainsäädännön näkökulmasta, koska toimintaan vaikuttaa kansallisen liikkumavaran puitteissa yleishallinto-oikeudellinen sääntely, joista keskeisimpiä ovat hallintolaki, julkisuuslaki ja tiedonhallintalaki sekä erityislakina yliopistolaki.

Erikoissuunnittelija Tommi Haapaniemi, Opintopalvelut
Projektitutkija Meri Sariola, Oikeustieteiden laitos

Itä-Suomen yliopisto