Blog

Oppimisanalytiikan linjaus suuntaa ja edistää analytiikan mielekästä käyttöä

Miksi ja miten oppimisanalytiikan linjausta on rakennettu?

Oppimisen muodot ja mahdollisuudet yliopistoissa moninaistuvat. Samalla opiskelijan toiminnasta sekä opetuksesta kertyvä datamäärä lisääntyy ja moninaistuu. Dataa analysoimalla voidaan paremmin ymmärtää oppimisen mahdollisuuksia sekä myös kapeikkoja. Oppimisanalytiikka on nopeasti kasvava alue, jolla tarkoitetaan oppijasta kertyvien tietojen keräämistä, mittaamista, analysointi ja raportointia siten, että tarkoituksena on ymmärtää ja optimoida oppimista ja oppimisympäristöjä (Siemens 2013).

AnalytiikkaÄly-hankkeen keskeisiä tavoitteita on tuottaa välineitä oppimisanalytiikan käytäntöjen tueksi. Näistä yksi on oppimisanalytiikan linjaus, joka sisältää tarkasti punnittuja, avoimia ja hyväksyttyjä periaatteita, ohjeita ja päätöksiä, jotka turvaavat analytiikan mielekkään käytön. Linjaus on monimuotoinen väline, jossa tulee huomioida oppimisen ja opettamisen strategisia, pedagogisia, eettisiä ja juridisia sekä teknisiä ja dataan liittyviä näkökulmia. Pohjimmiltaan oppimisanalytiikan linjaus siis tukee opiskelijoita sekä henkilöstöä oppimisanalytiikan ymmärrettävässä, yhdenmukaisessa ja vastuullisessa hyödyntämisessä. AnalytiikkaÄlyn linjaustyötä on valmisteltu Aalto-yliopiston johdolla, jonka tekemä pohjatyö ja linjausdokumentti palvelee kaikkia hankkeen toimijoita. Ensimmäisessä vaiheen Aallossa työstetty linjausdokumentti tulee seuraavassa vaiheessa työstettäväksi muiden yliopistojen omiin tarpeisiin.

Aallossa linjauksen tehtäväksianto vahvistettiin Oppimisen alueen ohjausryhmältä ja sitä varten kerätty linjaus-työryhmä koostui oppimispalveluiden (oppimisen ja opettamisen palvelut ja prosessit, pedagogiikka ja oppimisanalytiikan vastuu), johtamisen tietopalveluiden (osaamisalueena raportoinnit ja datan ylläpito, kehittäminen ja johtaminen), IT-palveluiden (oppimisen ja opetuksen järjestelmien kehittäminen ja palvelut sekä datan ja yliopiston analytiikan kehittäminen ja hallinta), akateemisten lakipalvelujen (tietosuoja ja muut juridiset asiat) sekä opettajien ja opiskelijoiden edustajista. Tämä edustuksellisuus on osoittautunut toimivaksi. Linjauksen tulee tukea yliopiston monia palveluprosesseja ja toimintakäytäntöjä, myös kehitteillä olevia, jonka vuoksi linjauksen kehittämisen on kytkeydyttävä tiivisti yliopiston eri osaamisalueisiin.

Linjaustyö on edennyt siten, että laajan kansainvälisen kirjallisuuskatsauksen pohjalta tarkensimme ensin oppimisanalytiikan periaatteet, joita haluemme noudattaa. Tämä toimi pohjustuksena varsinaisille linjauksen teemoille, joiden kautta oppimisanalytiikan käyttöä koskevat näkökulmat tarkentuivat. Keskeisiä esimerkkejä ovat olleet Sheila-verkoston luoma R.O.M.A. viitekehitys (Rapid Outcome Mapping System) sekä erityisesti JISC-yhteisön ja ORLA-yhteisön luomat linjauksen työstämisen ohjeet ja teemat. Olemme hyödyntäneet useaa kansainvälistä linjaustyötä, joista löytyy kattavasti esimerkkejä.

Oppimisanalytiikan käyttöä ohjaaviksi periaatteiksi valittiin seuraavat:

  1. Oppimisanalytiikan tavoitteiden ja käytäntöjen läpinäkyvyys sekä oikeus vaikuttaa omien henkilötietojensa käsittelyyn: Oppimisanalytiikan datan keräys ja käyttö, sen jakaminen ja datan eettinen käyttö perustuvat läpinäkyviin perusteisiin ja päätöksiin oppimisanalytiikan hyödyistä ja käyttötavoista  
  2. Yliopiston arvot ja strategia oppimisanalytiikan pohjana: Oppimisanalytiikan käyttö ja kehittäminen ohjautuvat yliopiston arvojen ja strategian mukaisesti.  
  3. Tasapuolisuus: Oppimisanalytiikan avulla pyritään ymmärtämään monimuotoisten opiskelijaryhmien tarpeita ja tarjoamaan heille tukea ja ohjausta ennakoivasti ja oikea-aikaisesti 
  4. Laadun parantaminen eri toimijoille: Opiskelijat voivat käyttää oppimisanalytiikkaa opintojen sujuvoittamiseen. Opetushenkilöstö voi käyttää oppimisanalytiikkaa opetuksen arviointiin ja kehittämiseen. Koulutusohjelmien johtajat sekä yliopiston johto voi käyttää oppimisanalytiikkaa johtamisen tukena sekä opetuksen laadun kehittämisessä. 
  5. Positiivisen opiskelukokemuksen vahvistaminen: Oppimisanalytiikan tarjotaan sisältöjä ja polkuja opiskelijan tukemaan henkilökohtaista suunnitelmaa ja opiskelijan hyvinvointia. 
  6. Henkilökohtainen tuki ja palaute: Oppimisanalytiikalla voidaan tunnistaa opiskelijoiden opiskeluun liittyviä tarpeita ja tarjota niihin henkilökohtaista tukea. 
  7. Oppimisanalytiikka opettajan ja ohjaajan tuen apuna: Ymmärrämme, että oppimisanalytiikan käyttö antaa vain osittaisen kuvan opiskelijoiden toiminnasta, suoriutumisesta, aktiivisuudesta, hyvinvoinnista ja muista tekijöistä. Tämän vuoksi oppimisanalytiikan tuloksiin nojautuvat tukitoimet arvioidaan ihmisten tekeminä. Oppimisanalytiikka täydentää kasvokkaisen ja verkkopohjaisen vuorovaikutuksen muotoja. 
  8. Datan ja algoritmien kriittinen tarkastelu: Tunnistamme, että data ja algoritmit voivat olla vääristyneitä. Työskentelemme systemaattisesti mahdollisen puutteellisen datan, virheellisten algoritmien sekä päätelmien ja vaikutusten korjaamiseksi. 
  9. Käyttäjäkeskeisyys oppimisanalytiikan kehittämisessä: Oppimisanalytiikan kehittäminen ja käyttö nojautuvat yliopiston eri toimijaryhmien käyttäjäkeskeiseen näkökulmaan.
  10. Digitaalisen kyvykkyyden kehittäminen: Oppimisanalytiikan käytöllä tuetaan opiskelijoiden ja henkilöstön ymmärrystä ja kyvykkyyttä toimia digitaalisissa ympäristöissä.

Varsinaiset linjauksen teemat pitävät sisällään tarkempia ohjeistuksia ja niihin liitetään yliopiston olemassa olevia muita linjauksia (esimerkiksi Tietosuojapolitiikka) ja dokumentteja (esimerkiksi Tiedonohjaussuunnitelma ja tietosuojailmoitus)

Oppimisanalytiikan linjauksen teemat 

  1. Oppimisanalytiikan osa-alueet ja vastuukysymykset 
  2. Tietosuojaperiaatteet oppimisanalytiikassa 
  3. Oppimisanalytiikan datan ja tulosten validiteetin varmistaminen 
  4. Pääsy analytiikan tuloksiin ja dataan 
  5. Positiivisten interventioiden oikeuttaminen ja mahdollistaminen 
  6. Oppimisanalytiikan haitallisten vaikutusten tunnistaminen ja huomiointi 

Oppimisanalytiikan käyttöönotto on juuri tuloillaan yliopistoissa. Linjaus on olennainen väline tämän toiminnan suuntaamisessa. Linjaus on myös elävä dokumentti, jota tulee tarkentaa kokemusten karttumisen ja analytiikan uusien mahdollisuuksien kautta.

Jiri Lallimo

Aalto University

Lähteet

JISC, UK (2015). Code of Practice for Learning Analytics. (Noudettu 18.10.2019) 
https://www.jisc.ac.uk/sites/default/files/jd0040_code_of_practice_for_learning_analytics_190515_v1.pdf

Sheila-project, Supporting Higher Education to Intgrate Learning Analytics. (Noudettu 18.10.2019) https://sheilaproject.eu/

Siemens, G. (2013). Learning Analytics: The Emergence of a Discipline. American Behavioral Scientist, 57(10), 1380–1400. 

Blog

Analytiikkaälyä turvallisesti tähän päivään ja avarakatseisesti ylihuomiseen

Näin vuodenvaihteessa useimmissa yliopistoissa ja korkeakouluissa on analysoitu päättyneen vuoden tulostavoitteiden saavuttamista tutkintomäärillä koulutusohjemittain tai muiden valittujen kriteereiden mukaan. Näinä aikoina on myös käynnistynyt monissa oppilaitoksissa seuraavan lukuvuoden tutkintorakenteiden ja erilaisten opetuskokonaisuuksien valmistelu. Kuinkahan monessa oppilaitoksessa tuloksia on ennustettu perinteisellä kerroinajattelulla vaikkapa niin, että aloittaneista 70% valmistuu määräajassa? Seuraakohan tästä ennustemallista edelleen se, että toteutetaan tulevan lukuvuoden opetus kuten aina ennenkin?

On hiukan kiusallista, että juuri samaan aikaan AnalytiikkaÄly-hankkeen toteutusajankohdan kanssa on meneillään siirtyminen SISU- ja Peppi-järjestelmiin, jolloin osa ennustemallin kehityksestä todennäköisesti onkin uusien järjestelmien ominaisuuksien opettelua varsinaisen analytiikkatyökalun kehittämisen sijasta. Miksi kaikilla ei ole sama järjestelmä käytössä? Oman haasteensa kokonaiskuvaan luo täydellä voimallaan jokin aika sitten hyväksytty tietosuojalaki. Tämä taas on johtanut siihen, että jopa analytiikan kehitystyössä olemme joutuneet olemaan kovin varovaisia ”oikeiden” ennustemallien kehittämisessä.

Onneksi hankkeessa olemme yhdessä tunnistaneet edellä kuvatut vaaranpaikat ja pystymme katsomaan kokonaisuutta avarakatseisesti siten, että ensin tunnistamme ja tunnustamme jo olemassa olevat ja ainakin jossakin korkeakoulussa käytössä olevat todelliset ennustemallit. Vasta tämän jälkeen kehitämme uusia, tarkoituksenmukaisia analytiikkatyökaluja. Tällä tavoin toimien emme tule keksineeksi jotakin sellaista, joka jo olisikin valmiiksi saatavilla SISU:sta tai Pepistä. Analytiikkatyökalujen kehitystyön tueksi onkin perusteltua ajatella aikajana kolmeen osaan jaettuna: jo olemassa olevat, huomisen ja ylihuomisen ennustemallin työkalut.

Tällä hetkellä voimme jo varsin luotettavasti poimia SISU:sta esimerkiksi opiskelijakohtaiset HOPS:t, opiskelun kuormittavuustiedot periodeittain, valmistuneiden määrät koulutustuotteittain jne. Nämähän eivät tosin vielä varsinaisesti ennusta mitään, vaan kuvaavat jo tapahtunutta.  Pienellä työmäärällä on kuitenkin suhteellisen helppoa saada huomiseksi lisäominaisuuksina mahdollisuus hakea kunkin opiskelijan tai opiskelijaryhmän seurantatiedot opintojen aloitusvuoden mukaan, ja arvioida saavutettavien tutkintojen määrä koulutustuotteittain ennakoiden seuraavien 3-4 vuoden kehitysnäkymiä. Nämä esimerkit kuvastavat pyrkimystä esittää analytiikan tulokset trendeinä, jotka tukevat nykyistä paremmin sekä opiskelijan opintojen etenemisessä, että koulutustuotteen johtamisessa tarvittavien toimenpiteiden valintaa. SISU:n ominaisuuksia hyödyntäen on myös helppo tuottaa järjestelmälähtöisiä hälytyksiä niin opiskelijoille kuin johdolle, jos esimerkiksi opiskeluaika uhkaa venyä tai tutkintotavoitteiden määrä ei näyttäisi täyttyvän. Tällöin korjaaviin toimenpiteisiin voidaan ryhtyä välittömästi, eikä tapahtunutta vahinkoa tarkastella vasta jälkikäteen.

Hankkeen loppupuolella meillä on varmaankin jo valmius esittää ylihuomisen ennustemalliin koulutustuotteiden suunnittelun tueksi työkalu, jonka avulla työnantajapalautteet ja työmarkkinoiden osaajatarpeet voidaan liittää osaksi koulutustuotteen tuottavuusanalyysiä. Koska katsomme hankkeessa vahvasti tulevaan, on mielestämme hyvinkin perusteltua jatkaa kehitystyötä myös ”ylihuomisen” jälkeen. Toivottavasti hankkeen rahoittaja näkee asian samansuuntaisesti, kun jatkohankkeiden ideointi tulee ajankohtaiseksi.

Katriina Mielonen ja Harri Eskelinen

Lappeenranta-Lahti University of Technology LUT

Blog

Past and future steps

Less than one year is now left for the conclusion of the AnalyticsAI project. At the end of January, we met with project partners in Turku to survey the current issues of the project. 

To date, much has happened in the project's one and a half years of operation. Work began in the fall of 2018 with workshops to identify student and staff user needs, held at the project’s universities across the country. The workshops were followed by a survey, in the spring of 2019, which further complemented the information on data analytics needs.  

Based on the data collected, the project has started to produce its own AnalyticsAI application as well as analytical tools for the University of Oulu in-house teacher-tutors. In addition, research has been also conducted on analytics legal issues, university-level policy work, risk identification, and the predictive use of analytics

At the meeting in Turku, the focus was on the next steps, with particular emphasis to the ongoing application development and piloting. During the current year, we will be focused on piloting the project application. In the spring, we will start with the student’s view of the application, while the views of the instructors and management will be piloted in the autumn. Pilots from different universities will be recruited and the target groups informed, as they become relevant. 

We also want to disseminate the results of the project to a wider audience and, as as such, we will be conducting three webinars in 2020. The topics and times can be seen below and more detailed links are welcome on these pages as well as on the project’s other channels. 

  • Privacy Policy, Risk Assessment and Impact Assessment, 21.4.2020, 2:00 – 3:00 pm 
  • AnalyticsAI app, Student Dashboard, 27.05.2020, 1:00- 2:00 pm 
  • Study path as a service path - Perspectives on analytics, 18.8.2020, 1:00- 2:00 pm 

In addition, an open networking meeting on learning analytics will be held in conjunction with the Oulu Pedaforum on August 19, 2020. Welcome aboard! 

Janne Mikkola 

University of Turku 

Blog

Identifying the risks of learning analytics

Inherent to the concept of learning analytics is the collection and utilisation of information, in a variety of contexts, generated by a student's activities without the student having to produce it consciously and actively at any stage. The University, as a controller of personal data, must assess the risks associated with data processing in the context of learning analytics, in order to contain them and ensure the data’s proper handling.

A study carried out as part of the AnalyticsAI project Learning analytics and student data processing at the University (Ouli, J. & Voutilainen, T. 2019) looks at a wide range of legal issues related to the use of learning analytics in university education, especially from the perspective of a university student. Also included in the study report, is a simplified risk assessment model for data processing, for different learning analytics use cases. Based on this model, we have prepared a separate tool for carrying out the risk assessment, which is intended to be published openly online with guidelines for users. The format of the tool to be published is being further elaborated. The challenging nature of creating a new technological tool, is heightened by the fact that the related legislation is fairly recent. As a result, there are relatively few guidelines or use cases on the subject.

When considering the risk assessment of learning analytics, risk factors with different weights pose different risks. For example, one major risk factor is, if the use of learning analytics enables automated decisions concerning students. According to Ouli and Voutilainen’s report there is no legislation, which would allow the use of automated decision-making in learning analytics use cases. Similar issues have arisen in the public debate regarding the automated decisions regarding Kela and the tax authorities.

The risk assessment tool being prepared in the project does not automatically answer the question of whether the controller has to carry out an impact assessment under the Data Protection Regulation. It does, however, provide a basis for addressing specific issues in learning analytics and highlights the key risks and perspectives to consider, which in any case need to be assessed from a risk-based perspective in the Data Protection Regulation.

It should also be noted that, even though data processing from a risk assessment perspective would be a good model for learning analytics, it must also be considered separately whether its implementation follows through with ethically sustainable practices and criteria, what principles are accepted for the use of analytics, and how the responsibilities of the various stakeholders are defined. In addition, it should be noted that according to Ouli and Voutilainen’s report, learning analytics cannot be developed in universities from the point of view of data protection law alone, because action is governed by general administrative law, within the framework of the national leeway, the most important of which are the Administrative Procedure Act, the Act on the Openness of Government Activities, the Information Management Act, as well, the Universities Act.

Special Designer Tommi Haapaniemi, Study Services
Project Researcher Meri Sariola, Department of Law

University of Eastern Finland

Blog

Transparent analytics for different user groups

Analytics Intelligence user needs surveys started from the everyday observation that learning analytics and its use are not familiar to students or even staff. Of course, it was clear to the respondents that various registration systems exist containing information about students, studies and training, yet respondents were not particularly familiar with the concept of learning analytics For example, the University of Tampere does not have in place learning analytics operations. 

The project conducted user needs surveys in Spring 2019 at six partner universities. There was a total of five questionnaires, targeted at different user groups: students, teachers, tutor-teachers / tutors, study coordinators and those responsible for education. The questionnaire was answered by 183 students and 170 staff members. Questionnaires aimed at different user groups revealed the different user groups needs in utilising analytics intelligence in the context of learning. A rich basis of data was collected from open-ended questions, in particular, on how the university should use registry data, and the underlying ethical issues involved in its use. Open answers were well received, as about half of the respondents answered those open questions. 

Both students and staff were particularly unanimous about the use of the study data at the university. Over half of the respondents said in open answers that they would like the university to use registry data to design and develop teaching. In contrast, responses to ethical issues raised different views across different user groups. Students identified guidance, transparency, the impact and misuse of information, and the use of sensitive information as major ethical concerns. Most of the staff considered these same issues to be ethical issues, but surprisingly many (13.8% of the respondents) felt that there were no ethical issues with the use of registry information. This was an interesting research result, as there were no ready-made answers to the question, but each respondent was allowed to write his or her own views on the ethical issues involved in utilising registry information. 

The differences between the views of students and staff may be explained by visions coming from different angles. Students may not have fully embraced the potential opportunities offered by learning analytics to their studies, or to the university general management system. The staff, on the other hand, may have a very instrumental approach to utilising learning analytics. The student’s own data disclosure is a personal matter, but staff see students partly as a faceless mass. Although there is no real contradiction, they represent different aspects of analytics such as privacy and productivity. The most important aspect is that the various functionalities and their meaning are carefully thought through, well-founded and ethically sound, and agreed by all parties. Based on the results, there is still much to be done in the domain of learning analytics. Users should be trained in analytics in general, and in particular in the use of various services and applications. This should also be accompanied by a discussion on both the ethical use and rules of analytics. 

Hanna Lindsten

Jussi Okkonen

Tampere University