Blog, Uncategorized

Tarjolla oppimisanalytiikka-aiheisia webinaareja!

AnalytiikkaÄly-hanke toteuttaa vuoden 2020 aikana kolme oppimisanalytiikka-aiheista webinaaria. Webinaarien tarkoituksena on jakaa hankkeen tuloksia laajemmalle yleisölle sekä tuoda esille erilaisia oppimisanalytiikkaan liittyviä näkökulmia. Webinaarit järjestetään Zoomissa, löydät liittymislinkit alta. Tule mukaan kuuntelemaan ja keskustelemaan!

Ilmoittautuminen webinaareihin: bit.ly/AIwebinaarit

Lisätietoa webinaareista:

Tietosuojaperiaatteet, riskiarvio ja vaikutustenarviointi

Tommi Haapaniemi (ISY), Jiri Lallimo (AY), Viivi Väisänen (HY)

Osana AnalytiikkaÄlyn oppimisanalytiikan juridisia seikkoja koskevaa työtä Viivi Väisäsen esitys käsittelee Aalto-yliopiston tapauskuvauksen kautta tietosuojaperiaatteita ja vaikutustenarviointia. Esityksessä tuodaan esille tapausselvityksen tärkeimmät johtopäätökset sekä konkreettisena
 esimerkkinä vaikutustenarvioinnin tekeminen Moodle:n drop-out rate:sta. Työ on palvellut myös AnalytiikkaÄlyn oppimisanalytiikan linjauksia koskevaa työtä.

Hankkeessa on kehitetty Itä-Suomen yliopiston johdolla yksinkertaistettua henkilötietojen käsittelyn riskiarvion mallia, jota voidaan soveltaa erityisesti oppimisanalytiikan erilaisiin käyttötapauksiin. Esityksessä tutustutaan riskiarviomalliin ja siihen, millaisia keskeisiä riskejä ja näkökulmia oppimisanalytiikan käyttöönotossa tulee tietosuoja-asetuksen perusteella tarkastella.

AnalytiikkaÄly-sovellus, Student Dashboard

Heikki Hyyrö ja Sami-Santeri Svensk (TaY)

Hankkeessa on kehitetty Tampereen yliopiston johdolla oppimisanalytiikkaa hyödyntävää sovellusta opiskelijoiden, ohjaajien ja koulutuksesta vastaavien käyttöön. Esityksessä pureudutaan konkreettisesti sovelluksen keskeisiin elementteihin ja erityisesti siihen, miten sovelluksella voidaan tukea opiskelijoiden sujuvaa opintojen etenemistä.

Opintopolku palvelupolkuna – analytiikan näkökulmia

Titta Jylkäs ja Essi Kuure (LaY)

Millaisia kehitysmahdollisuuksia voimme tunnistaa, kun tarkastelemme opiskelijan opintopolkua palvelupolkuna? Esityksessä avataan palvelumuotoilun perusteiden ja menetelmien kautta ihmislähtöistä lähestymistä oppimisanalytiikkaan. Opiskelijan palvelupolun tunnistamisen kautta oppimisanalytiikan hyödyt voidaan kohdentaa opintoihin oikea-aikaisesti ja tuottaa näin opiskelijalle konkreettista hyötyä opintojen edistämiseen. Palvelumuotoilun ja oppimisanalytiikan kautta voimme hahmottaa opintopolun kokonaisuutena ja tarjota opiskelijalle palveluarvoa kohdennetusti.

Blog

Oppimisanalytiikan linjaus suuntaa ja edistää analytiikan mielekästä käyttöä

Miksi ja miten oppimisanalytiikan linjausta on rakennettu?

Oppimisen muodot ja mahdollisuudet yliopistoissa moninaistuvat. Samalla opiskelijan toiminnasta sekä opetuksesta kertyvä datamäärä lisääntyy ja moninaistuu. Dataa analysoimalla voidaan paremmin ymmärtää oppimisen mahdollisuuksia sekä myös kapeikkoja. Oppimisanalytiikka on nopeasti kasvava alue, jolla tarkoitetaan oppijasta kertyvien tietojen keräämistä, mittaamista, analysointi ja raportointia siten, että tarkoituksena on ymmärtää ja optimoida oppimista ja oppimisympäristöjä (Siemens 2013).

AnalytiikkaÄly-hankkeen keskeisiä tavoitteita on tuottaa välineitä oppimisanalytiikan käytäntöjen tueksi. Näistä yksi on oppimisanalytiikan linjaus, joka sisältää tarkasti punnittuja, avoimia ja hyväksyttyjä periaatteita, ohjeita ja päätöksiä, jotka turvaavat analytiikan mielekkään käytön. Linjaus on monimuotoinen väline, jossa tulee huomioida oppimisen ja opettamisen strategisia, pedagogisia, eettisiä ja juridisia sekä teknisiä ja dataan liittyviä näkökulmia. Pohjimmiltaan oppimisanalytiikan linjaus siis tukee opiskelijoita sekä henkilöstöä oppimisanalytiikan ymmärrettävässä, yhdenmukaisessa ja vastuullisessa hyödyntämisessä. AnalytiikkaÄlyn linjaustyötä on valmisteltu Aalto-yliopiston johdolla, jonka tekemä pohjatyö ja linjausdokumentti palvelee kaikkia hankkeen toimijoita. Ensimmäisessä vaiheen Aallossa työstetty linjausdokumentti tulee seuraavassa vaiheessa työstettäväksi muiden yliopistojen omiin tarpeisiin.

Aallossa linjauksen tehtäväksianto vahvistettiin Oppimisen alueen ohjausryhmältä ja sitä varten kerätty linjaus-työryhmä koostui oppimispalveluiden (oppimisen ja opettamisen palvelut ja prosessit, pedagogiikka ja oppimisanalytiikan vastuu), johtamisen tietopalveluiden (osaamisalueena raportoinnit ja datan ylläpito, kehittäminen ja johtaminen), IT-palveluiden (oppimisen ja opetuksen järjestelmien kehittäminen ja palvelut sekä datan ja yliopiston analytiikan kehittäminen ja hallinta), akateemisten lakipalvelujen (tietosuoja ja muut juridiset asiat) sekä opettajien ja opiskelijoiden edustajista. Tämä edustuksellisuus on osoittautunut toimivaksi. Linjauksen tulee tukea yliopiston monia palveluprosesseja ja toimintakäytäntöjä, myös kehitteillä olevia, jonka vuoksi linjauksen kehittämisen on kytkeydyttävä tiivisti yliopiston eri osaamisalueisiin.

Linjaustyö on edennyt siten, että laajan kansainvälisen kirjallisuuskatsauksen pohjalta tarkensimme ensin oppimisanalytiikan periaatteet, joita haluemme noudattaa. Tämä toimi pohjustuksena varsinaisille linjauksen teemoille, joiden kautta oppimisanalytiikan käyttöä koskevat näkökulmat tarkentuivat. Keskeisiä esimerkkejä ovat olleet Sheila-verkoston luoma R.O.M.A. viitekehitys (Rapid Outcome Mapping System) sekä erityisesti JISC-yhteisön ja ORLA-yhteisön luomat linjauksen työstämisen ohjeet ja teemat. Olemme hyödyntäneet useaa kansainvälistä linjaustyötä, joista löytyy kattavasti esimerkkejä.

Oppimisanalytiikan käyttöä ohjaaviksi periaatteiksi valittiin seuraavat:

  1. Oppimisanalytiikan tavoitteiden ja käytäntöjen läpinäkyvyys sekä oikeus vaikuttaa omien henkilötietojensa käsittelyyn: Oppimisanalytiikan datan keräys ja käyttö, sen jakaminen ja datan eettinen käyttö perustuvat läpinäkyviin perusteisiin ja päätöksiin oppimisanalytiikan hyödyistä ja käyttötavoista  
  2. Yliopiston arvot ja strategia oppimisanalytiikan pohjana: Oppimisanalytiikan käyttö ja kehittäminen ohjautuvat yliopiston arvojen ja strategian mukaisesti.  
  3. Tasapuolisuus: Oppimisanalytiikan avulla pyritään ymmärtämään monimuotoisten opiskelijaryhmien tarpeita ja tarjoamaan heille tukea ja ohjausta ennakoivasti ja oikea-aikaisesti 
  4. Laadun parantaminen eri toimijoille: Opiskelijat voivat käyttää oppimisanalytiikkaa opintojen sujuvoittamiseen. Opetushenkilöstö voi käyttää oppimisanalytiikkaa opetuksen arviointiin ja kehittämiseen. Koulutusohjelmien johtajat sekä yliopiston johto voi käyttää oppimisanalytiikkaa johtamisen tukena sekä opetuksen laadun kehittämisessä. 
  5. Positiivisen opiskelukokemuksen vahvistaminen: Oppimisanalytiikan tarjotaan sisältöjä ja polkuja opiskelijan tukemaan henkilökohtaista suunnitelmaa ja opiskelijan hyvinvointia. 
  6. Henkilökohtainen tuki ja palaute: Oppimisanalytiikalla voidaan tunnistaa opiskelijoiden opiskeluun liittyviä tarpeita ja tarjota niihin henkilökohtaista tukea. 
  7. Oppimisanalytiikka opettajan ja ohjaajan tuen apuna: Ymmärrämme, että oppimisanalytiikan käyttö antaa vain osittaisen kuvan opiskelijoiden toiminnasta, suoriutumisesta, aktiivisuudesta, hyvinvoinnista ja muista tekijöistä. Tämän vuoksi oppimisanalytiikan tuloksiin nojautuvat tukitoimet arvioidaan ihmisten tekeminä. Oppimisanalytiikka täydentää kasvokkaisen ja verkkopohjaisen vuorovaikutuksen muotoja. 
  8. Datan ja algoritmien kriittinen tarkastelu: Tunnistamme, että data ja algoritmit voivat olla vääristyneitä. Työskentelemme systemaattisesti mahdollisen puutteellisen datan, virheellisten algoritmien sekä päätelmien ja vaikutusten korjaamiseksi. 
  9. Käyttäjäkeskeisyys oppimisanalytiikan kehittämisessä: Oppimisanalytiikan kehittäminen ja käyttö nojautuvat yliopiston eri toimijaryhmien käyttäjäkeskeiseen näkökulmaan.
  10. Digitaalisen kyvykkyyden kehittäminen: Oppimisanalytiikan käytöllä tuetaan opiskelijoiden ja henkilöstön ymmärrystä ja kyvykkyyttä toimia digitaalisissa ympäristöissä.

Varsinaiset linjauksen teemat pitävät sisällään tarkempia ohjeistuksia ja niihin liitetään yliopiston olemassa olevia muita linjauksia (esimerkiksi Tietosuojapolitiikka) ja dokumentteja (esimerkiksi Tiedonohjaussuunnitelma ja tietosuojailmoitus)

Oppimisanalytiikan linjauksen teemat 

  1. Oppimisanalytiikan osa-alueet ja vastuukysymykset 
  2. Tietosuojaperiaatteet oppimisanalytiikassa 
  3. Oppimisanalytiikan datan ja tulosten validiteetin varmistaminen 
  4. Pääsy analytiikan tuloksiin ja dataan 
  5. Positiivisten interventioiden oikeuttaminen ja mahdollistaminen 
  6. Oppimisanalytiikan haitallisten vaikutusten tunnistaminen ja huomiointi 

Oppimisanalytiikan käyttöönotto on juuri tuloillaan yliopistoissa. Linjaus on olennainen väline tämän toiminnan suuntaamisessa. Linjaus on myös elävä dokumentti, jota tulee tarkentaa kokemusten karttumisen ja analytiikan uusien mahdollisuuksien kautta.

Jiri Lallimo

Aalto University

Lähteet

JISC, UK (2015). Code of Practice for Learning Analytics. (Noudettu 18.10.2019) 
https://www.jisc.ac.uk/sites/default/files/jd0040_code_of_practice_for_learning_analytics_190515_v1.pdf

Sheila-project, Supporting Higher Education to Intgrate Learning Analytics. (Noudettu 18.10.2019) https://sheilaproject.eu/

Siemens, G. (2013). Learning Analytics: The Emergence of a Discipline. American Behavioral Scientist, 57(10), 1380–1400. 

Blog

Learning analytics going safely to this day and open mindedly into the future and beyond

At the turn of the year, most universities and higher education institutions analyse the previous year’s performance targets by degree level or by other selected criteria. During that period, many educational institutions are launching the following year’s academic degree structures and preparing the various teaching modules. In how many institutions have the results been predicted using the traditional approach, such as, for example, that 70% of all beginners will graduate on time? And should this prediction model continue to guide the implemention of teaching for the coming academic year, as usual?

It is somewhat baffling that, at the same time as the AnalyticsAI project is being implemented, migration to SISU and Peppi is underway, whereby part of the prediction model development is likely to be learning the features of the new systems rather than developing the actual analytics tool. Why don’t all have the same system in place? The most recently adopted Data Protection Act creates its own challenge into the overall picture. This in turn has led to the fact that even in the development of analytics we have had to be very cautious in developing “real” forecasting models.

Fortunately, in the project, we have jointly identified the risks described above and are able to look at the whole picture openly by first identifying and recognizing the actual prediction models already in place and at least in use at some universities. Only then will we develop new, appropriate analytics’ tools. In doing so, we will not come up with something that is already available from SISU or Peppi. To support the development of analytical tools, it is thus reasonable to think of a three-part timeline: the existing tools, tomorrow’s tools, and the tools for beyond tomorrow’s prediction model.

At the moment we can quite reliably extract from SISU, for example, student-specific PSPs, study load data by period, number of graduates by educational product, etc. However, these do not really predict anything, but describe what has already happened. However, with a bit of work, it is relatively easy to have the opportunity to retrieve the follow-up data for each student or group of students by year of study, and to estimate the number of degrees to be achieved by educational product, anticipating the development prospects of the next 3-4 years. These examples illustrate the attempt to present analytics results as trends that better support the choice of measures required both in the progress of students and their studies, and in the management of educational products. Using SISU’s features, it is also easy to generate system-based alerts for students and management alike if, for example, study time threatens to stretch or the degree goals do not appear to be met. In such cases, the counteractive action may be taken immediately as opposed to an a posteriori analysis of what might have gone wrong.

Towards the end of the project, we will probably be prepared already to present a tool to support the design of educational products featuring the ”day after tomorrow's” forecasting model, which will allow employer feedback and labor market skills needs to be incorporated into the productivity analysis of an educational product. As we have a strong view of the future of the project, we think it is more than justified to continue with the development work in the future, even beyond “the day after tomorrow”. Hopefully, the project sponsor accords with our vision when the ideation of follow-up projects becomes topical.

Katriina Mielonen ja Harri Eskelinen

Lappeenranta-Lahti University of Technology LUT

Blog

Past and future steps

Less than one year is now left for the conclusion of the AnalyticsAI project. At the end of January, we met with project partners in Turku to survey the current issues of the project. 

To date, much has happened in the project's one and a half years of operation. Work began in the fall of 2018 with workshops to identify student and staff user needs, held at the project’s universities across the country. The workshops were followed by a survey, in the spring of 2019, which further complemented the information on data analytics needs.  

Based on the data collected, the project has started to produce its own AnalyticsAI application as well as analytical tools for the University of Oulu in-house teacher-tutors. In addition, research has been also conducted on analytics legal issues, university-level policy work, risk identification, and the predictive use of analytics

At the meeting in Turku, the focus was on the next steps, with particular emphasis to the ongoing application development and piloting. During the current year, we will be focused on piloting the project application. In the spring, we will start with the student’s view of the application, while the views of the instructors and management will be piloted in the autumn. Pilots from different universities will be recruited and the target groups informed, as they become relevant. 

We also want to disseminate the results of the project to a wider audience and, as as such, we will be conducting three webinars in 2020. The topics and times can be seen below and more detailed links are welcome on these pages as well as on the project’s other channels. 

  • Privacy Policy, Risk Assessment and Impact Assessment, 21.4.2020, 2:00 – 3:00 pm 
  • AnalyticsAI app, Student Dashboard, 27.05.2020, 1:00- 2:00 pm 
  • Study path as a service path - Perspectives on analytics, 18.8.2020, 1:00- 2:00 pm 

In addition, an open networking meeting on learning analytics will be held in conjunction with the Oulu Pedaforum on August 19, 2020. Welcome aboard! 

Janne Mikkola 

University of Turku 

Blog

Identifying the risks of learning analytics

Inherent to the concept of learning analytics is the collection and utilisation of information, in a variety of contexts, generated by a student's activities without the student having to produce it consciously and actively at any stage. The University, as a controller of personal data, must assess the risks associated with data processing in the context of learning analytics, in order to contain them and ensure the data’s proper handling.

A study carried out as part of the AnalyticsAI project Learning analytics and student data processing at the University (Ouli, J. & Voutilainen, T. 2019) looks at a wide range of legal issues related to the use of learning analytics in university education, especially from the perspective of a university student. Also included in the study report, is a simplified risk assessment model for data processing, for different learning analytics use cases. Based on this model, we have prepared a separate tool for carrying out the risk assessment, which is intended to be published openly online with guidelines for users. The format of the tool to be published is being further elaborated. The challenging nature of creating a new technological tool, is heightened by the fact that the related legislation is fairly recent. As a result, there are relatively few guidelines or use cases on the subject.

When considering the risk assessment of learning analytics, risk factors with different weights pose different risks. For example, one major risk factor is, if the use of learning analytics enables automated decisions concerning students. According to Ouli and Voutilainen’s report there is no legislation, which would allow the use of automated decision-making in learning analytics use cases. Similar issues have arisen in the public debate regarding the automated decisions regarding Kela and the tax authorities.

The risk assessment tool being prepared in the project does not automatically answer the question of whether the controller has to carry out an impact assessment under the Data Protection Regulation. It does, however, provide a basis for addressing specific issues in learning analytics and highlights the key risks and perspectives to consider, which in any case need to be assessed from a risk-based perspective in the Data Protection Regulation.

It should also be noted that, even though data processing from a risk assessment perspective would be a good model for learning analytics, it must also be considered separately whether its implementation follows through with ethically sustainable practices and criteria, what principles are accepted for the use of analytics, and how the responsibilities of the various stakeholders are defined. In addition, it should be noted that according to Ouli and Voutilainen’s report, learning analytics cannot be developed in universities from the point of view of data protection law alone, because action is governed by general administrative law, within the framework of the national leeway, the most important of which are the Administrative Procedure Act, the Act on the Openness of Government Activities, the Information Management Act, as well, the Universities Act.

Special Designer Tommi Haapaniemi, Study Services
Project Researcher Meri Sariola, Department of Law

University of Eastern Finland