Väitös tietotekniikan alalta, DI Zheyang Shen

Väitöskirjan nimi: Strengthening nonparametric Bayesian methods with structured kernels

Vastaväittäjä: professori Chris Oates, Newcastle University / Alan Turing Institute, Englanti
Kustos: professori Samuel Kaski, Aalto-yliopiston perustieteiden korkeakoulu, Tietotekniikan laitos

Väitöstilaisuus järjestetään kampuksella.

Väitöskirja on julkisesti nähtävillä 10 päivää ennen väitöstä Aalto-yliopiston julkaisuarkiston verkkoriiputussivulla.

Elektroninen väitöskirja

Väitöstiedote:

Viime vuosikymmeninä on nähty mullistavia edistyksiä koneoppimisessa, joiden vaikutus näkyy monenlaisesti yhteiskunnassamme. Tämä väitöskirja tiivistää joitakin kontribuutioita koneoppimisen kärkipäässä, yhdistävänä teemanaan ydinmetodit (kernel methods). Parametrittomat bayesilaiset mallit edustavat laajaa kategoriaa joustavista malleista mitallisella epävarmuudella, mutta niihin kuuluu myös haittoja koskien kykyjään (1) hahmoekstrapolaatioon, (2) laskennallisiin kuluihin, sekä (3) tehokkaaseen ja tarkkaan päättelyyn. Väitöskirja yrittää torjua valittujen parametrittomien bayesilaisten mallien kolmea yllä mainittua pullonkaulaa kehittämällä uusia metodologioita.

Gaussilaiset prosessit (GPt) ovat funktioiden jakaumia, jotka muodostavat bayesilaisten parametrittomien mallien kulmakiven. Yleensä GPt interpoloivat datapisteitä joustavasti, mutta ekstrapolaatio on todettu vaikeaksi. Väitöskirjan ensimmäinen osa esittää uusia ytimiä GP-malleille, erityisesti keskittyen ekstrapolaation potentiaaliin. Havainnollistan teoriassa ja käytännössä, että ytimeni laajentavat GP-mallien oppimisharhoja.

Toinen GP-mallien pullonkaula riippuu niiden laskennallisten kulujen päättelystä. Väitöskirjan toinen osa keskittyy GP:ien skaalautuvaan approksimaation ehdollistamaan pienenpään lajitelmaan, joka koostuu valehavainnoista, jotka myös tunnetaan harva-GP:nä. Vaikka harva-GP tarjoavat merkittävän nopeutuksen, löydän rajaavan tekijän approksimaatioissaan, sekä esitän perusteellisesti bayesilaisen käsittelyn valehavaintoihin, jotka merkittävästi parantavat harva-GP-mallien ilmaisua.

Väitöskirjan kolmas osa torjuu yleistä ongelmaa, joka kostuu otannasta jakaumissa. Arvioltaan satunnaisotokset voidaan päätellä Markovin ketjun simulaatiolla, joka on tunnettu lajitelma otanta-algoritmeja, joka tunnetaan myös nimellä Markovin ketju Monte Carlo-menetelmä (MCMC-menetelmä). Vaihtoehtoisesti, voisin siirtää ydinpohjaisen hiukkasinteraktio deterministisen dynamiikan kautta kuvaamaan tavoitejakaumaa. Tutkin yhteyttä kahden otanta-algoritmin lajitelman välillä, ja esitän uusia otanta-algoritmeja, jotka emuloivat sovellutuskohtaisten MCMC otanta-algoritmien käytöstä.

Vaikka väitöskirja ei käsittele yksittäistä aihetta, näytän lajitelman parannettuja ydinpohjaisia parametrittomia malleja, valaisten parempaa käytäntöä bayesilaisen mallintamisen yhteisössä.

Väittelijän yhteystiedot: [email protected], 0449191362