Väitös akustiikan ja äänenkäsittelytekniikan alalta, M.Sc. Leonardo Fierro

Väitöskirjan nimi: Audio Decomposition for Time Stretching

Tohtoriopiskelija: Leonardo Fierro
Vastaväittäjä: Prof. Simon Dixon, Queen Mary University of London, UK 
Kustos: Prof. Vesa Välimäki, Aalto-yliopiston sähkötekniikan korkeakoulu, informaatio- ja tietoliikennetekniikan laitos

Ajan venyttäminen on äänisignaalin käsittelytehtävä, jossa ääntä hidastetaan muuttamatta sen taajuussisältöä. Tässä tutkielmassa tarkastellaan transientteja ja kohinaääniä äänenkäsittelyn yhteydessä ja tutkitaan äänen hajottamisen käyttöä aikavenytyksen laadun parantamiseksi normaaleilla ja äärimmäisillä venytystekijöillä. 

Perinteisesti aikavenytysmenetelmät aiheuttavat usein artefakteja, kuten epäpuhtauksia, vääristymiä tai muita äänenlaadun heikkenemisiä, erityisesti silloin, kun venytystekijä on suuri. Ongelman ratkaisemiseksi tässä tutkimuksessa esitellään parannettu menetelmä, jolla äänet voidaan hajottaa sini-, transientti- ja kohinakomponentteihin. Näin kuhunkin yksittäiseen luokkaan voidaan soveltaa erikseen erilaista käsittelytekniikkaa. Tämä mahdollistaa transienttipiirteiden paremman säilymisen jopa äärimmäisillä venytyskertoimilla ja parantaa ajallisesti venytettyjen äänisignaalien havaittavaa laatua verrattuna perinteisiin menetelmiin. 

Tässä tutkielmassa esitellään myös vaihtoehtoinen audiovisuaalinen arviointimenetelmä äänen hajottamiselle interaktiivisen audiosoitinsovelluksen avulla, jossa yksittäisiin sinimuoto-, transientti- ja kohinaluokkiin päästään käsiksi graafisen käyttöliittymän kautta. Tämän sovelluksen tarkoituksena on kattaa väärin käytettyjen objektiivisten mittareiden puutteet ja edistää äänen hajottamisprosessin kokeilemista havainnoimalla kunkin spektrikomponentin vaihtelun vaikutusta alkuperäiseen ääneen ja vertaamalla eri menetelmiä toisiinsa sekä arvioimalla erottelun laatua äänellisesti ja visuaalisesti. 

Lisäksi tässä tutkielmassa käsitellään sini-transientti-kohina -hajotuksen käytön tarkoitusta aikavenytyksessä analysoimalla tunnetun aikavenytysmenetelmän suorituskyvyn heikkenemistä, joka johtuu virheellisestä transienttien ja kohinan käsittelystä. Tämä tutkimus osoittaa, että käyttämällä ehdotettua kolmiulotteista hajotusta edellä mainitun menetelmän suorituskyky paranee. 

Melukomponentti jätetään yleensä huomiotta tavanomaisissa ajan venytysmenetelmissä. Tässä tutkielmassa esitellään uudenlainen hybridimalli, jossa käytetään syväoppimismallia venytetyn kohinakomponentin tuottamiseksi laadukkaasti jopa äärimmäisillä venytystekijöillä, kun ääntä hidastetaan yli nelinkertaisesti, kuten tapahtuu hidastetuissa urheiluvideoissa tai ambient-musiikin synteesissä. Yksinkertainen ja tehokas ratkaisu tuottaa huippuluokan tuloksia useilla eri syötteillä ja venytystekijöillä.

Linkki väitöskirjan sähköiseen esittelykappaleeseen (esillä 10 päivää ennen väitöstä): https://aaltodoc.aalto.fi/doc_public/eonly/riiputus/

Yhteystiedot:

Sähkötekniikan korkeakoulun väitöskirjat: https://aaltodoc.aalto.fi/handle/123456789/53