Artesis Hogeschool Antwerpen

Het live -ondertitelproces verloopt als volgt. De respeaker beluistert^ via een hoofdtelefoon de live-televisiecommentaar en parafraseert die in een dictaat. Het dictaat van de respeaker vormt de audio-input voor de spraakherkenner. Die zet de gesproken taal om in digitale tekst en maakt die beschikbaar in het ondertitelprogramma. Het resultaat is een concept-ondertitel die - na eventuele correctie - op antenne gezet wordt via de Teletekstttoepassing. In de meeste gevallen is die laatste fase (bewerking en uitzending) in handen van een tweede persoon (editor) die op een gesynchroniseerd computerscherm werkt. Er ontstaat een onvermijdelijke delay bij de uitzending van live-ondertitels. Er kunnen fouten optreden in de verschillende fases.

In een eerste proefproject heeft dit onderzoek een wetenschappelijke methodologie ontworpen die de onderzoeker in staat stelt een nauwkeurige proces- en productobservatie uit te voeren. Het project heeft ook via een probleemanalytische benadering van de proces- en productdata verzameld op de Teletekst Vertaalafdeling van de VRT, de specifieke spraakherkennings- en ondertitelingsproblemen geïdentificeerd. Voor het verzamelen van de data werd telkens gebruik gemaakt van het logging programma Inputlog, ontworpen door Mariëlle Leijten en Luuk Van Waes (beiden UA).

De voorlopige resultaten tonen aan dat het debiet van de te ondertitelen spreker een grote invloed heeft op het uiteindelijke resultaat.  Verder daalt het foutenpercentage in de uitgezonden ondertitel naargelang er procentueel minder ondertiteld wordt. Reductie blijkt  geen willekeurig proces te zijn, maar is in zeer hoge mate afhankelijk van de ondertitelmodus/methode, de cognitive span van de respeaker, het aantal karakters in de broncommentaar en de  delay.  Een andere bevinding is dat  de productiecapaciteit duidelijk daalt na 10 minuten.

Het vervolgonderzoek zal gebruik maken van een combinatie van kwantitatieve en kwalitatieve onderzoeksmethodes.  Inputlog wordt verder gebruikt om data te verzamelen tijdens bijkomende experimentele en niet-experimentele live-ondertitelingsessies. Het kwantitatieve onderzoek maakt het mogelijk om op statistisch relevante manier de foutenproductie en de relaties tussen de belangrijkste variabelen verder te onderzoeken. Kwaltitatief onderzoek is noodzakelijk om de kwaliteit van de geproduceerde ondertitels inhoudelijk te evalueren. Meer diepgaand  cognitief onderzoek naar de rol en de werking van onder meer het korte termijngeheugen moet ook bijdragen totn het bepalen van een ideale reductiegraad.

Ten slotte kan de optimalisering van de ondertitelproductie niet zonder de invalshoek van de gebruikers: is de ideale verhouding delay-reductie-foutenproductie vanuit het gezichtspunt van de ondertitelaar ook de ideale verhouding voor de gebruiker? Hoe kan dit alles bovendien in didactische termen vertaald worden? In dit project zijn wetenschappelijke, maatschappelijke en didactische bekommernissen nauw met elkaar verweven.

Voor de analyse van de data is gewerkt met een gecombineerde kwantitatieve en kwalitatieve benadering die zal aangehouden worden voor het voorliggend project. Die aanpak stelde ons in staat om tekstreductie, delay en foutenproductie nauwgezet in kaart te brengen en een eerste analyse te maken van de verbanden tussen de drie variabelen. Het kwalitatieve onderzoek (o.m. reductie- en foutenanalyse)  heeft ook een eerste classificatiemodel voortgebracht  waarin de voornaamste oorzaken van reductie gebundeld zijn in 3 hoofdcategorieën en 30 subcategorieën. Conform dit reductiemodel werd ook een model ontwikkeld dat de verschillende oorzaken van fouten categoriseert. Dit verdient verdere uitwerking.   

De data aangeleverd via de experimentele fase werden gebruikt om te onderzoeken welke invloed reductie en foutenproductie op elkaar uitoefenen, maar gaven ook aanwijzingen over de haalbaarheid van de reductiepercentages. Het ideale reductiepercentage voor live ondertiteling is een belangrijke kwestie die ter discussie staat wereldwijd en die verder onderzoek vereist, zowel vanuit het gezichtspunt van de ondertitelproductie als de ondertitelreceptie (zie Neves 2006).

Op het ogenblik van indienen, worden een gedeelte van de in de experimentele fase vergaarde data verder geanalyseerd door een onderzoeker gefinancierd met een tweede BOF-project (einde: december 2009). Het zal  onmogelijk zijn om al het verzamelde materiaal tegen het einde van dit jaar volledig uit te spitten. Bovendien is de VRT zeer geïnteresseerd in verdere samenwerking en opgetogen over de voorlopige onderzoeksresultaten (Van Waes et al. in druk).

Het hierboven beschreven onderzoek heeft aangetoond dat dit project verdere uitwerking verdient, in de vorm van een doctoraatsproject, en geeft ook duidelijke aanwijzingen over de richting waarin de vraagstelling zou moeten of kunnen gaan. Anderzijds is het onderzoeksdomein zo nieuw dat het de onderzoeker voldoende ruimte biedt om een persoonlijke wending te geven aan het onderzoek.

Verder onderzoek, onderzoeksvragen en methodologie:

1. Doorgezette  literatuurstudie, met name i.v.m cognitief geheugenonderzoek, o.a. binnen het onderzoeksdomein van het simultaantolken. De taak van de respeaker is nog complexer dan die van de simultaantolk, maar vertoont er gelijkenissen mee (van der Veer 2007): wat zijn de gelijkenissen en verschillen? Welke rol speelt het korte termijngeheugen bij beide? Welke onderzoeksbevindingen uit het domein van het simultaantolken kunnen nuttig zijn? Welke impact heeft de cognitieve capaciteit van de respeaker? Welke variabelen spelen een rol?  Hoe kan dit omgezet worden in didactisch perspectief?

2. Verzamelen en verwerken van bijkomend materiaal, zowel opnames van relevante reële live-respeak-situaties als experimentele opnames van sportprogramma’s en talkshows, die verschillende eisen aan de respeakers stellen.

3. Uitvoeren van kwantitatieve en kwalitatieve analyses om aan de hand van de wederzijdse beïnvloeding van de variabelen reductie, delay en foutenproductie, de ideale delay en reductiegraad te bepalen. Rekening houden met: softwaremogelijkheden, foutenproductie, en ook het comfort van de respeaker (zie punt 4). Regressie- en multilevel analyses worden gecombineerd met kwalitatieve analyses. Via regressieanalyse kan een kwantitatief model opgesteld worden dat de variatie in de reductie bij het ondertitelen verklaart en de rol van de variabelen  verduidelijkt.

4. Verder onderzoek naar belang en invloed van de cognitive span (cf. ook punt 1.). Uit schrijfprocesonderzoek blijkt bv. dat schrijvers met een lagere cognitieve span niet gebaat zijn bij een strategie waarbij fouten onmiddellijk gecorrigeerd worden (Leijten et al. 2009). Wat is de efficiëntste vorm van foutencorrectie bij het respeaken?

5. Het interpreteren van de gegevens van het onderzoek in didactisch perspectief: hoe kan de opleiding van respeakers geoptimaliseerd worden in functie van de ideale productieverhoudingen (cf. supra)?

6. Is de ideale productieverhouding ook ideaal voor de gebruikers? De doelgroep bestaat uit verschillende subgroepen met verschillende eisen en mogelijkheden. Uittesten van ondertitels met verschillende leessnelheden (en dus meer of minder tekst) met het oog op leescomfort en begrip.

Punten 5 en 6 zullen mogelijk deel uitmaken van het onderzoek uit te voeren in jaren 5 en 6.

De samenwerkingsverbanden met de VRT kunnen uitgebreid worden en aangevuld met input van de commerciële zender VTM met wie de promotoren ook contacten hebben. Een full-time respeaker bij VTM is lesgever live ondertitelen aan het departement V & T van de Artesis Hogeschool. Ook de samenwerking tussen de promotoren van het vorige project, heeft zijn nut bewezen. De derde onderzoeker, Mariëlle Leijten (UA) kan deel uitmaken van de doctoraatscommissie van het doctoraatsproject.

De maatschappelijke relevantie van dit project hoeft geen betoog: het stelt zich tot doel bij te dragen tot de optimalisering  van het nog onvolmaakte live-ondertitelproces waarvoor zowat alle televisiezenders die ondertiteling via teletekst aanbieden, resoluut gekozen hebben. De interesse van VRT en VTM voor dit onderzoek bevestigen dit.

Op wetenschappelijk vlak behoort onderzoek naar live ondertiteling met spraaktechnologie tot de state-of-the-art. Dat blijkt ook uit de talrijke bijdragen over dit onderwerp op het Media for All-congres (AHA & UA, oktober 2009) en de grote interesse voor de workshop Inputlog die Luuk Van Waes en Mariëlle Leijten tijdens dit congres zullen geven. Ook publicaties op internationaal vlak bieden een toetssteen voor het voorliggend onderzoek en bevestigen de relevantie ervan (bv. Lambourne 2006, Romero Fresco in druk).