Behaviour-based Language-Interactive Speaking Systems

  • BLISS: Behaviour-based Language-Interactive Speaking Systems
  • An NWO Data2Person project
  • Duration: 03/2019 – 09/2022
  • Applicants: Helmer Strik, Catia Cucchiarini, Mariët Theune

Team:

In het Nederlands

Abstract

The increasing availability of large amounts of (personal) data (Big Data) and the performance boost of advanced Human Language Technologies (HLT) hold great potential for self-management and empowerment in health and wellbeing. The topic of the present proposal is the combination of text mining of Dutch written and spoken client data with the design of an intelligent, personalized Dutch spoken dialogue system (SDS) that communicates with clients in an accessible manner to facilitate their self/joint-management of health and wellbeing. The project is couched in a broad conceptualization of health and wellbeing as happiness. The goal of this proposal is to study how text mining can be used for personalizing such a system and how this can be applied to a large-scale investigation of wellbeing happiness and self-empowerment of clients.
. The chosen approach is innovative in that it combines text mining, HLT and large-scale use by clients. So far text mining has mainly been based on written data, while here it is extended to Dutch spoken, complex data like interviews and dialogues, as these are increasingly being used in healthcare instead of written questionnaires. The use of spoken dialogue systems in healthcare applications is here extended to complex, personalized communication on happiness and wellbeing in the Dutch language. The proposed research will produce Dutch language technologies that are relevant for a whole range of applications in healthcare and other fields, and important insights for personalized healthcare innovation. Its potential impact thus stretches well beyond the scope of this project.

Keywords: personalized human-machine interaction, spoken dialogue system, self-empowerment, user-initiative, human-value based healthcare

Abstract for layman (in Dutch)

Het beschikbaar komen van grote hoeveelheden persoonlijke data (Big Data) en de enorme verbeteringen die recentelijk zijn geboekt in taal- en spraaktechnologie, bieden nieuwe kansen voor self-management en empowerment van cliënten in de zorg. Dit onderzoeksvoorstel gaat uit van een brede definitie van gezondheid en welzijn als geluk en heeft als doel het ontwikkelen van een interactief, Nederlands sprekend systeem dat mensen helpt hun welzijn en geluk te verhogen. Het idee is om grote hoeveelheden persoonlijke data van cliënten (teksten, interviews, dialogen) te doorzoeken om informatie eruit te halen over hun gezondheid en welzijn en om te weten te komen wat hen gelukkig maakt. Om dit mogelijk te maken wordt technologie ontwikkeld die relevante informatie uit Nederlandse teksten en audio-opnames kan halen. Vervolgens kan deze informatie gebruikt worden om computerprogramma’s te ontwerpen die met mensen laagdrempelig, in gesproken Nederlands kunnen communiceren om hen te ondersteunen in hun dagelijks handelen en het beheren van hun gezondheid en welzijn. De informatie uit Big Data kan hierbij gebruikt worden om het systeem te personaliseren voor individuele cliënten zodat het rekening houdt met persoonlijke behoeftes en achtergrond.
. Dit onderzoeksvoorstel is in verschillende opzichten innovatief. Onderzoek met Big Data was tot nu toe voornamelijk gebaseerd op geschreven data, terwijl in dit project ook gebruik wordt gemaakt van gesproken interviews, omdat deze nu veel meer worden verzameld dan geschreven vragenlijsten. Het voordeel is ook dat gesproken data veel meer informatie bevatten dan teksten (zoals intonatie, nadruk, aarzelingen, etc.). Verder is dit onderzoek nieuw omdat er laagdrempelige computerprogramma’s worden ontwikkeld die met mensen kunnen spreken zodat ze ook geschikt zijn voor laagopgeleiden, slechtzienden en mensen met beperkingen. Nieuw is ook dat de communicatie intelligent is en gepersonaliseerd, zodat mensen uiteindelijk geholpen worden zelf de regie te voeren over hun gezondheid, welzijn en geluk. Tenslotte is dit onderzoek innovatief omdat de technologie wordt ontwikkeld voor de Nederlandse taal, omdat het voor cliënten belangrijk is dat ze aangesproken worden in hun moedertaal.
. Dit onderzoek zal verschillende resultaten opleveren. Ten eerste belangrijke Nederlandstalige technologie om grote hoeveelheden teksten en opnames over en van cliënten te analyseren en daaruit relevante informatie over hun gezondheid en welzijn te halen. Deze technologie kan ook voor andere doeleinden worden gebruikt, zoals het verbeteren van een spraakherkenningssysteem. Verder levert dit project ook kennis op over een interactief systeem dat in het Nederlands kan spreken, hun antwoorden kan begrijpen en zelf beschikt over belangrijke informatie over de cliënten die ze kunnen gebruiken om hun welzijn te verbeteren, zodat ze zelf de regie houden. Ook dit systeem kan eventueel voor andere toepassingen in de zorg worden ingezet. Belangrijke resultaten zijn uiteraard ook de kennis en de inzichten die verkregen zullen worden over wat voor wie het beste werkt.

Bliss: spreken met de computer om je beter te voelen!

Past events

  • 4TU Virtual Symposium on Vulnerability and Human-Computer Interaction
    2 December 2021, online co-organized by Jelte van Waterschoot
  • Jelte van Waterschoot. Personalized and Personal Conversations – Designing Agents Who Want to Connect With You, PhD thesis, University of Twente, 2 December 2021
  • poster presenaation Jelte van Waterschoot and Iris Hendrickx, A Spoken Dutch Conversational Agent for Stimulating Self-management of Happiness at the 31st Meeting of Computational Linguistics in The Netherlands (CLIN 31), Gent/online
  • Presentation Tom Sweers and Iris Hendrickx, Negation Detection in Dutch Spoken Human-Computer Conversations,31st Meeting of Computational Linguistics in The Netherlands (CLIN 31), Gent/online
  • Virginia Meijer and Iris Hendrickx presented at SummDial: A SIGDial 2021 Special Session on Summarization of Dialogues and Multi-Party Meetings, 29 juli 2021. Shortened video
  • We co-organized the ACM UMAP workshop PICA‘Towards a new generation of Personalized Intelligent Conversational Agents’, 25 June 2021
  • workshop paper: Jelte van Waterschoot et al., Spoken Conversational Agents for Older Adults: Who Are the Stakeholders and What Do They Expect?, April 13th, Joint Proceedings of the ACM IUI 2021 Workshops, Workshop on Theoretical and Methodological Challenges in Intelligent Conversational User Interface Interactions, CEUR, College Station (Virtual), Texas, USA
  • workshop paper: Iris Hendrickx et al., Take back Control: User Privacy and Transparency Concerns in Personalized Conversational Agents, April 13th, Joint Proceedings of the ACM IUI 2021 Workshops, Workshop on Theoretical and Methodological Challenges in Intelligent Conversational User Interface Interactions, CEUR, College Station (Virtual), Texas, USA
  • Jelte van Waterschoot and Mariët Theune. Evaluating Conversational Question Generation: CoffeeBot. March 8th, HRI 2021 Workshop on Lifelong Learning and Personalization in Long-Term Human-Robot Interaction (LEAP-HRI), ACM, Boulder (Virtual), CA, USA 2021
  • Loes van Uffelen, Jelte van Waterschoot and Mariët Theune. Show Me Yours if I Show You Mine: Self-disclosure in Conversational Agents. March 8th, HRI 2021 Workshop on Robo-Identity: Exploring Artificial Identity and Multi-Embodiment, ACM, Boulder (Virtual), CA, USA 2021
  • Catia Cucchiarini et al, DIXIT, BLISS dialoogsysteem: EEN SPREKENDE INTERACTIEVE ASSISTENT DIE ZORGT VOOR MEER AUTONOMIE IN JE EIGEN WELBEVINDEN, p18-19, Nijmegen, 17e jaargang, 2020
  • BLISS@CLIN30, Utrecht, 30 January, 2020
  • BLISS @ Jaarcongres ECP, demo, Jelte van Waterschoot, University of Twente, 14th of November 2019, Den Haag
  • BLISS @ Drongo Talenfestival, demo, 25 and 26 October, 2019, Nijmegen
  • BLISS @ ATILA, worskhop, Iris Hendrickx, Radboud University, 10 and 11 October 2019, Antwerp
  • BLISS @ Games for Health Europe, presentation & demo, Iris Hendrickx, Radboud university and Jelte van Waterschoot, University of Twente, 7 and 8 October 2019, Eindhoven
  • BLISS @ YRRSDS 2019, 15th Workshop on Spoken Dialogue Systems, poster presentation, Jelte van Waterschoot, September 9-10, 2019, Stockholm, Sweden,
  • BLISS @ ICTopen 2019 poster presentation, Iris Hendrickx, Radboud University ,20 March, 2019, Hilversum,
  • BLISS @ GFHEU 2018, presentation, Helmer Strik, Radboud University, 12 October 2018, Eindhoven
  • This work is part of the research programme Data2Person with project number 628.011.029, which is (partly) financed by the Dutch Research Council (NWO).

    Upcoming events