TU Berlin

Quality and Usability LabStefan Hillmann

Page Content

to Navigation

There is no English translation for this web page.

Dr.-Ing. Stefan Hillmann


Research Field Usability (evaluation) of spoken and multimodal dialogue systems.

Research Topics - dialog management and machine learning - automatic usability prediction - multimodal human computer interaction - modelling and simulation of user behaviour

Research Projects Since December 2018: Optimization of conversational user interface using reinforcement learning. Since April 2013: Employment in the project Universal Home Control Interface@Connected Usability. The project includes research on methods for the usability evaluation of multimodal and adaptive services in smart home environments. Stefan’s main task is the conception and implementation of the dialogue management for an adaptive spoken dialogue system.

January 2010 until July 2011: Employment in the project DFG project User Model. This project was focused on research on the automatic usability evaluation of spoken dialogue systems using methods of sociological technology studies.

Background He did his diploma in computer studies (Diplom-Informatiker) in 2006. Afterwards, he worked in a promotional program for innovative start-ups (hosted at Freie Universität Berlin). From year 2007 until end of 2009 he was employed as software developer at Novedia AG. Since 2010, he is an PhD student at the Quality and Usability Lab in the position of a research assistant. 

Contact E-Mail: stefan.hillmann@tu-berlin.de (encryption: public gpg key)

Teaching activities
Coordination MOOC Communication Acoustics

Seminar Quality and Usability

  • Modellbasierte Usability-Evaluierung: SS 2012 (with Klaus-Peter Engelbrecht), SS 2013 (with Klaus-Peter Engelbrecht, Matthias Schulz), SS 2014 (with Klaus-Peter Engelbrecht, Marc Halbrügge, Matthias Schulz), SS 2015 (with Klaus-Peter Engelbrecht, Marc Halbrügge)
  • Sprachdialogsysteme und Dialogsteuerung: WS 2012/2013, WS 2013/2014, WS 2014/2015 (all with Benjamin Weiss)
  • Neuronale Netze in der Sprachtechnologie: SS 2016 (with Benjamin Weiss, Marc Halbrügge)

Exercise Multimodal Interaction

  • SS 2012 (with Stefan Schaffer, Julia Seebode), SS 2013 (with Stefan Schaffer, Julia Seebode), SS 2014 (with Maija Poikela, Patrick Ehrenbrink), SS 2015 (with Robert Walter, Patrick Ehrenbrink), SS 2016 (with Patrick Ehrenbrink), SS 2017 (with Patrick Ehrenbrink)

Study projects

  • Smart Picture Frame (face recognition): WS 2014/2015
  • Put-That-There (parallel multimodal interaction): WS 2016/2017
  • Visualisierung von Richtungshören und binauralem Hören: SS 2017
  • TU Walking (Fußgängnernavigation an der TU Berlin): SS 2017, WS 2017/18
  • BC Stories (virtual reality environment, bcstories.ca)



Hillmann, S., Michael, T., Weiss, B. and Möller, S. (2021). Hrsg., Elektonische Sprachsignalverarbeitung 2021. In: Studientexte zur Sprachkommunikation, Bd. 99, TUDpress, Dresden.

Hillmann, S., Himmelsbach, T. and Weiss, B. (2021). Comparison of Training Behaviour and Performance of Reinforcement Learning based Policies for Dialogue Management. In Elektronische Sprachsignalverarbeitung 2021 (pp. 239–246), Berlin, DE.

Weiss, B., Hillmann, S. and Möller, S. (2021). Intents in Sprachdialogen: Eine Praxisperspektive. In Elektronische Sprachsignalverarbeitung 2021 (pp. 192–199), Berlin, DE.

Yuan, S., Brüggemeier, B., Hillmann. S., and T. Michael (2020). User Preference and Categories for Error Responses in Conversational User Interfaces. In Proc. 2nd Conference on Conversational User Interfaces (pp. 1–8), Bilbao, Spain. doi: 10.1145/3405755.3406126.

Weiss, B., Hillmann, S., Michael, T. and Himmelsbach, T. (2020. Zur Automatischen Schätzung von Kostenfunktionen aus Dialogen. In Elektronische Sprachsignalverarbeitung 2020 (pp. 236–240), Magdeburg, DE.

Jansson, C.-G. , Thottappillil, R., Hillmann, S., Möller, S., Hari, K. V. S. and Sundaresan, R. (2020): Experiments in Creating Online Course Content for Signal Processing Education. In ICASSP 2020 - 2020 IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP) (pp. 9220–9223), Barcelona, Spain, doi: 10.1109/ICASSP40776.2020.9054289.

Hillmann, S., Himmelsbach, T. and Weiss B. (2020): Vergleichende Untersuchung von Reinforcement Learning Verfahren beim Training eines Dialog Managers. In Elektronische Sprachsignalverarbeitung 2020 (pp. 249–256), Magdeburg, DE.

Hillmann, S., Engelbrecht, K.-P. and Weiss, B. (2019). Semi-automatische Generierung und Reinforcement Learning basiertes Training eines Dialogmanagers. In: Elektronische Sprachsignalverarbeitung 2019 (pp. 31–41), Dresden, Germany.

Hillmann, S., Weiss, B. and Michael, T. (2018). Simulation von Nutzerverhalten bei der Interaktion mit Sprachdialogsystemen mittels Künstlicher Neuronaler Netzwerke. In: Elektronische Sprachsignalverarbeitung 2018 (pp. 151–158), ESSV 2018, Ulm, Germany.

Weiss, B., Michael, T. and Hillmann, S. (2018). Kontinuierliche Schätzung von Sprechgeschwindigkeit mit einem Rekurrenten Neuronalen Netzwerk. In: Elektronische Sprachsignalverarbeitung 2018 (pp. 186–191), ESSV 2018, Ulm, Germany. 

Weiss, B., Wechsung, I., Hillmann, S., Möller, S. (2017 ). Multimodal HCI: exploratory studies on effects of first impression and single modality ratings in retrospective evaluation. In: Journal on Multimodal User Interfaces 11(2), pp. 115-131, 2017.

Möller, S., Ahrens, J., Altinsoy, M. E., Buchschmid, M., Fels, J., Hillmann, S. et al. (2017). A cross-university massive open online course on communication acoustics. In: The Journal of the Acoustical Society of America, 141(5), pp. 3556–3556.

Möller, S., Ahrens, J., Altinsoy, E., Buchschmid, M., Fels, J., Hillmann, S. et al. (2017) TU9-MOOC Communication Acoustics: Erste Erfahrungen. In: Fortschritte der Akustik - DAGA 2017: Plenarvortr. u. Fachbeitr. d. 43. Dtsch. Jahrestg. f. Akust (pp. 149–152), DAGA 2017, Kiel, Germany.

Michael, T., Hillmann, S., and Weiss, B. (2017). An Artifical Conversational Agent for Students at the TU Berlin. In: Proc. of Elektronische Sprachsignalverarbeitung 2017 (pp. 238–245). ESSV 2017, Saarbrücken, Germany.

Hillmann, S. (2017). Simulation-Based Usability Evaluation of Spoken and Multimodal Dialogue Systems. Dissertation (published at T-Labs Series in Telecommunication Services, Springer), doi.org/10.1007/978-3-319-62518-8.

Ehrenbrink, P. and Hillmann, S. (2017). Comparing Priming Effects of Visual and Textual Task Representations - Texts can Influence Users’ Utterances. Presented in talk at IWSDS 2017, Farmington, US. doi.org/10.13140/RG.2.2.27376.66568

Möller, S., Engelbrecht, K.-P., Hillmann, S. and Hinterleitner, F. Konzeption eines instrumentellen Evaluationsprotokolls für interaktive Sprachdienste im Kraftfahrzeug. In: Proc. of DAGA 2016 (pp. 1378-1381), DAGA 2016, Aachen, Germany.
Ehrenbrink, P., Hillmann, S., Weiss, B. and Möller, S. Psychological Reactance in HCI: A Method Towards Improving Acceptance of Devices and Services. In: Proc. of the 28th Australian Conference on Computer-Human Interaction (pp. 478-482), OzCHI 2016, New York, NY, USA.

Hillmann S. and Engelbrecht, K.-P. Modelling Goal Modifications in User Simulation. In: Proc. of Future and Emerging Trends in Language Technology (pp. 149-159), FETL 2015, Sevilla. 

Möller, S., Westermann, T. and Hillmann, S. DAGA-App: Konzeption und Nutzungsdatenanalyse der DAGA 2014. In: Fortschritte der Akustik – DAGA 2015: Plenarvortrag und Fachbeitrag. Nürnberg.

Hillmann S., Engelbrecht, K.-P. and Möller, S. ITG-Richtlinie zur Messung und Bewertung der Usability in Smart Home-Umgebungen. In: VDE-Dialog, ITG-News 1(28). 

Hillmann, S. Usability-Untersuchung der natürlichsprachlichen Bedienung eines Smart-TV, In: Elektronische Sprachsignalverarbeitung 2015, Studientexte zur Sprachkommunikation Vol. 78, pp. 96-103, Eichstätt-Ingolstadt, TUDpress. 

Hillmann, S. (2014). Evaluation von Nutzersimulationen anhand eines Ähnlichkeitsmasses für Dialogkorpora. In: Elektronische Sprachsignalverarbeitung 2014 (pp. 72–79). Dresden. 
Mateo Navarro, P. L., Hillmann, S., Möller, S., Ruiz, D. S. and Pérez, G. M. Run-time Model Based Framework for Automatic Evaluation of Multimodal Interfaces. In: Journal on Multimodal User Interfaces (8(4), pp. 399-427. 

Engelbrecht, K.-P., Hillmann, S., Ehrenbrink, P., Schulz, M. and Möller, S., Messung und Bewertung der Usability in Smart Home-Umgebungen, VDE-ITG-Richtlinie (ITG 2.1-02), VDE Verlag, Berlin. 

Engelbrecht, K.-P., Ehrenbrink, P., Hillmann, S. and Möller, S. (2014). Messung und Bewertung der Usability in Smart Home-Umgebungen. In: VDE Kongress 2014. Smart Cities – Intelligente Lösungen für das Leben in der Zukunft. (pp. 140-145). Frankfurt a. Main. 

Möller, S., Engelbrecht, K.-P., Hillmann, S. and Ehrenbrink, P. (2014). New ITG Guideline for the Usability Evaluation of Smart Home Environments. In: 11. ITG Fachtagung Sprachkommunikation. Erlangen. 

Hillmann, S. and Engelbrecht, K.-P. (2013). Aufgabenmodellierung in der Simulation von Interaktionen mit Sprachdialogsystemen. In: P. Wagner (Ed.), Elektronische Sprachsignalverarbeitung 2013 (pp. 20–27). TUDpress.

Hillmann, S. (2012). Gut und günstig? Nutzung des Google Speech API in Sprachdialogsystemen. In: M. Wolff (Ed.), Elektronische Sprachsignalverarbeitung 2012 (pp. 339–346). Cottbus. 

Möller, S., Engelbrecht, K., Kretzschmar, F., Schmidt, S. and Weiss, B. (2012). Position Paper: Towards Standardized Metrics and Tools for Spoken and Multimodal Dialog System Evaluation. In: SDCTD ’12 NAACL-HLT Workshop on Future Directions and Needs in the Spoken Dialog Community: Tools and Data (pp. 5–6). 
Pedro Luis, M. N. and Hillmann, S. (2012). Model-based Measurement of Human-Computer Interaction in Mobile Multimodal Environments. In: Multimodal Interaction Workshop (pp. 30–33).

Engelbrecht, K.-P., Schmidt, S. and Möller, S. (2011). Performance of an Ad-hoc User Simulation in a Formative Evaluation of a Spoken Dialog System. In: Proc. IWSDS2011 Workshop on Paralinguistic Information and its Integration in Spoken Dialogue Systems (pp. 153–163). Granada, ES.

Schulz, M., Schmidt, S., Engelbrecht, K.-P. and Möller, S. (2011). Using device models for analyzing user interaction problems. In: The proceedings of the 13th international ACM SIGACCESS conference on Computers and accessibility (pp. 303–304). New York: ACM. 

Schmidt, S. and Schulz, M. (2011). Automatisierte Evaluierung von Mensch-Maschine-Schnittstellen. In: Proc. of the 9. Berliner Werkstatt. Berlin. 

Töppel, M., Stubbe, J. and Schmidt, S. (2011). Technikgenerationen in der Mensch-Technik-Interaktion. In: Proc. of the 9. Berliner Werkstatt. Berlin. 

Schmidt, S., Engelbrecht, K.-P., Schulz, M., Meister, M., Stubbe, J., Töppel, M. and Möller, S. (2010). Identification of interactivity sequences in interactions with spoken dialog systems. In: 3rd International Workshop on Perceptual Quality of Systems 2010 (pp. 109–114). 

Schmidt, S., Schulz, M., Meister, M., Stubbe, J., Töppel, M., Engelbrecht, K.-P. and Möller, S. (2010). Identifikation von Interaktivitätssequenzen zur regelbasierten Usability-Evaluierung von Sprachdialogsystemen. In: Hansjörg Mixdorff (Ed.), Electronic Speech Signal Processing 2010 (pp. 188–195). Berlin: TUDpress.


Technische Univertistät Berlin
Quality and Usability Lab
Telekom Innovation Laboratories
Ernst-Reuter-Platz 7
10587 Berlin, Germany


Quick Access

Schnellnavigation zur Seite über Nummerneingabe