TU Berlin

Quality and Usability LabSubjective assessment and instrumental prediction of mobile online gaming on the basis of perceptual dimensions

Inhalt des Dokuments

zur Navigation

Subjective assessment and instrumental prediction of mobile online gaming on the basis of perceptual dimensions

Motivation

Die Bestimmung der subjektiv empfundenen Qualität des Nutzers (Quality of Experience) von reinem Audio- und Video-Material unterscheidet sich in vielfacher Weise von der Qualitätsbestimmung von Computerspielen. Letztere weisen durch ihren interaktiven Charakter eine Vielzahl an Einflussfaktoren auf. Nicht nur Faktoren komplexer und innovativer Spielsysteme haben einen Einfluss auf die QoE, sondern auch der Spieler selbst. Ein Qualitätsurteil, das sich durch den Vergleich von erwarteter und wahrgenommener Beschaffenheit einer Einheit ergibt, hängt stark von den Vorlieben, Erwartungen und Fähigkeiten des Spielers ab.

Auf dieses noch junge Forschungsgebiet lassen sich nicht ohne Weiteres standardisierte Methoden zur Bestimmung der QoE anwenden. Dies wird bereits dadurch ersichtlich, dass in aufgabenorientierten Mensch-Computer-Interaktionen das Ziel mit minimaler Anstrengung erreicht werden soll. In einem Spiel übt der Spieler jedoch Aufwand aus, um das Ergebnis zu beeinflussen und fühlt sich dadurch emotional verbunden. Neue Konzepte wie Immersion und Flow, einem Zustand des Glücksempfindens während des Gleichgewichts von Fähigkeiten und Herausforderungen, treten somit in Erscheinung.

Eine Analyse des Spielemarktes zeigt, dass der Anteil von mobilen digitalen Spielen (Mobile Games) in den vergangen Jahren stark gestiegen ist. Mobile Games sind in jenem Sinne besonders, da mobile Geräte wie Smartphones oder Tablets nicht ursprünglich für Spiele entwickelt wurden und diese somit nicht optimal daran adaptiert sind. Dies gilt auch für das neuartige Konzept des Cloud Gamings, bei dem das gesamte Spiele auf einem Server ausgeführt und lediglich das Video- und Audio-Material zum Endnutzer übertragen wird.

 

Ziel des Projekts

Ziel des Forschungsvorhabens ist es, Methoden zur Bestimmung der QoE von Mobile Games zu entwickeln. Zudem soll basierend auf einer Datenbank mit subjektiven Qualitätsurteilen ein Modell, ähnlich dem bekannten E-Modell, zur Vorhersage der QoE entworfen werden. Folgende konkrete Schritte sind hierzu geplant:

  • Einrichtung und Modifikation einer Testumgebung zur Durchführung von Experimenten mit einem Cloud-Gaming-System für Mobile Games
  • Entwicklung einer Klassifizierung von Spielen zur Auswahl von repräsentativen Spielen und zur Identifizierung von System- und Nutzerfaktoren
  • Erstellung eines Fragebogens, der einen großen Raum relevanter Qualitätsdimensionen abdeckt
  • Identifizierung von qualitätsrelevanten Wahrnehmungsdimensionen und Analyse ihres Einflusses auf die Gesamtqualität
  • Die Analyse der Performance von aktuellen objektiven Metriken, die für unterschiedliche Inhalte und Dienste im Bereich vom Mobile Gaming vorgeschlagen wurden
  • Erstellung eines QoE-Modells basierend auf den Eigenschaften des Spiels, des Systems und des Netzwerks sowie Benutzer- und Kontextfaktoren

 

 

Zeitraum: 
01/2016 - 06/2019
T-labs Teammitglieder:
Steven Schmidt
Finanziert von:
Deutsche Forschungsgemeinschaft (DFG)
Projektnummer:
MO 1038/21-1

Publikationsverzeichnis

NDNetGaming-development of a no-reference deep CNN for gaming video quality prediction
Zitatschlüssel utke2020a
Autor Utke, Markus and Zadtootaghaj, Saman and Schmidt, Steven and Bosse, Sebastian and Möller, Sebastian
Seiten 1–23
Jahr 2020
ISSN 1573-7721
DOI 10.1007/s11042-020-09144-6
Adresse Address of the Publisher and (NOT the conference)
Journal Multimedia Tools and Applications
Monat jul
Verlag Springer
Wie herausgegeben Fullpaper
Zusammenfassung Gaming video streaming services are growing rapidly due to new services such as passive video streaming of gaming content, e.g. Twitch.tv, as well as cloud gaming, e.g. Nvidia GeForce NOW and Google Stadia. In contrast to traditional video content, gaming content has special characteristics such as extremely high and special motion patterns, synthetic content and repetitive content, which poses new opportunities for the design of machine learning-based models to outperform the state-of-the-art video and image quality approaches for this special computer generated content. In this paper, we train a Convolutional Neural Network (CNN) based on an objective quality model, VMAF, as ground truth and fine-tuned it based on subjective image quality ratings. In addition, we propose a new temporal pooling method to predict gaming video quality based on frame-level predictions. Finally, the paper also describes how an appropriate CNN architecture can be chosen and how well the model performs on different contents. Our result shows that among four popular network architectures that we investigated, DenseNet performs best for image quality assessment based on the training dataset. By training the last 57 convolutional layers of DenseNet based on VMAF values, we obtained a high performance model to predict VMAF of distorted frames of video games with a Spearman’s Rank correlation (SRCC) of 0.945 and Root Mean Score Error (RMSE) of 7.07 on the image level, while achieving a higher performance on the video level leading to a SRCC of 0.967 and RMSE of 5.47 for the KUGVD dataset. Furthermore, we fine-tuned the model based on subjective quality ratings of images from gaming content which resulted in a SRCC of 0.93 and RMSE of 0.46 using one-hold-out cross validation. Finally, on the video level, using the proposed pooling method, the model achieves a very good performance indicated by a SRCC of 0.968 and RMSE of 0.30 for the used gaming video dataset.
Link zur Publikation Link zur Originalpublikation Download Bibtex Eintrag

Navigation

Direktzugang

Schnellnavigation zur Seite über Nummerneingabe