TU Berlin

Quality and Usability LabSubjective assessment and instrumental prediction of mobile online gaming on the basis of perceptual dimensions

Inhalt des Dokuments

zur Navigation

Subjective assessment and instrumental prediction of mobile online gaming on the basis of perceptual dimensions

Motivation

Die Bestimmung der subjektiv empfundenen Qualität des Nutzers (Quality of Experience) von reinem Audio- und Video-Material unterscheidet sich in vielfacher Weise von der Qualitätsbestimmung von Computerspielen. Letztere weisen durch ihren interaktiven Charakter eine Vielzahl an Einflussfaktoren auf. Nicht nur Faktoren komplexer und innovativer Spielsysteme haben einen Einfluss auf die QoE, sondern auch der Spieler selbst. Ein Qualitätsurteil, das sich durch den Vergleich von erwarteter und wahrgenommener Beschaffenheit einer Einheit ergibt, hängt stark von den Vorlieben, Erwartungen und Fähigkeiten des Spielers ab.

Auf dieses noch junge Forschungsgebiet lassen sich nicht ohne Weiteres standardisierte Methoden zur Bestimmung der QoE anwenden. Dies wird bereits dadurch ersichtlich, dass in aufgabenorientierten Mensch-Computer-Interaktionen das Ziel mit minimaler Anstrengung erreicht werden soll. In einem Spiel übt der Spieler jedoch Aufwand aus, um das Ergebnis zu beeinflussen und fühlt sich dadurch emotional verbunden. Neue Konzepte wie Immersion und Flow, einem Zustand des Glücksempfindens während des Gleichgewichts von Fähigkeiten und Herausforderungen, treten somit in Erscheinung.

Eine Analyse des Spielemarktes zeigt, dass der Anteil von mobilen digitalen Spielen (Mobile Games) in den vergangen Jahren stark gestiegen ist. Mobile Games sind in jenem Sinne besonders, da mobile Geräte wie Smartphones oder Tablets nicht ursprünglich für Spiele entwickelt wurden und diese somit nicht optimal daran adaptiert sind. Dies gilt auch für das neuartige Konzept des Cloud Gamings, bei dem das gesamte Spiele auf einem Server ausgeführt und lediglich das Video- und Audio-Material zum Endnutzer übertragen wird.

 

Ziel des Projekts

Ziel des Forschungsvorhabens ist es, Methoden zur Bestimmung der QoE von Mobile Games zu entwickeln. Zudem soll basierend auf einer Datenbank mit subjektiven Qualitätsurteilen ein Modell, ähnlich dem bekannten E-Modell, zur Vorhersage der QoE entworfen werden. Folgende konkrete Schritte sind hierzu geplant:

  • Einrichtung und Modifikation einer Testumgebung zur Durchführung von Experimenten mit einem Cloud-Gaming-System für Mobile Games
  • Entwicklung einer Klassifizierung von Spielen zur Auswahl von repräsentativen Spielen und zur Identifizierung von System- und Nutzerfaktoren
  • Erstellung eines Fragebogens, der einen großen Raum relevanter Qualitätsdimensionen abdeckt
  • Identifizierung von qualitätsrelevanten Wahrnehmungsdimensionen und Analyse ihres Einflusses auf die Gesamtqualität
  • Die Analyse der Performance von aktuellen objektiven Metriken, die für unterschiedliche Inhalte und Dienste im Bereich vom Mobile Gaming vorgeschlagen wurden
  • Erstellung eines QoE-Modells basierend auf den Eigenschaften des Spiels, des Systems und des Netzwerks sowie Benutzer- und Kontextfaktoren

 

 

Zeitraum: 
01/2016 - 06/2019
T-labs Teammitglieder:
Steven Schmidt
Finanziert von:
Deutsche Forschungsgemeinschaft (DFG)
Projektnummer:
MO 1038/21-1

Publikationsverzeichnis

Assessing Interactive Gaming Quality of Experience using a Crowdsourcing Approach
Zitatschlüssel schmidt2020a
Autor Schmidt, Steven and Naderi, Babak and Sabet, Saeed Shafiee and Zadtootaghaj, Saman and Carsten and Möller, Sebastian
Buchtitel 2020 Twelfth International Conference on Quality of Multimedia Experience (QoMEX)
Seiten 1–6
Jahr 2020
ISBN 978-1-7281-5965-2
DOI 10.1109/QoMEX48832.2020.9123122
Ort Athlone, Ireland
Monat may
Verlag IEEE
Serie QoMEX ’20
Wie herausgegeben Fullpaper
Zusammenfassung Traditionally, the Quality of Experience (QoE) is assessed in a controlled laboratory environment where participants give their opinion about the perceived quality of a stimulus on a standardized rating scale. Recently, the usage of crowdsourcing micro-task platforms for assessing the media quality is increasing. The crowdsourcing platforms provide access to a pool of geographically distributed, and demographically diverse group of workers who participate in the experiment in their own working environment and using their own hardware. The main challenge in crowdsourcing QoE tests is to control the effect of interfering influencing factors such as a user's environment and device on the subjective ratings. While in the past, the crowdsourcing approach was frequently used for speech and video quality assessment, research on a quality assessment for gaming services is rare. In this paper, we present a method to measure gaming QoE under typically considered system influence factors including delay, packet loss, and framerates as well as different game designs. The factors are artificially manipulated due to controlled changes in the implementation of games. The results of a total of five studies using a developed evaluation method based on a combination of the ITU-T Rec. P.809 on subjective evaluation methods for gaming quality and the ITU-T Rec. P.808 on subjective evaluation of speech quality with a crowdsourcing approach will be discussed. To evaluate the reliability and validity of results collected using this method, we finally compare subjective ratings regarding the effect of network delay on gaming QoE gathered from interactive crowdsourcing tests with those from equivalent laboratory experiments.
Link zur Publikation Link zur Originalpublikation Download Bibtex Eintrag

Navigation

Direktzugang

Schnellnavigation zur Seite über Nummerneingabe