direkt zum Inhalt springen

direkt zum Hauptnavigationsmenü

Sie sind hier

TU Berlin

Inhalt des Dokuments

CrowdMAQA (BMBF)

Motivation and Automatic Quality Assessment in Paid Crowdsourcing Online Labor Markets

 

Description:

    Crowdsourcing auf Basis von Microwork‐Web‐Plattformen eröffnet einmalige Vorteile, um große und spezifische Daten für die Marktforschung bzw. für Entwicklung und Forschung zu generieren. Hauptvorteile sind die hohe Geschwindigkeit der Erhebung, die flexible Ausgestaltung, und die geringen Kosten. Gleichzeitig können die generierten Daten aber auch einen höheren Rauschanteil aufzeigen, d.h. unter Umständen eine geringe Reliabilität oder Validität aufweisen. Die Sicherstellung einer geeigneten Datenqualität wird vor allem dann relevant, wenn die Arbeiter der Crowd dafür bezahlt werden.

    Ausgehend von der wachsenden Verfügbarkeit und steigenden Popularität von CrowdsourcingDaten will das Projekt CrowdMAQA zentrale Fragen zu Qualität und Eigenschaften mittels Crowdsourcing erhobener Daten beantworten. Das Projekt konzentriert sich dabei auf die Beurteilung, Vorabschätzung, Überwachung und Sicherstellung der resultierenden Qualität und untersucht Faktoren, die die Motivation der Arbeitnehmer beeinflussen. Um solche Qualitätseinbußen auszuschließen werden im vorgeschlagenen Projekt automatische Qualitätssicherungsmodelle, die mit Hilfe des maschinellen Lernens erstellt werden, konzipiert, implementiert und evaluiert. Solche Modelle können bspw. die Reihenfolge der Aufgaben für die Befragten auswählen oder die Qualität der generierten Daten anhand von Konsistenten und/oder geloggten Zeitangaben vorhersagen und somit über die Bezahlung mitentscheiden. Darüber hinaus sollen Faktoren ermittelt werden, die die Motivation und deren Einfluss auf die Arbeitsleistung ausdrücken. Dabei ist zu berücksichtigen, dass die Qualität der Arbeit und die Motivation des Arbeiters (Probanden) von einer ganzen Reihe verschiedener Faktoren beeinflusst werden können.

    Die Untersuchung dieser Faktoren ist ebenfalls insofern Bestandteil des hier vorgeschlagenen Projekts, als dass die empirisch ermittelten Resultate Rückschlüsse auf Einflussfaktoren zulassen.

     

    Time Frame:
    4/2012 - 3/2015
    Team Members:
    Babak Naderi
    Software Campus Partners:
    TU-Berlin, Deutsche Telekom AG
    Funding by:
    Bundesministerium für Bildung und Forschung - BMBF

    Pubications

    Naderi, Babak and Polzehl, Tim and Wechsung, Ina and Köster, Friedemann and Möller, Sebastian (2015). Effect of Trapping Questions on the Reliability of Speech Quality Judgments in a Crowdsourcing Paradigm. 16th Ann. Conf. of the Int. Speech Comm. Assoc. (Interspeech 2015). ISCA, 2799–2803.


    Naderi, Babak and Wechsung, Ina and Möller, Sebastian (2015). Effect of Being Observed on the Reliability of Responses in Crowdsourcing Micro-task Platforms. Quality of Multimedia Experience (QoMEX), 2015 Seventh International Workshop on. IEEE, 1–2.


    Naderi, Babak and Wechsung, Ina and Polzehl, Tim and Möller, Sebastian (2014). Development and Validation of Extrinsic Motivation Scale for Crowdsourcing Micro-task Platforms. Proceedings of the 2014 International ACM Workshop on Crowdsourcing for Multimedia. ACM, 31–36.


    Naderi, Babak and Polzehl, Tim and Beyer, André and Pilz, tibor and Möller, Sebastian (2014). Crowdee: Mobile Crowdsourcing Micro-task Platform for Celebrating the Diversity of Languages. Proc. 15th Ann. Conf. of the Int. Speech Comm. Assoc. (Interspeech 2014), Show & Tell Session. ISCA, 1496–1497.


    Zusatzinformationen / Extras

    Direktzugang

    Schnellnavigation zur Seite über Nummerneingabe

    Softwarecampus
    Lupe