Aus 25 mach 50 – unser Bewertungs-System wird überarbeitet

Author

Daniel Marz

clickworker.com - Die Crowdsourcing-Plattformclickworker.com - Your crowdsourcing Platform

Für jeden Auftrag, den ihr auf clickworker.com abschließt, erhaltet ihr eine eigene Bewertung. Je nachdem, ob diese gut oder schlecht ausfällt, ändert sich euer Gesamtwert als Autor, Übersetzer oder für den Bereich Web-Recherche. In Kürze werden wir einige Änderungen an der Methode zur Berechnung dieses Gesamtwerts vornehmen. Dies soll in erster Linie dazu beitragen, dass eure Werte nicht mehr so anfällig für extreme Einzelbewertungen sind und Abwertungen weniger stark ausfallen.

Was genau wird sich ändern? Zwei Dinge.

Zum einen werden wir die Anzahl der Aufträge, aus der sich euer Wert ergibt, verdoppeln – aus 25 werden 50. Allein dadurch wird die mögliche Veränderung eures Gesamtwertes pro Auftrag geringer. Euer Wert wird also insgesamt stabiler.

Zusätzlich wird aber auch noch ein weiterer Mechanismus eingeführt, der extreme Bewertungen „glättet“, indem er ältere Bewertungen mit einfließen lässt.

Das funktioniert so: Ausgehend von eurem aktuellen Wert habt ihr eine „Normale Zone“, die nach oben und unten jeweils ca. 10 Prozentpunkte beträgt. Für einen Autor mit 85% würde sie sich also zum Beispiel ungefähr zwischen 75% – 95% erstrecken.

Erhält dieser Autor jetzt eine Bewertung für einen neuen Text, gibt es zwei Möglichkeiten. Liegt die Bewertung innerhalb dieser normalen Zone, fließt die Bewertung genau in dieser Höhe in den Wert ein.

Anders sieht es aus, wenn der Autor eine Bewertung erhält, die außerhalb dieses Bereiches liegt. Hier kommt dann der neue „Glättungs-Mechanismus“ zum Tragen: An Stelle der abweichenden Bewertung wird dann der Durchschnitt der letzten drei Bewertungen in die Wertung genommen.

Das Ganze klingt vermutlich erst einmal etwas kompliziert, wird aber mit Hilfe des folgenden Beispiels hoffentlich etwas klarer.

Angenommen, die letzten beiden Texte unseres Beispielautoren wurden mit 80% und 85% bewertet – ein Bereich, in dem seine Bewertungen auch normalerweise liegen. Heute hat er aber einen richtig miesen Tag und erhält für seinen nächsten Text nur 50%. Normalerweise würde sein Wert dadurch deutlich sinken. Das System stellt jetzt aber fest, dass diese Bewertung außerhalb seiner aktuellen „normalen Zone“ liegt. Statt die 50% direkt in den Wert einfließen zu lassen, wird jetzt aus diesem und den vorherigen beiden Aufträgen ein Mittelwert errechnet. In unserem Beispiel wären das etwa 72%.

Und genau diese 72% werden dann – anstatt der eigentlichen Bewertung von 50% – für diesen Text in die Statistik übernommen. Der schlecht bewertete Text wird also durch die vorherige gute Arbeit etwas „abgemildert“ und der Wert des Beispiel-Autoren sinkt nicht so stark wie bisher.