Crowds kan användas för att generera och utvärdera designlösningar. För att öka en crowdsourcing systemets effektivitet föreslår och jämför vi två utvärderingsmetoder, en med fem poängs Likert skala betyg och den andra förutsägelse röstning. Våra resultat visar att även om de två utvärderingsmetoderna korrelerar har de olika mål: medan förutsägelseröstning fokuserar utvärderarna på att hitta de allra bästa lösningarna, fokuserar betygsvärderarna på alla lösningar. Förutsägelseröstning är därför lämplig när det finns många lösningar av dålig kvalitet som måste filtreras bort, och klassificering är lämplig när alla idéer är rimliga och åtskillnader måste göras mellan alla lösningar. Publiken föredrar att delta i förutsägelseröstningen. Resultaten har pragmatiska konsekvenser, vilket tyder på att utvärderingsmetoder bör tilldelas i förhållande till fördelningen av kvalitet som finns i varje skede av crowdsourcing.
I en annan studie av crowd-genererade idéer, Det finns att förutsägelse röstning (prediktera om en idé kan vinna tävlingen) är lämpligare när många dåliga idéer behöver filtreras bort, medan Likert skala betyg är lämpligare när mer förfinade distinktioner måste göras för idéer som är av rimlig kvalitet REF.
Evaluating Design Solutions Using Crowds
{'venue': 'AMCIS', 'journal': None, 'mag_field_of_study': ['Computer Science']}