Methoden zur Metaverse-Forschung
Systematischer Überblick über empirische Methoden zur Erhebung von Nutzermeinungen in und zu Metaverse-Umgebungen
Runjie Xie, Benedikt Morschheuser, Otmar Lell, Sophia Dasch
Im Rahmen des Forschungsprojekts wurden in verschiedenen Arbeitspaketen durch die Adaption und Weiterentwicklung etablierter Methoden innovative Ansätze entwickelt und eingesetzt, um Meinungen der Nutzerinnen und Nutzern zu und in Metaversen zu erheben. Ein zentrales Projektziel bestand darin, aus der Anwendung empirischer Methoden zur Evaluation von Designs und Benutzerschnittstellen im Metaverse (z.B. Fokusgruppen, repräsentative Befragungen, Demonstratoren und Feldexperimente) methodische Schlussfolgerungen für die Gestaltung nutzerzentrierter und privatsphärefreundlicher Metaverse-Umgebungen abzuleiten. Daher wurden die eingesetzten Methoden am Projektende selbst zum Untersuchungsgegenstand gemacht. Hierzu wurden die Verfahren systematisch gegenübergestellt und auf Basis der gesammelten Erfahrungen vergleichend ausgewertet.
Ziel ist es, die gewonnenen Erkenntnisse und Erfahrungen zukünftigen Forschenden und Praktikerinnen und Praktikern zugänglich zu machen, die Nutzermeinungen in und zu Metaverse-Umgebungen erheben möchten, und so die Methodenwahl durch praxisnahe Einblicke zu erleichtern.
Abbildung: Systematische Gegenüberstellung der im Projekt eingesetzten empirischen Forschungsmethoden
Die Abbildung kann hier heruntergeladen werden.
Experteninterviews zu Metaverse-bezogenen Fragestellungen
Erprobung im Forschungsprojekt:
Im Rahmen des Forschungsprojekts wurden Interviews mit 30 Expertinnen und Experten mit umfassender Expertise im Bereich Metaverse und Privatheit durchgeführt, um datenschutzbezogene Herausforderungen im Metaverse zu identifizieren und mögliche Lösungsansätze zu entwickeln.
Qualität der Informationsvermittlung: Mittel
Ohne Medienmaterialien bleiben die Themen Metaverse und Privatheit sowie damit verbundene Problemstellungen und Fallszenarien sehr abstrakt. Ihre Einordnung erfordert daher ein gewisses Maß an Vorstellungskraft sowie Vorkenntnisse zu Metaverse-Technologien oder vergleichbaren digitalen Kontexten. Zu Beginn der Interviews wurde eine Einführung gegeben, um ein gemeinsames Verständnis herzustellen. Dennoch können trotz ausführlicher Erläuterungen unterschiedliche Interpretationen entstehen. Obwohl im Einzelinterview ausreichend Zeit für Austausch besteht, ist es eine Herausforderung, komplexe Konzepte ausschließlich mündlich eindeutig und verständlich zu vermitteln.
Vorbereitungsaufwand: Mittlerer Aufwand
Zunächst müssen geeignete Expertinnen und Experten zum Forschungsthema identifiziert werden. Die Recherche ist aufgrund des noch jungen und fragmentierten Forschungs- und Praxisfelds sehr zeitintensiv. Da Metaverse und Privatheit ein vergleichsweise neues Themenfeld darstellen, erfolgte die Identifikation überwiegend über digitale Medienkanäle, beispielsweise anhand einschlägiger Beiträge, öffentlich sichtbaren Engagements oder über Netzwerke und Communities in diesem Bereich. Anschließend wurde ein individuelles Anschreiben zur Intervieweinladung erstellt und versendet.
Bei Interesse oder Rückfragen werden zusätzliche Informationen zum Interview und zum Forschungsvorhaben bereitgestellt. Nach einer Teilnahmezusage wird anschließend ein Termin für das Interview vereinbart.
Für die spätere Auswertung ist eine Aufzeichnung der Interviews erforderlich, wodurch eine erhebliche Menge personenbezogener Daten verarbeitet wird. Daher sollte insbesondere bei Experteninterviews, in denen persönliche Einschätzungen geäußert werden, das Datenverarbeitungs- und Speicherkonzept durch die institutionellen Datenschutzbeauftragten geprüft werden, um ein DSGVO-konformes Vorgehen sicherzustellen.
Teilnehmerbezogene Herausforderungen: Hoher Aufwand
Die Responserate lag bei etwa 20%, d.h. ungefähr jede fünfte versendete Einladung wurde positiv beantwortet. Viele Expertinnen und Experten sind intrinsisch motiviert, ihre fachliche Expertise einzubringen oder betrachten das Thema Metaverse und Privatheit als relevantes Handlungsfeld, zu dem sie aktiv beitragen möchten, um auf bestehende Probleme aufmerksam zu machen und mögliche Lösungsansätze zu entwickeln.
Nach einer Zusage sind die Expertinnen und Experten in dem meisten Fällen zuverlässig zum vereinbarten Termin erschienen. Nur selten kam es zu Nichterscheinen oder Komplikationen bei der Terminvereinbarung.
Die Interviews werden durch eine gezielte Einarbeitung in die spezifischen Themenbereiche sowie die bisherigen Beiträge der jeweiligen Expertinnen und Experten vorbereitet. Da das Metaverse ein breites und teilweise uneinheitlich definiertes Forschungsfeld ist und identische Terminologien unterschiedlich interpretiert werden können, ist eine spezifische Auseinandersetzung mit der Arbeit der Expertinnen und Experten erforderlich, um deren Begriffe und fachlichen Kontext zu verstehen und korrekt einzuordnen.
Durchführungsaufwand: Mittlerer Aufwand
Die Interviews werden einzeln mit den Expertinnen und Experten durchgeführt, wobei die Interviewleitende das Gespräch aktiv steuert. Vor Beginn werden die Teilnehmenden um ihr Einverständnis zur Aufzeichnung gebeten. Die Gespräche werden anschließend aufgezeichnet.
Nachbereitungs- und Auswertungsaufwand: Sehr hoher Aufwand. Nach der Durchführung der Interviews werden die aufgezeichneten Gespräche transkribiert. Dabei können lokal eingesetzte, DSGVO-konforme KI-Modelle den Prozess unterstützen, sind jedoch insbesondere bei seltenen oder metaverse-spezifischen Begriffen noch sehr fehleranfällig, sodass eine manuelle Nachprüfung und Korrektur unverzichtbar ist.
Im Anschluss erfolgt die thematische Codierung, die in der qualitativen Forschung einen zeit- und arbeitsintensiven Prozess darstellt, bei dem die Transkripte iterativ nach relevanten Codes durchsucht und entsprechend markiert werden. Abschließend werden die codierten Daten ausgewertet und interpretiert.
Immersive Expertenworkshops im Metaverse
Erprobung im Forschungsprojekt:
Im Rahmen des Forschungsprojekts wurde ein Expertenworkshop im Metaverse zur gemeinsamen Erarbeitung und Evaluation von Lösungsansätzen für privatheitsbezogene Herausforderungen durchgeführt. Der Workshop fand mit mehr als 25 Expertinnen und Experten auf einer webbasiert zugänglichen Metaverse-Plattform statt. Die Plattform verfügte über integrierte Funktionen, die speziell für solche Veranstaltungen ausgelegt sind, darunter Sprachchat, Textchat, Bildschirmübertragung, Präsentationsmöglichkeiten, Diskussionsräume, Abstimmungstools, Reaktionen, sowie kollaborative Boards und virtuelle Haftnotizen. Zudem fördern Avatar-basierte Interaktion und räumliche Nähe Beteiligung, Diskussion und Gruppendynamik stärker als reine Videokonferenzformate. Die gemeinsame Arbeit in einer virtuellen Umgebung erzeugt ein stärkeres „Vor-Ort-Gefühl“ als 2D-Tools und unterstützt das Eintauchen in die Thematik.
Qualität der Informationsvermittlung: Hoch
Vielfältige Möglichkeiten zur multimodalen Kommunikation und Informationsvermittlung in der Metaverse-Umgebung, z.B. über Sprachchat, Präsentationen sowie die Integration von Zusatzmaterialien wie PowerPoint-Folien, Bildern, PDFs und 3D-Modellen, wodurch eine anschauliche und verständliche Vermittlung von Konzepten unterstützt wird. Die Die Durchführung des Workshops und der Diskussionen direkt in der Metaverse-Umgebung („Ort des Geschehens“) hat die Erklärbarkeit und Nachvollziehbarkeit von Problemen und Lösungsansätzen verbessert und abstrakte Konzepte greifbarer gemacht.
Vorbereitungsaufwand: Mittlerer Aufwand
Zunächst muss eine geeignete Metaverse-Plattform ausgewählt werden. Dies erfordert eine systematische Recherche und Evaluation potenzieller Plattformen und virtueller Umgebungen. Für Meetings und Workshops geeignete Lösungen sind häufig keine frei zugänglichen Consumer-Metaversen, sondern spezialisierte Plattformen mit kostenpflichtigen Geschäftsmodellen, weshalb verschiedene Angebote eingeholt und bewertet werden müssen. Bei der Auswahl sind sowohl rechtliche als auch funktionale Anforderungen zu berücksichtigen. Für unsere Zwecke wurde eine in Deutschland ansässige Plattform gewählt, um die Einhaltung der DSGVO sowie die Nutzung eines DSGVO-konformen Dienstes sicherzustellen. Darüber hinaus musste die Plattform Funktionen wie das Hochladen von Bildern, Präsentationen und 3D-Modellen sowie Werkzeuge für kollaboratives Arbeiten und Brainstorming, beispielsweise digitale Whiteboards und Haftnotizen, bereitstellen. Zudem sollte sie möglichst niedrigschwellig zugänglich sein, da die Teilnehmenden unterschiedliche Endgeräte und technische Voraussetzungen mitbringen. Aus diesem Grund fiel die Wahl auf eine webbasierte Lösung. Bei der Entscheidung über den Einsatz von VR-Headsets müssen potenzielle Motion Sickness, unterschiedliche körperliche und sensorische Voraussetzungen, die körperliche Belastung der Teilnehmenden sowie der Zugang zu und die Verfügbarkeit von VR-Geräten berücksichtigt werden. Der Einsatz von VR-Headsets ist für längere Workshop-Sessions mit einer Dauer von mehr als 30 Minuten nicht empfehlenswert.
Nach der Auswahl der Plattform erfolgt die Identifikation geeigneter Expertinnen und Experten sowie der Versand von Einladungen zu einem Workshoptermin. Da Metaverse und Privatheit ein vergleichsweise neues Themenfeld darstellen, erfolgte die Identifikation überwiegend über digitale Medienkanäle, beispielsweise anhand einschlägiger Beiträge, öffentlich sichtbaren Engagements oder über Netzwerke und Communities in diesem Bereich. Anschließend wurde ein individuelles Anschreiben zum Workshop erstellt und versendet. Bei Interesse oder Rückfragen werden zusätzliche Informationen zum Workshop und zum Forschungsvorhaben bereitgestellt.
Da in solchen Workshops persönliche Meinungen und Erfahrungen ausgetauscht werden, sollten die Datenverarbeitungs- und Speicherkonzepte zudem sorgfältig geprüft werden, um Datenschutzanforderungen zu erfüllen.
Teilnehmerbezogene Herausforderungen: Mittlerer Aufwand
Expertinnen und Experten mit diversifiziertem fachlichem Hintergrund wurden eingeladen, um eine interdisziplinäre Diskussion sowie die Entwicklung und Evaluation von Lösungskonzepten für privatheitsbezogene Herausforderungen zu ermöglichen. Die Rückmeldungsquote war moderat, da neben inhaltlichem Interesse auch die zeitliche Verfügbarkeit zum festgelegten Workshoptermin erforderlich war.
Für die zugesagten Teilnehmenden wird ein Tutorial zur Nutzung der Plattform und deren Funktionalitäten bereitgestellt, da nicht vorausgesetzt werden kann, dass sie sich schnell selbstständig mit einer unbekannten Plattform vertraut machen. Da die Teilnehmenden unterschiedliche Endgeräte für den Zugriff nutzen, wurde im Vorfeld auf die technischen Anforderungen sowie mögliche Probleme kommuniziert. Die Teilnehmenden werden gebeten, vor dem Workshop einen Probelauf zur Einwahl und Verbindung durchzuführen sowie die Basisfunktionen zu testen, um einen möglichst reibungslosen Workshopablauf zu gewährleisten.
Durchführungsaufwand: Mittlerer Aufwand
Die Herausforderung besteht im Bedarf und in der Koordination einer großen Anzahl an Workshopdurchführenden und unterstützenden Personen. Obwohl die ausgewählte Plattform webbasiert über den Browser zugänglich war und geringe technologische Hürden erwarten ließ, muss technischer Support dennoch eingeplant werden, da bei einer größeren Anzahl an Teilnehmenden Problemfälle unvermeidbar sind. Die technische Abhängigkeit und Stabilität haben zudem einen hohen Einfluss auf die Teilnahmequalität. Teilnehmende mit technischen Schwierigkeiten, etwa beim Betreten der virtuellen Welt oder nach einem Verbindungsabbruch, müssen parallel zum laufenden Workshop durch Supportpersonal betreut werden, um Probleme zu beheben und Frustration oder Abbrüche zu vermeiden.
Es wurden auch Gruppenarbeiten durchgeführt, bei denen die Teilnehmenden in Untergruppen aufgeteilt wurden. Dadurch bestand ein hoher Bedarf an Betreuungspersonal, um die Gruppenarbeiten zu moderieren, bei inhaltlichen Fragen zu unterstützen, technische Probleme zu beheben und die entstehenden Gespräche sowie Ergebnisse zu dokumentieren.
Nachbereitungs- und Auswertungsaufwand: Mittlerer Aufwand
Die im Workshop geäußerten Aussagen, erstellten Notizen sowie weitere Fragmente aus der virtuellen Umgebung (z.B. dokumentierte Beiträge der Teilnehmenden und Screenshots) werden zusammengeführt und ausgewertet, um aggregierte Informationen zu gewinnen. Dabei zeigen sich typische Einschränkungen von Workshops, insbesondere eine vergleichsweise geringere Datentiefe und weniger detaillierte Erkenntnisse im Vergleich zu Interviews aufgrund der begrenzten individuellen Sprechzeit der Teilnehmenden.
Fokusgruppen mit Medieneinsatz zur Vermittlung von Metaverse-Szenarien
Erprobung im Forschungsprojekt:
Im Rahmen des Forschungsprojekts wurden vier Fokusgruppen mit aktiven und nicht-aktiven Metaverse-Nutzenden durchgeführt, um die entwickelten Designmaßnahmen in den Bereichen Datenschutz- und Persönlichkeitsrecht zu evaluieren. Zur Veranschaulichung der Szenarien und Maßnahmen kamen verschiedene Medien zum Einsatz. Da das Metaverse ein abstraktes und heterogen interpretiertes Konzept ist, können unter gleichen Begriffen unterschiedliche Vorstellungen entstehen. Reine Textbeschreibungen reichen daher oft nicht aus, um eine gemeinsame Verständnisbasis herzustellen und Missverständnisse zu vermeiden. Der Einsatz geeigneter Visualisierungen und Medien ist deshalb zentral, um eine einheitliche Grundlage für die Diskussion zu schaffen.
Qualität der Informationsvermittlung: Mittel
Für die Fokusgruppen wurden Mock-up-Designs zur Visualisierung der entwickelten Konzepte von Designmaßnahmen erstellt. Diese reichten von statischen Mock-up-Bildern bis hin zu Videos, die Designmaßnahmen in einem Metaverse-Szenario simulieren. Trotz des vielfältigen Medieneinsatzes waren die Materialien ausschließlich 2D-basiert, sodass die Teilnehmenden die Designmaßnahmen nicht in einer immersiven 3D-Umgebung interaktiv erleben konnten.
Vorbereitungsaufwand: Hoher Aufwand
Zur verständlichen Kommunikation der entwickelten privatsphärenfreundlichen Designmaßnahmen wurden Mock-ups auf Basis erstellter und bearbeiteter Bilder sowie Videosequenzen eingesetzt. Bildbasierte Mock-ups können mit gängigen Tools wie PowerPoint, GIMP oder Adobe-Programmen erstellt werden. Die Videosequenzen wurden in der Metaverse-Umgebung Roblox erstellt, indem Szenarien entwickelt und geskriptet wurden, in die die Designmaßnahmen integriert waren. Anschließend wurde eine Videoaufnahme aus der Perspektive eines Metaverse-Nutzenden erstellt. Hierfür war zunächst der Erwerb plattformspezifischen Entwicklungswissens erforderlich.
Als nächster Schritt müssen die Rekrutierungskriterien für die Teilnehmenden festgelegt werden. Der Begriff „Metaverse“ ist nicht klar abgegrenzt und wird unterschiedlich interpretiert, etwa im Kontext von Virtual Reality, Augmented Reality, Plattformwelten oder Social VR. Zudem besteht keine einheitliche Metaverse-Umgebung, sondern eine starke Plattformfragmentierung (z.B. Roblox, VRChat, Fortnite oder Meta Horizon Worlds), was zu heterogenen Verständnissen bei den Teilnehmenden führen kann. Daher ist es wichtig, klare und präzise Kriterien für die Rekrutierung festzulegen.
Teilnehmerbezogene Herausforderungen: Mittlerer Aufwand
Für die Fokusgruppen werden aktive und nicht-aktive Metaverse-Nutzende zu unterschiedlichen Terminen rekrutiert, wobei gegebenenfalls auf bestehende Probandenpools zurückgegriffen werden kann. Der Einsatz finanzieller Anreize ist dabei essenziell, um eine zuverlässige Teilnahme sowie eine aktive Beteiligung an den Diskussionen sicherzustellen. Bei Teilnehmenden ohne ausreichende Vertrautheit mit gängigen Videokonferenztools sollte zudem ein entsprechendes technisches Briefing eingeplant werden.
Durchführungsaufwand: Mittlerer Aufwand
Es bedarf einer moderierenden Person, die zunächst eine Vorstellungsrunde durchführt, gemeinsame Begrifflichkeiten und das Verständnis des Metaverse klärt sowie allgemeine Einstellungen der Teilnehmenden erhebt. Zudem sollte die moderierende Person über ein tiefgehendes Verständnis des Metaverse verfügen, um spontan auftretende Fragen kompetent beantworten zu können. Anschließend werden die fokussierten Problemstellungen präsentiert und die entwickelten Lösungsansätze anhand von Bildern und Videosequenzen vorgestellt.
Im weiteren Verlauf leitet die moderierende Person die Diskussion, sorgt dafür, dass alle Teilnehmenden zu Wort kommen, und achtet auf die Einhaltung der vorgesehenen Zeitrahmen. Hierfür sind ein hohes Maß an Sensibilität und Erfahrung erforderlich. Die moderierende Person sollte zudem durch weiteres Unterstützungspersonal entlastet werden, etwa bei der Dokumentation der Ergebnisse, der Beobachtung nonverbaler Reaktionen sowie der Unterstützung bei technischen Problemen.
Nachbereitungs- und Auswertungsaufwand: Mittlerer Aufwand. Die Diskussionen und das Feedback der Teilnehmenden zu den vorgestellten Designmaßnahmen wurden transkribiert, den jeweiligen Designmaßnahmen zugeordnet und anschließend ausgewertet.
Online-Befragung mit Videoeinsatz zur Vermittlung von Metaverse-Szenarien
Erprobung im Forschungsprojekt:
Im Rahmen des Forschungsprojekts wurde eine Online-Befragung durchgeführt, in der verschiedene privatsphärenfreundliche Design-Maßnahmen für unterschiedliche Problemfelder untersucht wurden, darunter mangelnde Transparenz bei der Datensammlung, die unzureichende Darstellung von Datenschutzhinweisen im Metaverse, virtuelle Belästigung sowie die unbeabsichtigte Interaktion mit Social Bots aufgrund mangelnder Erkenntnisse. Die Befragung wurde als Vignettenstudie mit Video-Vignetten als Stimuli umgesetzt. Diese sind essenziell, um die oft abstrakten und schwer greifbaren Problemstellungen des Metaverse auch Teilnehmenden ohne Vorerfahrung anschaulich zu vermitteln. Dazu wurden zunächst verschiedene Szenarien für die virtuelle Umgebung entwickelt, darunter ein virtueller Fashion-Store, ein virtueller Elektronikmarkt, ein virtueller Club und ein virtuelles Fitnessstudio. In diese Umgebungen wurden anschließend die zu untersuchenden Designmaßnahmen integriert. Die Szenarien wurden danach aus der Nutzerperspektive als Videos aufgezeichnet und den Teilnehmenden zur Bewertung präsentiert.
Qualität der Informationsvermittlung: Mittel
Der Einsatz von Medien auf 2D-Bildschirmen ist auf zweidimensionale Darstellungen beschränkt. Dadurch werden geringere Realitätsnähe, Immersion und Präsenz erreicht als in VR, was die Erfassung authentischer kognitiver und emotionaler Reaktionen einschränken kann. Zudem fehlt den Teilnehmenden die Möglichkeit, sich selbstständig durch die virtuelle Umgebung zu bewegen und mit Avataren oder Objekten zu interagieren, wodurch ihre Handlungsfreiheit deutlich reduziert ist.
Vorbereitungsaufwand: Sehr hoher Aufwand
Zunächst müssen plattformspezifische Entwicklungskenntnisse aufgebaut werden, um die Erstellung virtueller Umgebungen zu ermöglichen. Anschließend erfolgt die Konzeption und Planung des Szenarios sowie der darin benötigten Elemente. Darauf aufbauend werden passende 3D-Modelle, Bilder und Audioelemente recherchiert oder bei Bedarf selbst erstellt, um das Szenario umzusetzen. Im nächsten Schritt werden Interaktionen und logische Abläufe durch entsprechendes Scripting implementiert. Danach wird die Nutzerperspektive modelliert und das Szenario in mehreren Iterationen aus dieser Perspektive aufgenommen. Abschließend erfolgen interne Feedbackschleifen zur Bewertung der Verständlichkeit und der umgesetzten Designentscheidungen, auf deren Basis eine iterative Verfeinerung der einzelnen Entwicklungsschritte vorgenommen wird.
Teilnehmerbezogene Herausforderungen: Geringer Aufwand.
Der Plug-and-Play-Charakter videobasierter Stimuli ermöglicht die Einbindung einer breiten Zielgruppe, einschließlich Personen ohne Vorkenntnisse im Umgang mit VR-Technologien oder virtuellen Welten. Zudem erhöht sich die Inklusivität der Teilnahme, da die Hürden der VR-Nutzung entfallen und auch Personen mit körperlichen Einschränkungen oder anderen Nutzungshindernissen leichter an der Studie teilnehmen können.
Die Rekrutierung von Teilnehmenden für Umfragen ist weniger aufwändig als für Experimente. Wenn die Online-Befragung eigenständig bereitgestellt und die Daten selbst erhoben werden, ist eine gezielte Bewerbung über verschiedene Kanäle erforderlich. Die Rekrutierung kann auch über etablierte Online-Umfrageplattformen und Panels mit großen Teilnehmendenpools erfolgen. Durch finanzielle Anreize lässt sich die Teilnahme zusätzlich leicht fördern. Zudem können bevölkerungsrepräsentative Panels genutzt werden, um repräsentative Ergebnisse zu erzielen.
Eine Herausforderung stellen sogenannte „Durchklicker“ dar, die die Umfrage ohne inhaltliche Auseinandersetzung bearbeiten. Diese müssen durch Attention-Checks sowie die Analyse der Bearbeitungszeit identifiziert und ausgeschlossen werden.
Durchführungsaufwand: Geringer Aufwand
Im Gegensatz zu interaktiven VR-Experimenten ermöglichen videobasierte Stimuli eine höhere Standardisierung und Konsistenz der Intervention. Aufgrund der asynchronen Durchführung kann bei Online-Befragungen nur eingeschränkt Unterstützung bei Verständnisfragen geleistet werden. Daher sollte die Befragung vorab mit verschiedenen Personen getestet werden, um mögliche Unklarheiten im Studiendesign und in den dargestellten Metaverse-Szenarien frühzeitig zu identifizieren und zu beheben.
Nachbereitungs- und Auswertungsaufwand: Geringer Aufwand
Online-Befragungen sind standardisiert und erfordern daher nur einen vergleichsweise geringen Aufwand für die Datenaufbereitung und Analyse.
Computer-gestütztes Experiment in einer Metaverse-Umgebung
Erprobung im Forschungsprojekt:
Im Rahmen des Forschungsprojekts wurde ein Experiment zur Untersuchung der Beeinflussung durch Social Bots in einem Metaverse-Einkaufskontext durchgeführt. Ziel war es zu analysieren, inwiefern die Kennzeichnung eines Social Bots als KI-gesteuert sowie dessen Rolle die Wahrnehmung von ausgesprochenen Einkaufsempfehlungen beeinflusst. Dafür wurde ein Szenario in Form eines virtuellen Elektronikshops erstellt, in dem Avatare sowohl reale Nutzende als auch Social Bots repräsentierten. Das Szenario wurde als Video aufgezeichnet und den Teilnehmenden präsentiert. Vor Beginn des Experiments erhielten die Teilnehmenden die Möglichkeit, sich in einer ausgewählten virtuellen Welt zu orientieren, um grundlegende Mechanismen von Metaverse und virtuellen Umgebungen zu verstehen. Durch das Ausprobieren wurden die Teilnehmenden mit zentralen Konzepten virtueller Umgebungen vertraut gemacht, darunter Avatare, 3D-Umgebungen, Navigation und Fortbewegung, soziale Interaktionen mit anderen Nutzenden, Transaktionen und virtuelle Läden.
Qualität der Informationsvermittlung: Hoch
Durch das Ausprobieren einer virtuellen Umgebung kann diese unmittelbar erlebt werden. Dabei wird Teilnehmenden ohne Vorerfahrung ein grundlegendes Verständnis des Metaverse-Konzepts vermittelt. Dies erleichtert später die Einordnung der Befragung sowie das Verständnis der Video-Vignetten, da die Teilnehmenden die dargestellten Situationen besser nachvollziehen können.
Vorbereitungsaufwand: Mittlerer Aufwand
Zunächst muss nach geeigneten Plattformen und virtuellen Welten recherchiert werden, die für den Einsatzzweck geeignet sind. Anschließend sind die spezifischen Anforderungen an die verwendete Hardware zu prüfen und zu testen, ob die virtuelle Umgebung auf den vorgesehenen Computern für die Experimentdurchführung flüssig läuft. In unserem Kontext wurde die Studie in einem Experimentlabor durchgeführt. Obwohl eine Metaverse-Plattform mit geringen technischen Anforderungen (z.B. niedriger Speicher- und Prozessorbedarf) ausgewählt wurde, kann nicht vorausgesetzt werden, dass die Geräte der Teilnehmenden diese Anforderungen erfüllen. Zudem würde die Installation zusätzlicher Software eine weitere Hürde für die Teilnahme darstellen. Daher wurde das Experiment in einem Labor mit individuell ausgestatteten Kabinen und entsprechender PC-Infrastruktur durchgeführt. Die Metaverse-Plattform muss auf den entsprechenden PCs installiert werden, wobei sicherzustellen ist, dass die Teilnehmenden ausschließlich auf die vorgesehene virtuelle Welt zugreifen und nicht in andere Umgebungen gelangen oder sich dort „verirren“. Bei Einsatz selbst erstellter virtueller Umgebungen können zusätzlich Nutzerinteraktionsdaten erhoben werden. Hier wäre es auch möglich, die gesamte Studie inklusive des Fragebogens zur Erhebung von Nutzerwahrnehmungen und -empfindungen in die virtuelle Umgebung zu integrieren. Da die Nutzung der Metaverse-Umgebung in Teilen der Anwendung eines Computerspiels ähnelt, wird empfohlen, den gesamten Experimentprozess einer Prüfung durch eine Ethikkommission zu unterziehen.
Teilnehmerbezogene Herausforderungen: Hoher Aufwand
Die Nutzung eines Computers als Zugang zum Metaverse erhöht die Teilnahmefähigkeit und Inklusivität der Teilnehmenden. Die Rekrutierung erfordert aktive Bewerbung der Studie, um Teilnehmende zur physischen Teilnahme im Experimentlabor zu bewegen. Die Nutzung bestehender Infrastrukturen, wie eines universitären Probandenpools, kann die Rekrutierung erleichtern. Der computerbasierte Zugang stellt geringere technische und kognitive Anforderungen dar, wodurch die Abbruchquote sehr niedrig ist. Zudem können viele Teilnehmende auf ihre Gaming-Erfahrungen zurückgreifen, sodass während der Erprobung der virtuellen Welt nur selten Fragen zur Steuerung auftraten. In der vorliegenden Studie haben alle Teilnehmenden das Experiment vollständig abgeschlossen.
Durchführungsaufwand: Mittlerer Aufwand
Die Durchführung computer-gestützter Studien ist weniger aufwendig als VR-gestützte Experimente. Vor jeder Durchführung müssen die Computer gewartet und geprüft werden. Dies umfasst die Reinigung der Geräte sowie die Überprüfung der Soundfunktion und der Eingabegeräte (Maus und Tastatur) auf ihre Funktionsfähigkeit. Zwar ist eine individuelle Einführung der Teilnehmenden sowie eine Erklärung der Bedienung der virtuellen Umgebung erforderlich, jedoch können viele Teilnehmende auf bestehende Erfahrungen im Umgang mit Videospielen zurückgreifen. Während der Durchführung entstehen in der Regel weniger Rückfragen, und es treten seltener technische Komplikationen auf. Computer-gestützte virtuelle Umgebungen weisen eine höhere technische Stabilität auf. Dadurch lassen sich parallele Durchführungen einfacher organisieren als bei VR-gestützten Experimenten, und es wird weniger personelle Unterstützung benötigt.
Nachbereitungs- und Auswertungsaufwand: Geringer Aufwand
Die Daten wurden mittels Vor- und Nachbefragungen erhoben. Entsprechend war der Aufwand für die Aufbereitung der primär quantitativen Umfragedaten gering. Durch die zusätzliche Erhebung weiterer Daten, beispielsweise durch Tracking in einer selbst entwickelten virtuellen Umgebung, könnte der Auswertungsaufwand jedoch deutlich höher ausfallen.
VR-gestütztes Experiment in einer bestehenden Metaverse-Umgebung
Erprobung im Forschungsprojekt:
Im Rahmen des Forschungsprojekts wurde ein Experiment zur Untersuchung, wie Avatar-Identifikation auf Selbstoffenbarungsintention in VR auf der populären Plattform VRChat unter der Verwendung einer bestehenden Yoga- und Meditationswelt durchgeführt, in einem simulierten Mental-Health Well-being Workshop. VRChat legt einen starken Fokus auf Selbstrepräsentation und bietet unter anderem eine Schnittstelle zum Avatarkonfigurator Ready Player Me, mit dem Nutzenden eine personalisierten, ihrem Aussehen ähnlichen Avatar erstellen können. Zudem verfügt die Plattform über eine sehr große Auswahl an kostenlosen Community-Avataren, mit denen Nutzenden ihre gewünschte Identität repräsentieren können. Auf andere Plattformen wie Roblox und Meta Horizon ist die Avatar-Anpassung hingegen sehr stark kommerzialisiert. VRChat bietet zudem eine Vielzahl von von der Community erstellten, kostenlos nutzbaren virtuellen Welten, die ein breites Spektrum an Inhalten abdecken und auch private Instanzen ermöglichen. Die Yoga- und Meditationswelt war bereits gut geeignet und enthielt relevante Elemente für die Studie, darunter ein beruhigendes Welt-Design, eine futuristische Halle mit Yoga-Matten sowie Spiegel, die es den Teilnehmenden ermöglichten, ihre Avatare während der Übungen zu betrachten. Der Avatar des Workshop-Durchführenden wurde von der versuchsleitenden Person gesteuert.
Qualität der Informationsvermittlung: Sehr hoher Aufwand
Teilnehmende können unmittelbar in die virtuelle Umgebung eintauchen und die Situation direkt erleben. Durch die körperliche Einbindung in die Situation ermöglicht der Einsatz von VR hoch immersive Erlebnisse und ein ausgeprägtes Gefühl sozialer Präsenz, das über das reine Betrachten eines Videos hinausgeht. Avatar-basierte Akteure wirken physisch anwesend und gegenüberstehend. Teilnehmende können räumliche Nähe wahrnehmen sowie Blickkontakt und nonverbale Signale interpretieren. Diese Art der Informationsvermittlung ist nicht von der Vorstellungskraft und vom Vorwissen der Teilnehmenden abhängig, da direkt vermittelt werden kann, was dargestellt oder erlebt werden soll. Die Qualität der Informationsvermittlung ist jedoch stark davon abhängig, ob eine öffentlich zugängliche Umgebung existiert, die den Untersuchungszweck erfüllt.
Vorbereitungsaufwand: Mittlerer Aufwand
Es erfordert zunächst eine umfassende Recherche geeigneter Plattformen und virtueller Welten sowie deren Evaluation hinsichtlich der Eignung für den Untersuchungszweck. Häufig existiert kein exakter Fit, sodass Workarounds oder Anpassungen des Studiendesigns notwendig sind. Modifikationen virtueller Welten sind häufig nicht möglich, da der Quellcode der Welt-Erstellt in den meisten Fällen nicht öffentlich zugänglich ist. Zusätzlich müssen sich Versuchsleitende Expertise in der Bedienung der Plattform und ihren Funktionen aneignen, um diese später den Teilnehmenden vermitteln zu können.
Zudem ist für solche Experimente eine Ethikprüfung erforderlich aufgrund der hohen Interaktivität und Immersion sowie potenzieller Risiken beim Einsatz von VR-Technologien, insbesondere im Hinblick auf Motion Sickness sowie Sicherheitsaspekte wie Stolpern oder das Anstoßen an Wände. Die Versuchsleitung muss entsprechend geschult sein, um eine sichere Umgebung zu gewährleisten und bei Auftreten von Motion Sickness oder anderen Problemen angemessen reagieren und Unterstützung leisten zu können.
Teilnehmerbezogene Herausforderungen: Sehr hoher Aufwand
Die Rekrutierung von Teilnehmenden ist erschwert, da hohe Anforderungen an Zeitaufwand und Engagement bestehen. Für die Nutzung von VR und das Erleben virtueller Umgebungen müssen ausreichend Zeit. Viele Interessierte verfügen über keine Vorerfahrung mit virtuellen Welten oder Virtual Reality, weshalb eine gewisse Frustrationstoleranz erforderlich ist. Insbesondere bei wenig technologieaffinen Personen kann der Umgang mit neuen Technologien schnell zu Frustration führen, da die Einarbeitung oft nicht reibungslose verläuft und Zeit erfordert. Die Rekrutierung von Metaverse-Nutzenden innerhalb von Metaverse-Plattformen gestaltet sich ebenfalls schwierig, da die Nutzenden dort häufig stärker durch unterhaltsame Inhalte gebunden sind und wissenschaftliche Studien weniger attraktiv erscheinen. Daher sind solche Experimente keine Selbstläufer. Teilnehmende müssen außerhalb der Metaverse-Plattformen aktiv über die Studie informiert und rekrutiert werden. Der Besitz geeigneter VR-Technologien ist in der Bevölkerung noch nicht weit verbreitet, weshalb diese für die Durchführung bereitgestellt werden müssen. Dadurch sind auch entsprechende physische Räumlichkeiten für die Nutzung erforderlich.
Auch der Betreuungsaufwand während der Experimentdurchführung ist sehr hoch. Die Teilnehmenden müssen individuell betreut werden. In der Regel bedarf es eine kurze Einführung in die Bedienung der VR-Geräte und Metaverse-Anwendungen. Zudem können während des Experiments Fragen zu Inhalten oder zur Bedienung auftreten, die beantwortet werden müssen. Da Außenstehende nicht einsehen können, welche Erlebnisse VR-Nutzende aktuell erfahren oder wo sie sich in der virtuellen Umgebung befinden, ist eine direkte Unterstützung oft erschwert. Abhilfe kann hier durch zusätzliche Informationen der Teilnehmenden geschaffen werden. Alternativ wäre auch eine Bildschirmübertragung der VR-Brillen möglich, um den Einblick in das Nutzererlebnis zu erleichtern. Diese müsste jedoch vorab mit den Teilnehmenden abgestimmt und entsprechend kommuniziert werden. Zudem ist im Studiendesign zu berücksichtigen, ob dadurch potenzielle Verzerrungen (Bias) entstehen können.
Des Weiteren muss die physische Sicherheit der Teilnehmenden gewährleistet werden, beispielsweise durch eine Aufsichtsperson, die ihre Position und Bewegungen beobachtet, um Unfälle wie Stürze oder das Anstoßen an Wände zu vermeiden. Vor der Nutzung ist zudem sicherzustellen, dass ausreichend freier Raum zur Verfügung steht.
Brillentragende machen einen großen Anteil der Bevölkerung aus, weshalb die Studiendurchführung entsprechend berücksichtigt werden muss. Aktuelle kommerzielle VR-Technologien bieten jedoch nur begrenzte Anpassungsmöglichkeiten für die Bedürfnisse sehbeeinträchtigter Personen. Für die Teilnahme müssen daher entweder Kontaktlinsen getragen werden, worauf die Versuchsleitung im Vorfeld hinweisen sollte, oder die Alltagsbrille muss unter dem VR-Headset getragen werden, was zu zusätzlichem Komfortverlust führen kann. Beim Einsatz der Meta Quest 3 war dies in den meisten Fällen problemlos möglich, da die Brille unter das Headset passte. In Einzelfällen war jedoch aufgrund der Brille keine Teilnahme möglich.
Im Verlauf der Experimentdurchführung kann es wiederholt zu Abbrüchen aufgrund von Motion Sickness (Übelkeit durch VR-Nutzung) kommen, insbesondere bei der erstmaligen Nutzung von VR-Geräten. Betroffene Teilnehmende müssen in solchen Fällen betreut und entsprechend unterstützt werden. Aus unserer Erfahrung liegt die durchschnittliche Belastbarkeit der Teilnehmenden in der VR bei etwa 15 Minuten. Danach wird die Komfortgrenze häufig überschritten, und es können zunehmend Unwohlsein und eine unangenehme VR-Erfahrung auftreten. Daher sollte die VR-Interaktionsdauer in der Studienplanung idealerweise 15 Minuten nicht überschreiten.
Durchführungsaufwand: Hoher Aufwand
Die Nutzung bestehender VR-Plattformen erfordert eine stabile Internetverbindung. Da gängige kommerzielle VR-Headsets nur WLAN unterstützen und keinen LAN-Anschluss bieten, können instabile Verbindungen und mögliche Abstürze nicht ausgeschlossen werden.
Die VR-Headsets müssen vor jeder Durchführung vorbereitet werden. Dies umfasst die Reinigung und Desinfektion nach der vorherigen Nutzung, da die Geräte während des Tragens Wärme erzeugen und Nutzende leicht ins Schwitzen geraten können. Zudem müssen die Anwendungen gestartet sowie die Headsets individuell angepasst werden, um einen komfortablen Sitz und eine optimale Bildschärfe sicherzustellen.
Zudem besteht eine hohe Abhängigkeit von der Software-Zuverlässigkeit und der Serververfügbarkeit der Plattformanbieter. In seltenen Fällen können Ausfälle auftreten, weshalb vorab stets Probedurchläufe und Tests erforderlich sind. Generell sind VR-Technologien sowohl auf Hardware- als auch auf Softwareebene noch nicht vollständig ausgereift, sodass Systemabstürze nicht ausgeschlossen werden können und entsprechend eingeplant werden müssen.
Nachbereitungs- und Auswertungsaufwand: Geringer Aufwand
Da die für die Experimentdurchführung genutzten virtuellen Welten in den meisten Fällen nicht modifiziert werden können, ist ein zusätzliches Tracking innerhalb der virtuellen Umgebung oft nicht möglich. Dadurch bleibt der Nachbereitungs- und Auswertungsaufwand vergleichsweise gering.
VR-gestütztes Experiment in einer selbstentwickelten Metaverse-Umgebung
Erprobung im Forschungsprojekt:
Zur Erforschung von Designmaßnahmen in Metaverse-Umgebungen gegen virtuelle Belästigung unter Einbezug von Bystandern bzw. Drittpersonen wurde ein VR-Experiment durchgeführt. Da kein geeignetes öffentlich verfügbares Szenario existierte, wurde ein realistisches Szenario in Form einer virtuellen Kunstausstellung entwickelt, das Elemente moderner Lichtfotografie, klassischer Ölgemälde, moderner Graffitikunst sowie klassischer Musik und moderner Synthwave-Musik umfasst. Das Museum ist als eine funktionale Umgebung gestaltet, in der Teilnehmende eine immersive Kunstausstellung erleben können. In einem der virtuellen Räume wird beim ersten Betreten eine virtuelle Belästigungsszene dargestellt, in der ein männlicher Avatar einen weiblichen Avatar durch verbale Angriffe und Gesten belästigt. Zur Sicherstellung der Konsistenz und Reduzierung des Personalaufwands wurden die Avatare als Bots geskriptet und mit vorab von realen Personen eingesprochenen und aufgezeichneten Dialogen betrieben, anstatt sie live von Personen steuern zu lassen. Die Untersuchung der Fragestellung in einer virtuellen 3D-Umgebung war notwendig, da sich Wahrnehmungen und Reaktionen von Beobachtenden aufgrund avatar-mediierten Interaktionen von 2D-Online-Umgebungen und der Realität unterscheiden können.
Qualität der Informationsvermittlung: Sehr hoher Aufwand
Teilnehmende können unmittelbar in die virtuelle Umgebung eintauchen und die Situation direkt erleben. Diese Art der Informationsvermittlung ist nicht von der Vorstellungskraft und vom Vorwissen der Teilnehmenden abhängig, da direkt vermittelt werden kann, was dargestellt oder erlebt werden soll.
Vorbereitungsaufwand: Sehr hoher Aufwand
Für die Erstellung einer virtuellen Umgebung auf einer Metaverse-Plattform ist zunächst plattformspezifisches Wissen erforderlich. Unterschiedliche Plattformen basieren zudem auf verschiedenen Entwicklungsumgebungen / Game Engines (z.B. Roblox Studio, Unity oder Unreal Engine) und Schnittstellen, sodass eine gezielte Einarbeitung notwendig ist. Darüber hinaus weisen Metaverse-Plattformen unterschiedliche Eigenschaften und technische Grenzen auf, weshalb sie vergleichend bewertet werden sollten, um die jeweils geeignete Plattform auszuwählen.
Der Entwicklungsaufwand für eine virtuelle Welt ist sehr hoch, da der Prozess komplex und zeitintensiv ist. Bestehende Assets wie 3D-Modelle, Bilder, oder Audio-Elemente müssen recherchiert und integriert oder bei Bedarf für den spezifischen Kontext neu erstellt werden. Zudem müssen die Verhaltensweisen einzelner Weltelemente detailliert definiert werden. Die Entwicklung einer eigenen virtuellen Welt ermöglicht zwar die Integration von Datentracking zur Erfassung von Verhaltensdaten im Hintergrund, erfordert jedoch zusätzlich eine Serverinfrastruktur zur Datenübertragung und -speicherung, die entsprechend eingerichtet und betrieben werden muss. Im Gegensatz zur Erstellung von Metaverse-Szenen, die lediglich als Video-Vignette dargestellt werden und nicht zwingend interaktiv lauffähig sein müssen, ist hier ein voll funktionsfähiges Szenario erforderlich, in dem Teilnehmende reibungslos und eigenständig interagieren können. Daher sind umfangreiche Tests notwendig, um mögliche Fehler und Bugs vor der Durchführung bestmöglich zu minimieren. Die Tests müssen sowohl in der Entwicklungsumgebung am PC als auch auf den VR-Brillen durchgeführt werden, um Performance und flüssige Ausführung sicherzustellen, da die Leistungsfähigkeit von VR-Geräten häufig begrenzt ist.
Anschließend kann entschieden werden, ob der Fragebogen nach der Intervention in der virtuellen Umgebung oder in der realen Umgebung ausgefüllt wird. Obwohl eine Integration des Fragebogens in die virtuelle Welt möglich gewesen wäre, wurde die externe Bearbeitung am Laptop gewählt. Diese Entscheidung erwies sich als sinnvoll, da viele Teilnehmende die VR-Umgebung nur begrenzt lange nutzen konnten, ohne Unwohlsein zu entwickeln. Zudem gestaltete sich das Lesen und Beantworten in der virtuellen Umgebung als deutlich anspruchsvoller, da es höhere kognitive Belastung und mehr Aufwand erforderte.
Für VR-Experimente ist eine Ethikprüfung erforderlich aufgrund hoher Interaktivität und Immersion sowie potenzieller Risiken wie Motion Sickness und Sicherheitsaspekten. Die Versuchsleitung muss entsprechend geschult sein, um eine sichere Durchführung zu gewährleisten und bei Problemen angemessen reagieren zu können.
Teilnehmerbezogene Herausforderungen: Sehr hoch
Siehe die zuvor genannten Herausforderungen bei VR-gestützten Experimenten in einer bestehenden Metaverse-Umgebung. Die grundlegenden Aspekte bleiben dabei unverändert.
Durchführungsaufwand: Hoch
Siehe den Absatz zum Durchführungsaufwand bei VR-gestützten Experimenten in einer bestehenden Metaverse-Umgebung. Die grundlegenden Aspekte bleiben dabei unverändert.
Nachbereitungs- und Auswertungsaufwand: Mittlerer Aufwand
Durch selbst erstellte Umgebungen können in der virtuellen Umgebung zusätzlich Tracking-Daten erfasst werden, ergänzend zu klassischen Datenerhebungen wie Umfragen. Für die Auswertung müssen diese Daten jedoch im Nachgang zusammengeführt werden, was zusätzlichen Aufwand verursacht. Die in der virtuellen Umgebung erhobenen Trackingdaten müssen noch für die Analyse aufbereitet und in auswertbare Formate überführt werden.
Zusammenfassung
Das Forschungsprojekt hat eine systematische Methodensammlung zur empirischen Erhebung von Nutzermeinungen in und zu Metaverse-Umgebungen entwickelt und diese in verschiedenen Settings praktisch erprobt. Zum Einsatz kamen unter anderem Experteninterviews, immersive Metaverse-Workshops, Fokusgruppen, Online-Befragungen sowie computerbasierte und VR-Experimente. Die dabei gewonnenen Durchführungserfahrungen wurden systematisch verglichen und ausgewertet, um sie für Forschung und Praxis zugänglich zu machen.
Die Ergebnisse zeigen deutliche Unterschiede der Methoden hinsichtlich Informationsqualität, Immersion, Zugang zu Teilnehmenden sowie Vorbereitungs-, Durchführungs- und Auswertungsaufwand. Qualitative Methoden wie Experteninterviews, Expertenworkshops und Fokusgruppen ermöglichen einen umfassenden explorativen Zugang zum Untersuchungsgegenstand. Gleichzeitig ist die Informationsvermittlung weniger standardisiert und mit einem vergleichsweise hohen Aufwand in der Nachbereitung verbunden. Immersive Ansätze in Metaverse- und VR-Umgebungen ermöglichen eine besonders realitätsnahe Abbildung der Untersuchungssituation, hohe Immersion sowie teilweise zusätzliche Verhaltens- und Umgebungsdaten. Sie sind jedoch mit hohem organisatorischem, technischem und personellem Aufwand verbunden. Niedrigschwellige Verfahren wie Online-Befragungen mit Medieneinsatz erlauben hingegen eine effiziente und skalierbare Datenerhebung mit breiter Reichweite, liefern jedoch geringere Immersion und weniger tiefgehende qualitative Einsichten.
Insgesamt wird deutlich, dass es keine universell überlegene Methode für die Erforschung von Metaverse-Phänomenen gibt. Die geeignete Methodenauswahl hängt vielmehr von Forschungsziel, gewünschter Datentiefe, Zielgruppe sowie verfügbaren Ressourcen ab. Für zukünftige Studien empfiehlt sich ein multimethodischer Ansatz, der qualitative Tiefenmethoden mit quantitativen, skalierbaren Verfahren kombiniert. Das Projekt liefert damit eine methodische Grundlage für die zukünftige Metaverse-Forschung, insbesondere für nutzerzentrierte und designorientierte Fragestellungen.

