Beta Test Fragebogen

Wall of text incoming:

Wie geht man das an?

Ganz wichtig: Erstmal mindestens 10x Selbsttesten. Damit haut man die größten Bugs und Typos raus. Man versucht zudem bei den 10x das Spiel auf 10 unterschiedliche Weisen zu spielen, um möglichst viel abzufedern, was an Bugs passieren kann. Gibt bei mir immer nen fetten Minuspunkt, wenn ich merke, dass der Entwickler mich in die Alpha statt Beta geschickt hat. Bugs können und dürfen passieren, aber es vergeht einem schnell die Lust, wenn man das merkt. Ich teste gerne und vor allem gründlich, aber ich will das eben zu meinen Bedingungen machen und nicht x Stunden meines Lebens verschwenden.

Um welche Fragen sollte es sich drehen?

Gegenfrage: Was ist dein Anspruch? Was brennt dir unter den Nägeln, welche Mechanik kannst du nicht einschätzen?

Wir haben konkret folgende Fragen gestellt:

Hauen die Quests im HA-Heft hin? Sind sie zum richtigen Zeitpunkt markiert oder gibt es welche, wo euch Informationen fehlen oder zu spät kommen? (eigentlich selbsterklärend - sind die Quests sinnvoll und nachvollziehbar aufgebaut)

Wie gut könnt ihr mit Geld umgehen? Habt ihr das Gefühl, es reicht zum durch die Gegend hopsen, oder sollten wir doch mehr Taschengeld zur Verfügung stellen? (Geldmangel kann auch kreativ machen, die Frage zielt nicht unbedingt darauf ab, ob wir mehr Geld hinzufügen).

Solltet ihr über Begehbarkeitsfehler stolpern, einfach nen Screenshot machen~

Die Schwierigkeit -> da scheiden sich die Geister, aber ist es ausbalanciert genug oder doch eher unfair? (Hier kommt es drauf an, wer testet. Unser Spiel ist fordernd und erfordert Strategie, aber ist nicht unfair, da haben wir sehr viele Stunden mit verbracht. Wenn mir 1/20 Leuten sagt, es ist zu schwer ignorieren wir das)

Habt ihr euch gut vorbereitet für die Unterwelt gefühlt? (Wichtiger Arc, der nen krassen Kontrast zum vorherigen darstellt und fies ist)

Habt ihr in den Büchern nachgelesen, oder die komplett ignoriert? (Frage, ob mit dem Bonus Lore interagiert wurde)

Habt ihr Kräuterkunde, Glyphenkunde o.ä. ausgebaut oder ignoriert? (Frage, ob spezielle Fähigkeiten benutzt wurden)

Und dann gab es noch Fragen, die außerhalb des tatsächlichen Bug-Testings standen:

Wie viele der Contributor Cards habt ihr gefunden?

Wie viele Geheimräume habt ihr entdeckt?

Welche Quest hat euch am meisten Spaß gemacht?

Wie lange habt ihr final gebraucht?

Wie viele der Popkultur-Referenzen habt ihr verstanden?

Und natürlich, hat euch das Spiel gefallen?

Diese Fragen waren für uns hauptsächlich zur Info.

Was ist zwingend nötig/unnötig zu wissen?

Schwierig, dass aus dem stehgreif zu sagen. Vermutlich, wenn mir jemand sagt, dass er unser Spiel nicht mag, weil er sonst nur Tower Defense spielt und man bei uns so viel lesen muss (was praktisch überall als „Warnung“ steht), kann ich das getrost vernachlässigen. Wenn ich allerdings den Typ Spieler finde, auf den das Spiel zugeschnitten ist und er mir sagt, dass er das Spiel langweilig findet weil x y z sollte ich da nochmal genauer aufs Feedback schauen.

Welche Anforderungen hat man an die Tester?

Möglichst konkrete. Gibt nichts nervigeres als „Ja spiel mal mein 20h Spiel und sag mir, ob dir das gefallen hat.“ Ich bin Tester, kein Spieler. Ich will Aufgaben haben, die ich abhaken kann. Und genügend Zeit. Kann immer was dazwischen kommen. Und ich würde verschiedene Fragebögen entwerfen. Die oben geposteten Fragen waren für unsere Tester hier im RPG Maker Forum, meine Freunde, die ebenfalls getestet haben, mussten auf andere Sachen achten.

Welche Fragen sind unangebracht?

Darüber muss ich echt nachgrübeln. Je nachdem, wie dicke man mit den Testern ist, kann man denen ja auch noch ganz andere Fragen stellen, als totalen Radoms. Falls mir was einfällt, wird ergänzt.

Muss man Erklärungen unterschreiben lassen? (Bewusst übertrieben, weil große Titel blabla)

Da ein Kumpel von mir tatsächlich bei Activision Spieletester war, ja die ganz großen AAA Spiele verlangen das. Bei uns in der Bubble würde ich allerdings sagen, gibt es einen gewissen Ethos, auch ohne Erklärung – meiner Erfahrung nach, weiß nicht wie das in den Anfängen war. Ich bin mir ziemlich sicher, dass keiner hier den Download-Link weitergegeben hat, ohne, dass ich gleich mit Anwalt drohe. Bin hier für den Zusammenhalt und die Hilfestellung & Feedback immer wieder dankbar.

Credits Mentioning der Tester?

Auf jeden. Tester sind goldwert und verdienen die Credits, gerade weil sie sich häufig sehr viele Gedanken machen. Wir haben alle Leute mit contributor Karten versehen.

Wie viel Zeit für Testing Phase?

Kommt auf die Dauer des Spiels an. Mindestens ein Monat, idealerweise 2-3. Gerne darf man aber auch nachhaken, ob den schon angefangen wurde, wie weit man denn schon ist etc.

Nachweis der Fehler, Bugs?

Screenshots! (und Text, falls nicht klar ist, warum gescreenshoted wurde)

Klare Trennung zwischen Gefühl, eigene Meinung und konkreten Auffälligkeiten?

Das ist schwierig von einem Tester zu verlangen, es ist eher die Aufgabe der Entwickler, das für sich zu filtern. Aber klar, du kannst das natürlich trotzdem so auf dem Fragebogen markieren, aber dann brauchst du klar getrennte Fragen, um das zu gewährleisten.

EDIT: Jetzt hast du in der Zwischenzeit schon selbst geschrieben DeDave. Gefällt mir soweit gut, 2 Wochen ist allerdings echt wenig Testzeit für die Menge an Infos, die du haben willst. Die meisten RPG Maker Entwickler sind voll berufstätig mit Kind und Kegel und die müssen das sehr genau planen. (Kommt aber auch drauf an, wie lange das Spiel ist!)

Zitat von DeDave

Mache ich Early Access

Die Frage, die du dir stellen solltest, ist jene, was du dir vom Feedback der Spieler erhoffst. Der Early Access bietet für dich eigentlich keine Vorteile gegenüber einer Open oder Closed Beta. Das ist eher was für große Entwicklerstudios, die bereits eine breite Fanbasis besitzen, die ihnen die Entwicklung im Voraus zu finanzieren bereit ist. Davon können wir hier uns eher verabschieden, wie alle winzigen Indiestudios.

Für ein kommerzielles Projekt empfehle ich persönlich eine Closed Beta. Bei einem nichtkommerziellen Projekt könnte es auch eine Open Beta sein.

Zitat von DeDave

Auf was sollen die Tester achten?

Technische Seite: Bugs, Begehbarkeitsfehler, Gamebreaker, Schwierigkeitsgrad, Balancing ...

Inhaltliche Seite: Logik, Nachvollziehbarkeit, wusste der Spieler zu jeder Zeit, was als nächstes zu tun ist? ...

Emotionale Seite: Was gefiel am besten, was würde der Spieler streichen, wenn er dürfte, was ist der Lieblingscharakter, gab es langweilige Passagen ...

Muss nicht auf dem Fragebogen stehen, kannst du aber beobachten: Verlor ein Tester irgendwann mittendrin die Motivation zu weitertesten? Wenn ja, an welcher Stelle? Auch diese Art Feedback ist für dich sehr wichtig!