Beta Test Fragebogen

  • Hallo zusammen,


    ich bin es mal wieder. Und schon wieder ist da so eine Frage in meinem Kopf, mit der ich euch nerven will. Das Thema heute dreht sich rund um Beta Testing und die Daten/Infos, die aus den Berichten der anderen interessant für euch als Entwickler sind. Wenn die Phase eintritt, in der ein Spiel fertig ist und man sich noch scheut, den Titel als vollwertigen Release zu veröffentlichen, stellen sich - zumindest für mich - zwei Fragen: Mache ich Early Access oder Open Beta und hole mir Feedback ein oder mache ich eine Closed Beta mit Fragbogen und fordere das Engagement der Tester, bei der Fehlersuche zu helfen?


    Nun, zumindest auf eine der Fragen möchte ich konkreter eingehen, nämlich die Sache mit dem Closed Beta Test. Wie geht man das an? Auf was sollen die Tester achten? Wie stellt man sich das Feedback vor? Denn für mich ist eine Closed Beta als Tester zwar Zocken und erste Eindrücke gewinnen aber auch Kontrolle, Reports und Mitentwicklung. Und da würde ich gerne auf die Ausarbeitung der Fragebögen für die Tests eingehen. Ich glaube Kojote hatte mir davon mal erzählt, ich weiß nicht mehr genau, woher ich das hatte. Aber fangen wir mal an.


    Um welche Fragen sollte es sich drehen?

    Was ist zwingend nötig/unnötig zu wissen?

    Welche Anforderungen hat man an die Tester?

    Welche Fragen sind unangebracht?

    Muss man Erklärungen unterschreiben lassen? (Bewusst übertrieben, weil große Titel blabla)

    Credits Mentioning der Tester?

    Wie viel Zeit für Testing Phase?

    Nachweis der Fehler, Bugs?

    Klare Trennung zwischen Gefühl, eigene Meinung und konkreten Auffälligkeiten?

  • Ich würde gerne von einem Tester wissen, ob er den Titel gut findet. Da das aber eine Meinung ist, die stark variieren kann, würde ich prinzipiell die Bewertung der Tests in klare Fehler und eigene Meinungen unterteilen. Wie seht ihr das?


    Ich würde den Fragebogen daher folgend aufbauen:


    Hallo lieber Tester! Vielen Dank, dass du dieses Spiel testen willst. Ich liebe dich!


    Bitte nimm dir für das Testen ausreichend Zeit und Lust. Bitte lies dir die Fragen gut durch, bevor du mit dem Testen beginnst. Mach dir selber oder auf dem Fragebogen Notizen, auf was du während dem Spielen achten musst und versuche so gut es geht, konkrete Fehler mit Screenshots oder Savegames zu sichern. Die Fragen 1-7 sind formelle Fragen, die keine oder nur sehr wenig eigene Meinung benötigt. Dafür sind dann die Fragen 8-14 da. Dort kannst du deine eigene Meinung raushauen und Position beziehen. Da du das hier freiwillig tust, geht mit diesem Test aber keinerlei Verpflichtung für dich ein. Teste auch gerne so, wie du das möchtest. Dieser Fragebogen dient als Anleitung und Hilfestellung, die mir am besten helfen würde, mein Spiel zu verbessern. Vielen Dank für deine Mithilfe!


    1. Wie lange hast du circa pro Session gespielt?

    2. Fehler in Bild und Darstellung. (Flackern, falsche Anzeigen, seltsame Boxen oder Zuschnitte, Positionsfehler oder merkwürdige Darstellungen im Spiel) [Unter der Frage dann mehrere Zeilen und eine weiße Box für Antworten]

    3. Fehler in Texten. (Schreibfehler, unsaubere Grammatik, falscher Satzbau, unlogische Texte oder Schriftarten) [Unter der Frage dann mehrere Zeilen]

    4. Fehler im Spieldesign. (Charaktere, Gebäude, Landschaften, Gegner, Hintergründe, Animationen, etc. sind fehlerhaft, flackern oder verschwinden) [Unter der Frage dann mehrere Zeilen]

    5. Fehler im Coding oder Events. (Quests funktionieren nicht/falsch, Händler verkaufen nichts/falsch, Charaktere sind nicht mehr ansprechbar oder verschwinden.)

    6. Pfadfindung und Orientierung. (Sind Maps zu weitläufig, unübersichtlich oder fehlerhaft? Gebäude, Türen und Übergänge funktionieren nicht?) [Unter der Frage dann mehrere Zeilen.]

    7. Kampfsystem. (Sind Kämpfe fehlerhaft? Zu leicht/schwer? Sind Angriffe, Skills oder Zustände nicht korrekt abgebildet, führen zu Fehlern oder funktionieren nicht so, wie sie sollen? Sind Kämpfe ausbalanciert oder gibt es Auffälligkeiten, Muster oder Defizite?) [Unter der Frage dann mehrere Zeilen.]

    8. Hattest du Spaß am Spiel? [Unter der Frage dann mehrere Zeilen.]

    9. Wie empfandest du die Story? [Unter der Frage dann mehrere Zeilen.]

    10. Waren Charaktere für dich glaubwürdig? [Unter der Frage dann mehrere Zeilen.]

    11. Wie viel Geld würdest du für so einen Titel für angebracht halten? Begründe gerne. [Unter der Frage dann mehrere Zeilen.]

    12. Sind die Assets und Designs des Spiels für dich hochwertig oder eher Standard? [Unter der Frage dann mehrere Zeilen.]

    13. Hast du Ideen oder Vorschläge für Verbesserungen? [Unter der Frage dann mehrere Zeilen.]


    14. Alles andere: Schreib mir gerne, ob dir noch etwas anderes aufgefallen ist oder du noch Anmerkungen für mich hast. [Unter der Frage dann mehrere Zeilen.]


    Als Zeitraum für den Test hätte ich zwei Wochen angesetzt und die Tester mit User- oder Klarnamen mit in die Credits gepackt.

  • Wall of text incoming:



    Wie geht man das an?


    Ganz wichtig: Erstmal mindestens 10x Selbsttesten. Damit haut man die größten Bugs und Typos raus. Man versucht zudem bei den 10x das Spiel auf 10 unterschiedliche Weisen zu spielen, um möglichst viel abzufedern, was an Bugs passieren kann. Gibt bei mir immer nen fetten Minuspunkt, wenn ich merke, dass der Entwickler mich in die Alpha statt Beta geschickt hat. Bugs können und dürfen passieren, aber es vergeht einem schnell die Lust, wenn man das merkt. Ich teste gerne und vor allem gründlich, aber ich will das eben zu meinen Bedingungen machen und nicht x Stunden meines Lebens verschwenden.



    Um welche Fragen sollte es sich drehen?


    Gegenfrage: Was ist dein Anspruch? Was brennt dir unter den Nägeln, welche Mechanik kannst du nicht einschätzen?


    Wir haben konkret folgende Fragen gestellt:


    Hauen die Quests im HA-Heft hin? Sind sie zum richtigen Zeitpunkt markiert oder gibt es welche, wo euch Informationen fehlen oder zu spät kommen? (eigentlich selbsterklärend - sind die Quests sinnvoll und nachvollziehbar aufgebaut)

    Wie gut könnt ihr mit Geld umgehen? Habt ihr das Gefühl, es reicht zum durch die Gegend hopsen, oder sollten wir doch mehr Taschengeld zur Verfügung stellen? (Geldmangel kann auch kreativ machen, die Frage zielt nicht unbedingt darauf ab, ob wir mehr Geld hinzufügen).

    Solltet ihr über Begehbarkeitsfehler stolpern, einfach nen Screenshot machen~

    Die Schwierigkeit -> da scheiden sich die Geister, aber ist es ausbalanciert genug oder doch eher unfair? (Hier kommt es drauf an, wer testet. Unser Spiel ist fordernd und erfordert Strategie, aber ist nicht unfair, da haben wir sehr viele Stunden mit verbracht. Wenn mir 1/20 Leuten sagt, es ist zu schwer ignorieren wir das)

    Habt ihr euch gut vorbereitet für die Unterwelt gefühlt? (Wichtiger Arc, der nen krassen Kontrast zum vorherigen darstellt und fies ist)

    Habt ihr in den Büchern nachgelesen, oder die komplett ignoriert? (Frage, ob mit dem Bonus Lore interagiert wurde)

    Habt ihr Kräuterkunde, Glyphenkunde o.ä. ausgebaut oder ignoriert? (Frage, ob spezielle Fähigkeiten benutzt wurden)




    Und dann gab es noch Fragen, die außerhalb des tatsächlichen Bug-Testings standen:


    Wie viele der Contributor Cards habt ihr gefunden?

    Wie viele Geheimräume habt ihr entdeckt?

    Welche Quest hat euch am meisten Spaß gemacht?

    Wie lange habt ihr final gebraucht?

    Wie viele der Popkultur-Referenzen habt ihr verstanden?

    Und natürlich, hat euch das Spiel gefallen?

    Diese Fragen waren für uns hauptsächlich zur Info.



    Was ist zwingend nötig/unnötig zu wissen?


    Schwierig, dass aus dem stehgreif zu sagen. Vermutlich, wenn mir jemand sagt, dass er unser Spiel nicht mag, weil er sonst nur Tower Defense spielt und man bei uns so viel lesen muss (was praktisch überall als „Warnung“ steht), kann ich das getrost vernachlässigen. Wenn ich allerdings den Typ Spieler finde, auf den das Spiel zugeschnitten ist und er mir sagt, dass er das Spiel langweilig findet weil x y z sollte ich da nochmal genauer aufs Feedback schauen.


    Welche Anforderungen hat man an die Tester?


    Möglichst konkrete. Gibt nichts nervigeres als „Ja spiel mal mein 20h Spiel und sag mir, ob dir das gefallen hat.“ Ich bin Tester, kein Spieler. Ich will Aufgaben haben, die ich abhaken kann. Und genügend Zeit. Kann immer was dazwischen kommen. Und ich würde verschiedene Fragebögen entwerfen. Die oben geposteten Fragen waren für unsere Tester hier im RPG Maker Forum, meine Freunde, die ebenfalls getestet haben, mussten auf andere Sachen achten.



    Welche Fragen sind unangebracht?


    Darüber muss ich echt nachgrübeln. Je nachdem, wie dicke man mit den Testern ist, kann man denen ja auch noch ganz andere Fragen stellen, als totalen Radoms. Falls mir was einfällt, wird ergänzt.



    Muss man Erklärungen unterschreiben lassen? (Bewusst übertrieben, weil große Titel blabla)


    Da ein Kumpel von mir tatsächlich bei Activision Spieletester war, ja die ganz großen AAA Spiele verlangen das. Bei uns in der Bubble würde ich allerdings sagen, gibt es einen gewissen Ethos, auch ohne Erklärung – meiner Erfahrung nach, weiß nicht wie das in den Anfängen war. Ich bin mir ziemlich sicher, dass keiner hier den Download-Link weitergegeben hat, ohne, dass ich gleich mit Anwalt drohe. Bin hier für den Zusammenhalt und die Hilfestellung & Feedback immer wieder dankbar.



    Credits Mentioning der Tester?


    Auf jeden. Tester sind goldwert und verdienen die Credits, gerade weil sie sich häufig sehr viele Gedanken machen. Wir haben alle Leute mit contributor Karten versehen.



    Wie viel Zeit für Testing Phase?


    Kommt auf die Dauer des Spiels an. Mindestens ein Monat, idealerweise 2-3. Gerne darf man aber auch nachhaken, ob den schon angefangen wurde, wie weit man denn schon ist etc.



    Nachweis der Fehler, Bugs?


    Screenshots! (und Text, falls nicht klar ist, warum gescreenshoted wurde)


    Klare Trennung zwischen Gefühl, eigene Meinung und konkreten Auffälligkeiten?


    Das ist schwierig von einem Tester zu verlangen, es ist eher die Aufgabe der Entwickler, das für sich zu filtern. Aber klar, du kannst das natürlich trotzdem so auf dem Fragebogen markieren, aber dann brauchst du klar getrennte Fragen, um das zu gewährleisten.


    EDIT: Jetzt hast du in der Zwischenzeit schon selbst geschrieben DeDave. Gefällt mir soweit gut, 2 Wochen ist allerdings echt wenig Testzeit für die Menge an Infos, die du haben willst. Die meisten RPG Maker Entwickler sind voll berufstätig mit Kind und Kegel und die müssen das sehr genau planen. (Kommt aber auch drauf an, wie lange das Spiel ist!)

  • Mache ich Early Access

    Die Frage, die du dir stellen solltest, ist jene, was du dir vom Feedback der Spieler erhoffst. Der Early Access bietet für dich eigentlich keine Vorteile gegenüber einer Open oder Closed Beta. Das ist eher was für große Entwicklerstudios, die bereits eine breite Fanbasis besitzen, die ihnen die Entwicklung im Voraus zu finanzieren bereit ist. Davon können wir hier uns eher verabschieden, wie alle winzigen Indiestudios. :zwinkernderork:


    Für ein kommerzielles Projekt empfehle ich persönlich eine Closed Beta. Bei einem nichtkommerziellen Projekt könnte es auch eine Open Beta sein.


    Auf was sollen die Tester achten?

    Technische Seite: Bugs, Begehbarkeitsfehler, Gamebreaker, Schwierigkeitsgrad, Balancing ...

    Inhaltliche Seite: Logik, Nachvollziehbarkeit, wusste der Spieler zu jeder Zeit, was als nächstes zu tun ist? ...

    Emotionale Seite: Was gefiel am besten, was würde der Spieler streichen, wenn er dürfte, was ist der Lieblingscharakter, gab es langweilige Passagen ...


    Muss nicht auf dem Fragebogen stehen, kannst du aber beobachten: Verlor ein Tester irgendwann mittendrin die Motivation zu weitertesten? Wenn ja, an welcher Stelle? Auch diese Art Feedback ist für dich sehr wichtig!

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!