Leitfaden zur Beurteilung: Remote-Beurteilung

Überblick

Um das für eine Veranstaltung angebotene Bewertungsformat (persönlich oder remote) festzulegen, ist ein Gespräch zwischen dem Juryberater und dem Veranstaltungspartner erforderlich. Die Entscheidung über das Bewertungsformat liegt letztendlich beim Veranstaltungspartner, der Juryberater sollte jedoch mit der Arbeit im gewählten Format vertraut sein. Durch die Fernbewertung können die am Veranstaltungstag verfügbaren freiwilligen Ressourcen besser genutzt werden. Die freiwilligen Richter müssen jedoch mit etwaigen zusätzlichen zeitlichen und/oder technischen Anforderungen, die an sie gestellt werden, einverstanden sein.

Alle für eine Veranstaltung bewerteten Teams müssen im gleichen Format werden, um eine einheitliche Bewertungserfahrung zu gewährleisten und die Möglichkeit einer formatbasierten Voreingenommenheit auszuschließen, die die Beratungen beeinflusst. Wenn beispielsweise einige Teams Engineering-Notebooks vor der Veranstaltung über Links zu digitalen Notebooks zur Bewertung einreichen, sollten physische Notebooks für andere Teams am Tag der Veranstaltung nicht persönlich bewertet werden. Bei Teaminterviews werden entweder alle Teams zunächst einem Remote-Interview unterzogen oder alle Teams werden zunächst persönlich interviewt. Teams, die nicht per Ferninterview interviewt werden, sollten nicht zunächst persönlich bei der Veranstaltung interviewt werden.

Die Fernbewertung sollte außerdem möglichst zeitnah zum Event erfolgen, damit die Teams und Roboter, die die Juroren in den ersten Interviews beobachten, möglichst nah an dem dran sind, was zum Wettbewerb mitgebracht wird.

Bei der Fernbeurteilung werden alle Richtlinien der persönlichen Beurteilung befolgt. Im folgenden Abschnitt werden die wichtigsten Unterschiede im Beurteilungsprozess hervorgehoben, wenn einige der Beurteilungsaufgaben, die normalerweise persönlich durchgeführt werden, aus der Ferne durchgeführt werden. Die Remote-Beurteilung kann in Form einer Remote-Beurteilung anhand eines Digital Engineering Notebooks oder in Form von Remote-Erstinterviews mit dem Team oder einer Kombination aus beidem wie folgt erfolgen:

Beurteilung von digitalen technischen Fernnotizbüchern

• Digital Engineering Notebooks werden vor der Veranstaltung per Fernzugriff beurteilt.
• Die Teams laden über RobotEvents.com Links zu ihrem Engineering Notebook hoch. Es ist nicht zulässig, Teams aufzufordern, Notizbücher auf eine andere Weise als über den RobotEvents-Link oder als bestimmten Dateityp einzureichen. Auch dürfen für Notizbücher, die nicht in diesem Handbuch aufgeführt sind, keine zusätzlichen Anforderungen gestellt werden.
• Sobald ein Link zu einem Digital Engineering Notebook (DEN) über RobotEvents hochgeladen wurde, können die Teams ihr DEN auch am Veranstaltungstag noch fortlaufend aktualisieren. Es ist zu erwarten, dass sich der Inhalt des Notizbuchs im Laufe der Zeit ändert, was Teil des technischen Designprozesses ist.
• Diese Linkliste wird vom Veranstaltungspartner an den Schiedsrichterberater weitergegeben.
• Digitale technische Notizbücher sollten für die Juroren über den Link frei einsehbar sein. Die Teams sollten sicherstellen, dass die Berechtigungen zum Anzeigen ihrer Notizbücher so eingestellt sind, dass die Richter darauf zugreifen können.
• Der Richterberater wird die Richter in Gruppen einteilen, um die Notizbücher anhand der Engineering Notebook Rubriczu überprüfen und zu bewerten.
• Um die Konsistenz zu gewährleisten, sollten digitale Engineering-Notizbücher unter ähnlichen Umständen remote gehandhabt werden.
• Die digitalen technischen Notizbücher sollten von mehreren Juroren geprüft werden, um eine Rangfolge der Notizbücher der Finalisten zu erstellen.
• Bei einigen Veranstaltungen ist möglicherweise eine Variante dieses Bewertungsformats wünschenswert. Der oberste Grundsatz bleibt, dass alle Notebook-Einreichungen unter Verwendung des gleichen Einreichungsformats und im gleichen Zeitrahmenbewertet werden, so dass keinem Eintrag eine tatsächliche oder vermeintliche Bevorzugung oder Bevorzugung zuteilwird.

Remote-Erstinterviews mit dem Team

• Die ersten Team-Interviews werden vor der Veranstaltung per Fernzugriff durchgeführt. Dabei werden die Rubriken für Team-Interviews und für die erste Rangliste der Preiskandidatenverwendet.
• Teamteilnehmer können sich von einem einzigen Standort aus, indem sie eine Webcam gemeinsam nutzen, oder von mehreren Standorten aus in das Meeting einloggen.
• Das Ziel der ersten Remote-Team-Interviews besteht darin, Nominierte für jede Auszeichnung zu ermitteln (Schritt 1 des Beratungsprozesses).
• Die Richterberater sollten eine Möglichkeit einrichten, die Bewertungsnotizen zu sammeln, um so die abschließenden Beratungen zu erleichtern.
• Folgeinterviews mit den endgültigen Nominierten für die Auszeichnung (Schritt 2 im Beratungsprozess) müssen persönlich durchgeführt werden, um Beobachtungen von Team und Robotern bei der Veranstaltung zu berücksichtigen.
• Persönliche Juroren bei Folgeinterviews sollten Teams nicht von einer Preiskategorie in eine andere verschieben. Dadurch würden die anfänglichen Überlegungen der Remote-Juroren ungültig und der Bewertungsprozess würde effektiv neu gestartet, ohne dass alle Teams gleich behandelt würden.

Hinweis: Die Fernbeurteilung ersetzt nicht die persönlichen Nachbesprechungen und Beratungen am Veranstaltungstag. Es soll den Veranstaltungspartnern und freiwilligen Juroren die Flexibilität bieten, einige Bewertungsaufgaben bereits vor dem Veranstaltungstag zu übernehmen. Durch die Fernbewertung kann eine kleinere Gruppe von Juroren den längeren Zeitrahmen ausnutzen, indem die Bewertung vor der Veranstaltung geplant wird. Außerdem können freiwillige Juroren eingesetzt werden, die möglicherweise nicht persönlich an einer Veranstaltung teilnehmen können.

Protokolle für die Fernbeurteilung

• Sämtliche Bewertungsgrundsätze und Richtlinien gelten weiterhin.
• Der Jugendschutz muss gewahrt bleiben. Bei der Durchführung von Remote-Interviews sollte jedes teilnehmende Team über einen erwachsenen Vertreter (mindestens 18 Jahre, kein Highschool-Schüler) verfügen, der während des gesamten Interviews eingeloggt und auf der Kamera sichtbar ist. Dieser erwachsene Vertreter sollte am Gespräch teilnehmen, bevor die Schüler eintreffen. Der Erwachsene kann sich im selben Raum wie die Schüler befinden oder separat in den Fernanruf eingeloggt sein. Dieser erwachsene Mensch darf in keiner Weise am Teaminterview teilnehmen oder zu dessen Inhalt beitragen. Ihre Anwesenheit stellt sicher, dass an jedem Videomeeting mehrere erwachsene Parteien beteiligt sind.
• Ein Richter sollte bei einem Ferninterview mit einem Team nie allein sein, sondern immer als Teil einer Gruppe aus zwei oder mehr Richtern arbeiten. Unter Einbeziehung des erwachsenen Vertreters des Teams beträgt die Mindestanzahl erwachsener Personen bei einem Remote-Interview drei.
• So wie persönliche Interviews nicht aufgezeichnet werden dürfen, sollten auch Remote-Interviews von keiner Partei aufgezeichnet werden.

Es ist zulässig, dass Remote-Juroren separate Online-Beratungssitzungen abhalten oder Tabellenkalkulationen teilen, um bei der Zusammenstellung von Bewertungsinformationen zu helfen, wie z. B. Bewertungen der Team-Interview-Rubriken, Bewertungen der Engineering-Notebook-Rubriken und anfängliches Ranglistenblattder Kandidaten für die Auszeichnung. Sämtliche Besprechungsnotizen und Datentabellen sollten der Kontrolle des Richterberaters unterliegen und die darin enthaltenen Informationen sollten nach Abschluss der Veranstaltung vernichtet werden.

Planung der Remote-Beurteilung

DIGITALE ENGINEERING-NOTIZBÜCHER

Links zu Digital Engineering Notebooks werden vom Primary Team Coach in sein Robotevents.com-Konto hochgeladen. Der Veranstaltungspartner und der Juryberater sollten eine Frist festlegen, bis zu der alle Teams ihre Links hochgeladen haben müssen, um den Juroren ausreichend Zeit zu geben, mit der Überprüfung der Digital Engineering Notebooks zu beginnen. Der Veranstaltungspartner gibt die Linkliste an den Juryberater weiter, der Juroren damit beauftragt, jedes digitale Engineering-Notebook entsprechend dem Bewertungsprozess für Engineering-Notebooks (siehe Abschnitt 5) zu überprüfen. Alle Digital Engineering Notebooks sollten unter ähnlichen Bedingungen und Zeitbeschränkungen ausgewertet werden.

ERSTGESPRÄCHE MIT DEM TEAM AUS DER FERNE

Einplanung der ehrenamtlichen Remote-Jurymitglieder – Die Interviewplanung erfordert eine Koordination zwischen dem Eventpartner, dem Juryberater, den Remote-Jurymitgliedern und den Teams. Es wird empfohlen, zunächst einen Zeitplan mit den Interviewzeiten zu erstellen und dann sicherzustellen, dass die Remote-Juroren und der Richterberater zu diesen Zeiten verfügbar sind. Auch wenn der Richterberater nicht unbedingt an einem Interview teilnehmen muss, wird dringend empfohlen, dass er zur Stelle ist, um bei der Lösung eventuell auftretender Probleme zu helfen. Wenn ein Remote-Juror nicht anwesend sein kann oder ein technisches Problem auftritt, kann der Judge Advisor einspringen und als Remote-Juror fungieren, sodass die Teams zum geplanten Zeitpunkt interviewt werden können.

Planung der Teams – Die Anmeldezeiten für die ersten Remote-Team-Interviews können manuell vom Eventpartner geplant werden. Eine einfachere Methode kann jedoch darin bestehen, dass sich die Teams selbst über ein Anmeldesystem nach dem Prinzip „Wer zuerst kommt, mahlt zuerst“ einplanen. Es wird empfohlen, Remote-Interviews einige Tage vor der Veranstaltung durchzuführen, für den Fall, dass aufgrund eines Freiwilligen oder eines technischen Problems, das den Zeitplan durcheinanderbringt, zusätzliche Zeit benötigt wird.

Wenn sich genügend ehrenamtliche Remote Judges finden, können auch mehrere Interviews parallel durchgeführt werden. Beispielsweise könnten sich die Teilnehmer bei einem einzigen Remote-Jury-Link mit einem Hauptraum für eingehende Teams und Breakout-Räumen für jedes Team von Remote-Jurymitgliedern anmelden. Jedes Team wird für sein Interview vom Hauptraum in einen Gruppenraum gebracht. Es kann hilfreich sein, wenn zwei Erwachsene (der Richterberater und ein weiterer Mitarbeiter der Veranstaltung) die Teams bei ihrer Ankunft im Hauptraum begrüßen und sicherstellen, dass ihr erwachsener Vertreter auf der Kamera zu sehen ist und dass es sich um das richtige Team für den Zeitrahmen handelt, bevor die Teams hineingelassen werden, um ihre Remote-Juroren zu sehen. Dieser „Warteraum“ verhindert außerdem, dass Teams versehentlich das Interview eines anderen Teams unterbrechen.

Hinweis: Die Erfahrung hat gezeigt, dass sich Interviewzyklen von einer halben Stunde gut eignen: Dreißig Minuten geben den Teams ausreichend Zeit, sich in die Remote-Beurteilungsumgebung zu begeben, den Remote-Juroren ein 10- bis 15-minütiges Interview zu führen und den Remote-Juroren das Interview zu besprechen, zu bewerten und die anfänglichen Ranglistenbögen für die Preisträger auszufüllen, bevor das nächste Team eintrifft.