Opties voor beoordeling op afstand – RECF-bibliotheek

Overzicht

Om te bepalen welke jurering (persoonlijk of op afstand) er tijdens een evenement plaatsvindt, is een gesprek tussen de juryadviseur en de evenementpartner vereist. Uiteindelijk beslist de evenementpartner over het jureringsformat, maar de juryadviseur moet zich prettig voelen bij het werken in het gekozen format. Door op afstand te jureren, kunt u de beschikbare vrijwilligersbronnen op de dag van het evenement beter benutten. Vrijwilligers die op afstand jureren, moeten echter wel rekening houden met eventuele extra tijd en/of technologische vereisten die dit met zich meebrengt.

Alle teams die voor een evenement worden beoordeeld, moeten op dezelfde manier worden Zo wordt gezorgd voor consistentie in de beoordelingservaring en wordt voorkomen dat vooroordelen op basis van het formaat de beraadslagingen beïnvloeden. Als Engineering Notebooks bijvoorbeeld voor sommige teams voorafgaand aan het evenement via links naar digitale notebooks ter beoordeling worden ingediend, dan mogen fysieke notebooks voor andere teams niet op de dag van het evenement persoonlijk worden beoordeeld. Bij teaminterviews worden alle teams eerst op afstand geïnterviewd, of worden ze eerst persoonlijk geïnterviewd. Teams die niet op afstand worden geïnterviewd, mogen in eerste instantie niet persoonlijk worden geïnterviewd op het evenement.

De jurering op afstand moet zo dicht mogelijk bij het evenement plaatsvinden, zodat de teams en robots die de juryleden tijdens de eerste interviews observeren, zo dicht mogelijk bij de teams en robots staan die naar de competitie worden meegenomen.

Bij jurering op afstand gelden alle richtlijnen voor jurering in persoon. In het volgende gedeelte worden de belangrijkste verschillen in het beoordelingsproces belicht als sommige beoordelingstaken die normaal gesproken persoonlijk worden uitgevoerd, op afstand worden uitgevoerd. Op afstand beoordelen kan plaatsvinden in de vorm van een Digital Engineering Notebook-beoordeling op afstand, of een eerste Team Interview op afstand, of een combinatie van beide, als volgt:

Beoordeling van het digitale technische notitieboek op afstand

De beoordeling van de digitale ingenieursnotitieboeken vindt op afstand plaats, vóór het evenement.
Teams uploaden links naar hun Engineering Notebook via RobotEvents.com. Het is niet toegestaan dat teams worden gevraagd om notitieboekjes in te dienen via een andere methode dan de RobotEvents-link of als een specifiek bestandstype. Ook mogen er geen aanvullende vereisten worden gesteld aan notitieboekjes die niet in deze handleiding voorkomen.
Zodra een koppeling naar een Digital Engineering Notebook (DEN) is geüpload via RobotEvents, kunnen teams hun DEN nog steeds doorlopend bijwerken, zelfs op de dag van het evenement. Het is te verwachten dat de inhoud van het notitieboekje in de loop van de tijd verandert. Dit is onderdeel van het technisch ontwerpproces.
Deze lijst met links wordt door de evenementpartner aan de juryadviseur verstrekt.
De jury moet de digitale technische notitieboekjes vrij kunnen bekijken via de link. Teams moeten ervoor zorgen dat de rechten om hun notitieboekjes te bekijken, zo zijn ingesteld dat de juryleden deze ook kunnen bekijken.
De juryadviseur verdeelt de juryleden in groepen om de notitieboekjes te beoordelen en te beoordelen met behulp van de Engineering Notebook Rubric.
Digitale technische notitieboeken moeten op afstand worden verwerkt onder vergelijkbare omstandigheden om consistentie te garanderen.
Digitale technische notitieboekjes moeten door meerdere juryleden worden beoordeeld om een rangschikking van de finalistennotitieboeken vast te stellen.
Sommige evenementen willen mogelijk een variatie op dit evaluatieformat uitvoeren. Het overkoepelende principe blijft dat alle inzendingen voor het notebook worden met behulp van hetzelfde inzendingsformaat en in hetzelfde tijdsbestek, zodat geen enkele inzending een echte of vermeende voorkeur of voordeel krijgt.

Eerste teaminterviews op afstand

De eerste teaminterviews worden op afstand gehouden vóór het evenement, met behulp van de Team Interview Rubric en Initial Award Candidate Ranking Sheet.
Deelnemers aan het team kunnen inloggen op de vergadering vanaf één locatie door een webcam te delen, of vanaf meerdere locaties.
Het doel van de eerste externe teaminterviews is om genomineerden voor elke prijs te identificeren (stap 1 van het overlegproces).
Adviseurs van de jury moeten een manier vinden om beoordelingsnotities te verzamelen ter ondersteuning van de uiteindelijke beraadslagingen.
Vervolginterviews met de genomineerden voor de uiteindelijke prijs (stap 2 in het ) moeten persoonlijk worden afgenomen om rekening te houden met team- en robotobservaties tijdens het evenement.
Juryleden die de vervolggesprekken persoonlijk bijwonen, mogen teams niet van de ene naar de andere prijscategorie verplaatsen. Als we dat zouden doen, zouden de eerste beraadslagingen van de externe juryleden ongeldig worden verklaard en zou het beoordelingsproces feitelijk opnieuw beginnen, zonder dat alle teams gelijk zouden worden behandeld.

Opmerking: De beoordeling op afstand vervangt niet de persoonlijke vervolggesprekken en beraadslagingen op de dag van het evenement. Het is bedoeld om evenementpartners en juryvrijwilligers de flexibiliteit te geven om al vóór de evenementdag een aantal jurytaken uit te voeren. Door op afstand te jureren, kan een kleinere groep juryleden profiteren van het langere tijdsbestek. De juryleden kunnen de jurering namelijk al vóór het evenement inplannen. Bovendien kunnen vrijwilligers als juryleden worden ingezet die niet persoonlijk aanwezig kunnen zijn bij het evenement.

Protocollen voor beoordeling op afstand

Alle beoordelingsprincipes en -richtlijnen zijn nog steeds van toepassing.
Jeugdbescherming moet gehandhaafd blijven. Bij het afnemen van interviews op afstand moet elk deelnemend team één volwassen vertegenwoordiger (18+ en geen middelbare scholier) hebben die is ingelogd en tijdens het hele interview zichtbaar is op camera. Deze volwassen vertegenwoordiger moet bij het interview aanwezig zijn voordat de studenten arriveren. De volwassene kan zich in dezelfde ruimte bevinden als de studenten of afzonderlijk zijn ingelogd op het externe gesprek. Deze volwassene mag op geen enkele wijze deelnemen aan of bijdragen aan de inhoud van het teaminterview. Hun aanwezigheid zorgt ervoor dat er meerdere volwassenen bij een videovergadering betrokken zijn.
Een jurylid mag nooit alleen zijn tijdens een interview op afstand met een team, maar moet in plaats daarvan samenwerken met een groep van twee of meer juryleden. Met de deelname van de volwassen vertegenwoordiger van het team komt het minimum aantal volwassenen dat meedoet aan een interview op afstand op drie.
Net zoals persoonlijke interviews geen opnames toestaan, mogen interviews op afstand ook nooit door welke partij dan ook worden opgenomen

Het is acceptabel dat externe juryleden afzonderlijke online beraadslagingsvergaderingen houden of spreadsheets delen om te helpen bij het verzamelen van beoordelingsinformatie, zoals de scores van de Team Interview Rubric, de scores van de Engineering Notebook Rubric en Initial Award Candidate Ranking Sheet. Alle vergadernotities en gegevensspreadsheets dienen onder toezicht van de rechter-adviseur te staan en de informatie die hierin is opgenomen, dient aan het einde van het evenement te worden vernietigd.

Planning voor beoordeling op afstand

DIGITALE TECHNISCHE NOTEBOOKS

De links naar het Digital Engineering Notebook worden door de coach van het primaire team geüpload naar hun Robotevents.com-account. De evenementpartner en de juryadviseur moeten een deadline vaststellen waarbinnen alle teams hun links moeten hebben geüpload. Zo hebben de juryleden voldoende tijd om de digitale technische notitieboekjes te beoordelen. De evenementpartner deelt die lijst met links met de juryadviseur, die juryleden aanwijst om elk digitaal technisch notitieboekje te beoordelen volgens het evaluatieproces van het technisch notitieboekje (zie Sectie 5). Alle digitale technische notitieboekjes moeten onder vergelijkbare omstandigheden en tijdsbeperkingen worden geëvalueerd.

INTERVIEWS MET HET AFSTANDSTEAM IN HET EERSTE TEAM

Inplannen van de vrijwilligers voor de externe beoordeling – Voor het inplannen van interviews is coördinatie nodig tussen de evenementpartner, de juryadviseur, de externe juryleden en de teams. Het is raadzaam om eerst een schema op te stellen met de interviewtijden en er vervolgens voor te zorgen dat de Remote Judges en de Judge Advisor op die tijden beschikbaar zijn. Hoewel de rechter-adviseur mogelijk niet aanwezig hoeft te zijn bij een interview, is het wel aan te raden dat hij/zij aanwezig is om te helpen bij het oplossen van eventuele problemen. Als een externe jurylid niet aanwezig kan zijn of als er een technisch probleem is, kan de juryadviseur ingrijpen en optreden als externe jurylid, zodat teams op het geplande tijdstip kunnen worden geïnterviewd.

Teams inplannen – De aanmeldtijden voor het eerste teaminterview op afstand kunnen handmatig worden gepland door de evenementpartner, maar een gemakkelijkere methode kan zijn dat teams zichzelf inplannen via een systeem op basis van wie het eerst komt, het eerst maalt. Het is aan te raden om de interviews op afstand een paar dagen voor het evenement af te ronden, voor het geval dat er extra tijd nodig is omdat een probleem met de vrijwilliger of de technologie de planning verstoort.

Als er voldoende Remote Judge-vrijwilligers zijn die het project ondersteunen, kunnen er meerdere interviews parallel worden afgenomen. Deelnemers kunnen bijvoorbeeld inloggen op één link voor externe juryleden, met een hoofdruimte voor de binnenkomende teams en breakoutrooms voor elk team van externe juryleden. Elk team werd voor het interview vanuit de hoofdruimte naar een aparte ruimte verplaatst. Het kan handig zijn om twee volwassenen (de juryadviseur en een andere evenementmedewerker) de teams bij aankomst in de hoofdruimte te laten begroeten. Zorg ervoor dat hun volwassen vertegenwoordiger zichtbaar is op camera en dat het het juiste team is voor het tijdslot voordat de teams naar binnen gaan om hun externe juryleden te zien. Door deze ‘wachtkamer’ te creëren, wordt ook voorkomen dat teams onbedoeld het interview van een ander team onderbreken.

Opmerking: Uit eerdere ervaringen is gebleken dat interviewcycli van een half uur goed werken: dertig minuten geeft teams voldoende tijd om de externe beoordelingsomgeving te betreden, de externe juryleden een interview van 10-15 minuten te laten afnemen en de externe juryleden het interview te bespreken, te beoordelen en het eerste kandidaten in te vullen voordat het volgende team arriveert.