Guida alla valutazione: valutazione a distanza

Panoramica

Per determinare il formato di valutazione (di persona o da remoto) offerto da un evento è necessario un colloquio tra il consulente della giuria e il partner dell'evento. In ultima analisi, la decisione sul formato di valutazione spetta all'Event Partner, ma il Judge Advisor deve sentirsi a proprio agio nel lavorare nel formato scelto. La valutazione a distanza può aiutare a utilizzare al meglio le risorse di volontariato disponibili il giorno dell'evento, ma i volontari giudici devono essere a loro agio con qualsiasi ulteriore requisito di tempo e/o tecnologia che potrebbe essere loro richiesto.

Tutti i team giudicati per un evento devono essere nello stesso per garantire coerenza nell'esperienza di valutazione e per evitare che eventuali pregiudizi basati sul formato possano avere un impatto sulle deliberazioni. Ad esempio, se per alcuni team i quaderni di progettazione vengono inviati per la valutazione tramite collegamenti a quaderni digitali prima dell'evento, per altri team i quaderni cartacei non dovranno essere valutati di persona il giorno dell'evento. Per i colloqui di gruppo, tutti i team vengono intervistati inizialmente a distanza oppure di persona. I team che non vengono intervistati a distanza non dovrebbero essere intervistati inizialmente di persona durante l'evento.

La valutazione a distanza dovrebbe inoltre svolgersi il più vicino possibile all'evento, in modo che i team e i robot che i giudici osservano nei colloqui iniziali siano il più possibile simili a ciò che verrà portato in gara.

La valutazione a distanza segue tutte le linee guida della valutazione di persona. La sezione seguente evidenzia le principali differenze nel processo di valutazione se alcune delle attività di valutazione solitamente svolte di persona vengono svolte da remoto. La valutazione a distanza può avvenire sotto forma di valutazione remota del Digital Engineering Notebook, o di colloqui di gruppo iniziali a distanza, o una combinazione di entrambi, come segue:

Valutazione del quaderno di ingegneria digitale remoto

Colloqui iniziali a distanza con il team

  • I colloqui iniziali di gruppo vengono svolti da remoto prima dell'evento, utilizzando la rubrica i colloqui di gruppo e il foglio di classificazione dei candidati al premio iniziale .
  • I partecipanti al team possono accedere alla riunione da un'unica postazione condividendo una webcam oppure da più postazioni.
  • L'obiettivo dei colloqui iniziali a distanza con il team è identificare i candidati per ciascun premio (fase 1 del processo di ).
  • I giudici consulenti dovrebbero predisporre un sistema per raccogliere le note di giudizio per agevolare le deliberazioni finali.
  • I colloqui di follow-up per i candidati finali al premio (fase 2 del processo di ) dovranno essere svolti di persona per tenere conto delle osservazioni del team e del robot durante l'evento.
  • I giudici in presenza dei colloqui di follow-up non dovrebbero spostare i team da una categoria di premio all'altra. Ciò invaliderebbe le deliberazioni iniziali dei giudici a distanza e di fatto ricomincerebbe il processo di valutazione senza garantire pari trattamento a tutte le squadre.

Nota: La valutazione a distanza non sostituisce i colloqui di follow-up e le deliberazioni di persona il giorno dell'evento. Lo scopo è quello di offrire ai partner dell'evento e ai volontari della giuria la flessibilità necessaria per svolgere alcune attività di valutazione prima del giorno dell'evento. La valutazione a distanza può consentire a un gruppo più ristretto di giudici di sfruttare un lasso di tempo più lungo programmando la valutazione prima dell'evento e consente di utilizzare giudici volontari che potrebbero non essere in grado di partecipare di persona all'evento.

Protocolli di valutazione a distanza

  • Tutti i principi e le linee guida di valutazione restano validi.
  • La tutela dei giovani deve essere tutelata. Durante lo svolgimento di interviste a distanza, ogni team partecipante deve avere un rappresentante adulto (maggiorenne e non studente delle superiori) registrato e visibile tramite telecamera per tutta la durata dell'intervista. Questo rappresentante adulto dovrebbe partecipare al colloquio prima dell'arrivo degli studenti. L'adulto può trovarsi nella stessa stanza degli studenti oppure aver effettuato l'accesso separatamente alla chiamata remota. Questo adulto non deve partecipare o contribuire in alcun modo al contenuto del colloquio di squadra. La loro presenza garantisce che in ogni videoconferenza siano coinvolti più soggetti adulti.
  • Un giudice non dovrebbe mai essere solo durante un colloquio a distanza con un team, ma dovrebbe invece lavorare come parte di un gruppo di due o più giudici. Con l'inclusione del rappresentante adulto del team, il numero minimo di adulti per un colloquio a distanza è di tre.
  • Proprio come i colloqui di persona non consentono la registrazione, anche i colloqui a distanza non dovrebbero mai essere registrati da nessuna parte

È accettabile che i giudici a distanza tengano riunioni di deliberazione online separate o condividano fogli di calcolo per facilitare la raccolta di informazioni di valutazione, come i punteggi della rubrica del colloquio di gruppo, i punteggi della rubrica del quaderno di progettazione efoglio di classificazione dei candidati al premio iniziale . Tutti gli appunti delle riunioni o i fogli di calcolo dei dati devono essere sotto il controllo del consulente del giudice e le informazioni in essi contenute devono essere distrutte al termine dell'evento.

Pianificazione della valutazione a distanza

QUADERNI DI INGEGNERIA DIGITALE

I link al Digital Engineering Notebook vengono caricati dall'allenatore della squadra primaria sul proprio account Robotevents.com. Il partner dell'evento e il consulente dei giudici devono stabilire una scadenza entro la quale tutti i team devono caricare i propri link, dando così ai giudici il tempo necessario per iniziare a esaminare i Digital Engineering Notebook. Il partner dell'evento condivide l'elenco dei link con il consulente dei giudici, che assegna ai giudici il di rivedere ogni quaderno di ingegneria digitale in base al processo di valutazione del quaderno di ingegneria (vedere Sezione 5). Tutti i Digital Engineering Notebook devono essere valutati in condizioni e limiti di tempo simili.

COLLOQUI INIZIALI A DISTANZA CON IL TEAM

Programmazione dei volontari per la valutazione a distanza – La programmazione dei colloqui richiede il coordinamento tra il partner dell'evento, il consulente del giudice, i giudici a distanza e i team. Si consiglia innanzitutto di creare un programma di orari per i colloqui e poi di assicurarsi che i giudici a distanza e il consulente per i giudici siano disponibili per quegli orari. Anche se il consulente del giudice potrebbe non aver bisogno di partecipare a un colloquio, è altamente consigliabile che sia presente per aiutare a gestire eventuali problemi che potrebbero sorgere. Inoltre, se un giudice remoto non può partecipare o ha un problema tecnologico, il giudice consulente può subentrare e fungere da giudice remoto, in modo che le squadre possano essere intervistate all'orario programmato.

Pianificazione dei team – Gli orari di iscrizione per il colloquio iniziale del team a distanza possono essere pianificati manualmente dal partner dell'evento, ma un metodo più semplice potrebbe essere quello per i team di pianificare autonomamente tramite un sistema di iscrizione in base all'ordine di arrivo. Si consiglia di completare i colloqui a distanza qualche giorno prima dell'evento nel caso in cui fosse necessario più tempo a causa di un problema tecnico o di un volontario che interrompesse la programmazione.

Se ci sono abbastanza volontari Remote Judge a supportarlo, è possibile condurre più interviste in parallelo. Ad esempio, i partecipanti potrebbero accedere a un unico collegamento per la valutazione remota, con una stanza principale per i team in arrivo e stanze separate per ogni team di giudici remoti. Ogni team verrà spostato dalla sala principale a una sala riunioni per il colloquio. Potrebbe essere utile che due adulti (il Judge Advisor e un altro membro dello staff dell'evento) accolgano i team nella sala principale al loro arrivo e si assicurino che il loro rappresentante adulto sia visibile in telecamera e che si tratti del team corretto per la fascia oraria prima di farli entrare per incontrare i loro giudici remoti. Avere questa "sala d'attesa" impedisce inoltre ai team di interrompere inavvertitamente il colloquio di un altro team.

Nota: l'esperienza passata ha dimostrato che i tempi di colloquio di mezz'ora funzionano bene: trenta minuti sono più che sufficienti ai team per entrare nell'ambiente di valutazione remota, ai giudici remoti per condurre un colloquio di 10-15 minuti e ai giudici remoti per discutere, valutare il colloquio e compilare il dell'arrivo del team successivo.