Guida alla valutazione: preparazione ed esecuzione dell'evento – Biblioteca RECF

Panoramica

Il processo di preparazione alla valutazione deve essere preso in considerazione già nelle fasi iniziali della pianificazione dell'evento. La dimensione dell'evento, il numero di premi assegnati, il programma dell'evento e il reclutamento dei volontari sono tutti fattori che incidono sul processo di valutazione. Il coordinamento tra il partner dell'evento, il consulente del giudice e i giudici volontari è fondamentale affinché il processo di valutazione si svolga in modo fluido ed efficace.

Nel caso dei tornei, la valutazione dovrebbe concludersi l'ultimo giorno di gara. Nel caso dei campionati, la valutazione deve avvenire in prossimità della data delle finali del campionato. Se si ricorre alla valutazione a distanza, tale processo dovrebbe avvenire il più vicino possibile alla data finale dell'evento. Questo serve a garantire che i team e i robot valutati dai giudici nei colloqui iniziali siano il più possibile simili a quelli portati in gara e osservati personalmente dai giudici.

Prima dell'evento – Attività per ruolo

Partner dell'evento

Reclutare con largo anticipo un consulente per i giudici qualificato e dei giudici per l'evento, per garantire che ci siano abbastanza giudici per soddisfare le esigenze dell'evento.
Collaborare con la REC Foundation RSM per garantire che tutti i premi richiesti siano elencati su Robotevents.com e che vengano procurati i trofei/certificati corrispondenti.
Assicurarsi che vi sia una stanza sicura e tranquilla, con spazio adeguato per consentire al personale addetto alla valutazione di deliberare (la sala dei giudici). L'accesso a questa sala è consentito solo al personale di valutazione e ai volontari espressamente autorizzati per l'evento.
Conoscere e comprendere i ruoli dei giudici e del consulente del giudice.
Assicurarsi che il personale addetto alla valutazione disponga del materiale di valutazione appropriato, tra cui lavagne, penne, evidenziatori, post-it, copie dei documenti di valutazione correnti, come rubriche e fogli per prendere appunti, e altri oggetti necessari. Questi documenti non possono essere modificati o sostituiti con versioni non ufficiali.

Giudice Consigliere

Superare il corso di certificazione Judge Advisor / Judge Training & per la stagione in corso prima dell'evento.
Non presenta alcun conflitto di interessi, o ne presenta minimi, con le squadre partecipanti all'evento.
Esaminare con il partner dell'evento i premi che verranno offerti durante l'evento.
Collaborare con il partner dell'evento per garantire il reclutamento del personale adeguato di giudici e confermare la loro presenza e le loro competenze.
Gestire eventuali conflitti di interesse che i singoli giudici potrebbero avere con i team presenti all'evento.
Formare i giudici prima dell'evento o durante l'evento stesso per garantire che i volontari comprendano il processo di valutazione e come svolgere i compiti assegnati.
Preparare un programma di valutazione in base al numero di squadre iscritte e al programma dell'evento.
Formulare un processo chiaro per la raccolta e la valutazione dei quaderni di ingegneria.
Confermare con il partner dell'evento che il personale addetto alla valutazione avrà a disposizione tutto il materiale e i documenti di valutazione appropriati e aggiornati, compresi gli elenchi delle squadre e i fogli delle partite forniti dall'operatore Tournament Manager dell'evento. Questi documenti non possono essere modificati o sostituiti con versioni non ufficiali.

Giudice

Rivedi il video e la descrizione della partita per comprendere i fondamenti del gioco a cui giocheranno le squadre.
Comunicare al Judge Advisor eventuali potenziali conflitti di interesse con le squadre presenti all'evento.
Avere familiarità con il materiale di valutazione attuale, tra cui la documentazione ufficiale di valutazione, le rubriche e le descrizioni dei premi. Questi documenti non possono essere modificati o sostituiti con versioni non ufficiali.
Completare il corso di certificazione Judge Advisor / Judge Training & (fortemente consigliato ma non obbligatorio). Nota: Le eccezioni a questo requisito dovrebbero essere rare e richiedere l'approvazione del REC Foundation RSM.

Giorno dell'evento – Compiti per ruolo

Partner dell'evento

Assicurarsi che il personale addetto alla valutazione abbia a disposizione tutto il materiale necessario e abbia accesso alla sala protetta dei giudici.
Comunicare eventuali modifiche al programma al consulente del giudice.
I partner dell'evento non possono raccomandare o assegnare i premi assegnati a nessun team, né essere coinvolti nelle deliberazioni relative ai premi. Gli EP possono raccomandare o assegnare premi a singoli individui, come il premio Volontario dell'anno.
Il partner dell'evento deve supervisionare l'inserimento dei premi nel Tournament Manager per effettuare un controllo finale e garantire che a nessuna squadra venga assegnato più di un premio giudicato. Se a un team sono stati assegnati più premi assegnati dai giudici, il partner dell'evento dovrà consultare il consulente dei giudici per porre rimedio alla situazione.

Giudice Consigliere

Rivedere il processo di valutazione con i giudici prima dell'inizio dell'evento e rispondere a qualsiasi domanda possano avere.
Ricevi i quaderni di ingegneria inviati.
Assicurarsi che i giudici firmino sul di registrazione dei giudici volontari.
Formare i giudici prima dell'evento o durante l'evento stesso per garantire che i volontari comprendano il processo di valutazione e come svolgere i compiti assegnati.
I giudici di gruppo assegnano a ciascun gruppo un sottoinsieme di team da intervistare, gestendo potenziali conflitti di interesse. È possibile farlo prima dell'evento. I giudici non dovrebbero essere messi nella posizione di intervistare o deliberare per squadre con cui hanno un conflitto.
Assegnare i giudici con relazioni preesistenti tra loro, o con background simili, a diversi gruppi di giudici, in modo che i team interagiscano con giudici che hanno prospettive e background diversi.
Gestire il tempo e garantire che i gruppi di valutazione mantengano il ritmo per intervistare tutti i team entro i limiti di tempo.
Guidare le deliberazioni per i premi assegnati ai giudici.
Assicuratevi che nessun team vinca più di un Judged Award.
Raccogliere le note di campo da inviare al consulente del giudice dallo staff dell'evento prima delle deliberazioni finali.
Registrare i risultati di tutti i premi assegnati e comunicare l'elenco dei vincitori al partner dell'evento e/o all'operatore del Tournament Manager.
Chiedere all'operatore del Tournament Manager di stampare gli script di premiazione da utilizzare durante la cerimonia di premiazione.
Mantenere la riservatezza di tutte le deliberazioni e discussioni del giudizio. I team non devono ricevere alcun feedback dai giudici o dal consulente dei giudici, né i partner dell'evento devono ricevere informazioni specifiche discusse dai giudici, tranne per segnalare violazioni del Codice di condotta.
Raccogliere tutto il materiale di valutazione per garantire la riservatezza. Dopo l'evento, questi materiali dovrebbero essere distrutti. Assicurarsi che il processo di restituzione di tutti i quaderni di ingegneria ai team sia completato, se applicabile.
Il consulente della giuria non deve partecipare ai colloqui come parte di un gruppo di valutazione, a meno che non vi sia una necessità impellente dovuta a una mancanza imprevista di personale.

Giudice

Svolgere una o più attività a seconda delle esigenze dell'evento, tra cui:
- Valuta i quaderni di ingegneria utilizzando la rubrica dei quaderni di ingegneria
- Intervistare i team e valutare utilizzando la Rubrica per l'intervista del team
- Osserva le squadre in competizione
- Consegnare i premi alle squadre durante la cerimonia di premiazione
Comunicare al Judge Advisor eventuali potenziali conflitti di interesse con le squadre partecipanti
Deliberare con gli altri giudici, sotto la direzione del consulente dei giudici, per assegnare i vincitori dei premi seguendo le linee guida contenute nella documentazione ufficiale di valutazione.
Consegnare tutte le note e le rubriche di giudizio al consulente del giudice.
Mantenere la riservatezza di tutte le deliberazioni e discussioni di giudizio. I team non dovrebbero ricevere alcun feedback giudici, a parte incoraggiamenti positivi e ringraziamenti alla fine del colloquio.

Esempio di cronologia di un evento di persona

Il grafico seguente è di come il processo di valutazione in presenza potrebbe funzionare parallelamente al resto del programma della competizione durante un tipico evento di un giorno. Gli eventi potrebbero svolgersi in base a vincoli temporali diversi e pertanto potrebbero non seguire questa sequenza esatta.

Se la valutazione viene effettuata a distanza, le valutazioni dell'Engineering Notebook e/o i colloqui iniziali del team vengono completati prima dell'evento. Per maggiori dettagli vedere la 8.

Esempio di cronologia di un evento in presenza Esempio Per un evento in cui tutti i giudizi vengono effettuati di persona
TEMPO	ATTIVITÀ DELL'EVENTO	SQUADRE	GIUDICI / GIUDICI CONSULENTI
Mattina presto	REGISTRAZIONE	I team si registrano come presenti e consegnano i quaderni di ingegneria. Una volta effettuata l'ispezione, le squadre possono disputare le loro partite di Sfida di Abilità.	Orientamento dei giudici / Inizio dei colloqui - I giudici vengono organizzati in gruppi e assegnati ai team di colloquio. I colloqui possono iniziare non appena i giudici sono assegnati ai gruppi e il consulente dei giudici ha risposto a tutte le domande relative al procedimento. Da questo momento è possibile iniziare a valutare anche i quaderni. Si consiglia di interrompere le interviste durante le cerimonie di apertura/riunione dell'evento.
Mattina presto	ISPEZIONE
Mattina	CERIMONIE DI APERTURA/ EVENTO INCONTRO	I team partecipano e pongono domande alla riunione dell'evento.
Mattina	PARTITE DI QUALIFICAZIONE	Le squadre vengono convocate per le partite di qualificazione.	Le squadre vengono intervistate durante le pause tra le partite.
Pausa pranzo	PAUSA PRANZO	Pausa pranzo: se l'evento è in ritardo, le squadre possono giocare le partite durante questa pausa.	Pranzo di lavoro - I giudici possono prendersi una pausa, discutere i progressi compiuti finora e ogni gruppo di giudici può nominare i migliori candidati per i premi finora assegnati.
Primo pomeriggio	PARTITE DI QUALIFICAZIONE	Le squadre vengono convocate per le partite di qualificazione.	Completare i colloqui di gruppo e iniziare le deliberazioni finali. Il Judge Advisor deve raccogliere le classifiche finali delle Skills Challenge e delle qualificazioni dall'operatore Tournament Manager, nonché eventuali note di campo. Se fossero necessari ulteriori colloqui, questi dovranno essere completati prima della conclusione delle partite di qualificazione.
Pomeriggio	SELEZIONE DELL'ALLEANZA/ COPPIE DI ALLEANZA	Le squadre vengono sottoposte a selezione dell'alleanza (V5RC) o abbinamenti di alleanza (VIQRC) oppure hanno una breve pausa prima delle finali (VURC/VAIRC).	Deliberazioni finali - I team non devono essere intervistati durante questo periodo; le decisioni devono essere prese sulla base dei dati a disposizione. Una volta decisi tutti i premi, il Judge Advisor li porta all'Event Partner e/o all'Operator del Tournament Manager per inserirli nel Tournament Manager. Tutti i quaderni di ingegneria devono essere restituiti ai team.
Fine della giornata	PARTITE AD ELIMINAZIONE/FINALI	Le squadre partecipano alle partite finali e ricevono premi. In alcuni eventi le premiazioni possono essere intervallate dalle partite finali, mentre in altri casi la cerimonia di premiazione può svolgersi al termine degli stessi.
Fine della giornata	CERIMONIE DI PREMIAZIONE/CHIUSURA		Il consulente del giudice raccoglie e distrugge gli appunti e le rubriche dei giudizi e sgombera la sala dei giudici da qualsiasi informazione identificativa. Ai giudici potrebbe essere chiesto di leggere le trascrizioni dei premi, di consegnarli o semplicemente di essere visibili ai team durante la cerimonia di chiusura. Il partner dell'evento dovrebbe pianificare tutto in anticipo.

Continua alla sezione successiva, Guida alla valutazione: Premi