Panoramica
La deliberazione sul premio è l'ultimo passaggio fondamentale del processo di valutazione. In questa fase i giudici collaborano tra loro e con il consulente per selezionare i candidati per ciascun premio e creare un piano d'azione per raccogliere eventuali informazioni di follow-up per le decisioni finali.
Le deliberazioni per l'assegnazione dei premi prevedono il confronto tra i team. L'integrità del processo di valutazione dipende dalla capacità di tutti i giudici di parlare apertamente durante il processo. Durante le deliberazioni emergono informazioni particolarmente delicate. Pertanto, tutte le note e le conversazioni relative alle deliberazioni dei giudici devono essere mantenute riservate durante e dopo l'evento.
Le rubriche Engineering Notebook e Team Interview sono strumenti utili per le deliberazioni. Il punteggio di una squadra, che si tratti di una voce specifica di una rubrica o del punteggio complessivo, è un dato che i giudici/consulenti dei giudici possono utilizzare come parte del processo. Non sostituisce i giudizi qualitativi nel processo deliberativo.
FASE 1 – ASSEGNAZIONE DELLE CANDIDATURE DA CIASCUN GRUPPO DI GIUDICI
Dopo che i gruppi di giudici hanno intervistato il loro sottoinsieme di team, dovrebbero decidere quali uno o due team del loro sottoinsieme di interviste saranno candidati per ciascun premio. Non è necessario che i giudici nominino una squadra per ogni premio. Dovrebbero tornare nella sala dei giudici e condividere le loro candidature con il resto dei giudici volontari e con il consulente dei giudici. Spesso ciò avviene tramite i giudici che scrivono i numeri dei team consigliati su post-it e li attaccano alle stampe delle descrizioni dei premi, in bella vista agli altri gruppi di giudici che stanno facendo lo stesso.
I fogli con la descrizione del premio si trovano alla fine di questo documento e possono essere stampati per organizzare visivamente i contributi dei giudici/team dei candidati durante le deliberazioni. L'uso di un codice colore può aiutare a organizzare le candidature di ciascun gruppo di giudici (vedere l'immagine sotto).
Il risultato finale di questo processo è una rosa di candidature per ciascun premio provenienti da tutti i gruppi di giudici. Quando ci sono molte candidature per ogni premio, il consulente dei giudici può chiedere ai gruppi di giudici di escludere i candidati più deboli dalla valutazione, sulla base di brevi argomentazioni a favore e contro ciascuna candidatura. Ad esempio, se un team è stato nominato per il Think Award ma non ha ottenuto un punteggio elevato nelle competenze di codifica autonoma, potrebbe non essere un candidato valido. Oppure un gruppo di giudici, dopo aver valutato i meriti degli altri candidati, potrebbe ritirare la candidatura iniziale.
FASE 2 – CONTROLLO INCROCIATO DEI CANDIDATI AL PREMIO
Questo passaggio dovrebbe essere completato prima della fine delle partite di qualificazione. Il consulente della giuria organizza gruppi di giudici per raccogliere ulteriori informazioni utili a convalidare la rosa dei candidati al premio. Ciò potrebbe assumere la forma di osservazione delle partite Skills Challenge, delle partite di qualificazione e del comportamento ai box, nonché di interviste di follow-up con i candidati ai premi. L'obiettivo è stilare una classifica finale dei candidati per ciascun premio assegnato.
Per i colloqui di follow-up, si raccomanda che i candidati vengano intervistati da giudici che non li hanno intervistati in precedenza. Se possibile, riunire giudici che condividono un'area di competenza per valutare premi specifici. Ad esempio, i giudici con esperienza in programmazione/informatica sarebbero probabilmente i più qualificati per valutare i candidati finalisti per il Think Award. Questa guida differisce specificamente dai colloqui iniziali, in cui i giudici con competenze simili dovrebbero essere assegnati a gruppi di valutazione diversi con l'intento di fornire a tutti i team una valutazione iniziale più completa.
Alle squadre dovrebbe essere per quali premi sono in lizza. Ciò costituisce una violazione del principio di riservatezza della Guida al giudizio.
FASE 3 – DELIBERARE SUI VINCITORI DEL PREMIO
Il passo successivo è la deliberazione finale per ciascun premio durante l'evento. Questa fase dovrebbe essere completata poco dopo l'inizio delle finali/partite ad eliminazione diretta. I dati quantitativi necessari per le deliberazioni per determinati premi possono essere ottenuti dai report "Elenco squadre", "Classifiche di qualificazione" e "Classifiche Sfida abilità per fascia d'età" dalla scheda Report in Gestione tornei all'evento.
FASE 4 – CLASSIFICA FINALE DEI VINCITORI DEL PREMIO
Dopo aver effettuato le interviste di follow-up, i giudici che le hanno condotte dovrebbero essere quelli che deliberano e creano una classifica tra quelle squadre. È buona norma avere candidati di prima scelta per il premio, più tre o più candidati alternativi.
Se vengono alla la Politica incentrata sullo , sia tramite osservazioni del giudice sia tramite appunti di campo al consulente del giudice, la valutazione di tale squadra per il premio assegnato dal giudice dovrebbe essere esaminata attentamente dal consulente del giudice. Se si riscontra che tali informazioni sono valide, il premio viene assegnato al team alternativo successivo nella graduatoria delle candidature.
Se si riscontra che la condotta di una squadra è grave, si prega di parlarne con il partner dell'evento o con il responsabile regionale del REC, in quanto si tratterebbe di una potenziale violazione del Codice di condotta. Ci auguriamo che si tratti di un evento raro, ma una comunicazione adeguata è importante per la trasparenza e per garantire che le conseguenze delle azioni che coinvolgono il Codice di condotta siano applicate equamente.
Nel caso dell'Excellence Award, il vincitore dovrà essere scelto tra i finalisti del Design Award che soddisfano i criteri per i Performance Awards e altri Judged Awards. Il passaggio di un team da finalista del Design Award a vincitore dell'Excellence Award potrebbe comportare la riorganizzazione dei vincitori di altri premi, per garantire che nessun team ottenga più di un premio assegnato durante l'evento. Il consulente della giuria deve riconciliare i vincitori dei premi per garantire che ogni vincitore riceva il premio più alto all'evento per il quale è idoneo. Avere tre o più candidati classificati per ogni premio è molto utile in questa situazione ed elimina la necessità di ulteriori deliberazioni.
Ad esempio: di seguito sono mostrate due forme. La figura 1 rappresenta i candidati al premio prima che venisse assegnato l'Excellence Award. La Figura 2 rappresenta i risultati dopo l'assegnazione del Premio d'Eccellenza.
Il Team A è stato selezionato per vincere l'Excellence Award. Il Team A è stato anche il miglior candidato per il Design Award. Pertanto, il team successivo nella classifica del Design Award (Team B) vincerà il Design Award e non l'Innovate Award, perché il Design Award ha una precedenza maggiore nei criteri di qualificazione. Il Team D diventerà il vincitore dell'Innovate Award. Il Team C, formalmente terzo classificato per il Think Award, è ora il vincitore del Think Award, poiché i Team A e B stanno ottenendo premi di precedenza più elevata. Nel caso del premio dei giudici (Team E), il vincitore del premio non cambia.
FASE 5 – INSERIMENTO DEI VINCITORI DEI PREMI IN TOURNAMENT MANAGER
Dopo che i candidati per i premi sono stati definitivi, il Judge Advisor deve informare l'Event Partner che il processo è terminato e l'operatore del Tournament Manager (TM) deve inserire i numeri di quelle squadre nel Tournament Manager nella scheda "Premi". Si raccomanda all'operatore del TM di stampare il foglio riepilogativo del premio o i rapporti sullo script del premio in modo che il consulente della giuria possa verificare che tutti i vincitori del premio siano stati inseriti correttamente.
FASE 6 – RACCOLTA E TRATTAMENTO DEI MATERIALI DI GIUDIZIO
Prima della cerimonia di premiazione, il consulente dei giudici deve mettere in sicurezza la sala dei giudici, raccogliendo tutti gli appunti, le rubriche e i fogli di classifica e cancellando tutti gli appunti sulla lavagna. I giudici non devono conservare copie di note che fanno riferimento a singoli team, comprese le rubriche o le classifiche dei premi. Se vengono scattate foto di squadre o robot, i giudici dovranno cancellarle.
Una volta terminato l'evento, il consulente della giuria dovrà distruggere tutto il materiale di valutazione fuori sede. Questi oggetti non devono essere consegnati al partner dell'evento per essere distrutti.
Continua alla sezione successiva, "Guida alla valutazione: valutazione a distanza"