Guia para Julgamento: Julgamento Remoto – Biblioteca RECF

Visão geral

Determinar o formato de julgamento (presencial ou remoto) que um evento oferece requer uma conversa entre o Juiz Conselheiro e o Parceiro do Evento. Em última análise, a decisão sobre o formato de julgamento cabe ao Parceiro do Evento, mas o Conselheiro do Juiz deve se sentir confortável em trabalhar no formato escolhido. O julgamento remoto pode ajudar a utilizar melhor os recursos voluntários disponíveis para o dia do evento, mas os voluntários juízes precisam estar confortáveis com quaisquer requisitos adicionais de tempo e/ou tecnologia que possam ser exigidos deles.

Todas as equipes julgadas para um evento devem ser julgadas no mesmo formato para garantir consistência na experiência de julgamento e para remover o potencial de viés baseado no formato que pode impactar as deliberações. Por exemplo, se os Cadernos de Engenharia forem enviados para avaliação por meio de links para cadernos digitais antes do evento para algumas equipes, os cadernos físicos não deverão ser avaliados pessoalmente no dia do evento para outras equipes. Para entrevistas de equipe, todas as equipes recebem uma entrevista remota inicial ou todas as equipes são inicialmente entrevistadas pessoalmente. As equipes que não forem entrevistadas remotamente não devem ser entrevistadas inicialmente pessoalmente no evento.

O julgamento remoto também deve ocorrer o mais próximo possível do evento para que as equipes e os robôs que os juízes observam nas entrevistas iniciais estejam o mais próximo possível do que está sendo levado para a competição.

O julgamento remoto segue todas as diretrizes do julgamento presencial. A seção a seguir destaca as principais diferenças no processo de julgamento caso algumas das tarefas de julgamento normalmente realizadas pessoalmente sejam conduzidas remotamente. A avaliação remota pode ocorrer na forma de avaliação remota do Caderno de Engenharia Digital, ou entrevistas remotas iniciais da equipe, ou uma combinação de ambas, da seguinte forma:

Julgamento remoto de cadernos de engenharia digital

Os Cadernos de Engenharia Digital são julgados remotamente antes do evento.
As equipes enviarão links para seus Cadernos de Engenharia via RobotEvents.com. Não é permitido que as equipes sejam solicitadas a enviar notebooks usando um método diferente do link RobotEvents, ou como um tipo de arquivo específico, nem são impostos requisitos adicionais em notebooks que não aparecem neste guia.
Depois que um link do Digital Engineering Notebook (DEN) é carregado via RobotEvents, as equipes ainda podem atualizar seu DEN continuamente, mesmo no dia do evento. Espera-se que o conteúdo do notebook mude ao longo do tempo, o que faz parte do Processo de Design de Engenharia.
Esta lista de links será fornecida pelo Parceiro do Evento ao Conselheiro do Juiz.
Os Cadernos de Engenharia Digital devem ser visualizados livremente pelos jurados por meio do link. As equipes devem garantir que as permissões para visualizar seus cadernos estejam definidas para permitir que os juízes também o façam.
O Juiz Conselheiro organizará os juízes em grupos para revisar e pontuar os cadernos usando a Rubricado Caderno de Engenharia .
Os Cadernos de Engenharia Digital devem ser manuseados remotamente em circunstâncias semelhantes para garantir consistência.
Os Cadernos de Engenharia Digital devem ser analisados por vários jurados para estabelecer uma classificação dos cadernos finalistas.
Alguns eventos podem querer realizar uma variação deste formato de avaliação. O princípio fundamental continua sendo que todos os envios de notebooks devem ser avaliados utilizando o mesmo formato de envio e no mesmo período, de modo que nenhuma inscrição receba qualquer preferência ou vantagem real ou percebida.

Entrevistas iniciais remotas da equipe

As entrevistas iniciais da equipe são feitas remotamente antes do evento, usando a Rubrica de entrevista de equipe e Folha de classificação de candidatos ao prêmio inicial 2.
Os participantes da equipe podem entrar na reunião de um único local compartilhando uma webcam ou de vários locais.
O objetivo das entrevistas remotas iniciais da equipe é identificar os indicados para cada prêmio (etapa 1 do processo.
Os juízes assessores devem criar uma maneira de reunir as notas de julgamento para auxiliar nas deliberações finais.
As entrevistas de acompanhamento para os indicados ao prêmio final (etapa 2 do processo de ) devem ser feitas pessoalmente para contabilizar as observações da equipe e do robô no evento.
Os juízes presenciais das entrevistas de acompanhamento não devem mover equipes de uma categoria de premiação para outra. Fazer isso invalidaria as deliberações iniciais dos juízes remotos e efetivamente reiniciaria o processo de julgamento sem dar tratamento igual a todas as equipes.

Nota: O julgamento remoto não substitui as entrevistas e deliberações de acompanhamento presenciais no dia do evento. O objetivo é fornecer flexibilidade para que os parceiros do evento e os voluntários do julgamento realizem algumas tarefas de julgamento antes do dia do evento. O julgamento remoto pode permitir que um grupo menor de juízes aproveite o prazo maior agendando o julgamento antes do evento e permite a utilização de juízes voluntários que talvez não possam comparecer pessoalmente ao evento.

Protocolos de julgamento remoto

Todos os princípios e diretrizes de julgamento ainda se aplicam.
A proteção dos jovens deve ser mantida. Ao conduzir entrevistas remotas, cada equipe participante deve ter um representante adulto (maior de 18 anos e que não seja estudante do ensino médio) conectado e visível na câmera durante toda a entrevista. Este representante adulto deve participar da entrevista antes da chegada dos alunos. O adulto pode estar na mesma sala que os alunos ou conectado separadamente à chamada remota. Este adulto não deve participar nem contribuir para o conteúdo da entrevista da equipe de forma alguma. A presença deles garante que haja vários adultos envolvidos em qualquer videoconferência.
Um Juiz nunca deve estar sozinho em uma entrevista remota com uma equipe, mas deve trabalhar como parte de um grupo de dois ou mais Juízes. Com a inclusão do representante adulto da equipe, o número mínimo de adultos em uma entrevista remota é três.
Assim como as entrevistas presenciais não permitem gravação, as entrevistas remotas também nunca devem ser gravadas por nenhuma parte

É aceitável que os juízes remotos realizem reuniões de deliberação on-line separadas ou compartilhem planilhas para ajudar a reunir informações de julgamento, como pontuações da Rubrica da Entrevista da Equipe, pontuações da Rubrica do Caderno de Engenharia e Folha de Classificação de Candidatos do Prêmio Inicial . Todas as notas de reunião ou planilhas de dados devem estar sob o controle do Juiz Conselheiro e as informações contidas nelas devem ser destruídas ao término do evento.

Agendamento de julgamento remoto

CADERNOS DE ENGENHARIA DIGITAL

Os links do Caderno de Engenharia Digital são carregados pelo Treinador da Equipe Principal em sua conta Robotevents.com. O Parceiro do Evento e o Conselheiro Juiz devem determinar um prazo até o qual todas as equipes devem ter seus links carregados, dando assim aos Juízes tempo adequado para começar a revisar os Cadernos de Engenharia Digital. O Parceiro do Evento compartilha essa lista de links com o Conselheiro do Juiz, que designa juízes para revisar cada Caderno de Engenharia Digital de acordo com o processo de avaliação do Caderno de Engenharia (consulte Seção 5). Todos os Cadernos de Engenharia Digital devem ser avaliados em condições e restrições de tempo semelhantes.

ENTREVISTAS COM A EQUIPE INICIAIS REMOTA

Agendamento dos voluntários de julgamento remoto – O agendamento da entrevista requer coordenação entre o parceiro do evento, o conselheiro do juiz, os juízes remotos e as equipes. É recomendável primeiro criar um cronograma de horários de entrevistas e, depois, garantir que os juízes remotos e o juiz conselheiro estejam disponíveis para esses horários. Embora o Juiz Consultor não precise participar de uma entrevista, é altamente recomendável que ele esteja presente para ajudar a gerenciar quaisquer problemas que possam surgir. Além disso, se um Juiz Remoto não puder comparecer ou tiver um problema de tecnologia, o Juiz Consultor pode intervir e atuar como Juiz Remoto para que as equipes possam ser entrevistadas no horário agendado.

Agendamento das equipes – Os horários de inscrição para a entrevista inicial remota da equipe podem ser agendados manualmente pelo parceiro do evento, mas um método mais fácil pode ser para as equipes se agendarem por meio de um sistema de inscrição por ordem de chegada. É recomendável que as entrevistas remotas sejam concluídas alguns dias antes do evento, caso seja necessário tempo extra devido a um problema de voluntariado ou de tecnologia que interrompa a programação.

Se houver voluntários suficientes do Remote Judge para dar suporte, diversas entrevistas podem ser conduzidas em paralelo. Por exemplo, os participantes podem fazer login em um único link de julgamento remoto com uma sala principal para equipes que chegam e salas de descanso para cada equipe de juízes remotos. Cada equipe seria transferida da sala principal para uma sala de descanso para a entrevista. Pode ser útil ter dois adultos (o Juiz Conselheiro e outro membro da equipe do evento) cumprimentando as equipes na sala principal quando elas chegam e garantir que seus representantes adultos estejam visíveis na câmera e que seja a equipe correta para o horário antes de mover as equipes para ver seus Juízes Remotos. Ter essa “sala de espera” também evita que equipes interrompam inadvertidamente a entrevista de outra equipe.

Nota: A experiência passada mostrou que os ciclos de entrevista de meia hora funcionam bem: trinta minutos permitem tempo suficiente para as equipes entrarem no ambiente de julgamento remoto, para os juízes remotos conduzirem uma entrevista de 10 a 15 minutos e para os juízes remotos discutirem, pontuarem a entrevista e preencherem a Folha de Classificação de Candidatos ao Prêmio Inicial antes da chegada da próxima equipe.