Descripción general
Determinar el formato de evaluación (en persona o a distancia) que ofrece un evento requiere una conversación entre el asesor del juez y el socio del evento. En última instancia, la decisión sobre el formato de evaluación recae en el Socio del Evento, pero el Asesor del Juez debe sentirse cómodo trabajando en el formato elegido. La evaluación remota puede ayudar a utilizar mejor los recursos de voluntarios disponibles para el día del evento, pero los voluntarios de los jueces deben sentirse cómodos con cualquier requisito adicional de tiempo y/o tecnología que se les pueda exigir.
Todos los equipos que son juzgados por un evento deben ser juzgados en el mismo formato para garantizar la coherencia en la experiencia de evaluación y para evitar que el potencial de sesgo basado en el formato impacte en las deliberaciones. Por ejemplo, si los cuadernos de ingeniería se envían para su evaluación a través de enlaces a cuadernos digitales antes del evento para algunos equipos, entonces los cuadernos físicos no deben evaluarse en persona el día del evento para otros equipos. Para las entrevistas de equipo, o bien todos los equipos reciben una entrevista remota inicial, o bien todos los equipos son entrevistados inicialmente en persona. Los equipos que no son entrevistados a distancia no deben ser entrevistados inicialmente en persona en el evento.
La evaluación remota también debe llevarse a cabo lo más cerca posible del evento para que los equipos y robots que los jueces observan en las entrevistas iniciales estén lo más cerca posible de lo que se está llevando a la competencia.
La evaluación remota sigue todas las pautas de la evaluación en persona. La siguiente sección destaca las diferencias clave en el proceso de evaluación si algunas de las tareas de evaluación que generalmente se realizan en persona se realizan de forma remota. La evaluación remota puede ocurrir en forma de evaluación remota del cuaderno de ingeniería digital, o entrevistas remotas iniciales del equipo, o una combinación de ambas, de la siguiente manera:
Juzgamiento remoto de cuadernos de ingeniería digital
- Los cuadernos de ingeniería digital se juzgan de forma remota antes del evento.
- Los equipos cargarán enlaces a su Cuaderno de Ingeniería a través de RobotEvents.com. No está permitido que se solicite a los equipos que envíen cuadernos utilizando un método que no sea el enlace RobotEvents, o como tipo de archivo específico, ni se impondrán requisitos adicionales en los cuadernos que no aparecen en esta guía.
- Una vez que se carga un enlace de Cuaderno de ingeniería digital (DEN) a través de RobotEvents, los equipos aún pueden actualizar su DEN de forma continua, incluso el día del evento. Se espera que el contenido del cuaderno cambie con el tiempo, lo que forma parte del proceso de diseño de ingeniería.
- Esta lista de enlaces será entregada por el Socio del Evento al Asesor del Juez.
- Los jueces deben poder ver libremente los cuadernos digitales de ingeniería utilizando el enlace. Los equipos deben asegurarse de que los permisos para ver sus cuadernos estén configurados para permitir que los jueces los vean.
- El asesor de jueces organizará a los jueces en grupos para revisar y calificar los cuadernos utilizando la rúbrica del cuaderno de ingeniería.
- Los cuadernos de ingeniería digital deben manejarse de forma remota en circunstancias similares para garantizar la coherencia.
- Los cuadernos de ingeniería digital deben ser revisados por varios jueces para establecer una clasificación de los cuadernos finalistas.
- Es posible que algunos eventos deseen realizar una variación en este formato de evaluación. El principio fundamental sigue siendo que todas las presentaciones de cuadernos deben evaluarse utilizando el mismo formato de presentación y en el mismo período de tiempo, de modo que a ninguna entrada se le dé ninguna preferencia o ventaja real o percibida.
Entrevistas iniciales remotas con el equipo
- Las entrevistas iniciales del equipo se realizan de forma remota antes del evento, utilizando la rúbrica de entrevistas del equipo y la hoja de clasificación inicial de candidatos del premio.
- Los participantes del equipo pueden iniciar sesión en la reunión desde una sola ubicación compartiendo una cámara web o desde varias ubicaciones.
- El objetivo de las entrevistas de equipo remotas iniciales es identificar a los nominados para cada premio (paso 1 del proceso de deliberación).
- Los asesores de jueces deben establecer una forma de cotejar las notas de evaluación para ayudar en las deliberaciones finales.
- Las entrevistas de seguimiento para los nominados al premio final (paso 2 en el proceso de deliberación) deben realizarse en persona para dar cuenta de las observaciones del equipo y del robot en el evento.
- Los jueces presenciales de las entrevistas de seguimiento no deben mover a los equipos de una categoría de premio a otra. Hacerlo invalidaría las deliberaciones iniciales de los jueces remotos y reiniciaría efectivamente el proceso de evaluación sin dar el mismo trato a todos los equipos.
Nota: La evaluación remota no reemplaza las entrevistas y deliberaciones de seguimiento en persona el día del evento. Su objetivo es proporcionar flexibilidad a los Socios del Evento y a los voluntarios de evaluación para que realicen algunas tareas de evaluación antes del día del evento. La evaluación remota puede permitir que un grupo más pequeño de jueces aproveche el marco de tiempo más largo al programar la evaluación antes del evento y permite la utilización de jueces voluntarios que pueden no poder asistir a un evento en persona.
Protocolos de evaluación remota
- Todos los principios y pautas de evaluación siguen siendo aplicables.
- Se debe mantener la protección de los jóvenes. Al realizar entrevistas remotas, cada equipo participante debe tener un representante adulto (mayor de 18 años y no un estudiante de secundaria) conectado y visible en cámara durante la totalidad de la entrevista. Este representante adulto debe unirse a la entrevista antes de que lleguen los estudiantes. El adulto puede estar en la misma habitación que los estudiantes o iniciar sesión por separado en la llamada remota. Este adulto no debe participar ni contribuir al contenido de la entrevista del equipo de ninguna manera. Su presencia garantiza que haya múltiples partes adultas involucradas en cualquier reunión por video.
- Un juez nunca debe estar solo en una entrevista remota con un equipo, sino que debe trabajar como parte de un grupo de dos o más jueces. Con la inclusión del representante de adultos del equipo, esto coloca el número mínimo de adultos en una entrevista remota en tres.
- Al igual que las entrevistas en persona no permiten la grabación, las entrevistas a distancia tampoco deben ser grabadas por ninguna de las partes
Es aceptable que los jueces remotos celebren reuniones de deliberación en línea por separado o compartan hojas de cálculo para ayudar a recopilar información de evaluación, como las puntuaciones de la rúbrica de entrevista de equipo, las puntuaciones de la rúbrica del cuaderno de ingeniería y la hoja de clasificación inicial de candidatos. Cualquier nota de reunión u hoja de cálculo de datos debe estar bajo el control del Juez Asesor y la información contenida en ellas debe ser destruida al final del evento.
Programación de evaluación remota
CUADERNOS DE INGENIERÍA DIGITAL
El entrenador del equipo principal carga los enlaces del cuaderno de ingeniería digital en su cuenta de Robotevents.com. El Socio del Evento y el Asesor de Jueces deben determinar una fecha límite en la que todos los equipos deben tener sus enlaces cargados, dando así a los Jueces el tiempo adecuado para comenzar a revisar los Cuadernos de Ingeniería Digital. El Socio del Evento comparte esa lista de enlaces con el Asesor de Jueces, quien asigna a los Jueces la revisión de cada Cuaderno de Ingeniería Digital de acuerdo con el proceso de evaluación del Cuaderno de Ingeniería (consulte la Sección 5). Todos los cuadernos de ingeniería digital deben evaluarse en condiciones y limitaciones de tiempo similares.
ENTREVISTAS INICIALES REMOTAS AL EQUIPO
Programación de los voluntarios de evaluación remota : la programación de la entrevista requiere coordinación entre el socio del evento, el asesor de jueces, los jueces remotos y los equipos. Se recomienda crear primero un cronograma de tiempos de entrevista, luego asegurarse de que los jueces remotos y el asesor de jueces estén disponibles para esos tiempos. Si bien es posible que el Juez Asesor no tenga que participar en una entrevista, se recomienda encarecidamente que esté disponible para ayudar a manejar cualquier problema que pueda surgir. Además, si un juez remoto no puede asistir o tiene un problema tecnológico, el asesor de jueces puede intervenir y actuar como juez remoto para que los equipos puedan ser entrevistados a la hora programada.
Programación de los equipos : el socio del evento puede programar manualmente los tiempos de registro de la entrevista de equipo inicial remota, pero un método más fácil puede ser que los equipos se programen a sí mismos a través de un sistema de registro por orden de llegada. Se recomienda que las entrevistas a distancia se completen unos días antes del evento en caso de que se necesite tiempo adicional debido a un problema de voluntariado o tecnología que interrumpa el horario.
Si hay suficientes voluntarios de jueces remotos para apoyarlo, se pueden realizar múltiples entrevistas en paralelo. Por ejemplo, los participantes podrían iniciar sesión en un solo enlace de evaluación remota con una sala principal para los equipos entrantes y salas de reuniones para cada equipo de jueces remotos. Cada equipo sería trasladado de la sala principal a una sala de reuniones para su entrevista. Puede ser útil que dos adultos (el asesor de jueces y otro miembro del personal del evento) saluden a los equipos en la sala principal a medida que llegan y se aseguren de que su representante adulto sea visible ante la cámara y que sea el equipo correcto para la franja horaria antes de trasladar a los equipos para ver a sus jueces remotos. Tener esta "sala de espera" también evita que los equipos interrumpan inadvertidamente la entrevista de otro equipo.
Nota: La experiencia pasada ha demostrado que los tiempos de ciclo de entrevista de media hora funcionan bien: treinta minutos permiten que los equipos tengan tiempo suficiente para ingresar al entorno de evaluación remota, para que los jueces remotos realicen una entrevista de 10 a 15 minutos y para que los jueces remotos discutan, califiquen la entrevista y completen la Hoja de clasificación inicial de candidatos antes de que llegue el siguiente equipo.