개요
수상 심의는 심사 과정에서 가장 중요한 마지막 단계입니다. 이 단계에서는 판사들이 판사 자문위원 및 다른 판사들과 협력하여 각 상에 대한 후보자를 선정하고 최종 결정을 위한 후속 정보를 수집하기 위한 행동 계획을 수립합니다.
수상 심의에는 팀을 서로 비교하는 것이 포함됩니다. 심사 과정의 성실성은 모든 심사위원이 심사 과정에서 솔직하게 말할 수 있는지에 달려 있습니다. 심의 과정에서는 특히 민감한 정보가 공개됩니다. 따라서 모든 심사 심의 노트와 대화는 행사 중은 물론 행사 후에도 비밀로 유지되어야 합니다.
엔지니어링 노트북 기준과 팀 면접 기준은 심의에 도움이 되는 도구입니다. 팀의 점수는 기준에 따른 특정 항목이나 전체 점수이든, 심사위원/심판 자문위원이 프로세스의 일부로 사용할 수 있는 데이터 포인트입니다. 이는 심의 과정에서의 정성적 판단을 대체하는 것이 아닙니다.
1단계 – 각 심사위원 그룹에서 후보 지명 수여
심사위원단은 각 팀에 대한 면접을 마친 후, 면접 대상 팀 중 1~2팀을 각 상의 후보로 선정해야 합니다. 심사위원은 모든 상에 팀을 지명할 필요는 없습니다. 그들은 판사실로 돌아가서 나머지 판사 자원봉사자들과 판사 자문위원들과 자신의 지명을 공유해야 합니다. 종종 이는 심사위원들이 추천하는 팀 번호를 부착 메모지에 적어 다른 심사위원 그룹이 모두 보는 앞에서 수상 설명서를 출력해서 붙이는 형태로 이루어진다.
수상 설명 시트는 이 문서의 끝부분에서 찾을 수 있으며, 심의 중 심사위원의 의견/후보 팀을 시각적으로 정리하는 데 도움이 되도록 인쇄할 수 있습니다. 색상으로 구분하면 각 심사위원 그룹의 후보자를 체계적으로 정리하는 데 도움이 됩니다(아래 그림 참조).
이 과정의 최종 결과는 모든 심사위원단에서 각 상에 대한 후보자를 선정한 단축 목록입니다. 각 상에 많은 후보가 있는 경우, 심사위원 자문위원은 각 후보에 대한 간략한 찬반 주장을 토대로, 상대적으로 약한 후보를 심사에서 제외하도록 심사위원 그룹에 요청할 수 있습니다. 예를 들어, 어떤 팀이 Think Award에 후보로 지명되었지만 자율 코딩 기술 부문에서 높은 점수를 받지 못했다면 그 팀은 강력한 후보가 아닐 수 있습니다. 혹은 판사단이 다른 후보자의 장점을 고려한 후, 처음 지명한 후보자에 대한 지명을 철회할 수도 있습니다.
2단계 – 수상 후보자 교차 확인
이 단계는 예선 경기가 끝나기 전에 완료되어야 합니다. 심사위원 자문위원은 심사위원 그룹을 조직하여 나가서 추가 정보를 수집하여 상 후보자 명단을 검증합니다. 이는 스킬 챌린지 경기, 예선 경기, 피트 내에서의 행동을 관찰하는 형태를 취할 수도 있고, 수상 후보자와의 후속 인터뷰를 실시하는 형태일 수도 있습니다. 목표는 수여되는 각 상에 대한 후보자의 최종 순위를 내리는 것입니다.
후속 면접의 경우, 이전에 면접을 본 적이 없는 판사가 후보자를 면접하는 것이 좋습니다. 가능하다면 특정 상을 평가하기 위해 동일한 전문 분야를 공유하는 판사들을 한데 모아보세요. 예를 들어, 프로그래밍/컴퓨터 과학 분야의 배경 지식을 가진 심사위원이 Think Award의 최종 후보자를 평가하는 데 가장 적합한 자격을 갖출 가능성이 높습니다. 이 지침은 초기 면접과 특히 다릅니다. 초기 면접에서는 비슷한 전문 지식을 가진 판사들을 다른 심사 그룹에 배정하여 모든 팀에 더욱 포괄적인 초기 평가를 제공하려는 의도가 있습니다.
팀에는 자신들이 어떤 상을 놓고 경쟁하고 있는지 알려서는 됩니다. 이는 판단 가이드의 비밀 유지 원칙을 위반하는 것입니다.
3단계 – 수상자에 대한 심의
다음 단계는 행사에서 각 상에 대한 최종 심의입니다. 이 단계는 결승전/탈락전이 시작된 직후에 완료될 예정입니다. 특정 상에 대한 심의에 필요한 정량적 데이터는 이벤트 내 토너먼트 관리자의 보고서 탭에서 “팀 목록,” “예선 순위,” “연령대별 기술 챌린지 순위” 보고서에서 얻을 수 있습니다.
4단계 – 수상자 최종 순위
후속 인터뷰가 실시된 후에는 후속 인터뷰를 실시한 심사위원이 심의하여 해당 팀들 간의 순위를 정해야 합니다. 가장 좋은 방법은 1순위 수상 후보자와 3명 이상의 대체 후보자를 지명하는 것입니다.
심사위원의 관찰이나 심사위원 에게 보내는 현장 노트를 통해 팀이 행동 강령 또는 학생 중심 정책위반했을 가능성이 있다는 정보가 밝혀지면, 심사위원 자문가는 해당 팀의 심사 상을 면밀히 검토해야 합니다. 해당 정보에 가치가 있다고 판단될 경우, 상은 수상 후보 순위에서 바로 다음 순위의 대체 팀에게 수여됩니다.
팀의 행동이 지나치게 과격하다고 판단될 경우, 이벤트 파트너나 REC 지역 관리자와 이를 행동 강령 위반 가능성에 대해 논의하세요. 이런 일이 드물기를 바라지만 투명성을 위해서는 적절한 의사소통이 중요하며 행동 강령과 관련된 행동에 대한 결과가 공정하게 적용되도록 해야 합니다.
우수상의 경우, 수상자는 성과상 및 기타 심사상의 기준을 충족하는 디자인상 결선 진출자 목록에서 나와야 합니다. 디자인 어워드 결선 진출팀에서 우수상 수상팀으로 팀을 변경할 경우, 해당 행사에서 한 팀이 심사 상을 두 개 이상 수상하지 않도록 하기 위해 다른 상을 수상자로 선정하는 과정이 필요할 수 있습니다. 심사위원은 각 수상자가 해당 수상 자격이 있는 행사에서 가장 높은 상을 받을 수 있도록 수상자들을 조정해야 합니다. 이런 상황에서는 각 상에 대해 3명 이상의 순위가 매겨진 후보가 있는 것이 매우 도움이 되며, 추가 심의의 필요성을 없애줍니다.
예제: 아래에 두 가지 형태가 나와 있습니다. 그림 1은 우수상이 결정되기 전 수상 후보자들을 나타냅니다. 그림 2는 우수상이 결정된 후의 결과를 나타냅니다.
팀 A가 우수상을 수상하게 되었습니다. A팀은 디자인 어워드에서도 1위 후보에 올랐습니다. 따라서 디자인 어워드 순위에서 다음 팀(팀 B)이 이제 혁신상이 아닌 디자인상을 수상하게 됩니다. 그 이유는 디자인상이 예선 기준에서 더 높은 우선순위를 가지고 있기 때문입니다. D팀이 혁신상 수상자가 됩니다. 이전에 Think Award에서 3위를 차지했던 팀 C는 이제 Think Award 수상자가 되었는데, 그 이유는 팀 A와 B가 더 높은 우선순위의 상을 받고 있기 때문입니다. 심사위원상(팀 E)의 경우 수상자는 변경되지 않습니다.
5단계 – 토너먼트 관리자에 수상자 입력
수상 후보자가 확정되면 심사위원은 이벤트 파트너에게 프로세스가 완료되었음을 알려야 하며, 토너먼트 관리자(TM) 운영자는 해당 팀 번호를 토너먼트 관리자의 "수상" 탭에 입력해야 합니다. TM 운영자는 수상 요약서나 수상 스크립트 보고서를 인쇄하여 심사 위원단이 모든 수상자가 올바르게 입력되었는지 다시 한 번 확인할 수 있도록 하는 것이 좋습니다.
6단계 – 심사 자료 수집 및 처리
시상식 전에 심사위원 자문위원은 심사위원실을 정리하고 모든 메모, 평가 기준, 순위표를 수거하고 화이트보드 메모를 지워야 합니다. 심사위원은 평가 기준이나 수상 순위표 등 개별 팀을 언급하는 모든 기록의 사본을 보관해서는 안 됩니다. 팀이나 로봇의 사진이 촬영된 경우, 심사위원은 이를 삭제해야 합니다.
행사가 끝나면 심사위원은 행사장 외부에서 모든 심사 자료를 파기해야 합니다. 해당 품목은 파기하기 위해 이벤트 파트너에게 넘겨서는 안 됩니다.