Przegląd
Aby ustalić format oceniania (osobisty lub zdalny) oferowany na danym wydarzeniu, konieczna jest rozmowa pomiędzy doradcą sędziowskim a partnerem wydarzenia. Ostatecznie decyzję o formacie oceniania podejmuje Partner Wydarzenia, jednak Doradca Sędziowski powinien czuć się komfortowo pracując w wybranym formacie. Zdalne ocenianie może pomóc w lepszym wykorzystaniu zasobów wolontariuszy dostępnych w dniu wydarzenia, jednak wolontariusze pełniący rolę sędziów muszą być przygotowani na dodatkowe wymagania czasowe i/lub technologiczne, które mogą być od nich wymagane.
Wszystkie zespoły oceniane w ramach danego wydarzenia muszą być w tym samym formacie aby zapewnić spójność procesu oceniania oraz wyeliminować potencjalne skutki stronniczości wynikającej z formatu, które mogłyby mieć wpływ na obrady. Na przykład, jeśli zeszyty inżynierskie zostaną przesłane do oceny za pośrednictwem linków do cyfrowych zeszytów przed wydarzeniem przez niektóre zespoły, to zeszyty w wersji fizycznej nie powinny być oceniane osobiście w dniu wydarzenia przez inne zespoły. W przypadku rozmów kwalifikacyjnych z zespołami, wszystkie zespoły uczestniczą w początkowym wywiadzie zdalnym lub wszystkie zespoły uczestniczą w początkowym wywiadzie osobiście. Zespoły, które nie przeszły rozmowy kwalifikacyjnej zdalnie, nie powinny być początkowo przesłuchiwane osobiście podczas wydarzenia.
Zdalne ocenianie powinno odbywać się jak najbliżej wydarzenia, aby zespoły i roboty obserwowane przez sędziów podczas wstępnych wywiadów były jak najbardziej zbliżone do tego, co będzie prezentowane na zawodach.
Ocenianie na odległość odbywa się zgodnie z tymi samymi wytycznymi, co ocenianie osobiste. W poniższej sekcji przedstawiono najważniejsze różnice w procesie oceniania, jeżeli niektóre z zadań oceniających, zwykle wykonywanych osobiście, są przeprowadzane zdalnie. Zdalne ocenianie może odbywać się w formie zdalnego oceniania Digital Engineering Notebook lub zdalnych wstępnych rozmów kwalifikacyjnych z zespołem, bądź w formie kombinacji obu tych form, w następujący sposób:
Zdalne ocenianie cyfrowego notatnika inżynierskiego
- Cyfrowe zeszyty inżynierskie są oceniane zdalnie przed wydarzeniem.
- Zespoły będą umieszczać linki do swoich zeszytów inżynierskich za pośrednictwem serwisu RobotEvents.com. Niedopuszczalne jest żądanie od zespołów przesyłania notatników inną metodą niż za pośrednictwem łącza RobotEvents lub jako określonego typu pliku. Nie można również nakładać dodatkowych wymagań na notatniki, które nie zostały uwzględnione w tym przewodniku.
- Po przesłaniu łącza do Digital Engineering Notebook (DEN) za pośrednictwem RobotEvents zespoły będą mogły na bieżąco aktualizować swój DEN, nawet w dniu wydarzenia. Oczekuje się, że zawartość notatnika będzie się z czasem zmieniać, co jest częścią procesu projektowania inżynieryjnego.
- Partner Wydarzenia przekaże tę listę linków Doradcy Sędziowskiemu.
- Sędziowie powinni mieć możliwość swobodnego przeglądania zeszytów inżynierskich w wersji cyfrowej za pośrednictwem podanego łącza. Zespoły powinny upewnić się, że uprawnienia do przeglądania ich notatników są ustawione tak, aby sędziowie mogli je przeglądać.
- Doradca sędziowski podzieli sędziów na grupy, które będą przeglądać i oceniać zeszyty, korzystając z rubryki Engineering Notebook Rubric.
- Cyfrowe zeszyty inżynierskie powinny być obsługiwane zdalnie w podobnych okolicznościach, aby zapewnić spójność.
- Zeszyty inżynierskie w wersji cyfrowej powinny zostać ocenione przez wielu sędziów w celu ustalenia rankingu zeszytów finalistów.
- W przypadku niektórych wydarzeń może zaistnieć potrzeba przeprowadzenia innej wersji tego formatu oceny. Nadrzędną zasadą pozostaje, że wszystkie przesłane notatki będą w tym samym formacie i w tych samych ramach, tak aby żadnemu zgłoszeniu nie przyznano żadnej rzeczywistej lub postrzeganej preferencji czy przewagi.
Zdalne wstępne wywiady z zespołem
- Wstępne rozmowy kwalifikacyjne z zespołem odbywają się zdalnie przed wydarzeniem, przy użyciu Rubryki rozmów kwalifikacyjnych z zespołem i Arkusza oceny kandydatów do wstępnej nagrody.
- Uczestnicy zespołu mogą logować się do spotkania z jednego miejsca, udostępniając kamerę internetową, lub z wielu lokalizacji.
- Celem wstępnych zdalnych rozmów kwalifikacyjnych z zespołem jest wyłonienie kandydatów do każdej nagrody (krok 1 procesu).
- Doradcy sędziowscy powinni opracować sposób gromadzenia notatek sędziowskich, aby ułatwić końcowe obrady.
- Wywiady uzupełniające z nominowanymi do ostatecznych nagród (krok 2 w procesie narad ) muszą zostać przeprowadzone osobiście, aby uwzględnić obserwacje zespołu i robotapodczas wydarzenia.
- Sędziowie osobiście przeprowadzający wywiady uzupełniające nie powinni przenosić zespołów z jednej kategorii nagród do innej. Postępowanie takie unieważniłoby wstępne obrady zdalnych sędziów i w efekcie spowodowałoby rozpoczęcie procesu oceniania od nowa, bez równego traktowania wszystkich zespołów.
Uwaga: Zdalne ocenianie nie zastępuje osobistych wywiadów i narad w dniu wydarzenia. Ma to na celu zapewnienie Partnerom Wydarzenia i wolontariuszom-sędziom elastyczności w wykonywaniu niektórych zadań sędziowskich przed dniem wydarzenia. Zdalne ocenianie pozwala mniejszej grupie sędziów na skorzystanie z dłuższego czasu poprzez zaplanowanie oceniania z wyprzedzeniem, a także umożliwia wykorzystanie wolontariuszy, którzy nie mogą osobiście uczestniczyć w wydarzeniu.
Protokóły zdalnego oceniania
- Wszystkie zasady i wytyczne dotyczące oceniania nadal obowiązują.
- Należy zapewnić ochronę młodzieży. Podczas przeprowadzania wywiadów zdalnych każdy uczestniczący zespół powinien mieć jednego dorosłego przedstawiciela (powyżej 18 lat, nieucznia szkoły średniej), który będzie zalogowany i widoczny przed kamerą przez cały czas trwania wywiadu. Dorosły przedstawiciel powinien dołączyć do rozmowy kwalifikacyjnej przed przybyciem uczniów. Osoba dorosła może znajdować się w tym samym pomieszczeniu co uczniowie lub być osobno zalogowana do rozmowy zdalnej. Osoba dorosła nie może brać udziału w rozmowie kwalifikacyjnej ani w żaden sposób się do niej przyczyniać. Ich obecność gwarantuje, że w każdym wideokonferencji bierze udział wiele dorosłych stron.
- Sędzia nigdy nie powinien być sam podczas rozmowy kwalifikacyjnej z zespołem, lecz powinien pracować w grupie składającej się z dwóch lub większej liczby sędziów. Jeśli do rozmowy kwalifikacyjnej zostanie włączony dorosły przedstawiciel zespołu, minimalna liczba dorosłych biorących udział w rozmowie kwalifikacyjnej na odległość wyniesie trzy osoby.
- Podobnie jak wywiady osobiste nie są nagrywane, tak samo wywiady zdalne nigdy nie powinny być nagrywane przez żadną ze stron
Sędziowie pracujący zdalnie mogą odbywać oddzielne spotkania konsultacyjne online lub udostępniać arkusze kalkulacyjne, aby pomóc w zestawianiu informacji oceniających, takich jak wyniki Rubryki rozmów kwalifikacyjnych z zespołem, wyniki Rubryki zeszytu inżynierskiego i rankingowy kandydata do początkowej nagrody. Wszelkie notatki ze spotkań i arkusze kalkulacyjne z danymi powinny znajdować się pod kontrolą doradcy sędziego, a zawarte w nich informacje muszą zostać zniszczone po zakończeniu wydarzenia.
Harmonogram zdalnego oceniania
NOTATNIKI INŻYNIERII CYFROWEJ
Linki do Digital Engineering Notebook są przesyłane przez trenera zespołu głównego na jego konto Robotevents.com. Partner wydarzenia i doradca sędziowski powinni ustalić termin, do którego wszystkie zespoły muszą przesłać swoje linki, dając sędziom wystarczająco dużo czasu na rozpoczęcie oceny cyfrowych notatników inżynierskich. Partner wydarzenia udostępnia listę linków doradcy sędziowskiemu, który przydziela sędziów do oceny każdego cyfrowego notatnika inżynierskiego zgodnie z procesem oceny notatnika inżynierskiego (patrz Sekcja 5). Wszystkie cyfrowe zeszyty inżynierskie powinny być oceniane w podobnych warunkach i przy podobnych ograniczeniach czasowych.
ZDALNE WSTĘPNE WYWIADY Z ZESPOŁEM
Planowanie wolontariuszy do zdalnego oceniania – Planowanie wywiadów wymaga koordynacji między partnerem wydarzenia, doradcą sędziowskim, zdalnymi sędziami i zespołami. Zaleca się, aby najpierw utworzyć harmonogram rozmów kwalifikacyjnych, a następnie upewnić się, że sędziowie zdalni i doradca sędziowski będą dostępni w tym czasie. Chociaż doradca sędziowski może nie być potrzebny podczas rozmowy, zdecydowanie zaleca się, aby był obecny, aby pomóc w rozwiązywaniu wszelkich problemów, które mogą się pojawić. Ponadto, jeśli Sędzia Zdalny nie będzie mógł uczestniczyć w rozprawie lub będzie miał problemy techniczne, Doradca Sędziowski może przejąć rolę Sędziego Zdalnego, aby zespoły mogły zostać przesłuchane w wyznaczonym czasie.
Planowanie zespołów – Zdalne początkowe godziny rejestracji na rozmowy kwalifikacyjne z zespołem mogą zostać ręcznie zaplanowane przez Partnera wydarzenia, ale łatwiejszą metodą dla zespołów może być samodzielne planowanie zapisów według kolejności zgłoszeń. Zaleca się, aby wywiady zdalne zostały przeprowadzone kilka dni przed wydarzeniem, na wypadek gdyby z powodu problemów z wolontariuszami lub technologią harmonogram potrzebował więcej czasu.
Jeśli znajdzie się wystarczająca liczba wolontariuszy, którzy wesprą program Remote Judge, można przeprowadzić kilka wywiadów równolegle. Uczestnicy mogliby na przykład zalogować się do pojedynczego łącza do zdalnego oceniania, zawierającego pokój główny dla nowych zespołów i pokoje oddzielne dla każdego zespołu zdalnych sędziów. Każdy zespół zostanie przeniesiony z głównego pomieszczenia do oddzielnego pokoju, aby przeprowadzić wywiad. Przydatne może okazać się, aby dwie osoby dorosłe (doradca sędziowski i inny członek personelu wydarzenia) witały zespoły w głównym pomieszczeniu w momencie ich przybycia, a także upewniły się, że ich dorosły przedstawiciel jest widoczny na kamerze i że jest to właściwy zespół na dany przedział czasowy, zanim zespoły przejdą do swoich zdalnych sędziów. Posiadanie takiej „poczekalni” zapobiega również przypadkowemu przerywaniu wywiadu prowadzonego przez inny zespół.
Uwaga: Dotychczasowe doświadczenia pokazały, że półgodzinny cykl wywiadów sprawdza się dobrze: trzydzieści minut to wystarczająco dużo czasu, aby zespoły weszły do zdalnego środowiska oceniania, aby sędziowie zdalni mogli przeprowadzić 10–15-minutowy wywiad, a sędziowie zdalni mogli omówić, ocenić wywiad i wypełnić Arkusz oceny początkowego kandydata do nagrody przed przybyciem kolejnego zespołu.