Zadanie z otwartą odpowiedzią
Na platformie Navoica można skorzystać z zaimplementowanego zadania polegającego na wzajemnej ocenie (ORA – Open Response Assessment).
Przyjrzymy się teraz, jak stworzyć i przygotować takie zadanie oraz jakie opcje konfiguracyjne są dla nas dostępne.
Jak utworzyć zadanie?
Aby utworzyć zadanie wzajemnej oceny, musimy kliknąć w element Ćwiczenie, a następnie z zakładki Zaawansowane typy ćwiczeń wybrać Zadanie z otwartą odpowiedzią:
Zadanie zostanie automatycznie dodane do jednostki naszego kursu wraz z domyślnymi ustawieniami i treścią.
Etapy zadania
Proces przeprowadzenia wzajemnej oceny można podzielić na następujące etapy:
- Twoja odpowiedź: na początku uczestnik kursu udziela pisemnej odpowiedzi na postawione przed nim pytanie. Może to również być zadanie polegające na napisaniu krótkiego eseju bądź analizie fragmentu tekstu literackiego. Ten etap jest domyślnie włączony.
- Naucz się oceniać odpowiedzi: przedstawiane są kryteria, które należy wziąć pod uwagę podczas oceniania odpowiedzi na postawione pytanie wraz z informacjami o skali ocen i wymaganiami. Często pojawią się tu także przykładowe odpowiedzi wraz z oceną. Ten etap jest domyślnie włączony.
- Oceń współkursantów: kolejnym krokiem jest ocena prac innych uczestników kursu w oparciu o przedstawione wcześniej kryteria. Minimalną liczbę prac, którą musi ocenić każdy uczestnik, ustala prowadzący kurs. Ten etap jest domyślnie włączony.
- Oceń swoją odpowiedź: po powyższych etapach można dołączyć do tego procesu etap, w którym uczestnik ocenia swoją własną odpowiedź. Ten etap jest domyślnie włączony.
- Ocena kadry: końcowym etapem może być ocena pracy uczestnika przez kadrę kursu. Ten etap jest domyślnie wyłączony.
Każdy etap, z wyjątkiem pierwszego, może zostać wyłączony z całego zadania. Na samym dole znajduję się belka “Twoja ocena”. Student, po przejściu wszystkich etapów, właśnie w tym miejscu będzie mógł zobaczyć, jak jego praca została oceniona.
Edycja zadania
Aby wypełnić nasze zadanie treścią i je w pełni skonfigurować, musimy nacisnąć przycisk EDYTUJ.
Dodanie treści pytania
Samo dodanie treści do zadania odbywa się z poziomu zakładki PYTANIE. Możemy dodać więcej niż jedno pytanie. Nie wpłynie to w żaden sposób na dalsze opcje, które będą dla nas dostępne. Odpowiedzi nadal będą oceniane w ramach pojedynczego zadania.
Szablon zadania. Kryteria i opcje
Kiedy mamy już treść zadania z jasno sformułowanym problemem lub pytaniem, musimy ułożyć kryteria i poziomy oceny, które będą wytycznymi dla wszystkich uczestników kursu. Robimy to w zakładce SZABLON.
Jego przygotowanie jest kluczowe do osiągnięcia założonych efektów uczenia się i poprawnej oceny prac przez innych uczestników. Jest to zdecydowanie najtrudniejszy etap dla twórcy kursu.
Każde kryterium oceny musi posiadać następujące elementy:
- nazwę kryterium (1), które pomoże w identyfikacji elementu podlegającego ocenie (np. taką kategorię możemy nazwać Merytoryka, Idee),
- treść kryterium (2), szczegółowo wyjaśniająca, czego oceniane kryterium dotyczy (np. czy praca jest dobra merytorycznie?),
- opcje oceny (3), które można rozumieć jako poziomy oceny danego kryterium.
Każda opcja oceny musi uwzględniać:
- nazwę opcji (4), rozumianą jako słowną ocenę (niedostateczna, dostateczna…),
- liczbę punktów (5), które odpowiadają danej ocenie,
- objaśnienie (6), które wskazuje, co wpłynęło na przyznanie konkretnej oceny.
Każde kryterium może zostać wzbogacone o indywidualną opinię oceniającego.
Po rozwinięciu pola „Opinia do tego kryterium” możemy wskazać, czy taka opinia jest elementem obowiązkowym czy opcjonalnym lub też całkowicie ją wyłączyć.
W większości przypadków odradzalibyśmy wyłączanie tej opcji. Taka opinia może stanowić bardzo wartościowy element naszego kursu. To tutaj każdy uczestnik oceniający czyjąś pracę będzie miał możliwość indywidualnego odniesienia się do danego kryterium, wskazując np. jakich elementów jego zdaniem zabrakło w odpowiedzi lub na co należy jeszcze zwrócić uwagę.
Elementem, którego nie można usunąć, jest opinia do całej odpowiedzi. Jest ona zawsze jedna niezależnie od liczby dodanych pytań w ramach jednego zadania. Musimy podać krótką instrukcję, wskazując, czego dokładnie ma ta opinia dotyczyć. Możemy umieścić domyślny tekst opinii, który będzie stanowił wzorzec dla oceniających.
Wyłączenie poszczególnych etapów
Jeżeli chcemy włączyć tylko niektóre etapy, to należy przejść do zakładki ETAPY OCENY i włączyć bądź wyłączyć odpowiednie etapy poprzez zaznaczenie kwadratowego pola przy nazwie każdego z nich.
Etap szkolenia studenta (czyli “Naucz się oceniać odpowiedzi”) polega na tym, że prezentujemy uczestnikowi przygotowaną przez nas odpowiedź, którą sami wcześniej oceniliśmy. Dzięki temu uczestnik kursu będzie mógł sprawdzić, czy poprawnie rozumie kryteria i jest gotowy do samodzielnego ocenienia prac innych uczestników.
Kolejne ustawienia dotyczą etapu wzajemnej oceny (czyli “Oceń współkursantów”). Wymagają one od nas określenia, w jakich terminach uczestnicy kursu będą oceniali prace innych uczestników oraz swoje własne.
Dodatkowo dla etapu wzajemnej oceny musimy podać liczbę prac, którą musi ocenić każdy uczestnik kursu oraz minimalną liczbę ocen, jaką musi otrzymać każda przesłana praca. Ustawiając te wartości, musimy brać pod uwagę przewidywaną liczbę uczestników naszego kursu. System nie jest w stanie dostosować tych wartości automatycznie.
W etapie Samodzielna ocena (czyli “Oceń swoją odpowiedź”) określamy jego przedział czasowy.
Etap ocena przez kadrę jest domyślnie wyłączony. Gdy zaznaczymy tę opcję, będziemy mogli ocenić pracę swoich studentów. Pojawi się przycisk “Oceń dostępne odpowiedz” (“Ocena przez kadrę”). Kadra będzie miała także możliwość zarządzania pojedynczymi studentami oraz wgląd w statystyki zadania.
Terminy
Przejdźmy teraz do zakładki TERMINARZ.
Ustawiamy datę i godzinę rozpoczęcia przyjmowania odpowiedzi oraz datę i godzinę zakończenia przyjmowania odpowiedzi. Jest to czas na sam etap udzielenia odpowiedzi – nie uwzględnia on etapu oceny prac innych studentów ani tym bardziej oceny samodzielnej.
Ustawienia zadania
Przejdźmy teraz do zakładki USTAWIENIA.
Zaczniemy od nadania nazwy zadaniu. Będzie ona widoczna dla uczestników naszego kursu.
Odpowiedź na pytanie może przyjąć formę tekstową lub formę przesłanego pliku. Ta druga opcja może być bardzo pomocna np. przy kursach dotyczących fotografii, grafiki 2D/3D czy programowania. Nic oczywiście nie stoi na przeszkodzie, aby łączyć obie formy odpowiedzi, dlatego też możemy wskazać, czy dana forma odpowiedzi jest wymagana, opcjonalna czy zablokowana. Dodatkowo możemy zezwolić na podanie odpowiedzi w formacie LaTeX.
Dobre praktyki
1. Wewnątrz jednostki może znaleźć się maksymalnie jedno ćwiczenie z otwartą odpowiedzią, zwane także ćwiczeniem wzajemnej oceny (ang. Open Response Assessment, ORA).
2. W całym kursie nie powinno być zbyt wiele ćwiczeń wzajemnej oceny. Zbyt wiele ćwiczeń ORA może mieć negatywny wpływ na wskaźniki ukończenia kursu przez studentów.
3. Kryteria oceny muszą być jasne i nie mogą pozostawiać pola do interpretacji.
✔️ Dobry przykład:
Kryterium: Długość odpowiedzi
- tekst jest zbyt krótki (poniżej 3 zdań) – 0 punktów
- tekst jest krótszy niż przewidziano w poleceniu (4-6 zdań) – 3 punkty
- tekst spełnia wymogi długości (7 i więcej zdań) – 5 punktów
❌ Zły przykład:
Kryterium: Długość odpowiedzi
- tekst jest za krótki – 0 punktów
- tekst jest krótki, ale akceptowalny – 3 punkty
- tekst jest długi – 5 punktów
4. Etap oceny kadry warto rozważyć głównie dla zamkniętych kursów dla limitowanej grupy studentów; w przypadku kursów otwartych, dostępnych dla wszystkich internautów, istnieje ryzyko, że kadra będzie musiała ocenić nawet kilkaset odpowiedzi studentów.
5. Przed ćwiczeniem powinna znaleźć się tabela / tekst z kryteriami (z zakładki „Szablon”), które zostaną wzięte pod uwagę podczas oceniania, aby student wiedział, na co zwrócić uwagę podczas udzielania odpowiedzi i aby znał kryteria oceny swojej pracy. To istotne, gdyż po przesłaniu swojej odpowiedzi, student nie ma już możliwości powrotu i jej poprawienia swojej odpowiedzi.
6. Zalecamy, aby ćwiczenie ORA nie było włączane w system oceniania lub by wpływało na zaliczenie w niewielkim stopniu
7. Liczba prac do ocenienia powinna być wyższa niż liczba oceniających. Niektórzy studenci nie ocenią prac innych kursantów, a dzięki temu to, że reszta studentów oceni więcej prac niż wynosi minimum, mniej prac pozostanie bez oceny.
✔️ Dobry przykład: jeśli liczba prac do ocenienia = 3, to liczba oceniających = 2
8. Jeśli studenci muszą załączyć pliki, w Ustawieniach ćwiczenia zostały sprecyzowane akceptowane rozszerzenia. (Odradzamy możliwość załączania plików .zip ze względów bezpieczeństwa: pliki nie są sprawdzane przez system antywirusowy.) Przykładowe dopuszczalne rozszerzenia:
Pliki tekstowe: .pdf, .doc, .docx
Pliki graficzne: .jpg, .gif, .png
9. W przypadku zamieszczania plików o dużym rozmiarze (filmy, animacje, prezentacje), w poleceniu musi być dodana instrukcja jak umieścić materiały na YouTube / Dokumentach Google, a następnie jak poprawnie je udostępnić
https://support.google.com/docs/answer/2494822?co=GENIE.Platform%3DDesktop&hl=pl
https://support.google.com/youtube/answer/57741?co=GENIE.Platform%3DDesktop&hl=pl
10. Etap „Szkolenie studenta” powinien zawierać przykładową odpowiedź na polecenie
✔️ Dobry przykład: jeśli wymagają Państwo przesłania filmu, w tym miejscu zamieszczają Państwo link do stworzonego przez siebie filmu do YouTube, na którym studenci „ćwiczą” ocenianie pracy przed właściwą oceną innych studentów
11. W „Ustawieniach” w etapie „Szkolenie studenta” domyślna oceniona odpowiedź powinna być edytowana przez kadrę kursu.
12. Etapy oceny w „Ustawieniach” (tj. Szkolenie studenta, Wzajemna ocena, Samodzielna Ocena, Ocena przez kadrę) zostały dobrze przemyślane i skonfigurowane, a daty wewnątrz ćwiczenia są aktualne
Podpowiedź: etapy można edytować, a także wyłączać. Przykładowo ORA może składać się z polecenia, po którym bezpośrednio nastąpi etap Wzajemnej oceny
12. W przypadku ćwiczenia ORA należy dokładnie sprawdzić daty tak, aby były zgodne z ewentualnym harmonogramem prowadzącego.
13. Przed zaimplementowaniem ćwiczenia w kursie należy zapoznać się z instrukcjami:
Instrukcja podstawowa (po polsku): https://pomoc.navoica.pl/pomoc/zadanie-z-otwarta-odpowiedzia/
Pełna instrukcja (po angielsku):https://edx.readthedocs.io/projects/edx-partner-course-staff/en/latest/exercises_tools/open_response_assessments/OpenResponseAssessments.html#open-response-assessments-2
