Can Chat GPT pass the bar exam?

Wydaje się, że każdego dnia pojawia się nowa historia o Czacie GPT. Najnowszy nagłówek dotyczy potencjału bota AI do przejścia standardowej oceny prawnej. Ale czy Chat GPT może zdać egzamin adwokacki?

Chat GPT przyciąga uwagę od czasu premiery w listopadzie ubiegłego roku. W ciągu ostatnich 24 godzin Buzzfeed ogłosił nawet, że będzie korzystał z modelu AI napisać część jego treści – całkiem niezła wiadomość!

Deweloperzy z OpenAI pokazali nam, co potrafi ten model językowy, i to jest przerażające. Biorąc pod uwagę, że firmy wdrażają te modele w celu zastąpienia ludzkich pisarzy, a teraz mają potencjał do zdawania egzaminów, czego więcej możemy oczekiwać od sztucznej inteligencji w przyszłości? Sprawdźmy, czy ten model języka sztucznej inteligencji może przekroczyć poprzeczkę.

What is the bar exam?

Egzamin adwokacki to ostateczna ocena osoby, która chce zostać licencjonowanym prawnikiem. Aby wykonywać zawód prawnika w określonym stanie w USA, należy zdać specjalny egzamin adwokacki tego stanu.

Test ma reputację bardzo trudnego, a ogólne wskaźniki zdawalności czasami osiągają tak niskie wartości jak 30%.

Jeśli kiedykolwiek zastanawiałeś się, jak wygląda egzamin, nie jesteś sam. Pytania egzaminacyjne adwokackie mogą przybierać dwie różne formy: wielokrotnego wyboru i eseju. Testy są zwykle dzielone na wiele oddzielnych sesji, czasem ich ukończenie zajmuje kilka godzin.

GPT chat bar exam

Professors from Illinois Tech and the Michigan State College of Law have put the GPT-3.5 w porównaniu z wielostanowym egzaminem adwokackim (MBE). W swoim artykule badawczym stwierdzili, że model „osiąga wskaźnik zdawalności w dwóch kategoriach Adwokatury” i osiąga podobne oceny jak ludzie „poddający się testowi” w innej.

Wyniki są znakomite i uważają, że odpowiedzi GPT-3.5 pokazują, że model ma „ogólne zrozumienie dziedziny prawa”. Jeśli chcesz przeczytać cały artykuł badawczy, możesz go znaleźć Here.

Wiemy więc, że GPT-3.5 może zdać poprzeczkę, ale co z innymi egzaminami prawniczymi? Cóż, inni profesorowie prawa z University of Minnesota również przetestowali model językowy OpenAI w innym scenariuszu egzaminacyjnym. Oni zrobili GPT chat has four ratings obejmujące różne kursy na uniwersytecie prawniczym. Wyniki były fascynujące.

Chatbotowi udało się uzyskać jedynie mierne wyniki, zaledwie C+, ale mimo to nadal zalicza. Odkrycia wydają się również sugerować, że GPT Chat byłby wystarczająco zaawansowany, aby potencjalnie zapewnić sobie stopień naukowy z prawa, gdyby był studentem college’u.

Final thoughts

Nie ma co do tego wątpliwości, modele językowe OpenAI to całkiem sprytne narzędzia. Jego zdolność do zdawania egzaminów jest bardzo wyraźna, a jego niedawny pozytywny wynik na pasku zaskoczył wielu. Jeśli ten artykuł był dla Ciebie interesujący, koniecznie przeczytaj inny artykuł tutaj.

• NOW READ Can GPT Chat Pass? Turing test?