W jaki sposób szkoli się Czat GPT?

Niezależnie od tego, czy jesteś doświadczonym inżynierem systemów uczących się, czy po prostu ciekawskim, być może zastanawiasz się: jak szkoli się Czat GPT?

Model języka AI, opracowany przez OpenAI, stał się szalenie popularny w krótkim czasie od jego uruchomienia. Do tego stopnia, że ​​witryna często doświadcza problemów z wydajnością serwera, blokując użytkownikom dostęp do witryny.

Model online ma możliwość wykonywania wielu zadań, generując odpowiedzi na prawie każde zapytanie, które mu podasz. Ale jak to powstało?

Po pierwsze, Chat GPT został zbudowany na fundamencie GPT-3.5 OpenAI. Kolejny bardziej zaawansowany model języka, który został zbudowany na ogromnym zbiorze danych, zazwyczaj zawierającym informacje z Internetu.

GPT-3.5 został dostrojony tak, aby mógł wchodzić w interakcje z użytkownikami w formie konwersacyjnej. Zobaczmy, jak wyglądało to dostrajanie!

Według OpenAI, Chat GPT został przeszkolony przy użyciu „Wzmocnienie uczenia się na podstawie informacji zwrotnych od ludzi” (RLHF). Początkowo model przeszedł proces zwany nadzorowanym dostrajaniem, w którym trenerzy OpenAI odgrywali rolę zarówno użytkownika, jak i bota AI.

W ten sposób trenerzy stworzyli sekwencję dialogów, aby naśladować sposób komunikowania się ludzi, który następnie dodano do zestawu danych modelu, aby dostosować go do zastosowań konwersacyjnych.

Czat GPT został później udoskonalony, tworząc model nagród, który można wykorzystać w kolejnym kroku – wzmacnianiu nauki. Wymagało to interakcji trenerów AI z narzędziem w celu generowania odpowiedzi. Następnie ocenia je od najlepszego do najgorszego, w oparciu o jakość.

Dzięki tym informacjom OpenAI może dalej dopracowywać model za pomocą własnej techniki o nazwie Optymalizacja polityki proksymalnej. Jeśli szukasz szczegółów na temat tego procesu, OpenAI opisuje to na swoim blog.

Jakim rodzajem uczenia maszynowego jest czat GPT?

Czat GPT OpenAI to model dużego języka. Jak sama nazwa wskazuje, modele te są ogromne i zbudowane przy użyciu miliardów parametrów. Są rodzajem algorytmu głębokiego uczenia się, który może rozumieć i generować tekst zgodnie z danymi, na których został wyszkolony.

Tego rodzaju modele mają szeroki zakres zastosowań, od tworzenia chatbotów, działania jako wyszukiwarki i generowania kreatywnych treści, takich jak teksty i historie.

Końcowe przemyślenia

Zrozumienie procesu uczenia modeli językowych AI, takich jak ChatGPT, może być bardzo kłopotliwe. Mamy nadzieję, że ten artykuł dał ci wgląd w to, jak OpenAI stworzyło ten niesławny model językowy. Jeśli interesują Cię inne funkcje Chat GPT, przeczytaj Chat GPT Plus – co musisz wiedzieć dalej?

• TERAZ PRZECZYTAJ Data premiery GPT-4: kiedy nowy model?