GPT4All – recenzja zabawki z potencjałem

Oprogramowanie służące do generowania treści czy kodu podąża ścieżką, którą wiele lat temu wyznaczyły systemy operacyjne. Starzy wyjadacze internetu zapewne wciąż pamiętają wielką walkę między ekosystemem Linuxa, a fanami Windowsa czy macOS. Mimo tego, że od tego czasu zmieniło się naprawdę sporo, to można też śmiało stwierdzić, że historia właśnie zatacza koło. Nie wybieramy jednak darmowego OS-a, a… darmowy i w założeniu lepszy model sztucznej inteligencji, który ma stanowić alternatywę dla GPT. Jak się za to zabrać? Czy warto? O tym w dalszej części artykułu!

Co przemawia za skorzystaniem z GPT4All?

Przede wszystkim trzeba wskazać na dużą niezależność, jaką daje Ci takie oprogramowanie. Mało tego, w gronie wspieranych modeli twórcy wytypowali tylko te najlepsze, które już dziś są wspierane i rozwijane np. przez inżynierów Microsoftu czy uniwersytetu w Berkley. Znajdziesz tam zarówno niewielkie, wyspecjalizowane modele, jak i te ogromne, które mają nawet i 13 miliardów parametrów.

To jednak nie wszystko. Te kluczowe cechy, które stoją za GPT4All to:

  • Mobilność: GPT4All nie wymaga potężnej mocy obliczeniowej. Modele zajmują nie więcej niż 8 GB, więc można np. zainstalować je nawet na laptopie, który ma niezbyt dużą moc obliczeniową. Kluczowa jest wielkość pamięci RAM: 8 GB to minimum. O wiele większe możliwości otwierają jednak urządzenia z 16 czy 32 GB pamięci.
  • Prywatność: GPT4All szanuje twoją prywatność. Twój dialog z modelem pozostaje wyłącznie na Twoim urządzeniu. To gwarancja, że nie zostanie udostępniony nikomu innemu.
  • Dostęp w trybie offline: Dzięki GPT4All nie jesteś uzależniony od sieci. Model działa offline, co oznacza, że możesz korzystać z niego praktycznie zawsze i wszędzie.
  • Atrakcyjne z punktu widzenia użytkowników licencje: sporo modeli udostępniono na licencjach, które zezwalają na komercyjne wykorzystanie. Praktycznie wszystkie dostępne w instalatorze są dostępne za darmo — jedynym obostrzeniem może być zakaz korzystania z nich w celach komercyjnych.

Jak zainstalować GPT4All?

Narzędzie pobierasz z tej strony: https://gpt4all.io/index.html.

Strona jest bardzo prosta, czytelnie skonstruowana. Przy okazji możesz też od razu sprawdzić, jak modele radzą sobie w benchmarkach: BoolQ, PIQA, HellaSwag, WinoGrande, ARC-e, ARC-c, OBQA. Po prawej stronie jest też kolumna AVG, czyli średni wynik. Im jest on wyższy, tym lepszy (przynajmniej w teorii) jest dany model.

By rozpocząć przygodę z GPT4All musisz tylko pobrać instalator. Ten możesz zainstalować dla Windowsa, Linuxa oraz macOS. Nie musisz tworzyć żadnego konta użytkownika, ani nawet nigdzie się logować. To na swój sposób piękne i tak nieczęsto spotykane w obecnych czasach rozwiązanie, że warto je szczególnie docenić.

W głównym widoku okna zobaczysz teraz kilka modeli, jakie zalecane są „na początek”. Twoja rola ogranicza się do kliknięcia przycisku Download i obserwowania paska postępu. Czy to ze względu na serwery GPT4All, czy jakość mojego łącza, cały proces trochę zajął. Polecam wykorzystać ten czas i zrobić sobie kawę lub herbatę. Spokojnie macie teraz te 4-8 minut dla siebie.

Tu ważna rzecz. Raz na jakiś czas, bez żadnej logicznej przyczyny, pobrany model nie instaluje się. To się zdarza. Raportuje to sporo osób. W takiej sytuacji nie panikujcie i spróbujcie pobrać go raz jeszcze. Można również upewnić się, czy na dysku, jaki wskazaliście podczas instalacji, jest wystarczająco dużo miejsca. Rozsądne minimum dla kilku testowych modeli to 20-30 GB.

Czy GPT4All to rozsądna alternatywa dla GPT od OpenAI?

Moim zdaniem nie. Niestety. Testowałem zarówno te większe modele, w tym bardzo chwalonego Hermesa, jak i mniejsze, wyspecjalizowane, na czele z MPT Base. Tylko niektóre z nich obsługują język polski. Do tego, w bardzo ograniczonym stopniu. Przestawcie się więc od razu na komunikację po angielsku. Bez tego języka może być naprawdę trudno.

Jak sprawdzałem modele GPT4All? Skupiłem się na trzech rodzajach usług, z których korzystam najczęściej:

  • content marketing,
  • generowanie kodu w .js i.php,
  • planowanie publikacji.

Nawet te najlepsze modele, jak Hermes, poległy koncertowo. Problemem, który znacznie utrudniał mi pracę, był też długi czas oczekiwania na odpowiedź ze strony modelu. To dla mnie o tyle dziwne, że urządzenie testowe miało raczej dobre parametry techniczne i ani mocy obliczeniowej, ani pamięci RAM z pewnością nie brakowało.

Obecne są też choroby wieku dziecięcego charakterystyczne dla Chata GPT, na czele z kłamaniem i przeinaczaniem informacji. Poniżej screen, który dość dobrze potwierdza ten stan rzeczy:

Tutaj akurat na historii Liverpoolu (mimo bardzo dobrego startu!) pięknie wyłożył się Hermes

Co jeszcze z wad? Przede wszystkim wskazałbym na:

  • problemy ze zrozumieniem kontekstu, gdzie GPT-4 radzi sobie bardzo dobrze,
  • generowanie kodu .js, gdzie nowe funkcje nijak mają się do intencji użytkownika,
  • niezbyt dobrze rozwinięty tryb odwoływania się do danych wcześniej poruszonych w obrębie tej samej konwersacji.

Czy warto wypróbować GPT4All?

Jeśli cenisz prywatność, mobilność i chcesz eksperymentować z zaawansowanymi modelami językowymi w zaciszu własnego domu, GPT4All może być ciekawą opcją, choć raczej wypadałoby określić go mianem zabawki z potencjałem na przyszłość. Niemniej jednak, dla bardziej zaawansowanych zastosowań i skomplikowanych wymagań, Chat GPT po prostu jest lepszy. Niemal w każdym calu. Ostatecznie warto przemyśleć obie opcje i zdecydować, która z nich najlepiej spełni twoje oczekiwania.

Podsumowanie
Ciekawa zabawka, którą, póki co, można uznać za melodię przyszłości. Warto śledzić jej rozwój, jednak na obecnym etapie, raczej nie można znaleźć zbyt wielu obszarów, gdzie dostępne w bazie modele mogą mierzyć się z Chatem GPT jak równy z równym.
banalnie prosta instalacja, niewielkie wymagania techniczne, wiele modeli "do zabawy"
tego typu narzędzia trzeba rozliczać za efekty, a te są po prostu słabe
5.5