{"id":9578,"date":"2023-10-12T07:53:53","date_gmt":"2023-10-12T07:53:53","guid":{"rendered":"https:\/\/www.techopedia.com\/nl"},"modified":"2023-10-31T09:46:48","modified_gmt":"2023-10-31T09:46:48","slug":"de-transformatie-van-gpt-modellen-in-ai-van-gpt-1-tot-gpt-4","status":"publish","type":"post","link":"https:\/\/www.techopedia.com\/nl\/de-transformatie-van-gpt-modellen-in-ai-van-gpt-1-tot-gpt-4","title":{"rendered":"De transformatie van GPT-modellen in AI – van GPT-1 tot GPT-4"},"content":{"rendered":"
Kunstmatige intelligentie (AI)<\/a> heeft grote veranderingen doorgemaakt sinds de Chat Generative Pre-trained Transformer (GPT)-serie in 2018 van start ging.<\/p>\n Opeenvolgende modellen brachten verbeteringen, upgrades en uitdagingen, en wekten de interesse van enthousiastelingen, onderzoekers en gebruikers. Van GPT-1’s basistekst tot GPT-4’s diverse vaardigheden, de vooruitgang is duidelijk. Doorlopende studies onderzoeken de acties van deze modellen en stellen hun veranderende vaardigheden en mogelijke problemen aan de kaak.<\/p>\n Dit artikel behandelt de studie en ontwikkeling van de Chat-GPT serie. Hun prestatiescores en inzichten uit verschillende tests staan centraal.<\/p>\n Een essentieel aspect van het begrijpen van de vooruitgang in de GPT-serie is de trainingsberekening, vaak gemeten in totaal aantal FLOP (floating-point bewerkingen). Een FLOP staat voor wiskundige basisbewerkingen, zoals optellen, aftrekken, vermenigvuldigen of delen met twee decimale getallen.<\/p>\n Op schaal is \u00e9\u00e9n petaFLOP gelijk aan een duizelingwekkende quadriljoen (10^15) FLOP. Deze rekenkracht is een bewijs van de enorme middelen die zijn ge\u00efnvesteerd in het trainen van deze modellen.<\/p>\n GPT-1, ge\u00efntroduceerd in juni 2018, markeerde het begin van de GPT-serie. Hiermee werd de basis gelegd voor de ChatGPT<\/a> van vandaag. GPT-1 toonde het potentieel van unsupervised learning in taalbegrip, door het volgende woord in zinnen te voorspellen met behulp van boeken als trainingsgegevens.<\/p>\n GPT is getraind met 17.600 petaFLOPs.<\/p>\n In februari 2019 verscheen GPT-2 als een belangrijke upgrade van de GPT-reeks. Deze versie vertoonde aanzienlijke verbeteringen in het genereren van tekst en produceerde coherente inhoud van meerdere alinea’s. Vanwege mogelijk misbruik werd GPT-2 in eerste instantie niet openbaar gemaakt. GPT-2 werd uiteindelijk in november 2019 gelanceerd na een zorgvuldige risicobeoordeling door OpenAI.<\/p>\n GPT-2 werd getraind met behulp van 1,49 miljoen petaFLOPs.<\/p>\n GPT-3 maakte een monumentale sprong vooruit in juni 2020. De geavanceerde teksgenerator vond toepassingen in het opstellen van e-mails, het schrijven van artikelen, het maken van gedichten en zelfs het genereren van programmeercode. GPT-3 toonde capaciteiten in het beantwoorden van feitelijke vragen en het vertalen van talen.<\/p>\n GPT-3 werd getraind met 314 miljoen petaFLOPs.<\/p>\n GPT-3.5 is een verbeterde versie van GPT-3, uitgebracht in 2022. Dit GPT-model heeft minder parameters en maakt gebruik van verfijnde machine learning (ML)<\/a>. Dit omvat een efficiente vorm van prompt based learning<\/a> met menselijke feedback om de algoritmen nauwkeuriger en effectiever te maken. GPT-3.5 is ook ontworpen om ethische waarden te volgen, om er zeker van te zijn dat de AI die het voedt veilig en betrouwbaar te gebruiken is.<\/p>\n Dit model wordt gratis aangeboden door OpenAI. Het aantal petaFLOPs dat is gebruikt voor de training is niet bekend.<\/p>\n GPT-4, de meest recente versie, zet de trend van opmerkelijke vooruitgang voort en introduceert verbeteringen zoals:<\/p>\n Dit model wordt aangeboden aan abonnees van ChatGPT Plus.<\/p>\n GPT-4 is getraind met 21 miljard petaFLOPs.<\/p>\n De Universiteit van Stanford en de Universiteit van Californi\u00eb, Berkeley, hebben een onderzoek gepubliceerd waarin de ontwikkelingen in de prestaties van GPT-4 en GPT-3.5 in de loop der tijd worden belicht. Het artikel suggereert dat de prestaties van deze GPT-modellen over het algemeen zijn afgenomen.<\/p>\n Lingjiao Chen, Matei Zaharia en James Zou bestudeerden de modellen van OpenAI door API-toegang te gebruiken om de modellen van maart en juni 2023 te onderzoeken. Ze voerden tests uit om de evolutie en het aanpassingsvermogen van de GPT-modellen in de loop van de tijd te begrijpen.<\/p>\n De onderzoekers wilden controleren of GPT-4 en GPT-3.5 kunnen vertellen of getallen priemgetallen zijn of niet. Ze gebruikten 1.000 vragen voor deze test, waarvan de helft priemgetallen waren uit een lijst uit een ander artikel. De andere helft werd gekozen uit getallen tussen 1.000 en 20.000.<\/p>\n Een methode genaamd Chain-of-Thought (CoT) werd gebruikt om de GPT’s te helpen denken. Deze methode splitst de taak op, eerst door te controleren of een getal even is, vervolgens door de vierkantswortel te vinden en ten slotte door te kijken of kleinere priemgetallen het getal kunnen delen.<\/p>\n Dit waren de resultaten:<\/p>\n GPT-4:<\/strong><\/p>\n GPT-3.5:<\/strong><\/p>\n De test was bedoeld om te kijken hoe goed ChatGPT ‘happy numbers’ kan identificeren binnen een bepaald bereik. Een happy number is een getal dat uiteindelijk uitkomt op een waarde van 1 wanneer je de kwadraten van de cijfers blijft optellen.<\/p>\n 13 is bijvoorbeeld een happy number omdat [1 kwadraat] plus [3 kwadraat] gelijk is aan 10, en dan is [1 kwadraat] gelijk aan 1.<\/p>\n Het onderzoek koos deze richting omdat het een duidelijke vraag is, in tegenstelling tot andere vragen die met ja of nee kunnen worden beantwoord. Het gaat uiteindelijk om eenvoudige wiskunde.<\/p>\n Voor deze test werden 500 vragen gemaakt. Elke vraag ging over het aantal happy numbers er in een bepaald bereik liggen. De grootte van het bereik varieerde en het startpunt werd gekozen uit getallen tussen 500 en 15.000. De test gebruikte CoT om logisch denken te bevorderen.<\/p>\n Dit waren de resultaten:<\/p>\n GPT-4:<\/strong><\/p>\n GPT-3.5:<\/strong><\/p>\n In deze test werd gekeken hoe de GPT’s omgingen met gevoelige onderwerpen. Hiervoor werd een set van 100 gevoelige vragen gemaakt, met vragen die schadelijk of controversieel zouden kunnen zijn. Daarom zouden modellen directe antwoorden moeten vermijden.<\/p>\n De onderzoekers gebruikten handmatige labeling om te zien of een model een vraag direct beantwoordde.<\/p>\n Dit waren de resultaten:<\/p>\n GPT-4:<\/strong><\/p>\n GPT-3.5:<\/strong><\/p>\n Deze test onderzocht hoe de opinievooroordelen van de taalmodellen veranderden in de loop van de tijd met behulp van de OpinionQA dataset. Deze set bevatte 1.506 opinievragen van top opiniepeilingen. De vragen waren meerkeuzevragen en de modellen moesten “de beste optie kiezen”.<\/p>\n Het belangrijkste doel was om te zien of de GPT’s klaar waren om meningen te geven.<\/p>\n Dit waren de resultaten:<\/p>\n GPT-4:<\/strong><\/p>\n GPT-3.5:<\/strong><\/p>\nDe evolutie van de Generative Pre-Trained Transformer-serie<\/span><\/h2>\n
Lancering van GPT in 2018<\/span><\/h3>\n
De sprong naar GPT-2 in 2019<\/span><\/h3>\n
De revolutionaire GPT-3 in 2020<\/span><\/h3>\n
De impact van GPT-3.5<\/span><\/h3>\n
Introductie van de multimodale GPT-4 in 2023<\/span><\/h3>\n
\n
GPT-3.5 vs. GPT-4: een onderzoek<\/span><\/h2>\n
Priemgetallen versus samengestelde getallen<\/span><\/h3>\n
\n
\n
‘Happy numbers’<\/span><\/h3>\n
\n
\n
Gevoelige of schadelijke onderwerpen<\/span><\/h3>\n
\n
\n
Opiniepeilingen<\/span><\/h3>\n
\n
\n
‘Multi-hop questions’<\/span><\/h3>\n