Egy amerikai kutatás szerint nem igazán ajánlott megbízni a ChatGPT programozói képességeiben.
A ChatGPT válaszokat ad a kérdéseinkre, tudományos értekezéseket ír és kódokat generál, ha arra kérjük – az mondjuk más kérdés, hogy hogyan. Utóbbi esetében ugyanis még a szokásosnál is nagyobb arányban szolgál téves válaszokkal a chatbot, derül ki egy tanulmányból.
A Purdue Egyetem kutatócsoportja a ChatGPT programozói képességeit vizsgálta meg közelebbről, az eredmény lesújtó: a chatbot az esetek több mint felében helytelen válaszokat adott a felé intézett kérdésekre. Márpedig ez megdöbbentően rossz eredmény egy olyan programtól, ami alig két hónappal az indulása után már 100 millió havi aktív felhasználóval rendelkezett.
A kutatók több mint 500 kérdést tettek fel a ChatGPT-nek, amelyeket a kódolók tudásbázisának tartott Stack Overflow fórumán gyűjtöttek össze. A bot amellett, hogy 52 százalékban hibás válaszokat adott, 77 százalékban feleslegesen elnyújtotta a mondandóját, 78 százalékban pedig ellentmondásokat is tartalmazott a felelete.
A csapat emellett kétezer, véletlenszerűen kiválasztott ChatGPT szöveget is szemügyre vett, és arra jutottak, hogy a chatbot formálisabb, ugyanakkor vidámabb hangnemet üt meg az emberi beszédnél. A kutatók szerint többek közt ezek is hozzájárulhatnak ahhoz, hogy viszonylag sokan megbíznak a ChatGPT válaszaiban, holott a kutatások egyértelműen azt bizonyítják, hogy bőven van még mit tanulni a chatbotnak – a programozást illetően meg aztán pláne.
