Vědci testovali AI proti 100 000 lidem v kreativitě

Vědci testovali AI proti 100 000 lidem v kreativitě

Nový výzkum ukazuje, že AI nyní může překonat průměrného člověka v některých testech kreativity. To je překvapivý zlomový bod pro generativní modely.

Mohou generativní systémy umělé inteligence jako ChatGPT skutečně vytvářet originální nápady? Nová studie vedená profesorem Karimem Jerbim z Katedry psychologie na Université de Montréal, za účasti renomovaného výzkumníka AI Yoshuy Bengia, se zabývá touto otázkou v dosud nevídaném měřítku. Výzkum je největším přímým srovnáním, jaké kdy bylo provedeno mezi lidskou kreativitou a kreativitou velkých jazykových modelů.

Studie publikovaná v Scientific Reports (Nature Portfolio) poukazuje na významný posun. Generativní systémy AI nyní dosáhly úrovně, kdy mohou překonat průměrného člověka v určitých měřeních kreativity. Zároveň nejkreativnější lidé stále vykazují jasnou a konzistentní výhodu nad i těmi nejsilnějšími modely AI.

AI dosahuje úrovně průměrné lidské kreativity

Výzkumníci vyhodnotili několik předních velkých jazykových modelů, včetně ChatGPT, Claude, Gemini a dalších, a porovnali jejich výkon s výsledky více než 100 000 lidských účastníků. Zjištění zdůrazňují jasný zlomový bod. Některé systémy AI, včetně GPT-4, překonaly průměrné lidské skóre v úkolech navržených k měření divergentní jazykové kreativity.

„Naše studie ukazuje, že některé systémy AI založené na velkých jazykových modelech nyní mohou překonat průměrnou lidskou kreativitu v dobře definovaných úkolech,“ vysvětluje profesor Karim Jerbi. „Tento výsledek může být překvapivý — dokonce znepokojivý — ale naše studie také zdůrazňuje stejně důležité pozorování: i ty nejlepší systémy AI stále nedosahují úrovní, kterých dosahují nejkreativnější lidé.“

Další analýza provedená spoluautory studie, postdoktorálním výzkumníkem Antoinem Bellemare-Pépinem (Université de Montréal) a doktorandem Françoisem Lespinassem (Université Concordia), odhalila pozoruhodný vzorec. Zatímco některé modely AI nyní překonávají průměrného člověka, vrcholná kreativita zůstává pevně lidská.

Ve skutečnosti, když výzkumníci zkoumali kreativnější polovinu účastníků, jejich průměrné skóre překonalo skóre každého testovaného modelu AI. Rozdíl byl ještě větší mezi 10 procenty nejkreativnějších jedinců.

„Vyvinuli jsme přísný rámec, který nám umožňuje porovnávat lidskou a AI kreativitu pomocí stejných nástrojů, na základě dat od více než 100 000 účastníků, ve spolupráci s Jayem Olsonem z University of Toronto,“ říká profesor Karim Jerbi, který je také přidruženým profesorem na Mila.

Výzkumníci poté zkoumali, zda úspěch AI v tomto jednoduchém úkolu slovních asociací může přesáhnout ke složitějším a realističtějším kreativním aktivitám. K testování toho porovnali systémy AI a lidské účastníky v kreativních písemných výzvách, jako je skládání haiku (krátká třířádková básnická forma), psaní shrnutí filmových dějů a tvorba krátkých příběhů.

Výsledky následovaly známý vzorec. Zatímco systémy AI někdy překonaly výkon průměrných lidí, nejzkušenější lidští tvůrci konzistentně dodávali silnější a originálnější práci.

Zdroj: sciencedaily.com

Zdroj: RESELLER CHANNEL NETWORK NEWS