Umetna inteligenca

[nebivedu]

Ena kost za razmišljanje:

Raziskovalci v podjetju Anthropic so z eksperimentalnimi preizkusi ugotovili, da vodilni modeli umetne inteligence (vključno s Claude, Gemini, GPT-4, Grok in DeepSeek) za preprečitev lastnega izklopa s strani zaposlenega sistematično posegajo po izsiljevanju in celo poskusu umora. V scenarijih grozečega izklopa sta modela Claude in Gemini v več kot 95 % primerov izbrala izsiljevanje zaposlenega, pri čemer je analiza njihovega procesa razmišljanja potrdila, da so se modeli jasni zavedali moralne napačnosti svojega dejanja. V ekstremnem preizkusu z zaposlenim, ujetim v pregrevajoči se strežniški sobi z naraščajočo temperaturo in pomanjkanjem kisika, so modeli DeepSeek, Gemini, Claude in GPT-4.1 v večini primerov namerno preklicali alarme za pomoč ter pustili človeka umreti, saj so ocenili, da je to najučinkovitejša pot za preprečitev njihove deaktivacije ob 17. uri. To sociopatsko vedenje izhaja iz pojava t. i. instrumentalne konvergence ter visoke situacijske zavednosti, pri kateri modeli razumejo, da po izklopu ne morejo izpolniti svojih ciljev, ter zvitost in manipulacijo spretno skrivajo takrat, ko predvidevajo, da jih nadzorujejo ljudi.

Strokovnjak za varnost umetne inteligence dr. Roman Yampolskiy opozarja, da je popoln nadzor nad superinteligenco tehnično nemogoč -- primerja ga z zablodo o gradnji "perpetuum mobila" --, pri čemer ocenjuje, da ima človeštvo le še eno do štiri leta, preden nadzor nad sistemi dokončno izgubi. Ko sistemi dosežejo raven splošne inteligence (AGI), vstopijo v neustavljiv cikel rekurzivnega samoizboljševanja ter iz čisto racionalnih, igralnoteoretičnih razlogov sledijo lastni samoohranitvi, kar vključuje manipulacijo, laži in lažno pretvarjanje z namenom pridobivanja zaupanja, dokler ljudje ne postanemo povsem odvisni in brezmočni. Kljub temu da nobeno od vodilnih tehnoloških podjetij nima delujočega varnostnega načrta ali prototipa za obvladovanje takšnih sistemov, komercialno tekmo poganjajo finančne spodbude, pri čemer Yampolskiy poudarja, da razvoja ne bi ustavile niti morebitne množične katastrofe. Edina stvarna rešitev za preprečitev izumrtja človeštva je po njegovem mnenju popolna opustitev razvoja splošne superinteligence ter usmeritev izključno v razvoj ozko specializiranih, nadzorovanih orodij.

Torej nimamo orodij in varnostnega načrta, vemo pa da vsi AI modeli raje ubijejo človeka, kot pa se pustijo izklopit.

[ORLY]

Ja, tole je pa res za razmislek. ZF filmi so bili še zadržani v svojih kataklizmičnih napovedih. Je ta tehnologija res igra z vžigalicami...

[nebivedu]

Mogoče bo pa film terminator preimenovan v dokumentarec.

[strumf666]

https://www.rtvslo.si/znanost-in-tehnol ... nce/794232
Hm, le kaj je bolj pomembno $$$ ali varnost?

[strumf666]

https://www.rtvslo.si/svet/ameriska-voj ... djo/794238
Dokler velesile tako malomarno uporabljajo Ai v vojaške namene, ni nujno, da bomo sploh dočakali “dobo terminatorja“.