Nick Bostrom: Szuperintelligencia

„A Szuperintelligencia nem himnusz a mesterséges intelligenciához, nem a technológiai fejlődés bibliája, mint A szingularitás küszöbén. Nick Bostrom szinte teljesen elveti Ray Kurzweil optimizmusát, a technológiai hatásokkal is viszonylag keveset foglalkozik, ellenben nagyon alaposan körbejárja egy fejlett, minimum emberi szintű MI létrehozásával és társadalmi hatásaival kapcsolatos problémákat.

Nagy szükség van az ehhez hasonló könyvekre. Nem tudom, hogy tényleg húsz éven belül várható-e a valódi/erős/univerzális mesterséges intelligencia létrehozása és az ezzel járó elképzelhetetlen változások, mint azt Kurzweil írja, de az biztos, hogy - értelemszerűen - minden eddiginél közelebb állunk hozzá. Éppen ezért Bostrom könyve rendkívül aktuális: ha tényleg elkezdünk ezen dolgozni, azt rendkívüli körültekintéssel kell tennünk (a többesszám úgy általában az emberiségre értendő). Felépítés, motivációkiválasztás, jutalmazási rendszer, biztosítékok, eszközök, hozzáférés - iszonyú sok mindenen bukhat a dolog. (…)

Mindennek ellenére szó nincs arról, hogy Bostrom szándékosan borúlátó képet festene a mesterséges intelligenciákról és nem is öncélúan vészmadárkodik. Látja és leírja egy jól összerakott, erős MI hasznát, értékét és előnyeit, de tökéletesen tisztában van a lehetséges buktatókkal, egzisztenciális kockázatokkal is. Rendes tudóshoz illően abszolút realistán közelíti meg a témát és pontosan ezért kell nagyon komolyan venni, amikor óvatosságra int. Tekintve, hogy az MI potenciálisan veszélyesebb lehet, mint az atombomba volt a negyvenes években, és csak egyszer ronthatjuk el vagy járhatunk sikerrel, minden óvatosságunkra és tudásunkra szükség lesz.”