Traduzione molto libera del Ted Talk di Liv Boeree intitolato The dark side of competition in AI.
La competizione è una parte fondamentale della natura umana. Sono stata una giocatrice professionista di poker per 10 anni, quindi ho visto molto da vicino tutti i modi in cui può manifestarsi, sia positivamente che negativamente. Quando è gestita correttamente, può spingerci a compiere imprese incredibili nello sport e nell’innovazione, come quando le case automobilistiche competono nel costruire auto più sicure o i pannelli solari più efficienti. Questi sono tutti esempi di competizione sana, perché anche se singole aziende possono venire e andare, ma nel lungo periodo, il gioco tra di loro crea risultati vantaggiosi per tutti (win-win) e tutti ne traggono beneficio.
Ma a volte la competizione non è così positiva e può portare a risultati lose-lose, dove tutti sono perdono qualcosa. Ad esempio i filtri di bellezza basati sull’intelligenza artificiale: sono una tecnologia impressionante. Possono migliorare praticamente qualsiasi foto. Riescono persino a rendere più belle Angelina (Jolie) e Margot (Robbie). Quindi sono molto utili, specialmente per gli influencer che, ora, con un clic, possono trasformarsi in versioni più belle delle start di Hollywood.
Ma utile non significa sempre salutare. E personalmente ho notato quanto rapidamente queste cose possano indurti a odiare il tuo volto naturale. E ci sono sempre più prove che questi filtri causano problemi come la dismorfofobia corporea, soprattutto negli adolescenti.
Queste cose sono ormai diffusissime sui social media perché è la natura del gioco a pretenderlo. Le piattaforme sono incentivate a fornirle perché immagini più accattivanti generano più sistemi limbici manipolati, che portano più scrolling e quindi più entrate pubblicitarie. E gli utenti sono incentivati a usarli perché foto più accattivanti attirano più follower. Ma questa è la trappola: una volta che inizi a usare queste cose, è davvero difficile tornare indietro.
Inoltre, non forniscono nemmeno più un vantaggio competitivo perché sono a disposizione di tutti. Quindi gli influencer ottengono tutti gli svantaggi e pochissimi vantaggi. Un gioco sostanzialmente a pedere, per tutti.
Una trappola simile caratterizza il mondo dell’informazione ma con conseguenze molto peggiori. L’avvento di Internet ci aveva indotti a pensare che l’aumento della concorrenza tra i mezzi di informazione avrebbe creato una sorta di spirale positiva, una corsa verso un giornalismo sempre più pieno di sfumature, imparziale ed accurato. Invece, stiamo assistendo a un declino inesorabile fatto di clickbait e della polarizzazione, in cui anche autorevoli testate utilizzano sempre più tattiche partigiane di basso livello. Anche questo è dovuto a incentivi scadenti.
Oggi non leggiamo più solo le notizie. Interagiamo con esse condividendole e commentandole. E i titoli che suscitano emozioni come paura o rabbia hanno molte più probabilità di diventare virali rispetto a quelli neutrali o positivi. Quindi, in molti modi, gli editori di notizie sono ingabbiati nella stessa trappola degli influencer: più i loro concorrenti attuano tattiche da clickbait, più devono farlo anche loro. Altrimenti, le loro storie si perdono nel rumore di fondo.
Ma tutto questo è terribile per tutti, perché ora i media non hanno più la fiducia del pubblico e diventa sempre più difficile distinguere la verità dalla finzione, il che è un problema molto grave per la democrazia. Questo processo di competizione negativa è la forza alla base di molti dei nostri problemi più grandi: inquinamento da plastica, deforestazione, abuso di antibiotici nell’agricoltura, gare agli armamenti, emissioni di gas serra ecc.
Tutte dinamiche determinate da incentivi scadenti, giochi mal progettati che spingono i loro giocatori – siano essi persone, aziende o governi – a adottare strategie e tattiche che differiscono costi e danni alle future generazioni. E ciò che è così ridicolo è che nella maggior parte dei casi, non è neanche nelle loro intenzioni. Non è che le aziende di imballaggi vogliano riempire gli oceani di plastica o gli agricoltori vogliano peggiorare la resistenza agli antibiotici.
Ma sono tutti bloccati nella stessa dilemma: “Se non uso questa tattica, verrò surclassato da tutti gli altri che lo fanno. Quindi devo farlo anche io”. Questo è il meccanismo che dobbiamo ribaltare come civiltà. E so cosa state probabilmente pensando: “Tutta colpa del capitalismo”. No, non è il capitalismo. Che, sì, può causare problemi, ma può anche risolverli ed è stato fantastico in generale. No, è qualcosa di molto più profondo.
È una sistema di incentivi non allineati della teoria dei giochi. È per queto che qualche anno fa, mi sono ritirata dal poker, proprio perché volevo capire meglio questo meccanismo. Perché assume molte forme diverse e ha molti nomi diversi tipo:
- Coordination Problems
- Tragedy of the Commons
- Multi-way Prisoner’s Dilemma
- Negative-sum Games
- Race to the bottom
- Social dilemmas
- Indequater nash-equilibria
- Multi-polar Traps
Questi sono solo alcuni di quei nomi. Sono un po’ astratti e strani, no? Non scivolano proprio via dalla lingua. E visto che sono estremamente insidiosi e strettamente collegati servirebbe un modo più immediato per riconoscerli. Quindi questa è probabilmente l’unica volta in cui sentirai parlare della Bibbia in questa conferenza.
Voglio raccontarti una breve storia tratta dalla Bibbia: si racconta che, ai tempi dei cananei, ci fosse una setta così bramosa di denaro e potere che era disposta a sacrificare i propri figli per ottenerli. E lo facevano bruciandoli vivi su un’effige della divinità che credevano li avrebbe poi ricompensati per questo sacrificio. E il nome di questa divinità era Moloch.
Un po’ deprimente come storia ma così è e ci fa capire perché è una metafora appropriata: a volte siamo così presi nel cercare di vincere la partita che perdiamo di vista la visione di insieme finendo per sacrificare più di quello che vinciamo. Quindi, proprio come quei tipi sacrificavano i loro figli per il potere, gli influencer sacrificano la loro felicità per i like, gli editori, la loro integrità per qualche clic e chi inquina, la biosfera per il profitto. In tutti questi esempi, sono gli incentivi a breve termine degli stessi giochi che stanno spingendo i giocatori a sacrificare il loro futuro, intrappolandoli in una spirale mortale in cui alla fine perdono tutti.
Questa è la trappola di Moloch: il meccanismo della competizione negativa. Ed è lo stesso che ingabbia l’industria dell’Intelligenza Artificiale. Siamo tutti consapevoli della corsain atto tra le aziende in questo momento su chi può ottenere più potenza di calcolo, chi può ottenere il round di finanziamento più cospicuo o ingaggiare i migliori talenti. Beh, più aziende entrano in questa corsa, maggiore è la pressione per tutti di andare il più veloce possibile sacrificando altre cose importanti come i test di sicurezza: tutte le caratteristiche di una trappola di Moloch.
Immagina di essere un CEO sinceramente convinto che il tuo team sia il migliore per poter costruire in modo sicuro un’IA estremamente potente. Beh, se vai troppo lentamente, rischi che altri team, molto meno cauti, arrivino prima di te e implementino i loro sistemi prima che tu possa farlo. E questo ti spienge a diventare più avventato. E alla luce degli avvertimenti di molti esperti e ricercatori sui rischi estremi di uno sviluppo avventato dell’IA, questo approccio risulta assolutamente folle. Inoltre, quasi tutte le aziende di IA hanno come principale obiettivo quello di soddisfare i loro investitori, un incentivo a breve termine che col tempo inevitabilmente inizierà a entrare in conflitto con qualsiasi traguardo positivo.
E questo non sarebbe un grosso problema se stessimo parlando solo di tostapane. Ma l’IA, e soprattutto l’AGI (Intelligenza artificiale Forte), è destinata a essere un cambiamento paradigmatico più grande della rivoluzione agricola o industriale. Un momento così cruciale che merita rispetto e riflessione, non qualcosa da ridurre a una gara aziendale su chi può ottenere il maggior numero di utenti attivi al giorno. Non sto dicendo di sapere quale sia il giusto compromesso tra accelerazione e sicurezza, ma so che non lo scopriremo mai se lasciamo che Moloch lo stabilisca per noi.
Quindi cosa possiamo fare? Beh, la buona notizia è che siamo riusciti a coordinarci per evitare alcune trappole di Moloch in passato. Siamo riusciti a salvare lo strato di ozono dai CFC con l’aiuto del Protocollo di Montreal. Siamo riusciti a ridurre il numero di armi nucleari sulla Terra del 80 percento, con l’aiuto del Trattato per la Riduzione delle Armi Strategiche nel 1991. Quindi una regolamentazione intelligente potrebbe certamente aiutare anche con l’IA, ma in ultima analisi, sono i giocatori all’interno del gioco che hanno più influenza su di esso. Quindi abbiamo bisogno che i leader dell’IA ci dimostrino che sono consapevoli non solo dei rischi che le loro tecnologie comportano, ma anche della natura distruttiva degli incentivi a cui sono attualmente vincolati.
Man mano che le loro capacità tecnologiche si avvicinano al potere degli dei, avranno bisogno della saggezza divina per sapere come maneggiarle. Quindi non mi riempie di incoraggiamento quando vedo il CEO di un’azienda molto importante dire qualcosa del tipo, “Voglio che la gente sappia che abbiamo fatto tremare il nostro concorrente”. Non è il tipo di mentalità di cui abbiamo bisogno qui. Abbiamo bisogno di leader disposti a ribaltare il manuale di Moloch, che sono disposti a sacrificare la propria possibilità individuale di vincere per il bene di tutti.
Ora, fortunatamente, i tre laboratori leader stanno mostrando alcuni segni di farlo. Anthropic ha recentemente annunciato la loro politica di scalabilità responsabile, che si impegna ad aumentare le capacità solo una volta che determinati criteri di sicurezza sono stati soddisfatti. OpenAI ha recentemente promesso di dedicare il 20 percento del loro calcolo esclusivamente alla ricerca di allineamento. E DeepMind ha mostrato un focus decennale sulla scienza prima del commercio, come lo sviluppo di AlphaFold, che hanno regalato alla comunità scientifica gratuitamente.
Questi sono tutti passi nella giusta direzione, ma sono ancora lontani dall’essere sufficienti. Voglio dire, la maggior parte di questi sono attualmente solo parole, non sono nemmeno azioni dimostrate. Quindi abbiamo bisogno di un modo chiaro per trasformare la corsa all’IA in una corsa definitiva verso l’alto. Forse le aziende possono iniziare a competere su chi può stare entro questi parametri, su chi può sviluppare i migliori criteri di sicurezza. Una gara su chi può dedicare il maggior numero di calcoli all’allineamento.
Questo sì che darebbe veramente il dito medio a Moloch.
La concorrenza può essere uno strumento fantastico, se lo utilizziamo con saggezza. E dovremo farlo, perché le scommesse che stiamo giocando sono astronomiche.
Se sbagliamo con l’IA, e soprattutto con l’AGI, potrebbe portare a catastrofi inimmaginabili. Ma se lo facciamo bene, potrebbe essere la nostra via d’uscita da molte di queste trappole di Moloch che ho menzionato oggi. E mentre le cose diventeranno più pazze nei prossimi anni, cosa che probabilmente faranno, sarà più importante che mai che ricordiamo che il vero nemico qui è Moloch. Non un CEO o una società individuale, e certamente non l’uno l’altro.
Quindi non odiare i giocatori, cambia il gioco.
Traduzione libera dal Ted Talk di Liv Boeree intitolato The dark side of competition in AI