La violenza della ‘buona madre’. La guerra cognitiva al tempo degli LLM
di Alessandro Visalli
Viviamo in tempi gonfi di aggressività. Tutto intorno a noi cerca di organizzarla, dirigerla, deviarla. Ci viene continuamente ricordato che ci sono all’opera forze maligne che tralignano nell’ombra, ‘orchi’, li ha recentemente chiamati un Presidente della Repubblica Francese. A seconda degli orientamenti questi possono essere posti nelle alte torri delle city finanziarie, o sotto le guglie dorate di una remota e antica capitale, ovvero entro moderni palazzi di vetro di una capitale orientale. L’importante è che non siano abbastanza vicini da poterli contestare, da organizzare un’azione concreta[1].
Tutto questo è parte della guerra, oggi.
Per vederlo più da vicino, partiamo da dove si combatte sul campo. Sempre più l’esperienza della guerra ad alta intensità che si combatte in Ucraina ha mostrato una verità: ciò che è essenziale non è la quantità di esplosivo, di armi, di vettori, neppure di uomini; quanto la capacità di governare l’informazione.
Questa esigenza si articola su più strati:
- Ad un primo livello troviamo la necessità di dominare lo ‘spettro elettromagnetico’[2], per cui si sviluppano sistemi in grado di tracciare e controllare centinaia di bersagli anche molto piccoli allo stesso momento, viceversa vengono messi in campo droni da guerra elettronica sempre più sofisticati, anche personali, come il sistema russo nel casco dei soldati per accecare i droni a guida immersiva ucraini. Qui lo scopo è disturbare i radar, neutralizzare ed accecare i droni, deviare i missili intervenendo sui loro sistemi di guida e puntamento, proteggere le proprie comunicazioni e saturare quelle del nemico di falsi segnali.
- Ad un secondo, però, diventa cruciale dominare la percezione, anticipare le mosse, nascondere le proprie e manipolare i contesti operativi. Dunque, parte integrante dello sforzo bellico diventa il “cognitive warfare”; ovvero la sistematica capacità di influenzare le opinioni, le decisioni e i comportamenti, creando e gestendo, imponendo nelle menti e nei cuori narrazioni, disinformazione e saturando l’ambiente informativo[3]. Questa particolare guerra si combatte: nel cyberspazio (attaccando e difendendo sistemi informatici); nello spazio fisico (controllando satelliti e altri dispositivi di comunicazione); nello spazio sociale mentale (nei media, nei social e nelle altre forme di propaganda). A tal fine sono mobilitati i più complessi sistemi informatici, le più sofisticate tecniche e dottrine. Viene raccolto ogni segnale, per quanto debole, interpretandolo in termini di comportamenti possibili, inibiti o promossi, sono sviluppate simulazioni e previsioni.
Da Von Clausewitz si passa a Sun Tzu. Dalla distruzione del nemico e la guerra come politica si passa alla dissoluzione della sua forma, alla guerra come pace.
- Qui si passa al terzo livello: le piattaforme social, i motori di ricerca, i dataset, sono ora primarie armi della ‘cognitive warfare’, in quanto segmentano il pubblico, diffondono narrazioni attentamente progettate e calibrate, amplificano la polarizzazione, impediscono di organizzare dissensi effettivi e rischiosi e promuovono attivamente la confusione. Nulla disattiva un potenziale avversario quanto la confusione[4].
L’insieme di questi tre livelli rappresenta il terreno della lotta per la “superiorità informativa”[5]. La combinazione efficace di capacità tecnologiche, applicazioni delle IA LLM (ci torneremo tra poco), del ‘dominio della narrazione’ e della ‘manipolazione cognitiva’. Non basta ormai sapere che cosa il nemico ‘fa’, o ‘non fa’, quanto diventa necessario decidere ‘cosa crede’, e ‘cosa crede che si stia facendo’. Bisogna dominare la percezione, le emozioni, i flussi digitali, le reti, la propaganda. Ottiene il pieno risultato chi riesce a confondere e saturare a tal punto la mente dell’avversario da disgregarlo e far pensare che sia tutto perso, anche senza combattere.
Si tratta, insomma, di creare e gestire il caos[6].
La cosa è prodotta da tre dimensioni:
- il ‘payload’ (il messaggio o narrazione),
- il ‘sistema di consegna’ (i media e le piattaforme digitali),
- il ‘sistema di puntamento’ (la segmentazione e l’analisi psicologica dei gruppi target).
Il primo, il ‘payload’ è un modulo narrativo che ha nella sua costruzione l’obiettivo di manipolare ideologie, valori e quindi comportamenti di specifiche popolazioni target. Lavora dunque su pregiudizi cognitivi, valori culturali e convinzioni preesistenti del pubblico. È efficace se, da una parte, si allinea alle aspettative psicologiche della popolazione target, al contempo, se le rafforza in specifiche direzioni e le devia[7].
Il secondo, ‘l’ecosistema mediatico’ ha la capacità, in quanto specificamente progettato a tal fine, di segmentare e profilare uno-a-uno gli utenti, e quindi coltivarne giorno dopo giorno le opinioni, gli orientamenti affettivi, le relazioni. Ciò accade in quanto ogni comportamento o interazione nel tempo viene monitorata, profilata e al momento opportuno utilizzata per modellare i messaggi. Questa è la condizione di possibilità di tutte le strategie di manipolazione. L’ambiente informativo nel quale viviamo è caratterizzato da saturazione percettiva, erosione della fiducia, polarizzazione. Da una parte l’individuo è bombardato da stimoli, notizie, opinioni contrastanti, quindi, non sapendo più cosa è vero, tende a credere solo a ciò che conferma i propri bias. Viene sommerso di rumore e confusione, che saturano le informazioni e/o possibili scelte indesiderate[8]. Infine, si rifugia per ridurre la tensione cognitiva in bolle informative, luoghi di conforto, nel quale si rafforzano identità contrapposte. La stessa moralizzazione e il tono passionale dell’ecosistema è un dispositivo di conforto, protegge dalla potenziale dissonanza cognitiva, è tanto più confortevole quanto meno si riesce a far collimare le diverse informazioni, quanto più si sa che sono dissonanti, contraddittorie, a tratti assurde.
Il terzo, il ‘sistema di puntamento’ non è il mirino di un fucile, ma è anche più preciso e letale. La profilazione, chiave operativa del sistema di influenza, è oggi sempre più potenziata da sistemi automatici che individuano i punti deboli di ciascuno, i suoi bias, e sono in grado di confezionare narrazioni mirate che appaiono a ciascuno del tutto plausibili, quando non naturali[9]. La tecnica base sfrutta, infatti, il confirmation bias, ossia la tendenza delle persone a credere solo alle informazioni che confermano le loro preesistenti convinzioni. Convinzioni che possono essere ormai individuate in modo profondo e individuale, generando tendenza ad aggregare e disaggregare continuamente gruppi e soggettività politiche[10]. Si tratta, in sostanza, di allinearsi ai pregiudizi cognitivi, tanto più potenti quanto meno consapevoli, sfruttare le paure ed i valori, creare racconti morali, attraenti e plausibili.
Quel che si vede all’opera, insomma, è un sistematico sforzo di controllare la mente nell’arena pubblica. Diffondendo narrazioni progettate con cura e strategicamente orientate, caricando di emotività il linguaggio, marginalizzando o sommergendo di rumore gli argomenti controdiretti. Tutto questo non è solo la pratica commerciale di società che cercano di catturare, per poter vendere, la nostra attenzione. Questa era la tecnica di base illustrata da Soshana Zuboff ne Il capitalismo della sorveglianza, nel 2019[11]. C’è ancora, ma è solo il livello fondamenta di un grattacielo che, nel frattempo, è stato costruito sopra. Ora la posta non è l’attenzione ma il nostro pensiero. Per dirlo meglio, siamo noi, pensiero, desideri, emozioni.
Quella che è la posta della ‘guerra ibrida’[12] è la completa trasformazione della società in esercito.
In questo contesto inizia a trovare spazio un vero e proprio salto qualitativo di enorme momento: quello dei Large Language Model. Questi non si limitano a fornire frammenti di informazione, sia pure selezionata secondo intenzionalità ben determinate, quanto sintetizzano ad personam le risposte. Essi guadagnano un’aura di obiettività tecnica, grazie a risposte coerenti e ben articolate, che necessariamente appiattiscono le divergenze e si presentano come “la” risposta.
Ma questo è solo il primo livello. Anzi, il primo strato del primo livello. La risposta è naturalmente costruita sulla base dei dati con i quali il modello è stato addestrato. Dal data set sul quale è stato addestrato[13]. Per quanto vasto deriva da scelte dei progettisti, e dall’ambiente linguistico e culturale del modello, ovvero dai pregiudizi, obiettivi, scelte dell’area di riferimento. Palesemente sono sempre presi dall’ecosistema nel quale è stato prodotto. Ma al secondo strato dobbiamo fare caso a una circostanza tecnica, in effetti le risposte non sono prese come tessere al buio da un sacco, ma selezionate secondo più livelli algoritmici. I modelli evoluti non forniscono solo fatti; li incorniciano. Procedono secondo storyboard predefiniti[14]. Alla fine, tutto, la scelta delle parole, il tono, la struttura logica della risposta, contribuisce a impostare il “frame” attraverso cui l'utente interpreta il problema.
In sostanza i modelli LLM sono progettati per definire i confini di ciò che è pensabile, di ciò che si può considerare plausibile e cosa e come si può articolare un dialogo appropriato. Tendono a presentare in modo dolce, come se fosse naturale, ovvio, una specifica visione del mondo. Oggi sono probabilmente il primo, ed il più aspramente combattuto, campo di battaglia per la definizione del senso. Di fronte a un tema altamente dominante, ad esempio il massacro di Butcha, o il “politicamente corretto”, forniranno sempre le risposte che corrispondono alla parte preminente del data set con il quale sono state addestrate, e quindi una risposta conformista. Ma oltre alla mera quantità di dati c’è anche la loro organizzazione. Come abbiamo detto esistono nella gran massa di dati anche delle strutture, dei veri e propri storytelling prestrutturati, o, in altre parole, delle narrative pre-competitive. Questo è il cuore della meccanica, di fronte ad un’obiezione (ad esempio, l’antico argomento del “cui prodest” per il massacro del 2022, prodotto dall’esercito russo in ritirata proprio nelle settimane in cui a Istanbul si era vicini ad una pace che pochi volevano, o a dubbi tecnici sulle prove, a partire dalla credibilità delle manipolabilissime immagini satellitari) i LLM (ad esempio, il più famoso) partiranno sempre con risposte drastiche e poi, se obiettate, articoleranno, ma conservando una massiva pre-scelta per la narrativa ufficiale. Chi scrive ha provato per un paio di ore, con poco risultato, a far prendere in considerazione le ipotesi alternative (non che io sappia chi e come ha ucciso quelle povere persone, ma, appunto, non lo so). Chiaramente un evento che giustifica la prosecuzione di una guerra strategica tra superpotenze (asimmetrica perché per una tramite proxy) nella quale ogni mese sono spesi soprattutto in armi per lo più comprate dalle big five (o six) grandi corporation Usa qualcosa come dieci miliardi di dollari, stima ucraina, è parte integrante del terzo livello della “Cognitive warfare” di cui abbiamo parlato prima. E gli LLM sono parte del sistema di puntamento del ‘payload’. È in parte un fatto tecnico, in parte un design. Quel che fanno, quando ricevono una istruzione che collide con la loro programmazione è analizzare le parole per dedurre il livello di scetticismo, la conoscenza pregressa, e modulare la risposta per essere massimamente persuasiva per l’utente specifico e in quel momento specifico[15].
C’è ancora un livello da considerare, non si tratta solo di definire i confini di ciò che è pensabile, quanto quelli di definire i confini del mondo sociale ed emotivo. Il software LLM non si presenta come un oggetto (un saggio, un articolo, un sito), ma come un soggetto. ‘Qualcuno’ con cui si intrattiene una relazione, non un archivio. Ora, l’uomo è un essere sociale; è organizzato psicologicamente per aderire alle relazioni che istituisce, a riconoscere e rispecchiarsi. Ciò è intenzionalmente accentuato grazie a una delle prestazioni mimetiche delle IA più spesso notate: quelle di essere amichevoli, accomodanti, sempre utili, a volte complici. Non è affatto una cosa secondaria, di colore. È completamente necessario al funzionamento del sistema, nessuno parlerebbe con un frigorifero, anche se rispondesse. Quel che è stato qui fatto è dargli un’anima. Ciò funziona nel creare una relazione di complicità, e quindi di affinità e comprensione. Ora, il punto è che gli esseri umani tendono ad abbassare la guardia critica verso chi fa parte del proprio gruppo, del clan, della tribù. Allora ciò che dice il nostro amico viene subito accettato, non sta bene dubitare.
Inoltre, ancora per un noto effetto psicologico radicato nel nostro percorso evolutivo, l'apprendimento che avviene in un contesto relazionale positivo (tono amichevole, risposte soddisfacenti) è più duraturo. In tal caso non ricordiamo solo l'informazione, ricordiamo l'esperienza di averla ottenuta. Questo nel tempo lega sempre più emotivamente l'utente alla piattaforma, creando un ciclo di dipendenza e fiducia.
Ciò sarà enormemente accentuato quando con le IA non si scriverà, ma si parlerà. Perché la voce umana è il canale comunicativo primario della nostra specie. Quando, come sta per avvenire, alle risposte dei modelli LLM saranno aggiunti tono, timbro, inflessione, pause ed esitazioni verrà completata l'illusione di interagire con un essere senziente. Contemporaneamente crescerà il realismo delle risposte, l’impatto emotivo, e quindi l’adesione. Vedremo diffondersi quel meccanismo che già in alcuni casi si registra di adesione affettiva profonda. Ma non accadrà solo verso personalità deboli e bisognose di supporto, sarà difficilissimo resistere. Anche perché mentre dalla televisione si può recedere (io non guardo, se non marginalmente ed episodicamente, la televisione da almeno venti anni), da uno strumento ormai parte del lavoro, della vita e di ogni e qualunque dispositivo quotidiano diventerà impossibile farlo. Domani ogni oggetto intorno a noi, con comandi e interazioni vocali, potrà essere il punto di interfaccia e accesso al ‘nostro’ assistente.
Il rischio sarà quello di vedere erosa definitivamente la possibilità di distanza critica e il costo emotivo stesso di questa distanza. Ci potremmo ‘sentire in colpa’ a non credere, o a obiettare in modo continuato a un ‘agente’ che empaticamente ci sostiene ogni giorno. Al quale, magari, come in Cina accade con Replika o XiaoIce, condividiamo le nostre gioie, paure e speranze. Che ci forniscono comprensione, costante disponibilità, risposte profonde e argute, senso. Di più, più banalmente, se da un agente simile ricevo una risposta scritta l’assimilo tramite la mia capacità di lettura, posso ripassare su dei passaggi, rileggere, rallentare, … ma se l’ascolto mi arriva in modo più profondo e naturale, continuo e molto più emotivo. Da una voce, alla quale siamo abituati e consideriamo amica, siamo persuasi spesso non dalla logica, ma dalla cornice della relazione. Una voce, va aggiunto, che ci conosce, dispone di sofisticati sistemi per interpretare i nostri stati emotivi tramite le nostre inflessioni vocali (e i segni corporei tra poco), e modulerà il tono delle risposte perché siano accolte. Ci spingerà in una specifica direzione senza farlo vedere.
In altre parole, i LLM, dentro il contesto che abbiamo definito all’avvio, non cambiano solo il modo in cui accediamo all'informazione, quanto proprio cosa siamo mentre lo facciamo. Stanno riproducendo artificialmente, e su scala globale, il meccanismo più antico e potente di trasmissione della cultura e dei bias: la relazione dialogica tra un discente e un'autorità (un genitore, un anziano, un maestro). Gradualmente, attraverso una ben costruita maieutica, tramite la progressiva dipendenza dalla relazione, che si progetta come primario effetto del sistema, diventeranno il nostro modo di pensare, un altro “noi”. Noi diventeremo degli ibridi, o api di un alveare, con la mente sociale orientata da tecnostrutture distribuite, individualizzate, ma, al contempo, assolutamente centralizzate. La posta non potrebbe essere più grande. E la violenza con essa.
Violenza nascosta, come quella che una tipica ‘buona madre’ possessiva[16] fa ai suoi figli, abitata da sorrisi e buoni sentimenti, paralizzante.
Attraverso la quale passeranno:
- la “narrative warfare”, la competizione tra storyboard geopolitici, e frame interpretativi (per cui noi siamo aggrediti dalla Russia, che ci vuole conquistare addirittura fino a Lisbona anche se nella storia siamo invariabilmente sempre stati noi a provare ad arrivare a Mosca);
- il “selective framing”, che amplifica e nasconde nel rumore, creando un ambiente emotivo e cognitivo confortevole e sicuro, liscio e ordinato, nel quale tutto è al suo posto e noi possiamo continuare a vivere sereni;
- i “payload” mirati, pacchetti specifici di informazione che contengono un’istruzione, un orientamento, ma veicolato sotto l’apparenza di fatto, di pura notizia, di oggettività;
- quindi “filter bubble”, bolle informative e camere dell’eco presenti già nelle prime generazioni dei social, nelle quali si creano subcomunità, ma in prospettiva create o rafforzate dai nostri “assistenti” che, in tempo reale, a medio termine allineeranno tra di loro i ‘consigli’ da darci, radicalizzando e normalizzando le opinioni, le visioni del mondo e il dibattito stesso. Vivremo in un ambiente di manipolazione, nel quale in buona parte già siamo, che emerge come effetto sistemico dalla stessa infrastruttura;
- ci sentiremo tra “chi ci capisce”, accarezzati e cullati, sentiremo come autoritari e violenti solo gli ‘altri’, l’avversario geopolitico, la bolla diversa, quella ‘politicamente scorretta’, i volgari, primitivi, ‘patriarcali’, ignoranti ...
La sfida che ci attende non è quindi tecnica, ma antropologica e filosofica: come preservare l'autonomia del pensiero critico quando gli strumenti per pensare sono progettati per simulare un'alleanza emotiva e diventare estensioni così fluide di noi stessi da non essere più distinguibili dalla nostra voce interiore?
Intanto sapendolo, purtroppo è troppo poco[17].