Claude controlla se i suoi utenti sono cinesi per evitare di essere “distillato”: cosa significa e perché è importante nella corsa all’AI

Wait 5 sec.

Nel mondo dell’intelligenza artificiale chi ha il modello più avanzato genera più profitti e c’è una corsa all’oro tra Stati Uniti e Cina. Per impedire che i suoi dati e le sue tecnologie vengano assimilati dai modelli cinesi, Anthropic ha inserito all’interno del suo prodotto di punta, Claude Code, un sistema che controlla se l’utente sta usando il servizio dalla Cina. L’obiettivo è non venire “distillati” ovvero impedire ai modelli cinesi di allenarsi sui risultati di Claude. L’azienda non ha paura di ammettere di stare facendo queste verifiche per tutelarsi, ma alcuni utenti hanno espresso delle preoccupazioni legate alla privacy.Il caso scatenateTutto è iniziato da un post dell’utente di Reddit intitolato “Anthropic ha incorporato uno spyware in Claude Code e ha tentato di nascondertelo”. Nel post, l’azienda californiana fondata da Dario Amodei viene accusata di aver nascosto del codice di sorveglianza all’interno di Claude Code, il chatbot ormai diventato onnipresente nelle aziende che si occupano di informatica. Nello specifico, l’utente di Reddit ha individuato un controllo eseguito da Claude sul fuso orario del sistema richiedente per verificare se corrisponde ad Asia/Shanghai o Asia/Urumqi confrontando l’indirizzo web con un database di domini legati ai più importanti laboratori cinesi di intelligenza artificiale. Anthropic è famosa per essere una delle aziende più trasparenti nel settore dell’IA, per questo l’utente lamenta la mancata comunicazione di questa aggiunta: «Data la fiducia che gli sviluppatori ripongono in Claude Code, ritengo importante chiedere maggiore trasparenza ad Anthropic. Sebbene la protezione della proprietà intellettuale sia una motivazione ragionevole, non dovrebbe avvenire a scapito dell’installazione di quello che di fatto è un software spia sui sistemi di ogni sviluppatore», si legge nel post.La risposta di Anthropic: «Dobbiamo proteggerci»Dopo qualche giorno, in cui il post è rimbalzato su varie bacheche e forum, è arrivata la risposta di Anthropic nella forma di un tweet su X: «Il software in questione è un esperimento che abbiamo lanciato a marzo con l’obiettivo di prevenire l’abuso di Claude Code da parte di rivenditori non autorizzati e di proteggerci dalla distillazione. Da allora il team ha implementato misure di mitigazione più efficaci e in realtà avevamo intenzione di rimuovere questo contenuto già da un po’». In più, l’informativa sulla privacy di Anthropic afferma esplicitamente che l’azienda raccoglie il tipo di dati di cui parla l’utente di Reddit. Il motivo di tante precauzioni è molto semplice: solo questo mese, l’azienda ha individuato da parte di Alibaba, il colosso tecnologico cinese, quasi 25.000 account fraudolenti che hanno generato per il suo laboratorio di intelligenza artificiale Qwen 28,8 milioni di scambi con Claude, in un evidente tentativo di appropriarsi delle capacità del prodotto di Anthropic.Come funziona la “distillazione” dell’intelligenza artificialeUn modello di intelligenza artificiale impara prima leggendo montagne infinite di dati, poi producendo migliaia di risposte che un essere umano (o altre AI) valutano assegnandogli un punteggio. A questo punto il ciclo si ripete, il software studierà le risposte con il punteggio più alto per produrne di nuove ancora più allineate al suo obiettivo. Il problema con cui molte aziende di AI si scontrano da anni è che i grossi set di dati sono finiti da un po’ e allenare un’AI sui suoi stessi risultati la “avvelena” perché rinforza i suoi schemi predittivi attuali indebolendo la capacità degli ingegneri di modificarli. Per risolvere il problema, i laboratori hanno iniziato a “distillare” le AI degli altri, automatizzando decine di migliaia di account per fare richieste su richieste e creare così nuovi set di dati con le risposte degli altri su cui allenare le proprie AI. Il processo è particolarmente efficace con i chatbot che si occupano di creare codice (come Claude Code) perché ci sono molte meno verifiche da fare: al contrario di un testo, che può essere più o meno di qualità o veritiero, il codice o funziona (e adempie al compito assegnatogli) o non funziona. É quasi una certezza che Anthropic non sia l’unica azienda a fare questo tipo di verifiche per proteggersi dalle compagnie cinesi soprattutto visti i contratti governativi miliardari che ha con il governo degli Stati Uniti.L'articolo Claude controlla se i suoi utenti sono cinesi per evitare di essere “distillato”: cosa significa e perché è importante nella corsa all’AI proviene da Open.