Analisi dei Dati con Claude vs ChatGPT: Limiti e Potenzialità dell’Intelligenza Artificiale

Schermata di David Gewirtz/ZDNET

Probabilmente è necessario per un utilizzo serio, poiché dopo circa 20 minuti di test, sono stato interrotto.

Schermata di David Gewirtz/ZDNET

Ho provato ad aprire una nuova chat, senza successo. Dopo un’ora di attesa, ho potuto fare altre domande.

Scrivere codice per pulire i dati

Per testare le capacità di analisi dei dati di Claude, sono andata sul sito data.gov. Ho scaricato un set di dati dall’amministrazione americana della sicurezza sociale sull’uso dei nomi dei bambini, derivato dalle richieste di carte di sicurezza sociale.

I dati erano in un file ZIP. Ho estratto 145 file di testo CSV (valori separati da virgole) contenenti dati sui nomi dal 1880 al 2023, con un file per ogni anno.

Ho inizialmente provato a selezionare tutti i file e a importarli come gruppo in Claude. Tuttavia, Claude può importare solo cinque file alla volta.

Schermata di David Gewirtz/ZDNET

Un prompt per pulire i dati

Ho quindi deciso di scrivere uno script che creasse un unico file contenente tutti i dati. Il problema era che ogni singolo file non includeva l’anno in uno dei campi. Pertanto, il mio script doveva aggiungere l’anno dal nome del file a ogni record del file, e questo per tutti i file.

Invece di scrivere io stesso il codice, ho chiesto a Claude di farlo per me. Ecco il prompt:

“Devo combinare rapidamente 145 file di testo su un Mac. Ogni nome di file è composto dalle lettere yob seguite da quattro cifre, che indicano l’anno, seguite da .txt. I file stessi sono valori separati da virgole. Per ogni file, devo aggiungere l’anno contenuto nel nome del file, seguito da una virgola, a ogni riga del file corrispondente. Poi devo combinare i 145 file in un unico file principale. Come posso fare questo rapidamente?”

Ho creato uno script shell che sembra risolvere il problema.

Schermata di David Gewirtz/ZDNET

Ho salvato lo script e l’ho eseguito.

Schermata di David Gewirtz/ZDNET

Attenzione alla dimensione limite di caricamento di Claude!

Ha funzionato ed ha fatto esattamente ciò che avevo chiesto. Il risultato dell’esecuzione di questo script shell è stato un file di 37 MB. Sfortunatamente, mi sono presto reso conto che questi 37 MB superavano il limite di caricamento di 30 MB imposto da Claude. Avevo bisogno di un set di dati molto più piccolo.

Invece di utilizzare i dati nominativi di ogni anno, ho pensato che, usando i dati nominativi di un solo file per decennio, avrei ridotto la dimensione del mio set di dati al 10% della dimensione iniziale. Ho quindi modificato il mio prompt e l’ho rinviato a Claude.

“Devo combinare rapidamente 145 file di testo su un Mac. Ogni nome di file è composto dalle lettere yob seguite da quattro cifre, che indicano l’anno, seguite da .txt. I file stessi sono valori separati da virgole. Per ogni file il cui nome termina con 0.txt, aggiungi l’anno contenuto nel nome del file, seguito da una virgola, a ogni riga del file corrispondente. Poi combina tutti i file che terminano con 0.txt in un unico file principale. Scrivi uno script shell per farlo.”

Ha funzionato. E ho ottenuto un file da 3,9 MB.

Nel complesso, sono abbastanza soddisfatto del lavoro di codifica di Claude 3.5 Sonnet. Sfortunatamente, è stata l’ultima parte del processo di test che si è svolta senza problemi.

Ci sono più limiti in Claude che in ChatGPT

Vediamo ora l’analisi dei dati in Claude. Sfortunatamente, Claude sembra essere molto limitato in termini di quantità di dati che può elaborare. Claude indica che la sua versione Pro consente “almeno 5 volte più utilizzo rispetto al nostro servizio gratuito” e che “se le tue conversazioni sono relativamente brevi, puoi aspettarti di inviare almeno 45 messaggi ogni 5 ore”.

Non è molto. E sebbene Claude indichi che puoi caricare cinque file e 30 MB, ho scoperto che il mio file combinato da 3,9 MB è stato considerato come se superasse del 9124% il limite di lunghezza. Questo file contiene 219.181 record.

Schermata di David Gewirtz/ZDNET

Va bene. Ho quindi provato un file per un solo anno. Il file yob2020.txt è di solo 561 KB e contiene 31.550 record. Questo file supera apparentemente del 1239% i limiti di lunghezza imposti da Claude.

Schermata di David Gewirtz/ZDNET

Claude limita la sua analisi dei dati a circa 2.000 righe di circa 25 caratteri ciascuna.

Facendo qualche calcolo, e supponendo che non si siano raggiunti i limiti di utilizzo dei messaggi, sembra che Claude limiti la sua analisi dei dati a circa 2.000 righe di circa 25 caratteri ciascuna.

Confrontiamo questo con ChatGPT Plus.

Certamente, sto usando la versione gratuita di Claude, ma se Claude Pro offre una capacità 5X, possiamo generalizzare (dato che la società non fornisce limiti precisi) che Claude Pro arriverebbe a un massimo di circa 10.000 righe da 25 caratteri.

D’altra parte, ho caricato 69.215 record con una media di 50 caratteri per riga in ChatGPT Plus e ha funzionato molto bene. Ho caricato in ChatGPT Plus un set di dati di 22.797 record, composto da commenti di utenti che avevano disinstallato le mie applicazioni. E ha funzionato senza problemi. Ho anche caricato in ChatGPT Plus due file con più di 170.000 righe di codice G per stampanti 3D. E ha funzionato molto bene.

Ho trovato che l’analisi dei dati di ChatGPT Plus fosse davvero utile e migliorasse la produttività.

Il test dell’analisi dei dati di Claude

Ho scaricato una trentina di set di dati da data.gov prima di trovarne uno abbastanza piccolo affinché Claude potesse esaminarlo. Si tratta di un dataset di novembre 2020 sugli animali adottabili proveniente dal Montgomery County Animal Services and Adoption Center a Derwood, Maryland.

Questo set di dati contiene 85 record di circa 190 caratteri ciascuno. Vediamo cosa può dirci.

Alla domanda “Cosa puoi dirmi su questi dati?”, Claude ha identificato il tipo di animale domestico più comune (cani), i tipi di affidamento più comuni (abbandono da parte del proprietario e poi vagabondaggio – è davvero triste), le tendenze notevoli e le caratteristiche uniche (Molly è un nome

Schermata di David Gewirtz/ZDNET

Ho richiesto un diagramma a torta che rappresentasse la distribuzione degli animali. Mi ha fornito questo, che mostra i principali tipi di animali ma lascia “Altro” con quasi il 50% del grafico a barre.

Schermata di David Gewirtz/ZDNET

Un problema di visualizzazione dei dati con Claude

Volevo capire cosa rappresentasse questa categoria “Altro”. C’è qualcosa di un po’ commovente nell’idea che circa il 30 e qualche percento della categoria “Altro” sia costituito da pesci tropicali.

Schermata di David Gewirtz/ZDNET

Dai un’occhiata a questo grafico e a quello qui sopra. Nota che le etichette sono tagliate in entrambi i grafici, nonostante ci sia abbastanza spazio per farle apparire. So che circa il 30% riguarda i pesci tropicali, ma non conosco la percentuale esatta perché tutto ciò che è visibile è un “3”.

JavaScript ha delle ottime librerie per la visualizzazione dei dati. Penso che Anthropic avrebbe potuto modificare l’output per rappresentare completamente i dati nel grafico, soprattutto in modalità orizzontale.

In conclusione, non è poi così impressionante

Speravo davvero che le funzionalità di analisi dei dati di Claude fossero all’altezza di quelle di ChatGPT Plus. Anche se la versione gratuita di Claude potesse fare solo un quinto di ciò che ChatGPT Plus può fare, avrei potuto sottoscrivere un abbonamento.

Mi piace molto l’idea di inviare i miei dati a più strumenti di analisi e confrontare i risultati. Solo questo sarebbe stato sufficiente a giustificare un abbonamento aggiuntivo di IA da 240 $ all’anno.

Ma come risulta chiaramente dalle mie extrapolazioni sopra, la versione Pro di Claude non riuscirebbe nemmeno a trattare i più piccoli set di dati che ho precedentemente introdotto con successo in ChatGPT Plus, quindi l’investimento sicuramente non sembra valere la pena.

Ho contattato Anthropic per un commento, ma non ho ancora ricevuto risposta. Se l’azienda risponde, aggiornerò questo articolo con i suoi commenti.

Nel frattempo, cosa ne pensi? Hai utilizzato l’analisi avanzata dei dati in ChatGPT Plus? Sei un utente di Claude o di ChatGPT? Quando utilizzeresti o prenderesti in considerazione l’uso di Claude invece di ChatGPT? Faccelo sapere nei commenti qui sotto.