In un’epoca in cui l’intelligenza artificiale sta ridefinendo i confini di molte discipline, la ricerca qualitativa non fa eccezione. Amina Aini, ricercatrice presso Human Highway, ha recentemente condotto un esperimento che mira a comprendere il reale potenziale dell’AI come strumento di supporto nella ricerca. L’obiettivo è stato quello di esplorare in quali contesti l’AI possa potenziare i metodi tradizionali, rendendoli più efficaci e precisi. Per farlo, Amina ha confrontato le risposte di esseri umani e AI, sottoponendoli allo stesso questionario. I risultati, che ha raccontato in occasione di Assirm Talk AI 2024 durante lo speech “parole di carne e parole di silicio”, offrono spunti interessanti sul futuro della ricerca qualitativa e su come le tecnologie emergenti possano integrarsi in maniera proficua con le competenze umane.
Ciao Amina, ci spieghi intanto il titolo del vostro studio?
Amina Aini: Certo! Quando parlo di “parole di carne,” mi riferisco al linguaggio umano, il nostro modo naturale di esprimerci. Ogni parola porta con sé sfumature emotive, esperienze culturali e un contesto che solo gli esseri umani possono pienamente comprendere. Le “parole di silicio,” invece, rappresentano il linguaggio delle macchine: algoritmi e codici che, pur essendo estremamente efficienti, mancano di quella profondità emotiva e contestuale che noi associamo alle nostre parole. I modelli, probabilmente, stanno cercando di colmare questo divario, ma da questo punto di vista l’AI è ancora nelle sue fasi iniziali.
Ok, e come avete condotto lo studio?
Si tratta dell’inizio di una ricerca che speriamo possa essere il primo di tanti capitoli, alla quale magari aderiranno altri istituti.
Noi abbiamo sottoposto18 domande aperte sul consumo d’informazione di attualità a un campione formato da 7 individui e da repliche digitali con stesso profilo, impersonate utilizzando ChatGPT, Gemini, Claude e Character.AI.
Abbiamo poi identificato 3 KPI per confrontare le diverse risposte: verbosità (n di parole), espressione (ricchezza semantica, cioè numero di lemmi) e capacità di ragionamento (espressione di concetti).
D: e come si differenziano tra loro questi strumenti?
Amina Aini: Claude è in assoluto quello più verboso e più espressivo, ma in generale sono tutti molto generosi, un po’ “secchioni”. Ma quello che interessante notare è che per ottenere un quadro esaustivo di un certo fenomeno è meglio usarne almeno 3. Infatti le parole in comune nei tre chatbot sono solo il 26%: ciascuna AI ha apportato circa il 15% di originalità espressiva. E anche nei concetti veri e propri, si avrebbe un quadro molto povero interpellando solo un’AI.
E rispetto agli umani, che differenze ci sono?
Eh tante. In primis perché gli umani sono immensamente meno verbosi e poi perché, nell’ambito delle ricerche qualitative, a noi ricercatori interessa COME le persone dicono le cose, nonché quello che non ci dicono. Per esempio, non c’è nessuno che ci abbia risposto “non mi piace leggere i giornali” o “io non leggo mai”.
Un’altra cosa che abbiamo notato è che la differenza che esiste tra uomini e donne in termini di verbosità è molto smussata: di solito noi donne parliamo una volta e mezza rispetto agli uomini, mentre nei chatbot il rapporto è di 1,16 a 1.
In conclusione, quando ha senso utilizzare questo tipo di strumenti, nel vostro lavoro?
Direi che sono utili quando devi indagare fenomeni consolidati, caratterizzati da omogeneità e stabilità di dinamiche e valutazioni. Non ci sono colpi di scena, le risposte sono molto appiattite sulla media.
Inoltre, aiutano quando ti riferisci a target generici, perché il carattere dei personaggi è stereotipato, senza peculiarità estranee ai tratti assegnati.
Le risposte descrivono una situazione senza approfondire le cause che la determinano quindi sono adatti quando non è necessario andare in profondità.
Fatte queste premesse, va detto che è possibile indagare un fenomeno in poche ore e con costi 10 volte inferiori al tradizionale.
Insomma, sono uno strumento davvero molto promettente ma allo stato attuale non riescono a simulare perfettamente la ricchezza di una ricerca qualitativa fatta con esseri umani.