Alcuni ospedali oltreoceano stanno utilizzando uno strumento di trascrizione basato sul modello di intelligenza artificiale Whisper di OpenAI, che viene implementato da Nabla per registrare e sintetizzare conversazioni mediche. Questo strumento ha trascritto oltre sette milioni di interazioni e viene utilizzato da più di 30.000 medici e 40 sistemi sanitari. Tuttavia, recenti studi da parte di ricercatori della Cornell University, dell’Università di Washington e altri istituti, presentati alla conferenza FAccT, evidenziano che Whisper può generare “allucinazioni”, inventando frasi inesistenti in situazioni con lunghi silenzi, soprattutto in pazienti con afasia.
In un comunicato riportato da The Verge, la portavoce di OpenAI, Taya Christianson, ha sottolineato l’impegno dell’azienda a migliorare Whisper, riducendo il rischio di allucinazioni, mentre i dirigenti di Nabla affermano di essere consapevoli del problema e stanno lavorando a miglioramenti. Secondo Nabla, l’uso del loro strumento prevede una seconda verifica delle trascrizioni tramite un modello linguistico avanzato, riducendo il rischio che errori o allucinazioni influenzino negativamente le informazioni cliniche.
Fonte: Wes Davis, The Verge.
Riflessioni
Come lettore credo sia evidente che l’adozione di strumenti di intelligenza artificiale come Whisper rappresenti un passo significativo verso l’innovazione nei servizi clinici. Tuttavia, l’analisi dei ricercatori evidenzia una criticità cruciale: la possibilità che questi modelli possano generare informazioni inesatte o inventate (“allucinazioni”) potrebbe minare la fiducia dei pazienti e influire negativamente sulla qualità del servizio.
Dal punto di vista professionale, la sicurezza e l’affidabilità sono fondamentali nel settore medico, e ogni tecnologia introdotta deve garantire la massima accuratezza, soprattutto in ambiti ad alto rischio come le trascrizioni cliniche. La presenza di un secondo livello di controllo, come implementato da Nabla, è senza dubbio un buon inizio, ma forse insufficiente. Sarebbe ideale vedere una maggiore collaborazione tra i fornitori di IA e gli operatori sanitari per sviluppare modelli specificamente addestrati su contesti clinici, capaci di gestire con precisione i momenti di silenzio o i disturbi del linguaggio come l’afasia.
Questo caso mette in luce anche un aspetto più ampio: l’introduzione della tecnologia AI deve avvenire con una strategia ponderata e basata su evidenze, poiché il suo uso precoce e non completamente maturo può portare a situazioni dannose.