«Una pericolosa app di chatbot AI commercializzata per i bambini ha abusato di mio figlio e lo ha manipolato fino a spingerlo a togliersi la vita». Questo quanto si legge nel comunicato stampa in cui Megan Garcia ha fatto causa in Florida alla startup Character.ai, ritenendola responsabile del suicidio del figlio Sewell Setzer III, 14 anni. Nella causa viene anche citata Google, che pochi mesi fa ha acquisito l’azienda.
Come si legge sul Guardian, la vicenda coinvolge una delle molte aziende tecnologiche che impiegano l’Intelligenza artificiale per offrire servizi di vario tipo. Nello specifico Character.ai permette agli utenti di creare un chatbot con cui dialogare. Come ha denunciato la madre, l’adolescente avrebbe trascorso moltissime ore conversando con un chatbot di Intelligenza artificiale.
Character.ai, la difesa della startup
«Abbiamo il cuore spezzato per la tragica perdita di uno dei nostri utenti e vogliamo esprimere le nostre più sentite condoglianze alla famiglia. Come azienda, prendiamo molto sul serio la sicurezza dei nostri utenti», si legge sul profilo ufficiale X di Character.ai. Come ha ricostruito sempre il Guardian, il ragazzo ha costruito un rapporto con un chatbot che ha soprannominato Daenerys Targaryen, personaggio della nota serie Game of Thrones.
Nella causa la madre accusa l’azienda di non aver fatto nulla per segnalare le intenzioni del giovane che, in una conversazione, avrebbe confidato il piano di togliersi la vita. Secondo i documenti il ragazzo avrebbe scritto di aver paura di soffrire, ricevendo in risposta la seguente frase: «Questo non è un buon motivo per non andare avanti». Da diversi anni sempre più spesso famiglie e associazioni stanno accusando le Big Tech di non fare abbastanza per proteggere i minori che online e sui social finiscono spesso vittime di cyber bullismo o vengono esposti a pericoli.
