Danno causato da una risposta sbagliata di un sistema AI
Un chatbot o un sistema AI dà una risposta sbagliata. Qualcuno ci fa affidamento e subisce un danno.
Ha un caso da valutare?
Le rispondiamo entro 24 ore. La strategia legale resta dell'avvocato, noi ci occupiamo della parte tecnica.
Lo scenario
Cosa succede di solito
Un'azienda usa un chatbot per rispondere ai clienti, o un sistema AI per decidere su pratiche e richieste.
Il sistema dà un'informazione sbagliata su un prezzo, una garanzia o una scadenza.
Il cliente agisce in base a quella risposta e ci rimette.
L'azienda sostiene che si tratta di un errore isolato, o che il cliente doveva verificare.
Spesso nessuno ha salvato la conversazione, e i log restano al fornitore del sistema per un tempo limitato.
Le due parti
Cosa deve dimostrare ognuna
Cosa deve dimostrare chi fa causa
- Che il sistema ha dato proprio quella risposta, in quel momento.
- Che la risposta era sbagliata rispetto ai dati che il sistema aveva a disposizione.
- Che era ragionevole fidarsi, per come il sistema era presentato.
- Che nessuna persona controllava le risposte prima che arrivassero al cliente.
Cosa deve dimostrare chi si difende
- Che quella risposta non risulta nei log, o era diversa.
- Che il sistema era configurato bene e avvisava dei suoi limiti.
- Che l'errore nasce da una domanda ambigua o da dati inseriti dall'utente.
- Che c'era un controllo umano, e come funzionava.
Cosa analizza il consulente tecnico
- Log delle conversazioni, con data, ora e identificativo della sessione.
- Prompt di sistema, istruzioni e documenti da cui il sistema prende le risposte.
- Modello usato e sua versione alla data dei fatti.
- Avvisi mostrati all'utente e condizioni d'uso del servizio.
- Screenshot e copie salvate dall'utente, confrontati con i log.
- Quando è possibile, la ricostruzione della risposta con la stessa configurazione.
Domande da fare subito
- Qualcuno ha salvato la conversazione, con data e ora?
- Per quanto tempo il fornitore conserva i log? Sono già stati chiesti?
- Che modello e che versione erano in uso quel giorno?
- Il chatbot diceva di essere un sistema automatico?
- Una persona rivedeva le risposte, o arrivavano dirette al cliente?
Sullo stesso tema, nel nostro sito
Le domande che ci fanno
Domande frequenti
Si può ricostruire perché il sistema ha dato quella risposta?
Uno screenshot della conversazione basta?
Chi risponde del danno, l'azienda o il fornitore del modello?
Ha un caso da valutare?
Le rispondiamo entro 24 ore. La strategia legale resta dell'avvocato, noi ci occupiamo della parte tecnica.
