LITMIR.BIZ

      Poiché i dati sono così centrali per l'apprendimento automatico, i risultati sono un riflesso diretto degli input. Se i dati sono distorti, l'algoritmo dell'apprendimento automatico imparerà ad essere distorto. Ad esempio, i selezionatori del personale, le sentenze giudiziarie e le diagnosi mediche utilizzano tutti l'apprendimento automatico e tutti hanno un certo livello di pregiudizio culturale, di genere, di razza, educativo o di altro tipo incorporato nei set di dati che li addestrano.

      La distorsione si estende oltre il pregiudizio nella raccolta dei dati. A volte i dati fuorviano un algoritmo in altri modi. Consideriamo il caso di un modello di apprendimento automatico militare addestrato a cercare carri armati mimetizzati in una foresta. I data scientist hanno addestrato l'algoritmo su una serie di immagini, alcune delle quali avevano carri armati sugli alberi e altre che avevano solo alberi. Dopo l'addestramento, il modello ha ottenuto un'accuratezza quasi perfetta sui test eseguiti dai data scientist. Tuttavia, quando il modello è entrato in produzione, non ha funzionato affatto per identificare i carri armati. Si scopre che nel set di dati di addestramento, le foto dei carri armati sono state scattate in una giornata di sole, mentre le foto solo della foresta sono state scattate in una giornata nuvolosa. L'algoritmo aveva imparato a identificare i giorni di sole rispetto a quelli nuvolosi, non i carri armati!