Precisione vs Ricordare

In questo blog, Mi concentrerò sulle sfide relative al modello di valutazione mi sono imbattuto, mentre l’attuazione di una macchina di analisi di log algoritmo di classificazione. In particolare, dimostrerò il significato delle metriche di valutazione del modello: precisione e richiamo attraverso esempi di vita reale e spiegherò i compromessi coinvolti., Tuttavia, i miei insegnamenti derivano dalla mia esperienza nel progetto log analytics, cercherò di fornire esempi generici per spiegare tutti i concetti. Per i curiosi che si grattano il cervello in questo momento, ecco un ottimo documento di riferimento per capire di cosa si tratta l’analisi dei log. Per maggiori dettagli, si prega di consultare i riferimenti citati alla fine di questo blog.

Prima di tuffarsi nel concetto di precisione e richiamo, mi permetta di ricapitolare per voi che tipo I e gli errori di tipo II significano.

Errori di tipo I e di tipo II

Una bella mattina, Jack ha ricevuto una telefonata., C’era uno sconosciuto in linea. Jack, ancora sorseggiando il suo caffè del mattino appena preparato, era a malapena in grado di capire cosa stava arrivando per lui. Lo straniero ha detto, “Congratulazioni Jack! Hai vinto una lotteria di Million 10 milioni! Ho solo bisogno che tu mi fornisca i dettagli del tuo conto bancario e il denaro verrà depositato nel tuo conto bancario nel modo giusto””

Quali sono le probabilità che ciò accada? Cosa dovrebbe fare Jack? Cosa avresti fatto?

Difficile, giusto? Mi permetta di provare a spiegare la complessità qui., Supponendo che Jack sia un ragazzo normale, penserebbe a questo come uno scherzo, o forse, una truffa per recuperare i suoi dati bancari, e quindi negherà di fornire qualsiasi informazione. Tuttavia, questa decisione si basa sul suo presupposto che la chiamata era una bufala. Se ha ragione, salverà i soldi nel suo conto in banca. Ma, se si sbaglia, questa decisione gli costerebbe un milione di dollari!

parliamo in termini statistici per un po’., Secondo me, l’ipotesi nulla in questo caso è che questa chiamata sia una bufala. Infatti, se Jack avesse creduto allo sconosciuto e avesse fornito le sue coordinate bancarie, e la chiamata fosse in realtà una bufala, avrebbe commesso un errore di tipo I, noto anche come falso positivo. D’altra parte, se avesse ignorato la richiesta dello sconosciuto, ma in seguito avesse scoperto che in realtà aveva vinto la lotteria e la chiamata non era una bufala, avrebbe commesso un errore di tipo II o un falso negativo.,

Ora che siamo chiari con il concetto di errori di tipo I e di tipo II, tuffiamoci nel concetto di precisione e richiamo.

Precision e Recall

Spesso, noi pensiamo che la precisione e richiamo sia per indicare la precisione del modello. Mentre questo è un po ‘ vero, c’è un significato più profondo e distinto di ciascuno di questi termini. Precisione significa la percentuale dei risultati che sono rilevanti., D’altra parte, il richiamo si riferisce alla percentuale di risultati rilevanti totali classificati correttamente dal tuo algoritmo. Indubbiamente, questo è un concetto difficile da afferrare nel primo go. Quindi, fammi provare a spiegarlo con l’esempio di Jack.

Feeling Sentendosi un po ‘ in preda al panico, Jack chiamò la sua banca per assicurarsi che i suoi conti esistenti fossero al sicuro e che tutti i suoi crediti fossero al sicuro. Dopo aver ascoltato la storia di Jack, il dirigente della banca ha informato Jack che tutti i suoi conti erano al sicuro., Tuttavia, al fine di garantire che non vi è alcun rischio in futuro, il direttore di banca chiesto a Jack di ricordare tutte le istanze negli ultimi sei mesi in cui avrebbe condiviso i suoi dettagli di account con un’altra persona per qualsiasi tipo di transazione, o può avere la possibilità di accedere suo account online da un sistema pubblico, ecc…

Quali sono le probabilità che Jack sarà in grado di ricordare tutti questi casi, esattamente? Se avete capito quello che ho chiesto nella frase precedente con una fiducia cento per cento, probabilmente avete capito che cosa richiamo e precisione in realtà significa., Ma, giusto per ricontrollare, ecco la mia analisi. se Jack avesse diciamo dieci di questi casi in realtà, e ha narrato venti istanze per precisare finalmente le dieci istanze corrette, allora il suo richiamo sarà al 100%, ma la sua precisione sarà solo del 50%.

A parte il tempo trascorso da Jack nella telefonata con il dirigente della banca che spiegava informazioni extra, in realtà non c’era molto in gioco qui a causa della bassa precisione. Ma, immaginate se la stessa cosa accade la prossima volta che si cerca un prodotto su diciamo Amazon., Nel momento in cui inizi a ottenere risultati irrilevanti, passeresti a un’altra piattaforma, o forse anche abbandonare l’idea di acquistare. Questo è il motivo per cui sia la precisione che il richiamo sono così importanti nel tuo modello. E a quest’ora, potresti aver già indovinato, uno arriva a costo di un altro.

Trade-off

Questo è abbastanza intuitivo. Se devi ricordare tutto, dovrai continuare a generare risultati che non sono accurati, quindi abbassando la tua precisione. Per esemplificare questo, immagina il caso del mondo digitale (di nuovo, amazon.com?,), in cui vi è uno spazio limitato su ogni pagina web, e la capacità di attenzione estremamente limitata del cliente. Pertanto, se al cliente vengono mostrati molti risultati irrilevanti e pochissimi risultati rilevanti (al fine di ottenere un richiamo elevato), il cliente non continuerà a navigare per sempre in ogni prodotto per trovare finalmente quello che intende acquistare, e probabilmente passerà a Facebook, Twitter o potrebbe essere Airbnb per pianificare la sua prossima vacanza. Questa è una perdita enorme, e quindi il modello o l’algoritmo sottostante avrebbe bisogno di una correzione per bilanciare il richiamo e la precisione.,

Una cosa simile accade quando un modello cerca di massimizzare la precisione.

Fa un semplice metrica esiste?

Nella maggior parte dei problemi, è possibile dare una priorità maggiore alla massimizzazione della precisione o richiamare, a seconda del problema che si sta tentando di risolvere. Ma in generale, esiste una metrica più semplice che tiene conto sia della precisione che del richiamo, e quindi puoi mirare a massimizzare questo numero per migliorare il tuo modello., Questa metrica è conosciuta come F1-score, che è semplicemente la media armonica di precisione e richiamo.

Per me, questa metrica sembra molto più facile e conveniente per lavorare con, come avete solo per massimizzare il punteggio, piuttosto che il bilanciamento di due distinti punteggi., In effetti, ci sono altri modi per combinare precisione e richiamo in un punteggio come una media geometrica dei due, e potrebbe valere la pena esplorare i diversi tipi e i rispettivi compromessi.

Quindi, quali sono i takeaway chiave?

Precisione e richiamo sono due metriche di valutazione del modello estremamente importanti. Mentre la precisione si riferisce alla percentuale dei risultati rilevanti, il richiamo si riferisce alla percentuale del totale dei risultati rilevanti classificati correttamente dal tuo algoritmo., Sfortunatamente, non è possibile massimizzare entrambe queste metriche allo stesso tempo, poiché una viene a costo di un’altra. Per semplicità, c’è un’altra metrica disponibile, chiamata F-1 score, che è una media armonica di precisione e richiamo. Per problemi in cui sia la precisione che il richiamo sono importanti, è possibile selezionare un modello che massimizzi questo punteggio F-1. Per altri problemi, è necessario un compromesso e deve essere presa una decisione se massimizzare la precisione o richiamare.

Spero che questo blog è stato coinvolgente e perspicace. Non vedo l’ora di vostri commenti nella sezione commenti., E non dimenticate di leggere gli articoli di riferimento, sono veramente una ricchezza di conoscenze. Buona lettura!

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *