Præcision vs Huske

I denne blog, Jeg vil fokusere på de udfordringer, der vedrører model evaluering jeg kom på tværs, mens de gennemfører en maskine log analytics klassificering algoritme. Konkret vil jeg demonstrere betydningen af modelevalueringsmålinger — præcision og tilbagekaldelse gennem eksempler fra det virkelige liv og forklare de involverede afvejninger., Selvom mine erfaringer er afledt af min erfaring i log analytics-projektet, vil jeg forsøge at give generiske eksempler for at forklare alle begreberne. For de nysgerrige, der skraber deres hjerner lige nu, er her et godt referencepapir for at forstå, hvad log analytics handler om. For flere detaljer, se venligst de referencer, der er citeret i slutningen af denne blog.

før du dykker ind i begrebet præcision og tilbagekaldelse, lad mig sammenfatte for dig, hvilke type I-og type II-fejl der betyder.

type I og type II fejl

en fin morgen fik Jack et telefonopkald., Det var en fremmed på linjen. Jack, der stadig nipper til sin friskbryggede morgenkaffe, var næppe i stand til at forstå, hvad der kom for ham. Den fremmede sagde, ” Tillykke Jack! Du har vundet et lotteri på $ 10 millioner! Jeg har bare brug for dig til at give mig dine bankkontooplysninger, og pengene vil blive deponeret på din bankkonto rigtige måde…”

Hvad er oddsene for at det sker? Hvad skal Jack gøre? Hvad ville du have gjort?Tricky, ikke? Lad mig prøve at forklare kompleksiteten her., Forudsat Jack er en normal fyr, han ville tænke på dette som en sjov, eller måske, en fidus til at hente hans bankoplysninger, og dermed vil nægte at give nogen oplysninger. Denne beslutning er imidlertid baseret på hans antagelse om, at opkaldet var en HOA.. Hvis han har ret, sparer han pengene på sin bankkonto. Men hvis han tager fejl, ville denne beslutning koste ham en million dollars!

Lad os tale i statistiske termer for lidt., Ifølge mig er nullhypotesen i dette tilfælde, at dette opkald er en HOA.. Faktisk, hvis Jack ville have troet den fremmede og leveret sine bankoplysninger, og opkaldet faktisk var en HOA., han ville have begået en type i-fejl, også kendt som en falsk positiv. På den anden side, hvis han havde ignoreret den fremmede anmodning, men senere fandt ud af, at han faktisk havde vundet lotteriet, og opkaldet ikke var en HOA., ville han have begået en type II-fejl eller et falsk negativt.,

nu hvor vi er klare med begrebet type I-og type II-fejl, lad os dykke ned i begrebet præcision og tilbagekaldelse.

Precision og Recall

Ofte mener vi, at præcision og recall både angive præcision af modellen. Selvom det er noget sandt, der er en dybere, tydelig Betydning af hvert af disse udtryk. Præcision betyder den procentdel af dine resultater, der er relevante., På den anden side henviser tilbagekaldelse til procentdelen af de samlede relevante resultater, der er korrekt klassificeret af din algoritme. Det er utvivlsomt et svært koncept at forstå i første omgang. Så lad mig prøve at forklare det med Jacks eksempel.

…føler sig lidt panik, kaldte Jack sin bank for at sikre, at hans eksisterende konti var sikre, og alle hans kreditter var sikre. Efter at have lyttet til jacks historie informerede bankdirektøren Jack om, at alle hans konti var sikre., Imidlertid, for at sikre, at der ikke er nogen fremtid risiko, banken manager spurgte Jack til at genkalde alle forekomster i de sidste seks måneder, hvor han kunne have delt sine kontooplysninger med en anden person for nogen form for transaktion, eller de kan have adgang til sin online-konto fra et offentligt system, osv…

Hvad er chancerne for, at Jack vil være i stand til at huske alle sådanne tilfælde præcist? Hvis du forstod, hvad jeg spurgte i den foregående sætning med en cent procent tillid, har du sandsynligvis forstået, hvad tilbagekaldelse og præcision faktisk betyder., Men, bare for at dobbelttjekke, her er min analyse. hvis Jack havde lad os sige ti sådanne tilfælde i virkeligheden, og han fortællede tyve tilfælde for endelig at præcisere de ti korrekte tilfælde, så vil hans tilbagekaldelse være 100%, men hans præcision vil kun være 50%.med undtagelse af den tid, Jack brugte på telefonopkaldet med bankdirektøren, stavede ekstra information, var der faktisk ikke meget på spil her på grund af lav præcision. Men forestil dig, om det samme sker næste gang du søger efter et produkt på lad os sige ama .on., I det øjeblik du begynder at få irrelevante resultater, vil du skifte til en anden platform, eller måske endda droppe ideen om at købe. Dette er grunden til, at både præcision og tilbagekaldelse er så vigtige i din model. Og på dette tidspunkt har du måske allerede gættet, man kommer på bekostning af en anden.

Trade-off

Dette er ret intuitivt. Hvis du skal huske alt, bliver du nødt til at fortsætte med at generere resultater, der ikke er nøjagtige, og dermed sænke din præcision. For at eksemplificere dette, forestil dig tilfældet med den digitale verden (igen, amazon.com?,), hvor der er en begrænset plads på hver weebside, og ekstremt begrænset opmærksomhed span af kunden. Derfor, hvis kunden er vist en masse irrelevante resultater og meget få relevante resultater (for at opnå et højt recall), vil kunden ikke fortsætte med at gennemse hver eneste produkt, for evigt, for endelig at finde en, han eller hun agter at købe, og vil sandsynligvis skifte til Facebook, twitter, eller kan være Airbnb til at planlægge hans eller hendes næste ferie. Dette er et enormt tab, og derfor vil den underliggende model eller algoritme have brug for en løsning for at afbalancere tilbagekaldelsen og præcisionen.,

lignende ting sker, når en model forsøger at maksimere præcisionen.

Er en enklere metrisk eksisterer?

i de fleste problemer kan du enten prioritere maksimering af præcision eller huske, afhængigt af det problem, du forsøger at løse. Men generelt er der en enklere metrisk, der tager højde for både præcision og tilbagekaldelse, og derfor kan du sigte mod at maksimere dette nummer for at gøre din model bedre., Denne måling er kendt som F1-score, som simpelthen er det harmoniske gennemsnit af præcision og tilbagekaldelse.

For mig, er denne variabel, der synes meget mere lettere og praktisk at arbejde med, som du blot have for at maksimere en score, snarere end at afbalancere to separate score., Faktisk, der er andre måder at kombinere præcision og tilbagekaldelse i en score som et geometrisk gennemsnit af de to, og det kan være værd at udforske de forskellige slags og deres respektive afvejninger.

Så hvad er de vigtigste takea ?ays?

præcision og tilbagekaldelse er to ekstremt vigtige modelevalueringsmålinger. Mens præcision refererer til procentdelen af dine resultater, der er relevante, tilbagekaldelse henviser til procentdelen af de samlede relevante resultater korrekt klassificeret af din algoritme., Desværre er det ikke muligt at maksimere begge disse målinger på samme tid, da man kommer på bekostning af en anden. For enkelhed er der en anden metrisk tilgængelig, kaldet F-1 score, som er et harmonisk middel til præcision og tilbagekaldelse. For problemer, hvor både præcision og tilbagekaldelse er vigtige, kan man vælge en model, der maksimerer denne F-1 score. For andre problemer er der brug for en afvejning, og der skal træffes beslutning om at maksimere præcisionen eller huske.

Jeg håber, at denne blog var engagerende og indsigtsfuld. Jeg ser frem til din feedback i kommentarfeltet., Og glem ikke at læse referenceartiklerne, de er virkelig et væld af viden. God læsning!

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *