Tarkkuus vs Muistaa

tässä blogissa, Aion keskittyä haasteisiin, jotka liittyvät mallin arviointi törmäsin pannessaan kone, kirjaudu analytics-luokitus algoritmi. Erityisesti aion osoittaa tarkoitettu malli, arviointi-mittarit — tarkkuutta ja recall kautta real life esimerkkejä ja selittää kompromisseja., Vaikka, minun opit ovat peräisin kokemukseni kirjaudu analytics-hanke, yritän antaa yleisiä esimerkkejä selittää käsitteitä. Utelias niitä raapimaan aivoja nyt, tässä on loistava hakuteos kirja ymmärtää, mitä kirjaudu analytics on kyse. Lisätietoja, tutustu viitteet mainittu lopussa tämän blogin.

Ennen sukellusta osaksi käsite tarkasti ja muistaa, saanen kertaus teille, mitä Tyyppi I ja Tyyppi II-virheet merkitsevät.

Tyypin I ja Tyypin II Virheitä

Yksi hieno aamuna, Jack sai puhelun., Se oli muukalainen linjalla. Juuri haudutettua aamukahviaan siemaileva Jack ei juuri ymmärtänyt, mitä hänelle oli tulossa. Muukalainen sanoi: ”Onneksi olkoon, Jack! Olet voittanut lotossa 10 miljoonaa dollaria! Sinun pitää vain antaa minulle oman pankkitilin tiedot, ja rahat talletetaan pankkitilillesi oikealla tavalla…”

Mikä on todennäköisyys, että tapahtuu? Mitä Jackin pitäisi tehdä? Mitä sinä olisit tehnyt?

Tricky, right? Yritän selittää tämän monimutkaisuuden., Olettaen, että Jack on normaali kaveri, hän ajattelisi tätä kepponen, tai ehkä huijaus noutaa hänen pankki yksityiskohtia, ja siten kieltää antamaan mitään tietoja. Päätös perustuu kuitenkin hänen oletukseensa, että puhelu oli huijausta. Jos hän on oikeassa, hän säästää rahat pankkitilillään. Mutta jos hän on väärässä, tämä päätös maksaisi hänelle miljoona dollaria!

puhutaan tilastollisesti vähän., Nollahypoteesi tässä tapauksessa on, että puhelu on huijausta. Itse asiassa, jos Jack olisi uskonut, muukalainen ja jos hänen pankki yksityiskohtia, ja puhelu oli itse asiassa huijausta, hän olisi sitoutunut tyypin I virhe, eli väärä positiivinen. Toisaalta, jos hän olisi sivuuttanut muukalaisen pyynnön, mutta myöhemmin selvisi, että hän oli todellisuudessa voittanut lotossa eikä puhelu ollut huijausta, hän olisi tehnyt tyypin II virheen tai väärän negatiivisen.,

nyt kun tyypin I ja tyypin II virheiden käsite on selvä, sukelletaan täsmällisyyden ja takaisinkutsun käsitteeseen.

Tarkkuus ja Muistaa,

Usein olemme sitä mieltä, että tarkkuus ja muistaa sekä ilmoittaa mallin tarkkuuteen. Vaikka tämä on jokseenkin totta, jokaisella termillä on syvempi, erillinen merkitys. Tarkkuus tarkoittaa prosenttiosuutta tuloksistasi, jotka ovat merkityksellisiä., Toisaalta takaisinkutsulla tarkoitetaan algoritmin oikein luokittelemien relevanttien tulosten prosenttiosuutta. Tätä on epäilemättä vaikea ymmärtää ensimmäisellä kerralla. Yritän selittää sitä Jackin esimerkillä.

– tunnen oloni hieman säikky, Jack kutsui hänen pankki varmistaa hänen nykyiset tilit ovat turvallisia ja kaikki hänen laajuus oli turvallista. Kuunneltuaan Jackin tarinaa pankinjohtaja ilmoitti Jackille, että kaikki hänen tilinsä ovat turvassa., Kuitenkin, jotta voidaan varmistaa, että tulevaisuutta ei ole riski, pankinjohtaja kysyi Jack muistaa kaikki tapauksia viimeisen kuuden kuukauden aikana, jossa hän olisi voinut jakaa hänen tili toisen henkilön kanssa tahansa liiketoimi, tai voi olla käyttää hänen online-tilin julkinen järjestelmä, jne…

Mitkä ovat mahdollisuudet, että Jack voi muistaa kaikkia tällaisia tapauksia tarkasti? Jos ymmärsit, mitä edellisessä lauseessa kysyin prosentin luottamuksella, olet todennäköisesti ymmärtänyt, mitä takaisinkutsu ja tarkkuusajattelu todellisuudessa tarkoittavat., Tarkistan vain, että tässä on analyysini. jos Jack olisi sanokaamme kymmenen tällaisissa tapauksissa todellisuudessa, ja hän kertoi kaksikymmentä tapauksissa vihdoin täsmentää kymmenen oikeita tapauksia, niin hänen tulee muistaa olla 100%, mutta hänen tarkkuus on vain 50%.

koska Jack ei käyttänyt puheluun ylimääräistä tietoa, ei tässä ollut oikeastaan mitään suurta pelissä vähäisen tarkkuuden vuoksi. Mutta kuvittele, jos sama tapahtuu seuraavan kerran, kun etsit tuotetta Amazonista., Heti kun alat saada epäolennaisia tuloksia, vaihtaisit toiseen alustaan tai ehkä jopa luopuisit ostoajatuksesta. Tämä on syy, miksi sekä tarkkuus että takaisinkutsu ovat niin tärkeitä mallissasi. Tässä vaiheessa olisi voinut jo arvata, että yksi tulee toisen kustannuksella.

Trade-off

Tämä on aika intuitiivista. Jos sinun täytyy muistaa kaiken, sinun täytyy pitää tuottaa tuloksia, jotka eivät ole tarkkoja, mikä vähentää tarkkuutta. Esimerkkinä tästä, kuvitella tapauksessa digitaalisen maailman (jälleen, amazon.com?,), jossa on rajallinen tila kunkin verkkosivun, ja erittäin rajoitettu huomiota span asiakkaan. Siksi, jos asiakas on osoittanut paljon merkitystä tuloksiin, ja hyvin harvat olennaiset tulokset (jotta voidaan saavuttaa korkea recall), asiakas ei pidä selailu jokaisen tuotteen ikuisesti vihdoin löytää yksi, hän tai hän aikoo ostaa, ja luultavasti vaihtaa Facebook, twitter, tai se voi olla Airbnb suunnitella hänen tai hänen seuraava loma. Tämä on valtava menetys, ja siksi taustalla oleva malli tai algoritmi olisi korjattava tasapainottamaan takaisinkutsua ja tarkkuutta.,

vastaavaa tapahtuu, kun malli yrittää maksimoida tarkkuutta.

Ei yksinkertaisempi metrinen olemassa?

useimmissa ongelmia, voit joko antaa korkeampi prioriteetti maksimoida tarkkuus, tai muistaa, riippuen ongelma yritetään ratkaista. Mutta yleensä, on yksinkertaisempi metric-arvo, joka otetaan huomioon sekä tarkkuus ja muistaa, ja siksi, voit pyrkiä maksimoida tämä määrä tehdä malli parempi., Tämä mittari tunnetaan F1-pisteenä, joka on yksinkertaisesti tarkkuuden ja takaisinkutsun harmoninen keskiarvo.

minulle, tämä tieto näyttää paljon helpompaa ja kätevämpää työskennellä, koska sinulla on vain maksimoida yksi pisteet, pikemminkin kuin tasapainottaa kaksi erillistä tulokset., Itse asiassa, on olemassa muita tapoja yhdistää tarkkuus ja muistaa yhdeksi pisteet kuin geometrinen keskiarvo kahden, ja se voi olla syytä tutkia erilaisia ja niiden kompromisseja.

so, what are the key takeaways?

tarkkuus ja takaisinkutsu ovat kaksi erittäin tärkeää malliarviointimittaria. Kun tarkkuus viittaa prosenttiosuus tulokset, jotka ovat merkityksellisiä, muistaa, viittaa osuus yhteensä olennaiset tulokset oikein luokiteltu algoritmi., Valitettavasti ei ole mahdollista maksimoida molempia mittareita samanaikaisesti, koska toinen tulee toisen kustannuksella. Yksinkertaisuuden vuoksi on olemassa toinen metriikka, jota kutsutaan F-1-pisteeksi, joka on harmonisen tarkkuuden ja takaisinkutsun keskiarvo. Ongelmiin, joissa sekä tarkkuus että takaisinkutsu ovat tärkeitä, voi valita mallin, joka maksimoi tämän F-1-pistemäärän. Muihin ongelmiin tarvitaan vaihtokauppa, ja on tehtävä päätös siitä, onko tarkoitus maksimoida tarkkuus vai takaisinkutsu.

toivon, että tämä blogi oli mukaansatempaava ja oivaltava. Odotan palautetta kommenttiosiossa., Äläkä unohda lukea viittausartikkeleita, ne ovat todella runsaasti tietoa. Hyvää lukemista!

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *