Precision vs Recall (Polski)

w tym blogu skupię się na wyzwaniach związanych z oceną modelu, na które natknąłem się podczas wdrażania algorytmu klasyfikacji logów maszynowych. W szczególności zademonstruję znaczenie wskaźników oceny modelu-precyzji i przypomnienia na rzeczywistych przykładach oraz wyjaśnię związane z tym kompromisy., Chociaż moje nauki wynikają z mojego doświadczenia w projekcie log analytics, postaram się podać ogólne przykłady, aby wyjaśnić wszystkie pojęcia. Dla ciekawskich, którzy teraz drapią się po głowach, oto świetny dokument referencyjny, aby zrozumieć, na czym polega analiza logów. Aby uzyskać więcej informacji, zapoznaj się z referencjami cytowanymi na końcu tego bloga.

zanim zagłębimy się w pojęcie precyzji i przypomnienia, pozwól, że podsumuję, co oznaczają błędy typu I i typu II.

błędy typu I I II

pewnego pięknego poranka Jack dostał telefon., To był nieznajomy na linii. Jack, wciąż popijając świeżo parzoną poranną kawę, był ledwo w stanie zrozumieć, co go czeka. Nieznajomy powiedział: „Gratulacje Jack! Wygrałeś na loterii 10 milionów dolarów! Wystarczy, że podasz mi dane swojego konta bankowego, a pieniądze zostaną zdeponowane na twoim koncie bankowym w odpowiedni sposób…”

Jakie są na to szanse? Co powinien zrobić Jack? Co byś zrobił?

trudne, prawda? Pozwól, że spróbuję wyjaśnić złożoność., Zakładając, że Jack jest normalnym facetem, pomyślałby o tym jako żart, a może przekręt, aby pobrać dane bankowe, a tym samym zaprzeczy, aby podać jakiekolwiek informacje. Jednak ta decyzja opiera się na jego założeniu, że wezwanie było oszustwem. Jeśli ma rację, zaoszczędzi pieniądze na swoim koncie bankowym. Ale jeśli się myli, ta decyzja kosztowałaby go milion dolarów!

porozmawiajmy trochę w kategoriach statystycznych., Według mnie hipoteza zerowa w tym przypadku jest taka, że to połączenie jest oszustwem. Prawdę mówiąc, gdyby Jack uwierzył nieznajomemu i podał jego dane bankowe, a rozmowa była w rzeczywistości mistyfikacją, popełniłby błąd typu I, znany również jako fałszywy wynik. Z drugiej strony, gdyby zignorował prośbę nieznajomego, ale później dowiedział się, że rzeczywiście wygrał na loterii i połączenie nie było oszustwem, popełniłby błąd typu II lub fałszywie negatywny.,

teraz, gdy jesteśmy już jasne z pojęciem błędów typu I i typu II, zagłębimy się w pojęcie precyzji i przypomnienia.

precyzja i przypomnienie

często uważamy, że precyzja i przypomnienie wskazują na dokładność modelu. Chociaż jest to w pewnym sensie prawda, istnieje głębsze, odrębne znaczenie każdego z tych terminów. Precyzja oznacza procent wyników, które są istotne., Z drugiej strony, przypomnienie odnosi się do procentu wszystkich istotnych wyników poprawnie sklasyfikowanych przez algorytm. Niewątpliwie jest to trudna koncepcja do uchwycenia przy pierwszym podejściu. Spróbuję to wyjaśnić na przykładzie Jacka.

…czując się nieco spanikowany, Jack zadzwonił do swojego banku, aby upewnić się, że jego istniejące konta są bezpieczne i wszystkie jego kredyty były bezpieczne. Po wysłuchaniu historii Jacka, Dyrektor Banku poinformował Jacka, że wszystkie jego Konta są bezpieczne., Jednak, aby upewnić się, że nie ma przyszłego ryzyka, menedżer banku poprosił Jacka o wycofanie wszystkich instancji w ciągu ostatnich sześciu miesięcy, w którym mógł udostępnić swoje dane konta innej osobie w przypadku jakiejkolwiek transakcji, lub mógł uzyskać dostęp do swojego konta online z systemu publicznego, itp…

Jakie są szanse, że Jack będzie w stanie dokładnie przypomnieć wszystkie takie przypadki? Jeśli zrozumiałeś to, o co pytałem w poprzednim zdaniu z cent % pewnością, prawdopodobnie zrozumiałeś, co właściwie oznacza pamięć i precyzja., Ale, żeby jeszcze raz sprawdzić, oto moja analiza. jeśli Jack miał powiedzmy dziesięć takich przypadków w rzeczywistości, i opowiedział dwadzieścia przypadków, aby w końcu przeliterować dziesięć poprawnych przypadków, to jego przypomnienie będzie 100%, ale jego precyzja będzie tylko 50%.

Ale wyobraź sobie, że to samo dzieje się następnym razem, gdy szukasz produktu na powiedzmy amazon., W momencie, gdy zaczniesz uzyskiwać nieistotne wyniki, przełączysz się na inną platformę, a może nawet porzucisz pomysł zakupu. Jest to powód, dla którego zarówno precyzja, jak i przypomnienie są tak ważne w twoim modelu. I w tym czasie, można się już domyślić, jeden przychodzi kosztem innego.

Trade-off

jest to dość intuicyjne. Jeśli musisz przypomnieć sobie wszystko, będziesz musiał generować wyniki, które nie są dokładne, a tym samym obniżać swoją precyzję. Aby to zilustrować, wyobraź sobie przypadek cyfrowego świata (ponownie, amazon.com?,), w którym na każdej stronie jest ograniczona przestrzeń i niezwykle ograniczony zakres uwagi klienta. Dlatego też, jeśli klient pokazuje wiele nieistotnych wyników i bardzo niewiele istotnych wyników (w celu osiągnięcia wysokiej przypomnieć), klient nie będzie stale przeglądać każdego produktu, aby w końcu znaleźć ten, który zamierza kupić, i prawdopodobnie przełączy się na Facebook, twitter, lub może być Airbnb, aby zaplanować swoje następne wakacje. Jest to ogromna strata, a zatem bazowy model lub algorytm potrzebowałby poprawki, aby zrównoważyć przypomnienie i precyzję.,

podobnie dzieje się, gdy model stara się zmaksymalizować precyzję.

czy istnieje prostsza metryka?

w większości problemów możesz albo nadać wyższy priorytet maksymalizacji precyzji, albo przypomnieć sobie, w zależności od problemu, który próbujesz rozwiązać. Ale ogólnie rzecz biorąc, istnieje prostsza metryka, która bierze pod uwagę zarówno precyzję, jak i przypomnienie, a zatem możesz dążyć do maksymalizacji tej liczby, aby twój model był lepszy., Ta metryka jest znana jako F1-score, która jest po prostu średnią harmoniczną precyzji i przypomnienia.

dla mnie ta metryka wydaje się znacznie łatwiejsza i wygodniejsza w pracy, ponieważ musisz tylko zmaksymalizować jeden wynik, zamiast równoważyć dwa oddzielne wyniki., W rzeczywistości istnieją inne sposoby łączenia precyzji i przywoływania w jeden wynik, jak średnia geometryczna z dwóch, i może warto zbadać różne rodzaje i ich odpowiednie kompromisy.

więc jakie są najważniejsze propozycje?

precyzja i przypomnienie to dwie niezwykle ważne wskaźniki oceny modelu. Podczas gdy precyzja odnosi się do procentowego udziału wyników, które są istotne, przypomnienie odnosi się do procentowego udziału całkowitych istotnych wyników poprawnie sklasyfikowanych przez algorytm., Niestety, nie jest możliwe zmaksymalizowanie obu tych wskaźników w tym samym czasie, ponieważ jedna jest kosztem drugiej. Dla uproszczenia istnieje inna metryka dostępna, zwana partyturą F-1, która jest harmoniczną średnią precyzji i przypomnienia. W przypadku problemów, w których ważna jest zarówno precyzja, jak i przypomnienie, można wybrać model, który maksymalizuje ten wynik F – 1. W przypadku innych problemów potrzebny jest kompromis i należy podjąć decyzję, czy zwiększyć precyzję, czy wycofać.

mam nadzieję, że ten blog był wciągający i wnikliwy. Czekam na Wasze opinie w dziale komentarze., I nie zapomnij przeczytać artykułów referencyjnych, są one naprawdę bogactwem wiedzy. Miłego czytania!

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *