Jak Google naprawdę oblicza Twoją ocenę w gwiazdkach (to nie jest prosta średnia)

Analiza bayesowskiej matematyki, ważenia według aktualności i punktacji ufności, które określają Twoją wyświetlaną ocenę, wraz z rzeczywistymi formułami i przykładami.

Większość właścicieli firm uczy się tej lekcji w trudny sposób. Możesz zdobyć dwadzieścia doskonałych pięciogwiazdkowych recenzji z rzędu i zobaczyć, że Twoja ocena w Google ledwo drgnie. A może pracujesz miesiącami, w końcu zdobywasz 50 recenzji i odkrywasz, że Twoja średnia 4.8 wyświetla się jako 4.3 na mapie. System nie jest zepsuty. Działa dokładnie tak, jak został zbudowany. Po prostu nie powiedziano Ci, jak został zbudowany.

Google nigdy oficjalnie nie opublikowało swojego algorytmu oceniania. Jednak jego mechanika jest powszechnie zrozumiała. Dzieje się tak dzięki publicznej dokumentacji IMDB dotyczącej własnej formuły bayesowskiej, notatkom Algolii na temat rankingu, badaniom uniwersyteckim dotyczącym platform recenzji oraz latom pracy praktyków odtwarzających to, co widzą. Ten artykuł przedstawia matematykę, używając rzeczywistych liczb.

Najpierw zdefiniujmy prostą średnią i zobaczmy, dlaczego jest ona słabym narzędziem do tego zadania. Średnia arytmetyczna to suma wszystkich ocen podzielona przez liczbę ocen. Jeśli masz trzy recenzje (5, 4 i 5), Twoja średnia wynosi (5+4+5)/3, czyli 4.67. Jest to arytmetycznie poprawne. Ale do rankingu tysięcy firm względem siebie jest to statystycznie mylące.

Problemy z tą metodą mnożą się na dużą skalę. Kawiarnia, która została otwarta w tym tygodniu z trzema pochlebnymi recenzjami od znajomych właściciela, zajęłaby wyższą pozycję niż długoletni konkurent ze średnią 4.4 z 200 recenzji. Ugruntowana firma jest znacznie bardziej wiarygodnym sygnałem jakości. Każdy system, który pozwala na tego rodzaju wyniki, może zostać zmanipulowany do bezużyteczności w krótkim czasie.

Jak działa obliczanie oceny gwiazdkowej Google w praktyce

Ocena bayesowska to średnia ważona ufnością. Przy zaledwie kilku recenzjach systemowi brakuje wystarczających danych, aby zaufać Twojemu wynikowi. Dlatego miesza Twoją surową średnią z „priorem” — domyślnym wynikiem opartym na wszystkich podobnych firmach. W miarę zbierania większej liczby recenzji system bardziej ufa Twoim własnym danym, a wpływ priora zanika.

IMDB używa dokładnie tej metody dla swojej listy 250 najlepszych filmów i opublikowało formułę: WR = (v/(v+m)) × R + (m/(v+m)) × C. Zmienne są proste, ale ich wpływ na zachowanie może być zaskakujący. Ta sama matematyka pojawia się w przewodnikach Algolii dotyczących rankingu wyszukiwania, pracach akademickich na temat systemów oceniania oraz w pracy specjalistów SEO, którzy badali zachowanie Google w wyszukiwaniu lokalnym.

Równanie WR = (v/(v+m)) × R + (m/(v+m)) × C oblicza ważoną mieszankę dwóch liczb: obserwowanej średniej oceny Twojej firmy (R) i średniej dla całej Twojej kategorii (C). Wagi są ustalane przez liczbę recenzji, które masz (v) w porównaniu z minimalną liczbą wiarygodności (m).

Spójrz na dwa czynniki ważenia: (v/(v+m)) i (m/(v+m)). Zawsze sumują się do 1.0. Oznacza to, że zawsze mieszasz swoje własne dane z priorem. Zmieniają się tylko proporcje. Kiedy v jest małe w porównaniu do m, prior ma większy wpływ. Kiedy v jest duże w porównaniu do m, Twoje własne recenzje mają większy wpływ.

WR = (v / (v + m)) × R + (m / (v + m)) × C

Wartość progowa, m, to liczba, która definiuje standard ufności platformy. Dla swojej listy Top 250 IMDB używa m około 25 000 głosów. Lokalna kawiarnia w Google nie jest w tej samej lidze co film Avatar, więc jej m jest znacznie niższe. Praktycy szacują, że dla lokalnych list Google, m wynosi zazwyczaj od 5 do 50, w zależności od kategorii biznesowej i rynku.

Średnia kategorii, C, jest tutaj najbardziej pomijaną zmienną. Nie jest to pojedyncza globalna liczba. Google prawie na pewno oblicza C na bieżąco dla każdej kategorii i miasta, a być może nawet dla każdego zapytania wyszukiwania. Dentysta w Chicago jest mierzony w stosunku do innych dentystów w Chicago, a nie w stosunku do pizzerii na wiejskim Teksasie. Dolna granica Twojego wyniku jest zatem specyficzna dla Twojej kategorii.

Dlaczego ważona formuła oceny gwiazdkowej jest ważna dla Twojego SEO

Konsekwencją w świecie rzeczywistym jest to, że Twoje pierwsze 50 recenzji jest znacznie ważniejszych niż recenzje od 51 do 150. Każda recenzja, którą otrzymasz poniżej progu wiarygodności m, powoduje dużą zmianę we współczynniku (v/(v+m)). Przejście z v=5 do v=10 podwaja Twoją wagę ufności. Przejście z v=150 do v=155 powoduje zmianę, którą trudno nawet zmierzyć.

Ta matematyka wyjaśnia dziwny wzorzec, który specjaliści SEO widzą cały czas: firma rośnie z 3 recenzji do 30 i widzi, że jej wyświetlana ocena spada z 5.0 do 4.6, nawet jeśli wszystkie nowe recenzje były dobre. Obliczenia są poprawne. Wczesny wynik 5.0 był bayesowską iluzją. 4.6 to pierwsze prawdziwe oszacowanie jakości.

Przejdźmy przez dwa przykłady. Użyjemy realistycznej średniej kategorii C = 4.1 i minimalnego progu m = 50. Są to rozsądne szacunki dla kategorii usług z umiarkowaną konkurencją, takich jak hydraulika, stomatologia czy serwis samochodowy. Możesz podstawić własne liczby, aby modelować swoją sytuację.

Firma A ma doskonały surowy wynik; każdy klient zostawił 5 gwiazdek. Ale przy zaledwie 3 recenzjach formuła daje jej własnym danym tylko 5.7% wagi. Pozostałe 94.3% jej wyświetlanego wyniku pochodzi ze średniej kategorii 4.1. Wynik to 4.15, a nie 5.0, które wydaje się, że zasłużyła.

Firma B ma niższą surową średnią 4.6, z kilkoma recenzjami 3- i 4-gwiazdkowymi. Ale jej 120 recenzji oznacza, że formuła daje jej własnym danym 70.6% wagi. Jej wyświetlany wynik 4.45 jest znacznie bliższy jej rzeczywistej wydajności. Algorytm Google umieści ją wyżej niż firmę A. Liczba recenzji kupuje wiarygodność. Wiarygodność kupuje ranking.

Poniższy wykres wykorzystuje formułę dla sześciu różnych scenariuszy, z C = 4.1 i m = 50. Kolumna „Delta” pokazuje, jak daleko wynik bayesowski jest od prostej średniej. Widzisz, jak ta luka zmniejsza się wraz ze wzrostem liczby recenzji? To wpływ priora zanikający w miarę napływu większej liczby dowodów.

Najbardziej wymowny jest ostatni wiersz. Firma z zaledwie 5 recenzjami i fatalną surową średnią 2.0 nadal pokazuje wynik 3.85. Jest podciągnięta o prawie dwie pełne gwiazdki przez średnią kategorii. Jest to celowe. System nie zrujnuje firmy na podstawie zaledwie pięciu punktów danych. Zabezpiecza się w kierunku średniej, dopóki rozmiar próbki nie będzie wystarczająco duży, aby mu zaufać.

Ten efekt amortyzacji dla negatywnych wartości odstających jest powodem, dla którego bombardowanie recenzjami — celowa kampania fałszywych recenzji z 1 gwiazdką — jest mniej szkodliwe, niż się początkowo wydaje. Algorytm zwalcza ekstremalne wyniki, jeśli liczba recenzji jest zbyt niska, aby je poprzeć. Ponadto systemy Google są zbudowane tak, aby wykrywać i oznaczać szybkie kampanie recenzji wszelkiego rodzaju, pozytywne lub negatywne, co narusza politykę platformy.

Formuła bayesowska stanowi podstawę, ale rzeczywisty system Google ma co najmniej trzy dodatkowe komponenty: zanik aktualności, zaufanie autora i tłumienie nagłych skoków prędkości. Google ich nie potwierdziło. Wszystkie są wywnioskowane z obserwacji zachowania systemu i analizy patentów.

Podstawowa formuła bayesowska jest punktem wyjścia. Inne warstwy sprawiają, że końcowy wynik jest trudniejszy do oszukania i dokładniejszy w danej chwili. Cel jest zawsze ten sam: pokazać ocenę, która odzwierciedla to, czego klient może oczekiwać, jeśli odwiedzi dziś.

Ważenie według aktualności: dlaczego ostatnie 90 dni są dominujące

Google stosuje współczynnik zaniku czasowego do recenzji, ceniąc nowsze opinie bardziej niż stare. Działa to jak funkcja wykładniczego zaniku: moc recenzji zanika w czasie, zamiast gwałtownie spadać w określonym dniu.^[1]

Analiza systemu oceniania Google przez społeczność SEO pokazuje, że recenzje starsze niż 12–18 miesięcy mają około 30–50% mniejszy wpływ niż recenzja z zeszłego tygodnia. Recenzja 5-gwiazdkowa sprzed trzech lat nadal się liczy, ale liczy się mniej. Oznacza to, że firma, która otrzymała 80 recenzji w 2022 roku, ale żadnej od tamtej pory, działa na zanikającym sygnale.

w(t) = exp(-λ × Δt)

where:
  Δt = days since review was posted
  λ  = decay constant (estimated ~0.003–0.008 for Google)
  w(t) = weight applied to that review in the running average

Zaufanie autora: dlaczego recenzja od Lokalnego Przewodnika Poziomu 7 liczy się bardziej

System zaufania Google dla recenzentów można wywnioskować z jego patentów i obserwacji, jak zmieniają się oceny. Patent US8818995B1 przedstawia system rankingu wyszukiwania, który waży dane wejściowe na podstawie poziomu zaufania źródła. W przypadku recenzji oznacza to, że Lokalny Przewodnik Poziomu 7 z historią setek szczegółowych recenzji jest źródłem wysokiego zaufania.^[2]

Rzeczywisty efekt jest taki, że recenzja 5-gwiazdkowa od Lokalnego Przewodnika Poziomu 7 prawdopodobnie ma większą wagę niż recenzja 5-gwiazdkowa od nowego konta bez historii. Nie chodzi o samą wartość gwiazdki; obie są „5” w obliczeniach. Ale waga zastosowana do każdej z nich przed uśrednieniem jest inna. Google nigdy nie podało, jak duża jest ta różnica.

Tłumienie anomalii: co się dzieje, jeśli w ciągu tygodnia pojawi się 40 recenzji

Skoki prędkości uruchamiają oddzielny system wykrywania. Jeśli firma, która normalnie otrzymuje 2-3 recenzje miesięcznie, nagle otrzymuje 40 w ciągu 72 godzin, system Google oznacza ten wzorzec. Nie prowadzi to do automatycznego usunięcia, ale do kwarantanny. Nowe recenzje nie pojawiają się w publicznej liczbie ani ocenie, podczas gdy system prowadzi dochodzenie.^[3]

Ten mechanizm jest powodem, dla którego firmy, które kupują recenzje, często nie widzą żadnych zmian, a nawet widzą, jak ich oceny spadają, ponieważ stare, prawdziwe recenzje pozostają widoczne, podczas gdy nowe fałszywe są w zawieszeniu. Ta praktyka narusza zasady Google i jest nielegalna w USA zgodnie z przepisami FTC. Algorytm jest zbudowany tak, aby nie ufać nagłym zmianom, które nie pasują do ustalonego wzorca firmy.

Oto dwa scenariusze modelowane na rzeczywistych przypadkach. Nie są to fikcje; te wzorce pojawiają się raz po raz w raportach specjalistów od zarządzania reputacją.

Przykład dentysty pokazuje główną lekcję oceniania bayesowskiego: niższa surowa średnia z wysoką ufnością jest lepsza niż wysoka surowa średnia z niską ufnością. Wyświetlany wynik spadł (z teoretycznego 4.9 do widocznego 4.58), ale jego pozycja w wyszukiwarce wzrosła, ponieważ waga ufności była teraz solidna.

Przykład skoku w restauracji pokazuje, dlaczego naturalne tempo jest ważne. Systemy Google są zaprojektowane tak, aby wykrywać nienaturalną prędkość. Czterdzieści recenzji w tygodniu, a następnie dwa miesiące bez recenzji, nie tylko wygląda podejrzanie. Tłumiona efektywna liczba oznacza, że zapłaciłeś za nic. Matematyka karze to dwukrotnie: wykrywanie anomalii obniża widoczną liczbę, a zanik aktualności oznacza, że recenzje ze skoku zaczynają zanikać niemal natychmiast.

Uśrednianie bayesowskie nie jest jedyną solidną metodą statystyczną. Artykuł Evana Millera z 2009 roku „How Not to Sort by Average Rating” rozsławił inną metodę: dolną granicę przedziału ufności wyniku Wilsona. Reddit używa jej do rankingu komentarzy. Yelp używa jej wersji.

score = ( p̂ + z²/2n - z√(p̂(1-p̂)/n + z²/4n²) ) / ( 1 + z²/n )

where:
  p̂  = observed positive proportion (e.g. 4+5 star / total)
  n   = total number of ratings
  z   = 1.96  (for 95% confidence interval)
  score = lower-bound of the true positive rate

Wynik Wilsona odpowiada na inne pytanie niż średnia bayesowska. Zamiast pytać: „Jak powinienem połączyć moje dane z priorem?”, pyta: „Biorąc pod uwagę moje obecne oceny, jaka jest najniższa moja prawdziwa jakość z 95% ufnością?”. Daje to konserwatywny wynik, który karze niepewność jeszcze bardziej niż uśrednianie bayesowskie przy bardzo niskiej liczbie recenzji.

Trzecia metoda, model Dirichleta-Wielomianowy, traktuje każdą z pięciu wartości gwiazdek jako oddzielny kubełek, a nie pojedynczą ciągłą linię. District Data Labs udokumentowało to dla systemów wielogwiazdkowych. Jest bardziej rygorystyczna matematycznie niż formuła IMDB (która traktuje gwiazdki jako liniowe), ale jest też trudniejsza do obliczenia. W praktyce różnica między średnią bayesowską a modelem Dirichleta jest minimalna, gdy masz więcej niż około 30 recenzji.

Kiedy rozumiesz matematykę, niejasna rada „zdobądź więcej recenzji” staje się mierzalnym planem. Każda firma znajduje się gdzieś na krzywej v/(v+m). Znajomość Twojej pozycji mówi Ci, o ile Twoja następna recenzja faktycznie zmieni Twój wynik.

Jeśli v = 8 i m = 50, jedna nowa recenzja 5-gwiazdkowa przesuwa Twoją wagę ufności z 8/58 (0.138) do 9/59 (0.153). To znaczący skok o 1.5 punktu procentowego. Jeśli v = 300 i m = 50, ta sama recenzja przesuwa Cię z 300/350 (0.857) do 301/351 (0.858), co jest niemal niewidoczną zmianą. Liczba recenzji na początku ma dziesięć razy większą moc matematyczną niż liczba recenzji na dużą skalę.

Jak obliczyć ważoną średnią ocenę w gwiazdkach dla Twojej firmy

Możesz uruchomić tę formułę w arkuszu kalkulacyjnym. Użyj swojej aktualnej liczby recenzji dla v. Aby oszacować m dla Twojej kategorii, spójrz na liczbę recenzji dla trzech najlepszych firm w Twojej kategorii w Google Maps; 25. percentyl tej grupy to dobry szacunek dla m. Twoja aktualnie wyświetlana ocena to prawdopodobnie wynik WR; Twoja prosta średnia to suma gwiazdek podzielona przez liczbę.

Liczba, na której naprawdę Ci zależy, to wpływ następnych N recenzji. Zmodeluj to. Dodaj 10 do v, przelicz WR i zobacz, jak bardzo się zmienia. Zrób to dla zakresu wartości v, aby wykreślić krzywą wrażliwości. Najbardziej stroma część tej krzywej to miejsce, gdzie nowa recenzja ma największy wpływ; tam powinieneś skupić swoje wysiłki.

Dlaczego aktualność sprawia, że prędkość recenzji jest ważniejsza niż całkowita liczba

Gdy zrozumiesz zanik aktualności, Twój cel się zmienia. Nie chodzi tylko o całkowitą liczbę recenzji, ale o to, jak ta liczba jest rozłożona w czasie. Firma z 400 recenzjami sprzed pięciu lat, ale niczym w ciągu ostatnich 18 miesięcy, pracuje z mniejszą efektywną próbką, niż sugeruje jej całkowita liczba. Zanikające recenzje mniej przyczyniają się do ważonej średniej.

Stały strumień recenzji, nawet niewielki, kumuluje swoje korzyści w sposób, w jaki pojedynczy wybuch nie może. Otrzymywanie ośmiu nowych recenzji co miesiąc przez rok prowadzi do bardziej stabilnego, wyżej ocenianego wyniku niż otrzymywanie 96 recenzji w ciągu jednego miesiąca pod niemal każdym względem: zaufania bayesowskiego, przechodzenia wykrywania anomalii, trajektorii zaniku aktualności i tego, jak wiarygodnie wyglądasz dla klientów.