Hoe Google echt uw sterbeoordeling berekent (het is geen eenvoudig gemiddelde)

Een analyse van de Bayesiaanse wiskunde, recentheidsgewichting en betrouwbaarheidsscores die uw weergegeven beoordeling bepalen, compleet met de daadwerkelijke formules en uitgewerkte voorbeelden.

De meeste ondernemers leren deze les op de harde manier. U kunt twintig perfecte vijfsterrenbeoordelingen achter elkaar krijgen en zien dat uw beoordeling op Google nauwelijks verandert. Of misschien werkt u maandenlang, krijgt u uiteindelijk 50 beoordelingen, en ontdekt u dat uw 4.8 gemiddelde wordt weergegeven als 4.3 op de kaart. Het systeem is niet kapot. Het werkt precies zoals het is gebouwd. U wist alleen niet hoe het was gebouwd.

Google heeft zijn beoordelingsalgoritme nooit officieel vrijgegeven. De mechanismen ervan zijn echter algemeen bekend. Dit is te danken aan de openbare documentatie van IMDB over zijn eigen Bayesiaanse formule, de aantekeningen van Algolia over ranking, universitair onderzoek naar beoordelingsplatforms en jarenlange praktijkervaring van professionals die reverse-engineering toepassen op wat ze zien. Dit artikel legt de wiskunde uit, met behulp van echte cijfers.

Laten we eerst een eenvoudig gemiddelde definiëren en zien waarom het een slecht hulpmiddel is voor deze taak. Het rekenkundig gemiddelde is de som van alle beoordelingen gedeeld door het aantal beoordelingen. Als u drie beoordelingen heeft (5, 4 en 5), is uw gemiddelde (5+4+5)/3, of 4.67. Dit is rekenkundig correct. Maar voor het rangschikken van duizenden bedrijven tegen elkaar is het statistisch misleidend.

De problemen met deze methode vermenigvuldigen zich op grote schaal. Een café dat deze week is geopend met drie lovende beoordelingen van vrienden van de eigenaar, zou hoger scoren dan een langdurige concurrent met een gemiddelde van 4.4 van 200 beoordelingen. Het gevestigde bedrijf is een veel betrouwbaarder signaal van kwaliteit. Elk systeem dat dit soort resultaten toestaat, kan in korte tijd gemanipuleerd worden tot nutteloosheid.

Hoe de sterbeoordeling van Google in de praktijk werkt

Een Bayesiaanse beoordeling is een gemiddelde gewogen op basis van vertrouwen. Met slechts een handvol beoordelingen mist het systeem voldoende gegevens om uw score te vertrouwen. Dus mengt het uw ruwe gemiddelde met een 'prior' – een standaardscore gebaseerd op alle bedrijven zoals het uwe. Naarmate u meer beoordelingen verzamelt, krijgt het systeem meer vertrouwen in uw eigen gegevens en neemt de invloed van de prior af.

IMDB gebruikt precies deze methode voor zijn Top 250 filmlijst en heeft de formule gepubliceerd: WR = (v/(v+m)) × R + (m/(v+m)) × C. De variabelen zijn eenvoudig, maar hun effecten op gedrag kunnen verrassend zijn. Dezelfde wiskunde verschijnt in de zoekrangschikkingsgidsen van Algolia, academische artikelen over beoordelingssystemen en het werk van SEO's die het lokale zoekgedrag van Google hebben bestudeerd.

De vergelijking WR = (v/(v+m)) × R + (m/(v+m)) × C berekent een gewogen mix van twee getallen: de waargenomen gemiddelde score van uw bedrijf (R) en het gemiddelde voor uw hele categorie (C). De gewichten worden bepaald door hoeveel beoordelingen u heeft (v) vergeleken met een minimum geloofwaardigheidsgetal (m).

Kijk naar de twee wegingsfactoren: (v/(v+m)) en (m/(v+m)). Ze tellen altijd op tot 1.0. Dit betekent dat u altijd uw eigen gegevens mengt met de prior. Het enige dat verandert, zijn de verhoudingen. Wanneer v klein is in vergelijking met m, heeft de prior meer invloed. Wanneer v groot is in vergelijking met m, hebben uw eigen beoordelingen meer invloed.

WR = (v / (v + m)) × R + (m / (v + m)) × C

De drempelwaarde, m, is het getal dat de betrouwbaarheidsstandaard van het platform definieert. Voor zijn Top 250-lijst gebruikt IMDB een m van ongeveer 25.000 stemmen. Een lokale coffeeshop op Google bevindt zich niet in dezelfde categorie als de film Avatar, dus de m is veel lager. Praktijkmensen schatten dat voor Google lokale vermeldingen, m meestal tussen 5 en 50 ligt, afhankelijk van de bedrijfscategorie en de markt.

Het categorisch gemiddelde, C, is de meest over het hoofd geziene variabele hier. Het is geen enkel globaal getal. Google berekent C vrijwel zeker ter plekke voor elke categorie en stad, en misschien zelfs voor elke zoekopdracht. Een tandarts in Chicago wordt gemeten tegen andere tandartsen in Chicago, niet tegen pizzatenten op het platteland van Texas. De ondergrens van uw score is daarom specifiek voor uw categorie.

Waarom de gewogen sterbeoordelingsformule belangrijk is voor uw SEO

Het reële gevolg is dat uw eerste 50 beoordelingen veel belangrijker zijn dan beoordelingen 51 tot en met 150. Elke beoordeling die u krijgt onder de geloofwaardigheidsdrempel m, creëert een grote verschuiving in de (v/(v+m)) coëfficiënt. Van v=5 naar v=10 gaan verdubbelt uw betrouwbaarheidsgewicht. Van v=150 naar v=155 gaan creëert een verandering die nauwelijks meetbaar is.

Deze wiskunde verklaart een vreemd patroon dat SEO's voortdurend zien: een bedrijf groeit van 3 naar 30 beoordelingen en ziet zijn weergegeven beoordeling dalen van 5.0 naar 4.6, zelfs als alle nieuwe beoordelingen goed waren. De berekening klopt. De vroege 5.0 score was een Bayesiaanse illusie. De 4.6 is de eerste echte schatting van kwaliteit.

Laten we twee voorbeelden doorlopen. We gebruiken een realistisch categorisch gemiddelde van C = 4.1 en een minimumdrempel van m = 50. Dit zijn redelijke schattingen voor een servicecategorie met matige concurrentie, zoals loodgieterswerk, tandheelkunde of autoservice. U kunt uw eigen cijfers invullen om uw situatie te modelleren.

Bedrijf A heeft een perfecte ruwe score; elke klant gaf 5 sterren. Maar met slechts 3 beoordelingen geeft de formule zijn eigen gegevens slechts een gewicht van 5.7%. De overige 94.3% van zijn weergegeven score is afgeleid van het categorisch gemiddelde van 4.1. Het resultaat is 4.15, niet de 5.0 die het lijkt te hebben verdiend.

Bedrijf B heeft een lager ruw gemiddelde van 4.6, met enkele 3- en 4-sterrenbeoordelingen. Maar de 120 beoordelingen betekenen dat de formule zijn eigen gegevens een gewicht van 70.6% geeft. De weergegeven score van 4.45 ligt veel dichter bij de werkelijke prestaties. Het algoritme van Google zal het boven Bedrijf A rangschikken. Volume koopt u geloofwaardigheid. Geloofwaardigheid koopt u rang.

De onderstaande grafiek gebruikt de formule voor zes verschillende scenario's, met C = 4.1 en m = 50. De kolom 'Delta' onthult hoe ver de Bayesiaanse score afwijkt van het eenvoudige gemiddelde. Ziet u hoe die kloof kleiner wordt naarmate het aantal beoordelingen toeneemt? Dat is de invloed van de prior die afneemt naarmate er meer bewijs binnenkomt.

De meest veelzeggende rij is de laatste. Een bedrijf met slechts 5 beoordelingen en een erbarmelijk ruw gemiddelde van 2.0 toont nog steeds een score van 3.85. Het wordt bijna twee volle sterren omhoog getrokken door het categorisch gemiddelde. Dit is opzettelijk. Het systeem zal een bedrijf niet ruïneren op basis van slechts vijf datapunten. Het dekt zich in richting het gemiddelde totdat de steekproefgrootte groot genoeg is om te vertrouwen.

Dit dempende effect voor negatieve uitschieters is de reden waarom review bombing – een opzettelijke campagne van nep 1-sterrenbeoordelingen – minder schadelijk is dan het op het eerste gezicht lijkt. Het algoritme bestrijdt extreme resultaten als het aantal beoordelingen te laag is om ze te ondersteunen. Bovendien zijn de systemen van Google gebouwd om snelle beoordelingscampagnes van welke aard dan ook, positief of negatief, te detecteren en te markeren, wat in strijd is met het platformbeleid.

De Bayesiaanse formule vormt de basis, maar het echte systeem van Google heeft minstens drie andere componenten: recentheidsverval, vertrouwen van de bijdrager en demping voor plotselinge snelheidsstijgingen. Google heeft deze niet bevestigd. Ze zijn allemaal afgeleid van het observeren van systeemgedrag en het analyseren van patenten.

De basis Bayesiaanse formule is het startpunt. De andere lagen maken de uiteindelijke score moeilijker te manipuleren en nauwkeuriger op dit moment. Het doel is altijd hetzelfde: een beoordeling tonen die weergeeft wat een klant kan verwachten als hij vandaag bezoekt.

Recentheidsgewichting: waarom de laatste 90 dagen dominant zijn

Google past een tijdsvervalfactor toe op beoordelingen, waarbij recente feedback meer wordt gewaardeerd dan oude feedback. Dit werkt als een exponentiële vervalfunctie: de kracht van een beoordeling neemt af na verloop van tijd in plaats van abrupt te verdwijnen op een specifieke datum.^[1]

Analyse van het beoordelingssysteem van Google door de SEO-gemeenschap toont aan dat beoordelingen ouder dan 12-18 maanden ongeveer 30-50% minder impact hebben dan een beoordeling van vorige week. Een 5-sterrenbeoordeling van drie jaar geleden telt nog steeds, maar minder. Dit betekent dat een bedrijf dat in 2022 80 beoordelingen kreeg maar sindsdien geen, werkt met een vervagend signaal.

w(t) = exp(-λ × Δt)

where:
  Δt = days since review was posted
  λ  = decay constant (estimated ~0.003–0.008 for Google)
  w(t) = weight applied to that review in the running average

Vertrouwen van de bijdrager: waarom een beoordeling van een Level 7 Local Guide meer telt

Het vertrouwenssysteem van Google voor recensenten kan worden afgeleid uit zijn patenten en door te observeren hoe beoordelingen veranderen. Patent US8818995B1 schetst een zoekrangschikkingssysteem dat inputs weegt op basis van het vertrouwensniveau van de bron. Voor recensies betekent dit dat een Level 7 Local Guide met een geschiedenis van honderden gedetailleerde recensies een bron met hoog vertrouwen is.^[2]

Het effect in de praktijk is dat een 5-sterrenbeoordeling van een Level 7 Local Guide waarschijnlijk meer gewicht heeft dan een 5-sterrenbeoordeling van een nieuw account zonder geschiedenis. Dit gaat niet over de sterwaarde zelf; beide zijn een '5' in de berekening. Maar het gewicht dat aan elk wordt toegekend vóór het middelen is anders. Google heeft nooit verklaard hoe groot dit verschil is.

Anomaliedemping: wat gebeurt er als er in één week 40 beoordelingen verschijnen

Pieken in snelheid activeren een apart detectiesysteem. Als een bedrijf dat normaal gesproken 2-3 beoordelingen per maand krijgt, er plotseling 40 in 72 uur krijgt, markeert het systeem van Google het patroon. Dit leidt niet tot automatische verwijdering, maar tot quarantaine. De nieuwe beoordelingen verschijnen niet in het openbare aantal of de beoordeling terwijl het systeem onderzoek doet.^[3]

Dit mechanisme verklaart waarom bedrijven die beoordelingen kopen vaak geen verandering zien, of zelfs zien dat hun beoordelingen dalen terwijl oude, echte beoordelingen zichtbaar blijven en de nieuwe neppe in limbo worden gehouden. Deze praktijk is in strijd met het beleid van Google en is illegaal in de VS volgens de FTC-regels. Het algoritme is gebouwd om plotselinge veranderingen die niet overeenkomen met het gevestigde patroon van een bedrijf te wantrouwen.

Hier zijn twee scenario's gemodelleerd naar praktijkgevallen. Het zijn geen ficties; deze patronen duiken steeds weer op in rapporten van professionals op het gebied van reputatiemanagement.

Het tandartsvoorbeeld toont de belangrijkste les van Bayesiaanse beoordeling: een lager ruw gemiddelde met hoog vertrouwen is beter dan een hoog ruw gemiddelde met laag vertrouwen. De weergegeven score daalde (van een theoretische 4.9 naar een zichtbare 4.58), maar de zoekrang steeg omdat het betrouwbaarheidsgewicht nu solide was.

Het voorbeeld van de restaurantpiek laat zien waarom een natuurlijk tempo belangrijk is. De systemen van Google zijn ontworpen om onnatuurlijke snelheid te detecteren. Veertig beoordelingen in een week, en dan twee maanden geen beoordelingen, ziet er niet alleen verdacht uit. Het gedempte effectieve aantal betekent dat u voor niets hebt betaald. De wiskunde straft dit twee keer: anomaliedetectie verlaagt het zichtbare aantal, en recentheidsverval betekent dat de beoordelingen van de piek bijna onmiddellijk beginnen te vervagen.

Bayesiaans middelen is niet de enige deugdelijke statistische methode. Evan Millers artikel uit 2009 'How Not to Sort by Average Rating' maakte een andere methode beroemd: de ondergrens van een Wilson-score betrouwbaarheidsinterval. Reddit gebruikt het om reacties te rangschikken. Yelp gebruikt er een versie van.

score = ( p̂ + z²/2n - z√(p̂(1-p̂)/n + z²/4n²) ) / ( 1 + z²/n )

where:
  p̂  = observed positive proportion (e.g. 4+5 star / total)
  n   = total number of ratings
  z   = 1.96  (for 95% confidence interval)
  score = lower-bound of the true positive rate

De Wilson-score beantwoordt een andere vraag dan een Bayesiaans gemiddelde. In plaats van te vragen: 'Hoe moet ik mijn gegevens mengen met een prior?', vraagt het: 'Gezien mijn huidige beoordelingen, wat is de laagste mijn ware kwaliteit zou kunnen zijn met 95% betrouwbaarheid?' Dit geeft een conservatieve score die onzekerheid nog zwaarder bestraft dan Bayesiaans middelen bij zeer lage beoordelingsaantallen.

Een derde methode, het Dirichlet-Multinomiaal model, behandelt elk van de vijf sterwaarden als een aparte categorie, niet als een enkele doorlopende lijn. District Data Labs heeft dit gedocumenteerd voor meersterrensystemen. Het is wiskundig rigoureuzer dan de IMDB-formule (die sterren als lineair behandelt), maar het is ook moeilijker te berekenen. In de praktijk is het verschil tussen een Bayesiaans gemiddelde en een Dirichlet-model minimaal zodra u meer dan ongeveer 30 beoordelingen heeft.

Wanneer u de wiskunde begrijpt, wordt het vage advies om 'meer beoordelingen te verzamelen' een meetbaar plan. Elk bedrijf bevindt zich ergens op de v/(v+m) curve. Het kennen van uw positie vertelt u hoeveel uw volgende beoordeling uw score daadwerkelijk zal veranderen.

Als v = 8 en m = 50, dan verschuift één nieuwe 5-sterrenbeoordeling uw betrouwbaarheidsgewicht van 8/58 (0.138) naar 9/59 (0.153). Dat is een betekenisvolle sprong van 1.5 procentpunt. Als v = 300 en m = 50, dan verschuift diezelfde beoordeling u van 300/350 (0.857) naar 301/351 (0.858), een bijna onzichtbare verandering. Volume aan het begin heeft tien keer de wiskundige kracht van volume op schaal.

Hoe u een gewogen gemiddelde sterbeoordeling voor uw eigen bedrijf berekent

U kunt deze formule in een spreadsheet uitvoeren. Gebruik uw huidige aantal beoordelingen voor v. Om m voor uw categorie te schatten, kijkt u naar het aantal beoordelingen voor de top drie bedrijven in uw Google Maps-categorie; het 25e percentiel van die groep is een goede schatting voor m. Uw huidige weergegeven beoordeling is waarschijnlijk het WR-resultaat; uw eenvoudige gemiddelde is de som van de sterren gedeeld door het aantal.

Het getal waar u echt om geeft, is het effect van de volgende N beoordelingen. Modelleer het. Voeg 10 toe aan v, herbereken WR en kijk hoeveel het verandert. Doe dit voor een reeks v-waarden om een gevoeligheidscurve in kaart te brengen. Het steilste deel van die curve is waar een nieuwe beoordeling de grootste impact heeft; daar moet u uw inspanningen op richten.

Waarom recentheid de beoordelingssnelheid belangrijker maakt dan het totale aantal

Zodra u recentheidsverval begrijpt, verandert uw doel. Het gaat niet alleen om het totale aantal beoordelingen, maar om hoe dat aantal over de tijd is verspreid. Een bedrijf met 400 beoordelingen van vijf jaar geleden, maar niets in de afgelopen 18 maanden, werkt met een kleinere effectieve steekproef dan het totale aantal suggereert. De vervallen beoordelingen dragen minder bij aan het gewogen gemiddelde.

Een constante stroom van beoordelingen, zelfs een kleine, vermenigvuldigt de voordelen op manieren die een enkele piek niet kan. Acht nieuwe beoordelingen per maand gedurende een jaar krijgen is beter dan 96 beoordelingen in één maand op bijna elke maatstaf: Bayesiaans vertrouwen, het omzeilen van anomaliedetectie, het traject van recentheidsverval en hoe geloofwaardig u overkomt op klanten.