Hogyan számítja ki valójában a Google a csillagbesorolását (nem egyszerű átlag)

A Bayes-féle matematika, a frissességi súlyozás és a megbízhatósági pontozás részletes elemzése, amely meghatározza a megjelenített értékelést, a tényleges képletekkel és kidolgozott példákkal.

A legtöbb cégtulajdonos a nehezebb úton tanulja meg ezt a leckét. Húsz tökéletes ötcsillagos értékelést kaphat egymás után, és alig mozdul el a Google-on megjelenő értékelése. Vagy hónapokig dolgozik, végre eléri az 50 értékelést, és azt tapasztalja, hogy a 4,8-as átlaga 4,3-ként jelenik meg a térképen. A rendszer nem hibás. Pontosan úgy működik, ahogyan megépítették. Csak azt nem mondták el, hogyan épült.

A Google soha nem hozta nyilvánosságra hivatalosan az értékelési algoritmusát. Azonban a mechanikája széles körben ismert. Ez az IMDB saját Bayes-féle képletének nyilvános dokumentációjának, az Algolia rangsorolási jegyzeteinek, az értékelési platformokkal kapcsolatos egyetemi kutatásoknak, és az évek óta tartó, a látottak visszafejtésével foglalkozó szakembereknek köszönhető. Ez a cikk a matematikát mutatja be, valós számok felhasználásával.

Először is, definiáljuk az egyszerű átlagot, és nézzük meg, miért rossz eszköz erre a feladatra. Az aritmetikai átlag az összes értékelés összege osztva az értékelések számával. Ha három értékelése van (5, 4 és 5), akkor az átlaga (5+4+5)/3, azaz 4,67. Ez aritmetikailag helyes. De több ezer vállalkozás egymással való rangsorolására statisztikailag megtévesztő.

Ennek a módszernek a problémái nagy léptékben megsokszorozódnak. Egy ezen a héten megnyílt kávézó, amely három ragyogó értékelést kapott a tulajdonos barátaitól, magasabban rangsorolna, mint egy régóta működő versenytárs, amelynek 4,4-es átlaga van 200 értékelésből. A bejáratott vállalkozás sokkal megbízhatóbb minőségi jelzés. Bármely rendszer, amely ilyen eredményt enged meg, rövid időn belül manipulálhatóvá és használhatatlanná válhat.

Hogyan működik a Google csillagbesorolásának számítása a gyakorlatban

A Bayes-féle értékelés egy bizalommal súlyozott átlag. Csak néhány értékeléssel a rendszernek nincs elegendő adata ahhoz, hogy megbízzon a pontszámában. Ezért a nyers átlagot egy „priorral” – egy alapértelmezett pontszámmal – keveri, amely az összes hasonló vállalkozás alapján készült. Ahogy több értékelést gyűjt, a rendszer jobban bízik a saját adataiban, és a prior befolyása elhalványul.

Az IMDB pontosan ezt a módszert használja a Top 250 film listájához, és közzétette a képletet: WR = (v/(v+m)) × R + (m/(v+m)) × C. A változók egyértelműek, de viselkedésükre gyakorolt hatásuk meglepő lehet. Ugyanez a matematika megjelenik az Algolia keresési rangsorolási útmutatóiban, az értékelési rendszerekről szóló tudományos cikkekben, és a Google helyi keresési viselkedését tanulmányozó SEO-szakemberek munkáiban.

A WR = (v/(v+m)) × R + (m/(v+m)) × C egyenlet két szám súlyozott keverékét számítja ki: a vállalkozás megfigyelt átlagos pontszámát (R) és a teljes kategória átlagát (C). A súlyokat az határozza meg, hogy hány értékelése van (v) egy minimális hitelességi számhoz (m) képest.

Nézzük meg a két súlyozási tényezőt: (v/(v+m)) és (m/(v+m)). Ezek mindig 1,0-t adnak ki. Ez azt jelenti, hogy mindig a saját adatait keveri az előzetes adatokkal. Csak az arányok változnak. Ha v kicsi m-hez képest, az előzetes adatoknak nagyobb a befolyása. Ha v nagy m-hez képest, a saját értékeléseinek nagyobb a befolyása.

WR = (v / (v + m)) × R + (m / (v + m)) × C

Az m küszöbérték az a szám, amely meghatározza a platform bizalmi standardját. A Top 250 listájához az IMDB körülbelül 25 000 szavazat m-et használ. Egy helyi kávézó a Google-on nem ugyanabban a ligában játszik, mint az Avatar című film, így az m-je sokkal alacsonyabb. A szakemberek becslése szerint a Google helyi listázásaihoz az m általában 5 és 50 között van, a vállalkozás kategóriájától és a piactól függően.

A kategóriaátlag, C, a leginkább figyelmen kívül hagyott változó itt. Ez nem egyetlen globális szám. A Google szinte biztosan menet közben számítja ki a C-t minden kategóriára és városra, sőt talán minden keresési lekérdezésre is. Egy chicagói fogorvost más chicagói fogorvosokkal mérnek össze, nem pedig vidéki texasi pizzériákkal. Ezért a pontszámának alsó határa az adott kategóriára jellemző.

Miért fontos a súlyozott csillagbesorolási képlet a SEO-ja szempontjából?

A valós következmény az, hogy az első 50 értékelés sokkal fontosabb, mint az 51. és 150. közötti értékelések. Bármely értékelés, amelyet az m hitelességi küszöb alatt kap, nagy elmozdulást okoz a (v/(v+m)) együtthatóban. Az v=5-ről v=10-re való elmozdulás megduplázza a bizalmi súlyt. Az v=150-ről v=155-re való elmozdulás olyan változást eredményez, amelyet nehéz mérni.

Ez a matematika magyarázza azt a furcsa mintát, amelyet a SEO-szakemberek állandóan látnak: egy vállalkozás 3 értékelésről 30-ra nő, és a megjelenített értékelése 5,0-ról 4,6-ra esik, még akkor is, ha az összes új értékelés jó volt. A számítás helyes. A korai 5,0-s pontszám Bayes-féle illúzió volt. A 4,6 az első valós minőségi becslés.

Nézzünk át két példát. Reális kategóriaátlagot, C = 4,1-et és minimális küszöböt, m = 50-et fogunk használni. Ezek tisztességes becslések egy mérsékelt versennyel rendelkező szolgáltatási kategóriára, mint például a vízvezeték-szerelés, fogászat vagy autószerviz. Helyettesítheti a saját számait, hogy modellezze a helyzetét.

Az A vállalkozásnak tökéletes nyers pontszáma van; minden ügyfél 5 csillagot adott. De mindössze 3 értékeléssel a képlet a saját adatainak csak 5,7%-os súlyt ad. A megjelenített pontszámának másik 94,3%-a a 4,1-es kategóriaátlagból származik. Az eredmény 4,15, nem pedig az 5,0, amit látszólag elért.

A B vállalkozásnak alacsonyabb, 4,6-os nyers átlaga van, néhány 3 és 4 csillagos értékeléssel. De a 120 értékelése azt jelenti, hogy a képlet a saját adatainak 70,6%-os súlyt ad. A megjelenített 4,45-ös pontszáma sokkal közelebb áll a tényleges teljesítményéhez. A Google algoritmusa az A vállalkozás fölé rangsorolja. A mennyiség hitelességet vásárol. A hitelesség rangot vásárol.

Az alábbi táblázat a képletet hat különböző forgatókönyvre használja, C = 4,1 és m = 50 értékekkel. A „Delta” oszlop megmutatja, mennyire tér el a Bayes-féle pontszám az egyszerű átlagtól. Látja, hogyan zárul ez a rés, ahogy az értékelések száma növekszik? Ez az előzetes adatok befolyásának elhalványulása, ahogy több bizonyíték érkezik.

A legbeszédesebb sor az utolsó. Egy vállalkozás, amelynek mindössze 5 értékelése és egy siralmas 2,0-s nyers átlaga van, még mindig 3,85-ös pontszámot mutat. Majdnem két teljes csillaggal húzza fel a kategóriaátlag. Ez szándékos. A rendszer nem fog tönkretenni egy vállalkozást mindössze öt adatpont alapján. Az átlag felé biztosítja magát, amíg a mintaméret elég nagy ahhoz, hogy megbízható legyen.

Ez a negatív kiugró értékekre gyakorolt tompító hatás az oka annak, hogy az értékelési bombázás – a hamis 1 csillagos értékelések szándékos kampánya – kevésbé káros, mint amilyennek elsőre tűnik. Az algoritmus harcol az extrém eredmények ellen, ha az értékelések száma túl alacsony ahhoz, hogy támogassa őket. Ezenkívül a Google rendszerei úgy vannak felépítve, hogy észleljék és megjelöljék a bármilyen típusú, pozitív vagy negatív, nagy sebességű értékelési kampányokat, ami sérti a platform szabályzatát.

A Bayes-féle képlet adja az alapot, de a Google valódi rendszere legalább három további komponenst tartalmaz: frissességi lecsengés, hozzászólói bizalom és csillapítás a hirtelen sebességugrások esetén. A Google ezeket nem erősítette meg. Mindezeket a rendszer viselkedésének megfigyeléséből és a szabadalmak elemzéséből vonták le.

Az alap Bayes-féle képlet a kiindulópont. A többi réteg nehezebbé teszi a végső pontszám kijátszását és pontosabbá teszi a jelen pillanatban. A cél mindig ugyanaz: olyan értékelést mutatni, amely tükrözi, mire számíthat egy ügyfél, ha ma látogat el.

Frissességi súlyozás: miért domináns az elmúlt 90 nap

A Google időbeli lecsengési faktort alkalmaz az értékelésekre, a friss visszajelzéseket többre értékeli, mint a régieket. Ez exponenciális lecsengési függvényként működik: egy értékelés ereje idővel elhalványul, ahelyett, hogy egy adott dátumon hirtelen megszűnne.^[1]

A Google értékelési rendszerének SEO közösség általi elemzése azt mutatja, hogy a 12–18 hónapnál régebbi értékelések körülbelül 30–50%-kal kisebb hatással bírnak, mint egy múlt heti értékelés. Egy három évvel ezelőtti 5 csillagos értékelés még mindig számít, de kevesebbet. Ez azt jelenti, hogy egy vállalkozás, amely 2022-ben 80 értékelést kapott, de azóta egyet sem, halványuló jelzéssel működik.

w(t) = exp(-λ × Δt)

where:
  Δt = days since review was posted
  λ  = decay constant (estimated ~0.003–0.008 for Google)
  w(t) = weight applied to that review in the running average

Hozzászólói bizalom: miért számít többet egy 7. szintű Helyi Idegenvezető értékelése

A Google értékelőkkel kapcsolatos bizalmi rendszere a szabadalmaiból és az értékelések változásainak megfigyeléséből következtethető ki. Az US8818995B1 szabadalom egy olyan keresési rangsorolási rendszert vázol fel, amely a bemeneteket a forrás bizalmi szintje alapján súlyozza. Az értékelések esetében ez azt jelenti, hogy egy 7. szintű Helyi Idegenvezető, aki több száz részletes értékeléssel rendelkezik, magas bizalmi forrás.^[2]

A valós hatás az, hogy egy 7. szintű Helyi Idegenvezető 5 csillagos értékelése valószínűleg nagyobb súllyal bír, mint egy új, előzmények nélküli fiók 5 csillagos értékelése. Ez nem magáról a csillagértékről szól; mindkettő „5” a számításban. De az átlagolás előtt mindegyikre alkalmazott súly eltérő. A Google soha nem nyilatkozott arról, hogy mekkora ez a különbség.

Anomália csillapítás: mi történik, ha egy héten 40 értékelés jelenik meg

A sebességugrások külön észlelési rendszert indítanak el. Ha egy vállalkozás, amely általában havonta 2-3 értékelést kap, hirtelen 40-et kap 72 óra alatt, a Google rendszere megjelöli a mintát. Ez nem vezet automatikus törléshez, hanem karanténba helyezéshez. Az új értékelések nem jelennek meg a nyilvános számban vagy értékelésben, amíg a rendszer vizsgálódik.^[3]

Ez a mechanizmus az oka annak, hogy az értékeléseket vásárló vállalkozások gyakran nem látnak változást, vagy akár azt is látják, hogy az értékeléseik csökkennek, mivel a régi, valós értékelések láthatóak maradnak, míg az új hamisítványok bizonytalan állapotban vannak. Ez a gyakorlat sérti a Google irányelveit, és az Egyesült Államokban az FTC szabályai szerint illegális. Az algoritmus úgy van felépítve, hogy ne bízzon a hirtelen változásokban, amelyek nem egyeznek a vállalkozás kialakult mintájával.

Íme két forgatókönyv, valós esetek alapján modellezve. Ezek nem fikciók; ezek a minták újra és újra megjelennek a hírnévkezelési szakemberek jelentéseiben.

A fogorvosi példa a Bayes-féle értékelés fő tanulságát mutatja: az alacsonyabb nyers átlag magas bizalommal jobb, mint a magas nyers átlag alacsony bizalommal. A megjelenített pontszám csökkent (egy elméleti 4,9-ről egy látható 4,58-ra), de a keresési rangja emelkedett, mert a bizalmi súly most már szilárd volt.

Az éttermi kiugrás példája megmutatja, miért fontos a természetes tempó. A Google rendszerei úgy vannak kialakítva, hogy észleljék a természetellenes sebességet. Negyven értékelés egy hét alatt, majd két hónap értékelés nélkül, nem csak gyanúsnak tűnik. A csillapított tényleges szám azt jelenti, hogy semmiért sem fizetett. A matematika kétszeresen bünteti ezt: az anomáliaészlelés csökkenti a látható számot, és a frissességi lecsengés azt jelenti, hogy a kiugrás értékelései szinte azonnal elkezdenek halványulni.

A Bayes-féle átlagolás nem az egyetlen megbízható statisztikai módszer. Evan Miller 2009-es cikke, a „Hogyan ne rendezzünk átlagos értékelés szerint” egy másik módszert tett híressé: a Wilson-pontszám konfidencia-intervallumának alsó határát. A Reddit ezt használja a kommentek rangsorolására. A Yelp is használja ennek egy változatát.

score = ( p̂ + z²/2n - z√(p̂(1-p̂)/n + z²/4n²) ) / ( 1 + z²/n )

where:
  p̂  = observed positive proportion (e.g. 4+5 star / total)
  n   = total number of ratings
  z   = 1.96  (for 95% confidence interval)
  score = lower-bound of the true positive rate

A Wilson-pontszám más kérdésre ad választ, mint a Bayes-féle átlag. Ahelyett, hogy azt kérdezné: „Hogyan keverjem össze az adataimat egy előzetes adattal?”, azt kérdezi: „Adott jelenlegi értékeléseim alapján mi lehet a valódi minőségem legalacsonyabb értéke 95%-os megbízhatósággal?” Ez egy konzervatív pontszámot ad, amely még erősebben bünteti a bizonytalanságot, mint a Bayes-féle átlagolás nagyon alacsony értékelésszámok esetén.

Egy harmadik módszer, a Dirichlet-Multinomiális modell, az öt csillagérték mindegyikét külön vödörnek tekinti, nem pedig egyetlen folytonos vonalnak. A District Data Labs dokumentálta ezt a többcsillagos rendszerekre. Matematikailag szigorúbb, mint az IMDB képlet (amely a csillagokat lineárisnak tekinti), de nehezebb is kiszámítani. A gyakorlatban a Bayes-féle átlag és a Dirichlet-modell közötti különbség elhanyagolható, ha több mint körülbelül 30 értékelése van.

Ha megérti a matematikát, a „szerezzen több értékelést” homályos tanács mérhető tervvé válik. Minden vállalkozás valahol a v/(v+m) görbén helyezkedik el. A pozíciójának ismerete megmondja, mennyit fog valójában változtatni a következő értékelése a pontszámán.

Ha v = 8 és m = 50, egy új 5 csillagos értékelés a bizalmi súlyát 8/58-ról (0,138) 9/59-re (0,153) mozdítja el. Ez egy jelentős 1,5 százalékpontos ugrás. Ha v = 300 és m = 50, ugyanez az értékelés 300/350-ről (0,857) 301/351-re (0,858) mozdítja el, ami szinte láthatatlan változás. A kezdeti volumen tízszeres matematikai erővel bír, mint a skálán lévő volumen.

Hogyan számítsa ki a súlyozott átlagos csillagbesorolást saját vállalkozására

Ezt a képletet táblázatkezelőben is futtathatja. Használja a jelenlegi értékelésszámát v-ként. Az m becsléséhez a kategóriájában nézze meg a Google Térkép kategóriájában a legjobb három vállalkozás értékelésszámát; annak a csoportnak a 25. percentilise jó becslés m-re. A jelenlegi megjelenített értékelése valószínűleg a WR eredmény; az egyszerű átlaga a csillagok összege osztva a számmal.

Az a szám, ami igazán érdekli, a következő N értékelés hatása. Modellezze le. Adjon hozzá 10-et v-hez, számolja újra a WR-t, és nézze meg, mennyit változik. Tegye ezt különböző v értékekre, hogy feltérképezze az érzékenységi görbét. A görbe legmeredekebb része az, ahol egy új értékelésnek van a legnagyobb hatása; ott kell összpontosítania erőfeszítéseit.

Miért teszi a frissesség az értékelési sebességet fontosabbá, mint az összesített számot

Miután megérti a frissességi lecsengést, a célja megváltozik. Nem csak az értékelések teljes számáról van szó, hanem arról is, hogyan oszlik el ez a szám az időben. Egy vállalkozás, amelynek öt évvel ezelőttről 400 értékelése van, de az elmúlt 18 hónapban semmi, kisebb tényleges mintával dolgozik, mint amit a teljes száma sugall. A lecsengett értékelések kevesebbet járulnak hozzá a súlyozott átlaghoz.

Az értékelések folyamatos áramlása, még egy kicsi is, olyan módon halmozza fel előnyeit, ahogyan egyetlen kiugrás sem. Évente nyolc új értékelést kapni havonta jobb, mint egy hónap alatt 96 értékelést kapni szinte minden mérőszám szerint: Bayes-féle bizalom, anomáliaészlelés elkerülése, a frissességi lecsengés pályája, és az, hogy mennyire hitelesnek tűnik az ügyfelek számára.