Miten Google todella laskee tähtiluokituksesi (se ei ole yksinkertainen keskiarvo)

Analyysi Bayesilaisesta matematiikasta, tuoreuden painotuksesta ja luottamuspisteistä, jotka määrittävät näytettävän luokituksesi, sisältäen todelliset kaavat ja esimerkit.

Useimmat yritysten omistajat oppivat tämän kantapään kautta. Voit saada kaksikymmentä täydellistä viiden tähden arvostelua peräkkäin ja nähdä luokituksesi Googlella tuskin liikkuvan. Tai ehkä työskentelet kuukausia, saat lopulta 50 arvostelua ja huomaat, että 4.8 keskiarvosi näkyy kartalla 4.3:na. Järjestelmä ei ole rikki. Se toimii juuri niin kuin se on rakennettu. Sinulle ei vain kerrottu, miten se rakennettiin.

Google ei ole koskaan virallisesti julkaissut luokitusalgoritmiaan. Sen mekaniikka on kuitenkin laajalti ymmärretty. Tämä johtuu IMDB:n julkisesta dokumentoinnista omasta Bayesilaisesta kaavastaan, Algolian muistiinpanoista sijoituksista, yliopistotutkimuksista arvostelualustoista ja vuosien kokemuksesta, jossa ammattilaiset ovat kääntäneet näkemäänsä. Tämä artikkeli esittää matematiikan käyttäen todellisia lukuja.

Määritellään ensin yksinkertainen keskiarvo ja katsotaan, miksi se on huono työkalu tähän työhön. Aritmeettinen keskiarvo on kaikkien luokitusten summa jaettuna luokitusten määrällä. Jos sinulla on kolme arvostelua (5, 4 ja 5), keskiarvosi on (5+4+5)/3, eli 4.67. Tämä on aritmeettisesti oikein. Mutta tuhansien yritysten sijoittamiseen toisiaan vastaan se on tilastollisesti harhaanjohtavaa.

Ongelmat tällä menetelmällä moninkertaistuvat suuressa mittakaavassa. Kahvila, joka avattiin tällä viikolla kolmella omistajan ystävien hehkuttavalla arvostelulla, sijoittuisi korkeammalle kuin pitkäaikainen kilpailija, jolla on 4.4 keskiarvo 200 arvostelusta. Vakiintunut yritys on paljon luotettavampi signaali laadusta. Mikä tahansa järjestelmä, joka sallii tällaisen tuloksen, voidaan manipuloida hyödyttömäksi lyhyessä ajassa.

Miten Googlen tähtiluokituksen laskenta toimii käytännössä

Bayesilainen luokitus on luottamuksella painotettu keskiarvo. Vain kourallisella arvosteluilla järjestelmällä ei ole tarpeeksi tietoa luottaakseen pisteisiisi. Joten se sekoittaa raaka-keskiarvosi 'priorin' kanssa – oletuspisteen, joka perustuu kaikkiin kaltaisiisi yrityksiin. Kun keräät lisää arvosteluja, järjestelmä luottaa enemmän omiin tietoihisi, ja priorin vaikutus hiipuu.

IMDB käyttää tätä tarkkaa menetelmää Top 250 -elokuvien listallaan ja on julkaissut kaavan: WR = (v/(v+m)) × R + (m/(v+m)) × C. Muuttujat ovat suoraviivaisia, mutta niiden vaikutukset käyttäytymiseen voivat olla yllättäviä. Sama matematiikka esiintyy Algolian hakusijoitusoppaissa, akateemisissa papereissa luokitusjärjestelmistä ja Googlen paikallista hakukäyttäytymistä tutkineiden SEO-asiantuntijoiden työssä.

Yhtälö WR = (v/(v+m)) × R + (m/(m+v)) × C laskee painotetun sekoituksen kahdesta luvusta: yrityksesi havaitusta keskimääräisestä pistemäärästä (R) ja koko kategoriasi keskiarvosta (C). Painot määräytyvät sen mukaan, kuinka monta arvostelua sinulla on (v) verrattuna vähimmäisuskottavuuslukuun (m).

Katsotaan kahta painotuskerrointa: (v/(v+m)) ja (m/(v+m)). Ne summautuvat aina 1.0:ksi. Tämä tarkoittaa, että sekoitat aina omia tietojasi priorin kanssa. Ainoa asia, joka muuttuu, ovat suhteet. Kun v on pieni verrattuna m:ään, priorilla on enemmän vaikutusta. Kun v on suuri verrattuna m:ään, omilla arvosteluillasi on enemmän vaikutusta.

WR = (v / (v + m)) × R + (m / (v + m)) × C

Kynnysarvo m on luku, joka määrittelee alustan luottamustason. IMDB käyttää Top 250 -listallaan m-arvoa noin 25 000 äänelle. Paikallinen kahvila Googlella ei ole samassa luokassa kuin elokuva Avatar, joten sen m on paljon pienempi. Asiantuntijat arvioivat, että Googlen paikallislistauksissa m on yleensä 5–50, riippuen yrityskategoriasta ja markkinoista.

Kategorian keskiarvo C on tässä useimmin unohdettu muuttuja. Se ei ole yksi globaali luku. Google lähes varmasti selvittää C:n lennossa jokaiselle kategorialle ja kaupungille, ja ehkä jopa jokaiselle hakukyselylle. Chicagolainen hammaslääkäri mitataan muita Chicagon hammaslääkäreitä vastaan, ei pizzapaikkoja vastaan maaseudun Texasissa. Pistemääräsi alaraja on siis kategoriasi mukainen.

Miksi painotettu tähtiluokituksen kaava on tärkeä SEO:llesi

Todellinen seuraus on, että ensimmäiset 50 arvosteluasi ovat paljon tärkeämpiä kuin arvostelut 51–150. Mikä tahansa arvostelu, jonka saat uskottavuuskynnyksen m alapuolella, luo suuren muutoksen (v/(v+m)) kertoimeen. Siirtyminen v=5:stä v=10:een kaksinkertaistaa luottamuspainosi. Siirtyminen v=150:stä v=155:een luo muutoksen, jota on vaikea edes mitata.

Tämä matematiikka selittää oudon kuvion, jonka SEO-asiantuntijat näkevät jatkuvasti: yritys kasvaa 3 arvostelusta 30:een ja sen näytetty luokitus laskee 5.0:sta 4.6:een, vaikka kaikki uudet arvostelut olisivat olleet hyviä. Laskelma on oikein. Varhainen 5.0 pisteet olivat Bayesilainen illuusio. 4.6 on ensimmäinen todellinen arvio laadusta.

Käydään läpi kaksi esimerkkiä. Käytämme realistista kategorian keskiarvoa C = 4.1 ja vähimmäiskynnystä m = 50. Nämä ovat kohtuullisia arvioita palvelukategorialle, jossa on kohtalainen kilpailu, kuten putkityöt, hammaslääkäripalvelut tai autohuolto. Voit korvata omat numerosi mallintaaksesi tilannettasi.

Yrityksellä A on täydellinen raakapistemäärä; jokainen asiakas antoi 5 tähteä. Mutta vain 3 arvostelulla kaava antaa sen omille tiedoille vain 5.7 % painon. Muut 94.3 % sen näytetystä pistemäärästä on peräisin kategorian keskiarvosta 4.1. Tulos on 4.15, ei 5.0, jonka se näyttää ansainneen.

Yrityksellä B on alhaisempi raaka-keskiarvo 4.6, joissakin 3- ja 4-tähden arvosteluissa. Mutta sen 120 arvostelua tarkoittaa, että kaava antaa sen omille tiedoille 70.6 % painon. Sen näytetty pistemäärä 4.45 on paljon lähempänä sen todellista suorituskykyä. Googlen algoritmi sijoittaa sen yrityksen A yläpuolelle. Määrä ostaa uskottavuutta. Uskottavuus ostaa sijoituksen.

Alla oleva kaavio käyttää kaavaa kuudelle eri skenaariolle, joissa C = 4.1 ja m = 50. 'Delta'-sarake paljastaa, kuinka kaukana Bayesilainen pistemäärä on yksinkertaisesta keskiarvosta. Näetkö, miten tämä ero pienenee arvostelumäärän kasvaessa? Se on priorin vaikutuksen hiipumista, kun lisää todisteita saapuu.

Kertovin rivi on viimeinen. Yritys, jolla on vain 5 arvostelua ja surkea 2.0 raaka-keskiarvo, näyttää silti 3.85 pistemäärän. Se nousee lähes kaksi täyttä tähteä kategorian keskiarvon ansiosta. Tämä on tarkoituksellista. Järjestelmä ei tuhoa yritystä vain viiden datapisteen perusteella. Se suojaa vetoaan keskiarvoon, kunnes otoskoko on riittävän suuri luotettavaksi.

Tämä negatiivisten poikkeamien pehmittävä vaikutus on syy siihen, miksi arvostelupommitus – tarkoituksellinen väärien 1 tähden arvostelujen kampanja – on vähemmän vahingollista kuin miltä se aluksi näyttää. Algoritmi torjuu äärimmäisiä tuloksia, jos arvostelumäärä on liian alhainen niiden tukemiseen. Lisäksi Googlen järjestelmät on rakennettu havaitsemaan ja merkitsemään kaikenlaiset nopeasti leviävät arvostelukampanjat, positiiviset tai negatiiviset, mikä rikkoo alustan käytäntöjä.

Bayesilainen kaava tarjoaa perustan, mutta Googlen todellisessa järjestelmässä on vähintään kolme muuta komponenttia: tuoreuden heikkeneminen, arvostelijan luottamus ja vaimennus äkillisille nopeuspiikeille. Google ei ole vahvistanut näitä. Ne kaikki on päätelty järjestelmän käyttäytymisen havainnoinnista ja patenttien analysoinnista.

Perus Bayesilainen kaava on lähtökohta. Muut kerrokset tekevät lopullisesta pistemäärästä vaikeammin huijattavan ja tarkemman nykyhetkessä. Tavoite on aina sama: näyttää luokitus, joka heijastaa sitä, mitä asiakas voi odottaa, jos hän vierailee tänään.

Tuoreuden painotus: miksi viimeiset 90 päivää ovat hallitsevia

Google soveltaa arvosteluihin ajan heikkenemistekijää, arvostaen tuoretta palautetta enemmän kuin vanhaa palautetta. Tämä toimii kuin eksponentiaalinen hajoamisfunktio: arvostelun voima hiipuu ajan myötä sen sijaan, että se putoaisi jyrkästi tiettynä päivänä.^[1]

SEO-yhteisön analyysi Googlen luokitusjärjestelmästä osoittaa, että yli 12–18 kuukautta vanhoilla arvosteluilla on noin 30–50 % vähemmän vaikutusta kuin viime viikolla saadulla arvostelulla. Kolme vuotta sitten saatu 5 tähden arvostelu lasketaan edelleen, mutta se lasketaan vähemmän. Tämä tarkoittaa, että yritys, joka sai 80 arvostelua vuonna 2022, mutta ei yhtään sen jälkeen, toimii hiipuvalla signaalilla.

w(t) = exp(-λ × Δt)

where:
  Δt = days since review was posted
  λ  = decay constant (estimated ~0.003–0.008 for Google)
  w(t) = weight applied to that review in the running average

Arvostelijan luottamus: miksi Level 7 Local Guiden arvostelu painaa enemmän

Googlen arvostelijoiden luottamusjärjestelmä voidaan päätellä sen patenteista ja seuraamalla, miten luokitukset muuttuvat. Patentti US8818995B1 kuvaa hakusijoitusjärjestelmän, joka painottaa syötteitä lähteen luottamustason perusteella. Arvostelujen osalta tämä tarkoittaa, että Level 7 Local Guide, jolla on satojen yksityiskohtaisten arvostelujen historia, on korkean luottamuksen lähde.^[2]

Todellinen vaikutus on, että Level 7 Local Guiden 5 tähden arvostelulla on todennäköisesti enemmän painoarvoa kuin uuden tilin 5 tähden arvostelulla, jolla ei ole historiaa. Kyse ei ole itse tähtiarvosta; molemmat ovat '5' laskelmassa. Mutta niihin sovellettava paino ennen keskiarvoistamista on erilainen. Google ei ole koskaan ilmoittanut, kuinka suuri tämä ero on.

Poikkeamien vaimennus: mitä tapahtuu, jos 40 arvostelua ilmestyy yhden viikon aikana

Nopeuspiikit laukaisevat erillisen havaitsemisjärjestelmän. Jos yritys, joka normaalisti saa 2–3 arvostelua kuukaudessa, saa yhtäkkiä 40 arvostelua 72 tunnissa, Googlen järjestelmä merkitsee kuvion. Tämä ei johda automaattiseen poistamiseen, vaan karanteeniin. Uudet arvostelut eivät näy julkisessa määrässä tai luokituksessa, kun järjestelmä tutkii asiaa.^[3]

Tämä mekanismi on syy siihen, miksi arvosteluja ostavat yritykset eivät usein näe muutosta tai jopa näkevät luokitustensa laskevan, kun vanhat, todelliset arvostelut pysyvät näkyvissä, kun taas uudet väärennökset ovat limbo-tilassa. Tämä käytäntö rikkoo Googlen käytäntöjä ja on Yhdysvalloissa laiton FTC:n sääntöjen mukaan. Algoritmi on rakennettu epäilemään äkillisiä muutoksia, jotka eivät vastaa yrityksen vakiintunutta mallia.

Tässä on kaksi skenaariota, jotka on mallinnettu todellisten tapausten perusteella. Ne eivät ole fiktiota; nämä kuviot ilmestyvät yhä uudelleen maineenhallinnan ammattilaisten raporteissa.

Hammaslääkäriesimerkki osoittaa Bayesilaisen luokituksen pääoppitunnin: alhaisempi raaka-keskiarvo suurella luottamuksella on parempi kuin korkea raaka-keskiarvo alhaisella luottamuksella. Näytetty pistemäärä laski (teoreettisesta 4.9:stä näkyvään 4.58:aan), mutta sen hakusijoitus nousi, koska luottamuspaino oli nyt vakaa.

Ravintolan piikkiesimerkki osoittaa, miksi luonnollinen tahti on tärkeä. Googlen järjestelmät on suunniteltu havaitsemaan epäluonnollinen nopeus. Neljäkymmentä arvostelua viikossa, sitten kaksi kuukautta ilman arvosteluja, ei vain näytä epäilyttävältä. Vaimennettu tehollinen määrä tarkoittaa, että maksoit turhaan. Matematiikka rankaisee tästä kahdesti: poikkeamien havaitseminen alentaa näkyvää määrää, ja tuoreuden heikkeneminen tarkoittaa, että piikin arvostelut alkavat hiipua lähes heti.

Bayesilainen keskiarvoistus ei ole ainoa vakaa tilastollinen menetelmä. Evan Millerin vuonna 2009 julkaistu artikkeli 'How Not to Sort by Average Rating' teki toisesta menetelmästä kuuluisan: Wilsonin pisteiden luottamusvälin alaraja. Reddit käyttää sitä kommenttien sijoittamiseen. Yelp käyttää sen versiota.

score = ( p̂ + z²/2n - z√(p̂(1-p̂)/n + z²/4n²) ) / ( 1 + z²/n )

where:
  p̂  = observed positive proportion (e.g. 4+5 star / total)
  n   = total number of ratings
  z   = 1.96  (for 95% confidence interval)
  score = lower-bound of the true positive rate

Wilsonin pisteet vastaavat eri kysymykseen kuin Bayesilainen keskiarvo. Sen sijaan, että kysyttäisiin 'Miten minun pitäisi sekoittaa tietoni priorin kanssa?', se kysyy 'Ottamalla huomioon nykyiset luokitukseni, mikä on todellisen laatuni alin mahdollinen arvo 95 % luottamuksella?' Tämä antaa konservatiivisen pistemäärän, joka rankaisee epävarmuutta vieläkin ankarammin kuin Bayesilainen keskiarvoistus hyvin pienillä arvostelumäärillä.

Kolmas menetelmä, Dirichlet-Multinomial-malli, käsittelee kutakin viidestä tähtiarvosta erillisenä luokkana, ei yhtenä jatkuvana linjana. District Data Labs on dokumentoinut tämän monitähtijärjestelmille. Se on matemaattisesti tiukempi kuin IMDB:n kaava (joka käsittelee tähtiä lineaarisina), mutta se on myös vaikeampi laskea. Käytännössä Bayesilaisen keskiarvon ja Dirichlet-mallin ero on pieni, kun sinulla on yli noin 30 arvostelua.

Kun ymmärrät matematiikan, epämääräisestä neuvosta 'hanki lisää arvosteluja' tulee mitattavissa oleva suunnitelma. Jokainen yritys on jossain v/(v+m) käyrällä. Oman sijaintisi tietäminen kertoo, kuinka paljon seuraava arvostelusi todella muuttaa pistemäärääsi.

Jos v = 8 ja m = 50, yksi uusi 5 tähden arvostelu siirtää luottamuspainosi 8/58:sta (0.138) 9/59:ään (0.153). Se on merkittävä 1.5 prosenttiyksikön hyppy. Jos v = 300 ja m = 50, sama arvostelu siirtää sinut 300/350:stä (0.857) 301/351:een (0.858), lähes näkymätön muutos. Määrällä alussa on kymmenen kertaa suurempi matemaattinen voima kuin määrällä mittakaavassa.

Miten laskea painotettu keskiarvo tähtiluokitus omalle yrityksellesi

Voit suorittaa tämän kaavan laskentataulukossa. Käytä nykyistä arvostelumäärääsi v:nä. Arvioidaksesi m:n kategoriallesi, katso kolmen parhaan yrityksen arvostelumääriä Google Maps -kategoriassasi; tämän ryhmän 25. prosenttipiste on hyvä arvaus m:lle. Nykyinen näytetty luokituksesi on todennäköisesti WR-tulos; yksinkertainen keskiarvosi on tähtien summa jaettuna määrällä.

Luku, josta todella välität, on seuraavien N arvostelun vaikutus. Mallinna se. Lisää 10 v:hen, laske WR uudelleen ja katso, kuinka paljon se muuttuu. Tee tämä useille v-arvoille kartoittaaksesi herkkyyskäyrän. Käyrän jyrkin osa on se, missä uudella arvostelulla on suurin vaikutus; siihen sinun tulisi keskittää ponnistelusi.

Miksi tuoreus tekee arvostelujen nopeudesta tärkeämpää kuin kokonaismäärästä

Kun ymmärrät tuoreuden heikkenemisen, tavoitteesi muuttuu. Kyse ei ole vain arvostelujen kokonaismäärästä, vaan siitä, miten tämä määrä jakautuu ajan mittaan. Yritys, jolla on 400 arvostelua viisi vuotta sitten, mutta ei mitään viimeisten 18 kuukauden aikana, toimii pienemmällä tehollisella otoksella kuin sen kokonaismäärä antaa ymmärtää. Heikentyneet arvostelut vaikuttavat vähemmän painotettuun keskiarvoon.

Tasainen arvosteluvirta, jopa pieni, moninkertaistaa hyötynsä tavoilla, joihin yksittäinen purskahdus ei pysty. Kahdeksan uuden arvostelun saaminen joka kuukausi vuoden ajan johtaa vakaampaan, korkeammin sijoittuvaan pistemäärään kuin 120 arvostelun saaminen yhdessä kuukaudessa lähes kaikilla mittareilla: Bayesilainen luottamus, poikkeamien havaitsemisen selvittäminen, tuoreuden heikkenemisen kehitys ja se, kuinka uskottavalta näytät asiakkaille.