Google Yıldız Derecelendirmenizi Gerçekten Nasıl Hesaplar (Basit Bir Ortalama Değil)

Görüntülenen derecelendirmenizi belirleyen Bayes matematiğinin, güncellik ağırlıklandırmasının ve güven puanlamasının gerçek formüller ve örneklerle birlikte ayrıntılı bir analizi.

Çoğu işletme sahibi bu dersi zor yoldan öğrenir. Art arda yirmi mükemmel beş yıldızlı yorum alabilir ve Google'daki derecelendirmenizin zar zor değiştiğini görebilirsiniz. Ya da aylarca çalışıp sonunda 50 yoruma ulaşır ve 4.8 ortalamanızın haritada 4.3 olarak göründüğünü fark edersiniz. Sistem bozuk değil. Tam da inşa edildiği gibi çalışıyor. Size nasıl inşa edildiği söylenmedi sadece.

Google, derecelendirme algoritmasını hiçbir zaman resmi olarak yayınlamadı. Ancak, mekaniği geniş çapta anlaşılmıştır. Bu, IMDB'nin kendi Bayes formülünü kamuya açıklayan belgeleri, Algolia'nın sıralama hakkındaki notları, inceleme platformları üzerine üniversite araştırmaları ve yıllarca uygulayıcıların gördüklerini tersine mühendislikle çözmeleri sayesinde olmuştur. Bu yazı, gerçek sayılar kullanarak matematiği ortaya koymaktadır.

Öncelikle, basit bir ortalamayı tanımlayalım ve bu iş için neden kötü bir araç olduğunu görelim. Aritmetik ortalama, tüm derecelendirmelerin toplamının derecelendirme sayısına bölünmesidir. Üç yorumunuz varsa (5, 4 ve 5), ortalamanız (5+4+5)/3 veya 4.67'dir. Bu aritmetik olarak doğrudur. Ancak binlerce işletmeyi birbiriyle karşılaştırmak için istatistiksel olarak yanıltıcıdır.

Bu yöntemin sorunları büyük ölçekte katlanarak artar. Bu hafta açılan ve sahibinin arkadaşlarından üç parlak yorum alan bir kafe, 200 yorumdan 4.4 ortalamaya sahip köklü bir rakipten daha yüksek sıralarda yer alacaktır. Köklü işletme, kalitenin çok daha güvenilir bir sinyalidir. Bu tür bir sonuca izin veren herhangi bir sistem, kısa sürede manipüle edilerek işe yaramaz hale getirilebilir.

Google'ın yıldız derecelendirme hesaplaması sahada nasıl çalışır?

Bayes derecelendirmesi, güvene göre ağırlıklandırılmış bir ortalamadır. Yalnızca birkaç yorumla, sistem puanınıza güvenmek için yeterli veriye sahip değildir. Bu nedenle, ham ortalamanızı bir 'öncül' ile karıştırır; bu, sizin gibi tüm işletmelerin ortalamasına dayalı varsayılan bir puandır. Daha fazla yorum topladıkça, sistem kendi verilerinize daha fazla güvenir ve öncülün etkisi azalır.

IMDB, En İyi 250 film listesi için bu yöntemi kullanır ve formülü yayınlamıştır: WR = (v/(v+m)) × R + (m/(v+m)) × C. Değişkenler basittir, ancak davranış üzerindeki etkileri şaşırtıcı olabilir. Aynı matematik, Algolia'nın arama sıralama kılavuzlarında, derecelendirme sistemleri üzerine akademik makalelerde ve Google'ın yerel arama davranışını inceleyen SEO uzmanlarının çalışmalarında da görülür.

WR = (v/(v+m)) × R + (m/(v+m)) × C denklemi, iki sayının ağırlıklı bir karışımını hesaplar: işletmenizin gözlemlenen ortalama puanı (R) ve tüm kategorinizin ortalaması (C). Ağırlıklar, sahip olduğunuz yorum sayısına (v) ve minimum güvenilirlik sayısına (m) göre belirlenir.

İki ağırlıklandırma faktörüne bakın: (v/(v+m)) ve (m/(v+m)). Bunlar her zaman 1.0'a eşittir. Bu, kendi verilerinizi her zaman öncül ile harmanladığınız anlamına gelir. Değişen tek şey oranlardır. v, m'ye kıyasla küçük olduğunda, öncül daha fazla etkiye sahiptir. v, m'ye kıyasla büyük olduğunda, kendi yorumlarınız daha fazla etkiye sahiptir.

WR = (v / (v + m)) × R + (m / (v + m)) × C

Eşik değeri m, platformun güven standardını tanımlayan sayıdır. IMDB, En İyi 250 listesi için yaklaşık 25.000 oy kullanır. Google'daki yerel bir kahve dükkanı, Avatar filmiyle aynı ligde değildir, bu yüzden m değeri çok daha düşüktür. Uygulayıcılar, Google yerel listeleri için m'nin, işletme kategorisine ve pazara bağlı olarak genellikle 5 ila 50 arasında olduğunu tahmin etmektedir.

Kategori ortalaması C, burada en çok göz ardı edilen değişkendir. Tek bir küresel sayı değildir. Google, C'yi her kategori ve şehir için, hatta belki her arama sorgusu için anında hesaplar. Chicago'daki bir diş hekimi, kırsal Teksas'taki pizzacılarla değil, diğer Chicago diş hekimleriyle karşılaştırılır. Bu nedenle puanınızın alt sınırı kategorinize özeldir.

Ağırlıklı yıldız derecelendirme formülü SEO'nuz için neden önemlidir?

Gerçek dünyadaki sonuç, ilk 50 yorumunuzun 51 ila 150. yorumlardan çok daha önemli olmasıdır. Güvenilirlik eşiği m'nin altında aldığınız her yorum, (v/(v+m)) katsayısında büyük bir değişiklik yaratır. v=5'ten v=10'a geçmek, güven ağırlığınızı iki katına çıkarır. v=150'den v=155'e geçmek, ölçülmesi bile zor bir değişiklik yaratır.

Bu matematik, SEO uzmanlarının sürekli gördüğü garip bir deseni açıklıyor: bir işletme 3 yorumdan 30 yoruma yükseliyor ve tüm yeni yorumlar iyi olsa bile görüntülenen derecelendirmesinin 5.0'dan 4.6'ya düştüğünü görüyor. Hesaplama doğru. Erken 5.0 puanı bir Bayes yanılsamasıydı. 4.6, kalitenin ilk gerçek tahminidir.

İki örneği inceleyelim. Gerçekçi bir kategori ortalaması olan C = 4.1 ve minimum eşik olan m = 50 kullanacağız. Bunlar, tesisat, diş hekimliği veya otomobil servisi gibi orta düzeyde rekabete sahip bir hizmet kategorisi için adil tahminlerdir. Kendi durumunuzu modellemek için kendi sayılarınızı kullanabilirsiniz.

A İşletmesi mükemmel bir ham puana sahiptir; her müşteri 5 yıldız vermiştir. Ancak sadece 3 yorumla, formül kendi verilerine yalnızca %5.7 ağırlık verir. Görüntülenen puanının diğer %94.3'ü 4.1 olan kategori ortalamasından türetilmiştir. Sonuç, kazanmış gibi görünen 5.0 değil, 4.15'tir.

B İşletmesi, 3 ve 4 yıldızlı bazı yorumlarla 4.6'lık daha düşük bir ham ortalamaya sahiptir. Ancak 120 yorumu, formülün kendi verilerine %70.6 ağırlık vermesi anlamına gelir. Görüntülenen 4.45 puanı, gerçek performansına çok daha yakındır. Google'ın algoritması onu A İşletmesi'nin üzerinde sıralayacaktır. Hacim size güvenilirlik kazandırır. Güvenilirlik size sıralama kazandırır.

Aşağıdaki grafik, C = 4.1 ve m = 50 ile altı farklı senaryo için formülü kullanır. 'Delta' sütunu, Bayes puanının basit ortalamadan ne kadar uzakta olduğunu gösterir. Yorum sayısı arttıkça bu farkın nasıl kapandığını görüyor musunuz? Bu, daha fazla kanıt geldikçe öncülün etkisinin azalmasıdır.

En açıklayıcı satır sonuncusudur. Sadece 5 yorumu ve kötü bir 2.0 ham ortalaması olan bir işletme hala 3.85 puan gösterir. Kategori ortalaması tarafından neredeyse iki tam yıldız yukarı çekilir. Bu kasıtlıdır. Sistem, sadece beş veri noktasına dayanarak bir işletmeyi mahvetmez. Örneklem boyutu güvenilebilecek kadar büyük olana kadar ortalamaya doğru bahsini korur.

Olumsuz aykırı değerler için bu tamponlama etkisi, yorum bombardımanının (sahte 1 yıldızlı yorumların kasıtlı bir kampanyası) ilk başta göründüğünden daha az zarar verici olmasının nedenidir. Algoritma, yorum sayısı onları desteklemek için çok düşükse aşırı sonuçlarla savaşır. Ayrıca, Google'ın sistemleri, platform politikasını ihlal eden her türlü, olumlu veya olumsuz, yüksek hızlı yorum kampanyalarını tespit etmek ve işaretlemek için tasarlanmıştır.

Bayes formülü temeli sağlar, ancak Google'ın gerçek sistemi en az üç bileşen daha içerir: güncellik azalması, katkıda bulunanın güveni ve ani hız artışları için sönümleme. Google bunları doğrulamadı. Hepsi sistem davranışını gözlemleyerek ve patentleri analiz ederek çıkarılmıştır.

Temel Bayes formülü başlangıç noktasıdır. Diğer katmanlar, nihai puanı manipüle etmeyi zorlaştırır ve şu anki anda daha doğru hale getirir. Amaç her zaman aynıdır: bir müşterinin bugün ziyaret ederse ne bekleyebileceğini yansıtan bir derecelendirme göstermek.

Güncellik ağırlıklandırması: son 90 gün neden baskın?

Google, yorumlara zamanla azalan bir faktör uygular, eski geri bildirimlerden çok yeni geri bildirimlere değer verir. Bu, üstel bir azalma fonksiyonu gibi çalışır: bir yorumun gücü belirli bir tarihte aniden düşmek yerine zamanla azalır.^[1]

SEO topluluğu tarafından Google'ın derecelendirme sisteminin analizi, 12-18 aydan eski yorumların geçen haftaki bir yorumdan yaklaşık %30-50 daha az etkiye sahip olduğunu göstermektedir. Üç yıl önceki 5 yıldızlı bir yorum hala sayılır, ancak daha az sayılır. Bu, 2022'de 80 yorum alan ancak o zamandan beri hiç yorum almayan bir işletmenin azalan bir sinyal üzerinde çalıştığı anlamına gelir.

w(t) = exp(-λ × Δt)

where:
  Δt = days since review was posted
  λ  = decay constant (estimated ~0.003–0.008 for Google)
  w(t) = weight applied to that review in the running average

Katkıda bulunanın güveni: Neden Seviye 7 Yerel Rehber'den gelen bir yorum daha fazla sayılır?

Google'ın yorumcular için güven sistemi, patentlerinden ve derecelendirmelerin nasıl değiştiğini izleyerek çıkarılabilir. US8818995B1 patenti, kaynak güven düzeyine göre girdileri ağırlıklandıran bir arama sıralama sistemini özetlemektedir. Yorumlar için bu, yüzlerce ayrıntılı yorum geçmişine sahip bir Seviye 7 Yerel Rehber'in yüksek güvenli bir kaynak olduğu anlamına gelir.^[2]

Gerçek dünyadaki etkisi, Seviye 7 Yerel Rehber'den gelen 5 yıldızlı bir yorumun, geçmişi olmayan yeni bir hesaptan gelen 5 yıldızlı bir yorumdan muhtemelen daha fazla ağırlığa sahip olmasıdır. Bu, yıldız değerinin kendisiyle ilgili değildir; her ikisi de hesaplamada '5'tir. Ancak ortalaması alınmadan önce her birine uygulanan ağırlık farklıdır. Google bu farkın ne kadar büyük olduğunu hiçbir zaman belirtmemiştir.

Anomali sönümlemesi: bir haftada 40 yorum gelirse ne olur?

Hızdaki ani artışlar ayrı bir tespit sistemini tetikler. Normalde ayda 2-3 yorum alan bir işletme aniden 72 saat içinde 40 yorum alırsa, Google'ın sistemi bu deseni işaretler. Bu otomatik silmeye yol açmaz, ancak karantinaya alınmaya yol açar. Yeni yorumlar, sistem araştırma yaparken genel sayımda veya derecelendirmede görünmez.^[3]

Bu mekanizma, yorum satın alan işletmelerin genellikle hiçbir değişiklik görmemesinin, hatta eski, gerçek yorumlar görünür kalırken yeni sahtelerin belirsizlik içinde tutulması nedeniyle derecelendirmelerinin düşmesinin nedenidir. Bu uygulama Google'ın politikalarını ihlal eder ve ABD'de FTC kurallarına göre yasa dışıdır. Algoritma, bir işletmenin yerleşik düzenine uymayan ani değişikliklere güvenmemek için tasarlanmıştır.

İşte gerçek dünya vakalarına göre modellenmiş iki senaryo. Bunlar kurgu değildir; bu modeller itibar yönetimi uzmanlarından gelen raporlarda tekrar tekrar ortaya çıkmaktadır.

Diş hekimi örneği, Bayes derecelendirmesinin ana dersini gösterir: yüksek güvenle daha düşük bir ham ortalama, düşük güvenle yüksek bir ham ortalamadan daha iyidir. Görüntülenen puan düştü (teorik 4.9'dan görünür 4.58'e), ancak arama sıralaması yükseldi çünkü güven ağırlığı artık sağlamdı.

Restoran ani artış örneği, doğal bir hızın neden önemli olduğunu gösteriyor. Google'ın sistemleri, doğal olmayan hızı tespit etmek için tasarlanmıştır. Bir haftada kırk yorum, ardından iki ay yorum yok, sadece şüpheli görünmekle kalmaz. Sönümlenmiş etkili sayı, hiçbir şey için para ödediğiniz anlamına gelir. Matematik bunu iki kez cezalandırır: anomali tespiti görünür sayıyı düşürür ve güncellik azalması, ani artışın yorumlarının neredeyse hemen solmaya başladığı anlamına gelir.

Bayes ortalaması, tek sağlam istatistiksel yöntem değildir. Evan Miller'ın 2009 tarihli 'Ortalama Derecelendirmeye Göre Nasıl Sıralanmaz' makalesi başka bir yöntemi ünlü yaptı: Wilson puanı güven aralığının alt sınırı. Reddit yorumları sıralamak için bunu kullanır. Yelp de bunun bir versiyonunu kullanır.

score = ( p̂ + z²/2n - z√(p̂(1-p̂)/n + z²/4n²) ) / ( 1 + z²/n )

where:
  p̂  = observed positive proportion (e.g. 4+5 star / total)
  n   = total number of ratings
  z   = 1.96  (for 95% confidence interval)
  score = lower-bound of the true positive rate

Wilson puanı, Bayes ortalamasından farklı bir soruyu yanıtlar. 'Verilerimi bir öncül ile nasıl harmanlamalıyım?' diye sormak yerine, 'Mevcut derecelendirmelerim göz önüne alındığında, gerçek kalitem %95 güvenle en düşük ne olabilir?' diye sorar. Bu, çok düşük yorum sayılarında Bayes ortalamasından bile daha ağır bir şekilde belirsizliği cezalandıran muhafazakar bir puan verir.

Üçüncü bir yöntem olan Dirichlet-Multinomial modeli, beş yıldız değerinin her birini tek bir sürekli çizgi değil, ayrı birer kova olarak ele alır. District Data Labs, bunu çok yıldızlı sistemler için belgelemiştir. IMDB formülünden (yıldızları doğrusal olarak ele alır) matematiksel olarak daha titizdir, ancak hesaplaması da daha zordur. Uygulamada, yaklaşık 30'dan fazla yorumunuz olduğunda Bayes ortalaması ile Dirichlet modeli arasındaki fark çok küçüktür.

Matematiği anladığınızda, 'daha fazla yorum alın' şeklindeki belirsiz tavsiye ölçülebilir bir plana dönüşür. Her işletme v/(v+m) eğrisinin bir yerindedir. Konumunuzu bilmek, bir sonraki yorumunuzun puanınızı ne kadar değiştireceğini size söyler.

Eğer v = 8 ve m = 50 ise, bir yeni 5 yıldızlı yorum güven ağırlığınızı 8/58'den (0.138) 9/59'a (0.153) taşır. Bu, anlamlı bir 1.5 yüzde puanlık bir sıçramadır. Eğer v = 300 ve m = 50 ise, aynı yorum sizi 300/350'den (0.857) 301/351'e (0.858) taşır, bu neredeyse görünmez bir değişikliktir. Başlangıçtaki hacim, ölçekteki hacmin on katı matematiksel güce sahiptir.

Kendi işletmeniz için ağırlıklı ortalama yıldız derecelendirmesi nasıl hesaplanır?

Bu formülü bir elektronik tabloda çalıştırabilirsiniz. v için mevcut yorum sayınızı kullanın. Kategoriniz için m'yi tahmin etmek için, Google Haritalar kategorinizdeki ilk üç işletmenin yorum sayılarına bakın; bu grubun 25. yüzdelik dilimi m için iyi bir tahmindir. Mevcut görüntülenen derecelendirmeniz muhtemelen WR sonucudur; basit ortalamanız, yıldızların sayısına bölünmesiyle elde edilen toplamdır.

Gerçekten önem verdiğiniz sayı, sonraki N yorumun etkisidir. Bunu modelleyin. v'ye 10 ekleyin, WR'yi yeniden hesaplayın ve ne kadar değiştiğini görün. Bir duyarlılık eğrisi oluşturmak için bunu bir dizi v değeri için yapın. Bu eğrinin en dik kısmı, yeni bir yorumun en büyük etkiye sahip olduğu yerdir; çabalarınızı buraya odaklamalısınız.

Güncelliğin yorum hızını toplam sayıdan neden daha önemli kıldığı?

Güncellik azalmasını kavradığınızda, hedefiniz değişir. Sadece toplam yorum sayısı değil, bu sayının zaman içinde nasıl dağıldığı da önemlidir. Beş yıl önce 400 yorumu olan ancak son 18 ayda hiç yorum almayan bir işletme, toplam sayısının önerdiğinden daha küçük etkili bir örneklemle çalışmaktadır. Azalan yorumlar, ağırlıklı ortalamaya daha az katkıda bulunur.

Küçük de olsa istikrarlı bir yorum akışı, tek bir ani artışın yapamayacağı şekillerde faydalarını biriktirir. Bir yıl boyunca her ay sekiz yeni yorum almak, tek bir ayda 96 yorum almaktan neredeyse her ölçüde daha iyidir: Bayes güveni, anomali tespitini geçme, güncellik azalmasının seyri ve müşterilere ne kadar güvenilir göründüğünüz.