Tek cevap değil, tekrar
Çıktı değişkenliğini görünür kılmak için bağımsız (sıfır bağlam) gözlemler.
METODOLOJİ · V1.1
Ölçüm anlaşılır değilse, öneri de güvenilir değildir.
AI görünürlüğünü tek ekran görüntüsü veya açıklanmayan puanla değerlendirmiyoruz. Her bulgu sorgu, tekrar, ham kanıt, kural ve sınırlamayla ilişkilidir.
Skor değil, ayrı metrik
Anılma, öneri, konum ve kaynak birbirine karıştırılmaz.
İddia değil, kanıt izi
Sonucun dayandığı kayıt ve sınıflandırma korunur.
- 01
Sorgu setini ve seçilim kurallarını dondur
Pazar, dil, tedavi ve ticari kapsam çalışma başlamadan önce sabitlenir. Sorgular; pazar liderleri, hasta niyetleri (örn. kalite, güvenlik, fiyat) ve tarafsızlık gözetilerek seçilir. Rakipler, mevcut klinik hacmi ve AI öneri eğilimlerine göre belirlenir.
- 02
Bağımsız tekrarlar al (Sıfır bağlam)
Her sorgu birden fazla bağımsız oturumda çalıştırılır. Her oturum (session) sıfır geçmiş bağlam (context zero) ile başlatılır. Tek bir cevap kesin kanıt sayılmaz.
- 03
Sağlayıcı, model ve kapsamı kaydet
Dil, pazar (lokalizasyon kuralları), tarih, sağlayıcı (örn. OpenAI), model sürümü (örn. gpt-4o), başarılı gözlem sayısı ve olası reddedilme/zaman aşımı durumları tek tek raporlanır.
- 04
Ham cevapları koru
İncelemenin dayandığı çıktılar geçerli lisans ve gizlilik koşulları içinde saklanır. Sınıflandırma hatalarını önlemek için ham metne her zaman dönülebilir.
- 05
Bilinen varlıkları eşleştir
Klinik adları, alan adları ve doğrulanmış varyasyonlar deterministik kurallarla eşleştirilir.
- 06
Belirsiz varlıkları manuel incele
Bilinmeyen klinikler, belirsiz sıralama dili ve kaynak ilişkileri insan incelemesine gider.
- 07
Yalnızca açık sıralamayı kabul et
Açık sıra numarası veya öneri dili yoksa metindeki geçiş konum sayılmaz.
- 08
Aynı kapsamla yeniden ölç
Pazar, dil, sorgular ve kurallar mümkün olduğunca sabit tutularak değişim ölçülür.
METRİK FORMÜLLERİ
Payda saklanmaz.
Oranlar başarılı gözlem sayısı üzerinden verilir. Sağlayıcı kesintileri (network failures) paydadan çıkarılır ve yeniden denenir. Geçerli retler (refusals) veya boş cevaplar başarılı gözlem (successful observation) sayılır ve paydaya dahil edilir.
Anılma oranı
Kliniğin adının geçtiği başarılı cevaplarToplam başarılı cevaplar
Açık öneri oranı
Açıkça önerilen veya sıralanan cevaplarToplam başarılı cevaplar
Üst konum oranı
Tanımlı öncü konumlardaki (ilk 3) açık önerilerToplam başarılı cevaplar
Kaynak oranı
İncelenen klinik ilişkili kaynak (3. taraf dahil) içeren cevaplarToplam başarılı cevaplar
Ortalama öneri konumu
Boş olmayan açık konumların toplamıKonum verisi olan açık öneriler
TEKNİK TANIMLAR
Kavramların Kesin Anlamları
Independent Run (Bağımsız Gözlem)
Sıfır önceki bağlam veya hafıza ile başlatılan tamamen yeni ve bağımsız bir yapay zeka oturumu.
Successful Observation (Başarılı Gözlem)
Ağ hatası (network error) veya içerik politikası engeli (content policy block) olmadan tamamlanan üretim.
Provider Failure (Sağlayıcı Hatası)
Platformun cevap veremediği durumlar. Paydadan çıkarılır ve gözlem yeniden denenir.
Model & Sürüm Logu
Testin yapıldığı anki kesin LLM sürümü (örn. gpt-4o-2024-08-06) her benchmark için kayıt altına alınır.
Pazar Lokalizasyonu
Hasta lokasyonunu simüle etmek için VPN yönlendirmeleri veya sistem dil ayarlamaları (locale) kullanılır.
Rakip Seçimi
Rakipler doğrudan klinik tarafından belirlenir veya AI cevaplarından organik olarak çıkarılır.
SORGU TAKSONOMİSİ
Örnek Sorgu Kategorileri
Müşterinin lehine seçim yanlılığını (selection bias) önlemek için sorgular aşağıdaki çeşitli hasta niyetlerine (intent) göre gruplanır.
- En İyi / Top Listeler
- Karşılaştırmalar
- Kalite & Uzmanlık Odaklı
- Hekim & Teknik Odaklı
- Güvenlik & Sertifikasyon
- Fiyat / Değer Oranı
- Lokalizasyon (Örn. UK hastası)
METODOLOJİNİN KANITLAYAMAYACAĞI ŞEYLER
Görünürlük tek başına iş sonucu değildir.
Benchmark gelir, hasta talebi, klinik kalite, tedavi sonucu veya kalıcı AI sıralaması kanıtlamaz. Gözlem ile nedensellik çıkarımını ayrı tutar.
ŞEFFAF BAŞLANGIÇ