Uzman Doktor Adaylarının Girdiği TUS’a Yapay Zeka Katıldı: Zirvedeki Modeller Yine Şaşırttı

Alican Kiraz’ın paylaştığı benchmark’ta 30 farklı LLM, toplamda 72 TUS sorusuyla değerlendirildi. Sorular arasında 2026’nın 1. dönem TUS’unda yayımlanan sorular ile 2023-2025 dönemindeki sınavlardan alınan sorular da yer aldı.

Benchmark’ta modellerin yalnızca doğru cevap sayıları değil, yanlış cevapları, geçersiz cevapları, harcadıkları token miktarı ve API kullanım maliyetleri de göz önünde bulunduruldu. Kullanılan değerlendirme yönteminde net puan, doğru cevap sayısından yanlış cevapların dörtte birinin çıkarılmasıyla hesaplandı.

Toplamda 30 modelin 72 soruya verdiği 2.160 yanıt değerlendirildi. Modeller test süresince yaklaşık 1,96 milyon token tüketirken toplam maliyet yalnızca 5,55 dolar oldu.

Listenin zirvesinde tek bir model yok. Tam olarak 9 farklı model, 72 sorunun 71’ini doğru yanıtlayarak 70,75 net ve 100 üzerinden 98,3 puana ulaştı.

Bu grup içerisinde Gemini 3.7 Flash, MiniMax M3, Gemini 3.6 Flash, GLM 5.2, Claude Opus 5, Muse Spark 1.2, GPT-5.6 Sol, Claude Opus 4.8 ve Gemini 3.1 Pro bulunmakta.

Dolayısıyla paylaşımda MiniMax M3’ün özellikle vurgulanmasına rağmen tabloya bakıldığında bu modelin tek başına birinciliği yoktur. MiniMax M3 da dahil olmak üzere diğer tüm modeller zirveyi paylaşmaktadır.

Ayrıca modellerin tamamı yalnızca birer soru farkıyla birbirinden ayrılıyor; zirvedeki her model toplamda 72 sorunun 71’ini doğru yanıtlamış durumda.

Benchmark’ta listede onuncu sırada yer alan modellerin hepsi toplamda 70 doğru yanıt ve ortalama olarak 69,50 net ile birlikte 96,5 puana ulaşmayı başardı.

Bu grup içerisinde DeepSeek V4 Flash 0731, GPT-5.6 Luna, Gemma 4 31B, Inkling Small gibi çeşitli isimler bulunmaktadır.

GPT-5.6 Luna’nın tabloda tam olarak 23.046 token harcadığı ve test maliyetinin sadece $0.007 olduğu gözlemleniyor; bu durum modeli aynı puana sahip diğer modellere göre oldukça uygun maliyetli hale getiriyor.

Benchmark’ın ilginç yönlerinden biri de benzer ya da çok yakın puanlar alan modeller arasında maliyet açısından büyük farklılıkların ortaya çıkmasıdır.
Örneğin; DeepSeek V4 Flash olarak adlandırılan model ile GPT-5.6 Luna için belirtilen test maliyeti yalnızca $0.007 iken; aynı başarıyı elde eden Kimi K3’ün maliyeti $0.468’e kadar yükselmektedir.
Bir diğer dikkat çekici örnek ise zirveye çıkan modeller arasında görülmektedir: Gemini 3.7 Flash’ın test masrafı $0.059 iken Claude Opus 4 için bu rakam $0.400’e çıkmakta; Gemini 3.1 Pro’nun maliyeti ise $0.470 olmaktadır.
Sonuç olarak bu bulgular yalnızca ‘hangi model daha zeki?’ sorusuna değil; ‘hangi model sağladığı performans karşılığında ne kadar masraflı?’ sorusuna da ışık tutmaktadır.

Sıralamada fiyat-performans açısından dikkat çeken modellerden biri DeepSeek V4 Flash oldu.
Modelin elde ettiği sonuç ise; toplamda yapılan testteki olan her durumda doğru yanıt sayısının yüksekliğiyle dikkat çekti: Model tam anlamıyla $0 .007 gibi oldukça düşük bir maliyetle %96 oranını yakalamıştır.
Aynı sonucu elde eden GPT -5 .6 Luna’da benzer şekilde hem aynı puanı hem de aynı masraf sonucunu ortaya koyarak fiyat-performans dengesinde etkileyici bir gösterim sunmaktadır.

Sadece doğru ve yanlış değil aynı zamanda geçersiz yanıtlara da dikkate alındığı benchmark’larda dikkat çeken detaylardan biridir.
Örneğin Hy3 ve Nemotron modelleri ikişer yanlış yanıta ek olarak birer tane geçersiz yanıt vermekteydi; Gemma modelinin yedi tane geçersiz cevabı göz önüne alındığında durum ilginçleşmektedir.
Paylaşılan analizde Gemma’nın yedi geçersiz cevabı bilgi eksikliğinden ziyade modelin cevap üretme tarzıyla ilgili olduğu ifade edilmektedir; modele ait bazı bilgiler doğru olabilir ancak istenilen formatta çıktı üretememesi önemli bir sorun teşkil etmektedir.
Bu detay yapay zeka benchmark’larının sadece bilgi seviyesini değil aynı zamanda istenilen formatta cevap verebilme yeteneğini de etkileyebileceğini göstermektedir.