İş Tanımı Büyük ölçekli dil modelleri, akıllı sohbet botlarından kurumsal düzey platformlara dönüşüyor. Kaliteli bir geleceği inşa etmek, modellerin akıl yürütme ve güvenilirliğini güçlendirecek değerlendirme verileriyle başlar. Bu rolde, model değerlendirme, LLM güvenliği, prompt dayanıklılığı, veri kalite güvencesi, çok dilli ve alan‑spesifik test, gerçeklik doğrulama ve uyumluluk kontrolleri gibi konularda uzmanlaşacaksınız. Sorumluluklar • Model ile gerçek dünya senaryoları ve değerlendirme istemleri üzerinden diyalog kurmak, doğruluk ve mantıksal tutarlılığı kontrol etmek • Test planları ve regresyon paketleri tasarlamak, yürütmek • Açık ve net rubrikler, geç‑kaldır kriterleri oluşturmak • Hata izlerini tekrarlanabilir şekilde kaydetmek, kök neden hipotezleri geliştirmek • Prompt mühendisliği, guardrail’ler ve değerlendirme metrikleri (precision/recall, doğruluk, zararlı içerik, gecikme SLO’ları) üzerine iyileştirme önerileri sunmak • Kötü niyetli saldırı (red‑team) çalışmaları, otomasyon (Python/SQL) ve kalite değişimini izleyen panolar hazırlamak Aranan Nitelikler • Bilgisayar bilimi, veri bilimi, bilişsel dilbilim, istatistik vb. alanlarda lisans, yüksek lisans veya doktora derecesi • ML/AI sistemleri için kalite güvencesi deneyimi; güvenlik/red‑team, test otomasyonu (ör. PyTest) ve LLM değerlendirme araçları (OpenAI Evals, RAG evaluatörleri, W&B) kullanma tecrübesi • Değerlendirme rubriği tasarımı, adversarial test, büyük ölçekli regresyon testi, bias/fairness denetimi, grounding doğrulama, prompt ve sistem‑prompt mühendisliği konularında yetkinlik • Python ve SQL ile test otomasyonu geliştirme yeteneği • Kök neden analizi yapabilen, yüksek sinyal hataları raporlayabilen ve net iletişim kurabilen Sunulan İmkânlar • Saatlik $6 – $65 arasında, deneyim, uzmanlık ve coğrafi konuma göre belirlenen ücret • Sözleşmeli çalışma; güvenli bir bilgisayar ve yüksek hızlı internet gereklidir • Şirket tarafından sağlık sigortası ve ücretli izin gibi yan haklar sağlanmaz • Uzaktan çalışma (Remote) ortamı