Fotoğraf eklenmemiş

Ayrıntılar

  • #model değerlendirmesi #kıyaslama (benchmark) #rubrik tasarımı #Python #Inspect #HELM
  • Son başvuru: 19 Ocak 2027
  • Başvuru: dünyanın her yerinden
Firma
Clera
Kategori
Diğer İşler
Sektör
Bilgi ve iletişim › Bilgisayar programlama, danışmanlık ve ilgili faaliyetler
Çalışma şekli
Tam zamanlı
Çalışma yeri
Uzaktan
Deneyim
Orta düzey
Konum
Uzaktan · her yerden
İlan no
5265
İlan tarihi
20 Kasım 2026
Görüntülenme
2

Açıklama

Hakkında İnsan öncülüğünde yürütülen yapay zekâ model değerlendirmelerini tasarlayıp yöneten bir ekibe katılın. Titiz sorular, değerlendirme rubrikleri ve karşılaştırmalı analizler hazırlayarak modellerin yeteneklerini ölçmeye ve yapay zekâ performansını daha iyi anlamaya katkı sunacaksınız. Sorumluluklar • Modelin belirli yeteneklerini test eden soru ve görevler yazmak. • Güçlü, kısmi ve zayıf yanıtları tanımlayan rubrikler geliştirmek. • Modelleri zorlamak için referans yanıtlar ve uç durum senaryoları oluşturmak. • Model çıktılarını rubriklere göre puanlamak ve her puanı açık biçimde gerekçelendirmek. • Hatalı yanıtları analiz etmek, hata örüntülerini gruplandırmak ve bulguları belgelemek. • Aynı istemleri kullanarak birden fazla modeli karşılaştırmak. • Kıyaslama (benchmark) setlerini doğrulamak ve artık güvenilir ölçüm sağlamayabilecek soruları işaretlemek. • İnsanların model çıktılarını nasıl değerlendirdiği veya bunlarla nasıl etkileşim kurduğuna dair küçük çaplı çalışmaları desteklemek. Aranan Nitelikler • Sıfır ila beş yıl arasında profesyonel deneyim; önceki yapay zekâ veri işi deneyimi zorunlu değildir. • Kalite güvence (QA), test mühendisliği, ölçme ve değerlendirme tasarımı, psikometri, kullanıcı deneyimi araştırması, veri analizi, makine öğrenmesi değerlendirmesi, araştırma desteği veya titiz soru yazımı gerektiren bir alanda deneyim ya da eğitim. • Test senaryoları, sınav soruları, rubrikler veya değerlendirme görevleri yazma ve çalışmaları yazılı ölçütlere tutarlı biçimde göre inceleme deneyimi. • Sonuçları düzenlemek ve analiz etmek ile hata nedenlerini belirleyip belgelemek için elektronik tablo ya da Python kullanabilme. • Inspect, lm-eval-harness, HELM veya promptfoo gibi değerlendirme araçları, model karşılaştırmaları ya da kullanıcı ve derecelendirme çalışmaları deneyimi tercih nedenidir. • Açık, profesyonel yazılı iletişim becerisi. Sunulan İmkânlar Ücret saatte 30 ila 60 dolar arasındadır; proje, alan ve deneyime göre değişir. Ödeme yalnızca çalışılan saatler için yapılır. Çalışma Yeri Tamamen uzaktan çalışma. Projeler genellikle bir haftadan birkaç aya kadar sürer. İlan Himalayas üzerinde yayımlanmıştır.

Konum

Uzaktan · her yerdenKonum yaklaşıktır: ilanda tam adres yazılmaz, işaret mahalle ya da bölge merkezidir.

Yorumlar

Yorum yapmak için giriş yap
Güvenliğin için
Bu ilan yurt dışındaki bir işverene ait; iş uzaktan yapılır. Sözleşme, vergi ve ödeme koşullarını başvurmadan önce işverenle doğrulayın. Başvuru işverenin kendi sayfasında yapılır. İşe alım için ücret, kapora ya da eğitim parası isteyenlerden uzak durun.