Fotoğraf eklenmemiş

Ayrıntılar

  • #AI model değerlendirme #rubrik geliştirme #kıyaslama (benchmark) #veri analizi #Python
  • Son başvuru: 15 Ocak 2027
  • Başvuru: dünyanın her yerinden
Firma
Clera
Kategori
Diğer İşler
Sektör
Bilgi ve iletişim › Bilgisayar programlama, danışmanlık ve ilgili faaliyetler
Çalışma şekli
Tam zamanlı
Çalışma yeri
Uzaktan
Deneyim
Orta düzey
Konum
Uzaktan · her yerden
İlan no
5146
İlan tarihi
16 Kasım 2026
Görüntülenme
2

Açıklama

Rolü Hakkında Yapay zekâ modellerini değerlendiren insan-veri projelerini destekleyen uzman bir yetenek havuzuna katılın. Model yeteneklerini ölçen değerlendirmelerin tasarlanmasına ve çalıştırılmasına yardımcı olacak, yapay zekâ güvenliği ve yetenek araştırmalarına katkı sağlayacaksınız. Sorumluluklar • Belirli model yeteneklerini izole edip test eden sorular ve görevler yazmak. • Güçlü, kısmi ve zayıf cevapları tanımlayan değerlendirme rubriklerini geliştirmek. • Yapay zekâ modellerini zorlamak için referans cevaplar ve sınır durumları (edge case) hazırlamak. • Model çıktılarını rubriklere göre puanlamak ve puanlama kararlarını açıklamak. • Hatalı cevapları analiz etmek, hata örüntülerini gruplandırmak ve bulguları belgelemek. • Aynı istemleri (prompt) kullanarak birden fazla modeli karşılaştırmak. • Kıyaslamaların (benchmark) geçerliliğini doğrulamak; ele geçirilmiş ya da etkisiz soruları işaretlemek. • Model çıktılarıyla ilgili derecelendirmeleri veya etkileşimleri değerlendiren küçük kullanıcı çalışmalarına katılmak. Aranan Nitelikler • Beş yıla kadar profesyonel deneyim. • Kalite güvence veya test mühendisliği, değerlendirme tasarımı, psikometri, kullanıcı deneyimi araştırması, veri analizi, makine öğrenmesi değerlendirmesi, araştırma desteği ya da soru yazmayı içeren ilgili uzmanlık alanlarında deneyim. • Test senaryosu, sınav sorusu, rubrik veya değerlendirme görevi yazma ve çalışmaları yazılı kriterlere tutarlı biçimde göre inceleme deneyimi. • Sonuçları düzenlemek ve analiz etmek için elektronik tablo veya Python kullanma konforu; hata örüntülerini belirleme ve belgeleme becerisi. • Inspect, lm-eval-harness, HELM veya promptfoo gibi değerlendirme araçlarında deneyim faydalıdır. • Açık ve net yazılı iletişim; yapay zekâ model çıktılarını karşılaştırma ya da kullanıcı ve derecelendirme çalışmalarına katılma yeteneği. Ücret ve Haklar Saat ücreti 30 ile 60 $ arasındadır; proje, alan ve deneyime göre değişir. Ödeme yalnızca çalışılan saatler için yapılır. Çalışma Yeri Tamamen uzaktan. Projeler genellikle bir haftadan birkaç aya kadar sürer. Ücret aralığı: 62,4 bin $ - 124,8 bin $ Orijinal ilan kaynağı: Himalayas

Konum

Uzaktan · her yerdenKonum yaklaşıktır: ilanda tam adres yazılmaz, işaret mahalle ya da bölge merkezidir.

Yorumlar

Yorum yapmak için giriş yap
Güvenliğin için
Bu ilan yurt dışındaki bir işverene ait; iş uzaktan yapılır. Sözleşme, vergi ve ödeme koşullarını başvurmadan önce işverenle doğrulayın. Başvuru işverenin kendi sayfasında yapılır. İşe alım için ücret, kapora ya da eğitim parası isteyenlerden uzak durun.