Fotoğraf eklenmemiş
Ayrıntılar
- #AI model değerlendirme #rubrik geliştirme #kıyaslama (benchmark) #veri analizi #Python
- Son başvuru: 15 Ocak 2027
- Başvuru: dünyanın her yerinden
- Firma
- Clera
- Kategori
- Diğer İşler
- Sektör
- Bilgi ve iletişim › Bilgisayar programlama, danışmanlık ve ilgili faaliyetler
- Çalışma şekli
- Tam zamanlı
- Çalışma yeri
- Uzaktan
- Deneyim
- Orta düzey
- Konum
- Uzaktan · her yerden
- İlan no
- 5146
- İlan tarihi
- 16 Kasım 2026
- Görüntülenme
- 2
Açıklama
Rolü Hakkında
Yapay zekâ modellerini değerlendiren insan-veri projelerini destekleyen uzman bir yetenek havuzuna katılın. Model yeteneklerini ölçen değerlendirmelerin tasarlanmasına ve çalıştırılmasına yardımcı olacak, yapay zekâ güvenliği ve yetenek araştırmalarına katkı sağlayacaksınız.
Sorumluluklar
• Belirli model yeteneklerini izole edip test eden sorular ve görevler yazmak.
• Güçlü, kısmi ve zayıf cevapları tanımlayan değerlendirme rubriklerini geliştirmek.
• Yapay zekâ modellerini zorlamak için referans cevaplar ve sınır durumları (edge case) hazırlamak.
• Model çıktılarını rubriklere göre puanlamak ve puanlama kararlarını açıklamak.
• Hatalı cevapları analiz etmek, hata örüntülerini gruplandırmak ve bulguları belgelemek.
• Aynı istemleri (prompt) kullanarak birden fazla modeli karşılaştırmak.
• Kıyaslamaların (benchmark) geçerliliğini doğrulamak; ele geçirilmiş ya da etkisiz soruları işaretlemek.
• Model çıktılarıyla ilgili derecelendirmeleri veya etkileşimleri değerlendiren küçük kullanıcı çalışmalarına katılmak.
Aranan Nitelikler
• Beş yıla kadar profesyonel deneyim.
• Kalite güvence veya test mühendisliği, değerlendirme tasarımı, psikometri, kullanıcı deneyimi araştırması, veri analizi, makine öğrenmesi değerlendirmesi, araştırma desteği ya da soru yazmayı içeren ilgili uzmanlık alanlarında deneyim.
• Test senaryosu, sınav sorusu, rubrik veya değerlendirme görevi yazma ve çalışmaları yazılı kriterlere tutarlı biçimde göre inceleme deneyimi.
• Sonuçları düzenlemek ve analiz etmek için elektronik tablo veya Python kullanma konforu; hata örüntülerini belirleme ve belgeleme becerisi.
• Inspect, lm-eval-harness, HELM veya promptfoo gibi değerlendirme araçlarında deneyim faydalıdır.
• Açık ve net yazılı iletişim; yapay zekâ model çıktılarını karşılaştırma ya da kullanıcı ve derecelendirme çalışmalarına katılma yeteneği.
Ücret ve Haklar
Saat ücreti 30 ile 60 $ arasındadır; proje, alan ve deneyime göre değişir. Ödeme yalnızca çalışılan saatler için yapılır.
Çalışma Yeri
Tamamen uzaktan. Projeler genellikle bir haftadan birkaç aya kadar sürer.
Ücret aralığı: 62,4 bin $ - 124,8 bin $
Orijinal ilan kaynağı: Himalayas
Konum
Yorumlar
Yorum yapmak için giriş yap
Güvenliğin için
Bu ilan yurt dışındaki bir işverene ait; iş uzaktan yapılır. Sözleşme, vergi ve ödeme koşullarını başvurmadan önce işverenle doğrulayın. Başvuru işverenin kendi sayfasında yapılır. İşe alım için ücret, kapora ya da eğitim parası isteyenlerden uzak durun.