Fotoğraf eklenmemiş
Ayrıntılar
- #model değerlendirmesi #kıyaslama (benchmark) #rubrik tasarımı #Python #Inspect #HELM
- Son başvuru: 19 Ocak 2027
- Başvuru: dünyanın her yerinden
- Firma
- Clera
- Kategori
- Diğer İşler
- Sektör
- Bilgi ve iletişim › Bilgisayar programlama, danışmanlık ve ilgili faaliyetler
- Çalışma şekli
- Tam zamanlı
- Çalışma yeri
- Uzaktan
- Deneyim
- Orta düzey
- Konum
- Uzaktan · her yerden
- İlan no
- 5265
- İlan tarihi
- 20 Kasım 2026
- Görüntülenme
- 2
Açıklama
Hakkında
İnsan öncülüğünde yürütülen yapay zekâ model değerlendirmelerini tasarlayıp yöneten bir ekibe katılın. Titiz sorular, değerlendirme rubrikleri ve karşılaştırmalı analizler hazırlayarak modellerin yeteneklerini ölçmeye ve yapay zekâ performansını daha iyi anlamaya katkı sunacaksınız.
Sorumluluklar
• Modelin belirli yeteneklerini test eden soru ve görevler yazmak.
• Güçlü, kısmi ve zayıf yanıtları tanımlayan rubrikler geliştirmek.
• Modelleri zorlamak için referans yanıtlar ve uç durum senaryoları oluşturmak.
• Model çıktılarını rubriklere göre puanlamak ve her puanı açık biçimde gerekçelendirmek.
• Hatalı yanıtları analiz etmek, hata örüntülerini gruplandırmak ve bulguları belgelemek.
• Aynı istemleri kullanarak birden fazla modeli karşılaştırmak.
• Kıyaslama (benchmark) setlerini doğrulamak ve artık güvenilir ölçüm sağlamayabilecek soruları işaretlemek.
• İnsanların model çıktılarını nasıl değerlendirdiği veya bunlarla nasıl etkileşim kurduğuna dair küçük çaplı çalışmaları desteklemek.
Aranan Nitelikler
• Sıfır ila beş yıl arasında profesyonel deneyim; önceki yapay zekâ veri işi deneyimi zorunlu değildir.
• Kalite güvence (QA), test mühendisliği, ölçme ve değerlendirme tasarımı, psikometri, kullanıcı deneyimi araştırması, veri analizi, makine öğrenmesi değerlendirmesi, araştırma desteği veya titiz soru yazımı gerektiren bir alanda deneyim ya da eğitim.
• Test senaryoları, sınav soruları, rubrikler veya değerlendirme görevleri yazma ve çalışmaları yazılı ölçütlere tutarlı biçimde göre inceleme deneyimi.
• Sonuçları düzenlemek ve analiz etmek ile hata nedenlerini belirleyip belgelemek için elektronik tablo ya da Python kullanabilme.
• Inspect, lm-eval-harness, HELM veya promptfoo gibi değerlendirme araçları, model karşılaştırmaları ya da kullanıcı ve derecelendirme çalışmaları deneyimi tercih nedenidir.
• Açık, profesyonel yazılı iletişim becerisi.
Sunulan İmkânlar
Ücret saatte 30 ila 60 dolar arasındadır; proje, alan ve deneyime göre değişir. Ödeme yalnızca çalışılan saatler için yapılır.
Çalışma Yeri
Tamamen uzaktan çalışma. Projeler genellikle bir haftadan birkaç aya kadar sürer.
İlan Himalayas üzerinde yayımlanmıştır.
Konum
Yorumlar
Yorum yapmak için giriş yap
Güvenliğin için
Bu ilan yurt dışındaki bir işverene ait; iş uzaktan yapılır. Sözleşme, vergi ve ödeme koşullarını başvurmadan önce işverenle doğrulayın. Başvuru işverenin kendi sayfasında yapılır. İşe alım için ücret, kapora ya da eğitim parası isteyenlerden uzak durun.