BMSKA Otomatik Sınıflandırma Doğruluk Başarımı
Etiketli sınama kümesi (289 metin, Türkçe ve İngilizce) sınıflandırıcıdan geçirildi. Doğru = sistemin ilk tahmini beklenen amaçla aynı; eşik altı (28) metinler "atanamadı" sayılır ve hatalı kabul edilir.
Bağımsız sınama doğruluğu
%54.9
28 / 51 metin · sözlük bu metinlere bakılarak değiştirilmedi
Toplam doğruluk (tüm satırlar)
%92.0
266 / 289
İlk 3 içinde bulunma
%93.1
beklenen amaç ilk üç tahminde
Kapsam
%95.5
eşik üstü atama yapılan metin
Makro ortalamalar
- Kesinlik (precision)
- 96.6%
- Duyarlılık (recall)
- 92.0%
- F1
- 94.2%
Dile göre
| Dil | Metin | Doğruluk | İlk 3 |
|---|---|---|---|
| İngilizce | 153 | 88.9% | 90.2% |
| Türkçe | 136 | 95.6% | 96.3% |
Zorluk düzeyine göre
| Düzey | Metin | Doğruluk | İlk 3 |
|---|---|---|---|
| Standart | 170 | 100.0% | 100.0% |
| Bağımsız sınama | 51 | 54.9% | 60.8% |
| Zor (geliştirmede kullanıldı) | 68 | 100.0% | 100.0% |
Standart ve zor satırlar sözlüğün geliştirilmesinde kullanıldığı için iyimser sonuç verir; genelleme başarımını "bağımsız sınama" satırı gösterir.
Amaç bazında başarım
| Amaç | Destek | Doğru | Yanlış pozitif | Kaçırılan | Kesinlik | Duyarlılık | F1 |
|---|---|---|---|---|---|---|---|
| SDG 1: Yoksulluğa Son | 17 | 15 | 0 | 2 | 100.0% | 88.2% | 93.8% |
| SDG 2: Açlığa Son | 17 | 15 | 0 | 2 | 100.0% | 88.2% | 93.8% |
| SDG 3: Sağlıklı ve Kaliteli Yaşam | 17 | 16 | 1 | 1 | 94.1% | 94.1% | 94.1% |
| SDG 4: Nitelikli Eğitim | 17 | 16 | 3 | 1 | 84.2% | 94.1% | 88.9% |
| SDG 5: Toplumsal Cinsiyet Eşitliği | 17 | 17 | 0 | 0 | 100.0% | 100.0% | 100.0% |
| SDG 6: Temiz Su ve Sanitasyon | 17 | 16 | 1 | 1 | 94.1% | 94.1% | 94.1% |
| SDG 7: Erişilebilir ve Temiz Enerji | 17 | 17 | 0 | 0 | 100.0% | 100.0% | 100.0% |
| SDG 8: İnsana Yakışır İş ve Ekonomik Büyüme | 17 | 15 | 1 | 2 | 93.8% | 88.2% | 90.9% |
| SDG 9: Sanayi, Yenilikçilik ve Altyapı | 17 | 15 | 1 | 2 | 93.8% | 88.2% | 90.9% |
| SDG 10: Eşitsizliklerin Azaltılması | 17 | 15 | 0 | 2 | 100.0% | 88.2% | 93.8% |
| SDG 11: Sürdürülebilir Şehirler ve Topluluklar | 17 | 16 | 0 | 1 | 100.0% | 94.1% | 97.0% |
| SDG 12: Sorumlu Üretim ve Tüketim | 17 | 15 | 0 | 2 | 100.0% | 88.2% | 93.8% |
| SDG 13: İklim Eylemi | 17 | 16 | 0 | 1 | 100.0% | 94.1% | 97.0% |
| SDG 14: Sudaki Yaşam | 17 | 16 | 2 | 1 | 88.9% | 94.1% | 91.4% |
| SDG 15: Karasal Yaşam | 17 | 15 | 1 | 2 | 93.8% | 88.2% | 90.9% |
| SDG 16: Barış, Adalet ve Güçlü Kurumlar | 17 | 16 | 0 | 1 | 100.0% | 94.1% | 97.0% |
| SDG 17: Amaçlar için Ortaklıklar | 17 | 15 | 0 | 2 | 100.0% | 88.2% | 93.8% |
Karışıklık matrisi (satır: beklenen amaç · sütun: tahmin · "—": atanamadı)
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | — | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 15 | 1 | 1 | |||||||||||||||
| 2 | 15 | 1 | 1 | |||||||||||||||
| 3 | 16 | 1 | ||||||||||||||||
| 4 | 16 | 1 | ||||||||||||||||
| 5 | 17 | |||||||||||||||||
| 6 | 16 | 1 | ||||||||||||||||
| 7 | 17 | |||||||||||||||||
| 8 | 1 | 15 | 1 | |||||||||||||||
| 9 | 15 | 2 | ||||||||||||||||
| 10 | 1 | 15 | 1 | |||||||||||||||
| 11 | 16 | 1 | ||||||||||||||||
| 12 | 15 | 2 | ||||||||||||||||
| 13 | 16 | 1 | ||||||||||||||||
| 14 | 16 | 1 | ||||||||||||||||
| 15 | 1 | 15 | 1 | |||||||||||||||
| 16 | 16 | 1 | ||||||||||||||||
| 17 | 1 | 1 | 15 |
Hatalı sınıflandırılan metinler (23)
| Metin | Dil | Düzey | Beklenen | Tahmin | Skor |
|---|---|---|---|---|---|
| Mevsimlik tarım işçisi ailelerin gelir güvencesizliği ve borçlanma örüntüleri | TR | sınama | SDG 1 | SDG 8 | 32.9 |
| Debt, savings groups and consumption smoothing among rural households in India | EN | sınama | SDG 1 | atanamadı | 8.2 |
| Domates seralarında damlama sulama ile bitki besin elementi yönetimi | TR | sınama | SDG 2 | SDG 6 | 33.7 |
| Household dietary patterns and stunting among preschool children | EN | sınama | SDG 2 | atanamadı | 5.3 |
| Risk factors for stroke recurrence in primary care populations | EN | sınama | SDG 3 | atanamadı | 4.8 |
| Massive open online courses and learner retention | EN | sınama | SDG 4 | atanamadı | 2.5 |
| Termal santrallerde soğutma suyu tüketiminin azaltılması | TR | sınama | SDG 6 | atanamadı | 6.1 |
| Apprenticeship programmes and school-to-work transition | EN | sınama | SDG 8 | SDG 4 | 35.8 |
| Industrial policy and manufacturing employment in middle-income countries | EN | sınama | SDG 8 | SDG 9 | 37.0 |
| Graph databases and scalable data pipelines for enterprise analytics | EN | sınama | SDG 9 | atanamadı | 3.8 |
| Nanostructured coatings for corrosion resistant steel components | EN | sınama | SDG 9 | atanamadı | 4.8 |
| Görme engelli öğrencilerin üniversite hayatına uyumu | TR | sınama | SDG 10 | SDG 4 | 33.0 |
| Trends in intergenerational income mobility | EN | sınama | SDG 10 | atanamadı | 27.2 |
| Bus rapid transit and commuting patterns in metropolitan areas | EN | sınama | SDG 11 | atanamadı | 3.8 |
| Recovery of critical raw materials from spent batteries | EN | sınama | SDG 12 | atanamadı | 3.1 |
| Consumer attitudes towards second-hand clothing | EN | sınama | SDG 12 | atanamadı | 5.8 |
| Buzulların erimesi ve deniz seviyesi yükselmesi projeksiyonları | TR | sınama | SDG 13 | SDG 14 | 59.7 |
| Oyster reef restoration in estuaries | EN | sınama | SDG 14 | SDG 15 | 36.9 |
| Genetic diversity of endangered amphibians in fragmented wetlands | EN | sınama | SDG 15 | SDG 14 | 33.5 |
| Wildfire regimes and post-fire vegetation recovery in Mediterranean woodlands | EN | sınama | SDG 15 | atanamadı | 3.7 |
| Civil society participation in policy making | EN | sınama | SDG 16 | atanamadı | 8.2 |
| Yükseköğretim kurumları arasında uluslararası ortak diploma programları | TR | sınama | SDG 17 | SDG 4 | 32.9 |
| Global health partnerships and vaccine financing | EN | sınama | SDG 17 | SDG 3 | 47.6 |
Kendi etiketli sorgu kümenizle ölçün
CSV başlıkları: goal (1-17 veya "SDG 7"), lang (TR/EN, isteğe bağlı), text (metin). Ayraç virgül veya noktalı virgül olabilir; en çok 2000 satır. Dosya sunucuda saklanmaz.
