Lematizasyon, metinde görülen yüzey biçimleri ile bunların sözlükte temsil edilen temel biçimleri arasında bağ kurar. Türkçede adların durum, iyelik, çokluk ve bildirme ekleri; fiillerin zaman, kip, kişi, çatı ve olumsuzluk yapıları tek bir sözlükbirimin çok sayıda biçimde görünmesine yol açar. Amaç sözcüğü ses ya da harf bakımından en kısa parçaya indirmek değildir. Kök bulma ile lema belirleme bu nedenle aynı işlem sayılmaz: Kök, yapım eklerinden önceki biçimbilimsel parçayı gösterebilirken lema, sözlükte bağımsız madde olarak kullanılabilecek kanonik birimi hedefler. “Başlamak” fiilini “baş”a indirmek ya da kalıcı bir isim-fiili bağlamı gözetmeden fiile çevirmek, biçimsel olarak mümkün görünse bile sözlüksel temsil açısından yanlış olabilir. Sağlam bir sistem, biçim çözümlemesini cümlenin anlam ve söz dizimiyle birlikte değerlendirir.
Türkçenin biçimbilimsel yapısı
Türkçe eklemeli bir dil olduğu için tek bir yüzey biçimi birden çok biçimbirim taşıyabilir. Ünlü uyumu, ünsüz yumuşaması, ünsüz benzeşmesi, kaynaştırma sesleri ve kimi gövde değişmeleri, ekleri basit bir karakter kesme yöntemiyle ayırmayı güçleştirir. “Kitabındaki” biçimi kitap, iyelik, bulunma ve ilgi işlevlerini bir arada taşırken son ses değişimi de gösterir. Buna karşılık aynı harf dizisi her sözcükte aynı ek yapısına sahip değildir; sözlükte bağımsızlaşmış gövdeler ve yabancı kökenli biçimler farklı davranabilir. Çözümleyici hem üretken kuralları hem de sözlük bilgisini kullanmalıdır.
Fiil yapısı daha da çok seçenek üretir. Olumsuzluk eki ile isim-fiil eki yüzeyde aynı görünebilir; “gelme” bir emir, olumsuz çekim ya da eylem adı olarak yorumlanabilir. Kişi ve kip bilgisi, cümledeki tamlayıcılar ve komşu sözcükler doğru seçimi belirler. Benzer biçimde yapım ekleriyle oluşmuş kalıcı sözcükler, üretildikleri köke otomatik olarak geri götürülmemelidir. Lematizasyonun hedefi biçim tarihini bütünüyle çözmek değil, mevcut kullanımda hangi sözlükbirimin gerçekleştiğini belirlemektir.
Çözümleme belirsizliği ve bağlam
Bir yüzey biçimi çoğu zaman birden fazla geçerli biçimbilimsel çözümlemeye sahiptir. Türkçe metinlerin otomatik işlenmesinde önce olası çözümlemeler üretilir, ardından bağlama en uygun olan seçilir. Söz türü, yüklem-özne uyumu, ad tamlaması yapısı, durum eklerinin fiille ilişkisi ve yakın sözcüklerin seçimleri ayırt edici işaretlerdir. Yalnız en sık görülen çözümlemeyi seçmek, daha seyrek fakat cümlede açıkça gerekli olan kullanımları siler. Bu nedenle sıklık bilgisi bağlamsal kısıtlarla dengelenir.
Çok sözcüklü birimler ayrı bir sorun oluşturur. Tek tek sözcükler doğru lematize edilse bile deyim, birleşik fiil veya terim bütünlüğü kaybolabilir. “Karar vermek” yapısında her bileşeni bağımsız saymak, birimin ortak işlevini görünmez kılar; buna karşılık her komşu kelime dizisini kalıcı öbek kabul etmek de gürültü üretir. Sistem, öbek içi bağın tekrarını, değiştirilebilirlik derecesini, anlam bütünlüğünü ve farklı kaynaklardaki yayılımını inceleyerek tekli ve çok sözcüklü lemayı ayrı düzeylerde temsil etmelidir.
Kalite denetimi ve hata türleri
Lematizasyon hataları birkaç ana grupta toplanabilir: Çekim ekinin üzerinde bırakılması, yapım ekinin yanlışlıkla sökülmesi, özel adın genel sözcüğe bağlanması, yazım veya OCR hatasının gerçek bir lema sayılması ve bağlamdaki söz türünün yanlış seçilmesi. Değerlendirme yalnız toplam doğruluk oranıyla yapılırsa seyrek fakat sözlük çalışması açısından önemli hatalar görünmez kalabilir. Ek türü, sözcük uzunluğu, kaynak türü ve güven düzeyine göre ayrı hata tabloları hazırlanması daha açıklayıcıdır.
Güvenli düzeltme, her kuralın koşullarını açıkça sınırlar. Bir ek dizisinin yüzeyde bulunması tek başına dönüşüm için yeterli değildir; önerilen hedefin gerçek bir sözlükbirim olması, ses değişiminin kurala uyması ve cümledeki kullanımın hedefle bağdaşması gerekir. Yüksek güvenli dönüşümler otomatik uygulanabilirken belirsiz örnekler insan incelemesine ayrılır. Yanlış düzeltmeler de öğrenme kaydında tutulur; böylece sistem aynı aşırı genellemeyi sonraki metinlerde tekrarlamaz.
Canlı derlem ve sözlük üretimindeki yeri
Lema bilgisi, çekimli biçimleri ortak bir başlık altında saymayı ve bir sözlükbirimin farklı metinlerdeki kullanımını karşılaştırmayı sağlar. Yeni sözcük adaylarının belirlenmesinde ise daha kritik bir rol oynar: Çekimli bir biçim yanlışlıkla bağımsız lema yapılırsa aday havuzu gürültüyle büyür; gerçek yeni bir türetim var olan köke zorla bağlanırsa keşif gözden kaçar. Bu nedenle aday seçimi, lema sonucunu değişmez gerçek olarak kabul etmez; özgün cümleye, biçim ailesine ve sözlükteki kanonik yazımlara geri dönerek doğrular.
T-BDLD işleme zincirinde yüzey biçimi ile lema birlikte saklanır ve cümle kanıtı korunur. Yönetim düzeltmeleri yalnız görünen kaydı değiştirmekle kalmaz, sonraki çözümlemelerde kullanılabilecek öğrenme bilgisini de üretir. Canlı veri akışı nedeniyle kalite denetimi tek seferlik değildir: Yeni metin türleri yeni belirsizlikler getirir, önceki kurallar farklı bağlamlarda yeniden sınanır. Ansiklopedi sayfasındaki canlı derlem izi, kavramın güncel kullanımlarını gösterirken bu editoryal madde, yöntemin kalıcı ilkelerini sürümlü biçimde açıklar.
Çözümleme ve karar mimarisi
Uygulamalı bir lematizasyon sistemi genellikle birkaç karar katmanını art arda işletir. Metin önce yazı birimlerine ayrılır; sonrasında sonlu durumlu çözümleyici veya eşdeğer bir biçimbilim bileşeni yüzey biçimi için mümkün kök, gövde, ek ve söz türü dizilerini üretir. Sözlük denetimi, ses değişmesi kuralları ve özel ad bilgisi geçersiz seçenekleri eler. Birden çok çözümleme kaldığında cümledeki yüklem ilişkileri, durum ekleri, komşu sözcükler ve daha önce gözlenen örüntüler kullanılarak bağlama en uygun seçenek seçilir. Son aşamada çözüm, sözlükteki kanonik yazımla eşleştirilir; apostrof, düzeltme işareti, ayrı-bitişik yazım ve yabancı kökenli son ses değişmeleri ayrıca denetlenir.
Kurallı ve istatistiksel yöntemler birbirinin yerine geçmekten çok farklı hata alanlarını denetler. Biçimbilim kuralları dilde mümkün olmayan çözümlemeleri güçlü biçimde sınırlar; bağlamsal modeller ise birden çok mümkün seçenek arasındaki kullanıma duyarlı ayrımı yapar. Buna karşılık modelin yüksek olasılık verdiği bir sonuç sözlükte bulunmuyor veya cümledeki açık söz dizimsel ilişkiyle çelişiyorsa otomatik kabul edilmemelidir. Güven puanı; çözümleyici uyumu, sözlük varlığı, bağlam desteği ve önceki düzeltme kayıtlarından ayrı bileşenlerle kurulabilir. Düşük güvenli örnekleri zorla tek bir lemaya bağlamak yerine yüzey biçimiyle birlikte inceleme kuyruğunda tutmak, hatanın bütün derlem istatistiklerine yayılmasını önler.
Değerlendirme ve sürekli öğrenme
Başarı değerlendirmesi yalnız rastgele seçilmiş sözcüklerin yüzde kaçının doğru olduğu sorusuna indirgenmez. Ad ve fiil çekimleri, yapım ekleri, ses değişmeleri, eş yazımlı biçimler, özel adlar, kısaltmalar, OCR bozulmaları ve çok sözcüklü birimler ayrı sınama kümelerinde ölçülür. Altın standart veri, yüzey biçiminin yanı sıra tam cümleyi ve beklenen sözlükbirimi içerir; birden fazla makul yorum varsa bu belirsizlik de işaretlenir. Eğitimde kullanılan cümlelerin sınama kümesine sızması engellenir. Toplam doğruluk yanında yanlış birleştirme, gereksiz ayırma ve tanınmayan biçim oranları raporlanarak sistemin yeni sözcük keşfine hangi yönde yanlılık taşıdığı anlaşılır.
İnsan düzeltmeleri kalıcı öğrenmeye dönüştürülürken kararın kapsamı korunmalıdır. Belirli bir cümlede doğru olan dönüşüm, aynı harf dizisini taşıyan bütün sözcüklere kör biçimde uygulanamaz. Düzeltme kaydı yüzey biçimini, hedef lemayı, bağlamı, gerekçeyi, kaynak türünü ve güven düzeyini içerdiğinde daha sonra kural, sözlük istisnası veya bağlamsal eğitim örneği olarak uygun yere aktarılabilir. Geri çekilen düzeltmeler de silinmek yerine olumsuz kanıt olarak saklanır. Periyodik karşılaştırma sınamaları yeni sürümün eski doğruları bozup bozmadığını gösterir; ancak canlı üretim, sürüm hazırlandığı anda durmak zorunda değildir. Kontrollü sürümleme ve geri alma mekanizması, sürekli veri akışıyla dilsel kaliteyi birlikte sürdürebilir.
Verified references
- Oflazer, Kemal ve İlker Kuruöz (1994). “Tagging and Morphological Disambiguation of Turkish Text”. Fourth Conference on Applied Natural Language Processing, 144-149. Association for Computational Linguistics. Open source
- Akalın, Şükrü Halûk (2022). “Sözlükbilim”. TÜBİTAK Sosyal Bilimler Ansiklopedisi. Open source
- International Organization for Standardization (2024). ISO 24613-1:2024 Language resource management — Lexical markup framework (LMF) — Part 1: Core model. Open source