Hesaplamalı dil bilimi, insan dilinin ses, yazı, biçim, söz dizimi, anlam ve bağlam özelliklerini bilgisayarın işleyebileceği gösterimlerle açıklar. Amaç yalnız çalışan bir yazılım üretmek değildir; bir dil olayının hangi bilgiyle çözülebildiğini, modelin hangi koşullarda yanıldığını ve kullanılan gösterimin dilsel genellemeyi ne ölçüde koruduğunu araştırır. Doğal dil işleme terimi çoğu zaman metin sınıflandırma, konuşma tanıma, çeviri, bilgi çıkarma ve metin üretimi gibi uygulamaları öne çıkarırken hesaplamalı dil bilimi bu uygulamaların dilsel ve biçimsel temellerini de kapsar. Kural tabanlı, istatistiksel ve sinir ağı tabanlı yöntemler birbirini tarihsel olarak izlese de güncel sistemlerde birlikte kullanılabilir. Başarı, yalnız ortalama bir puanla değil; dil çeşitleri, nadir yapılar, kaynak kalitesi, işlem süresi ve hatanın kullanıcı üzerindeki etkisiyle değerlendirilir.
Dil verisinden doğrulanabilir modele
- Veri Kaynak, izin, temizlik ve örneklem dengesi
- Temsil Birim, özellik, etiket ve bağlam
- Model Kural, olasılık veya öğrenilmiş ağ
- Ölçüm Görev başarısı, hız ve grup kırılımı
- Geri besleme Hata sınıfından veri ve kurala dönüş
Araştırma amacı ve dilsel gösterim
Bilgisayar için metin başlangıçta karakter dizisidir; sözcük, ek, cümle, konuşur niyeti veya gönderim kendiliğinden verilmiş değildir. Araştırmacı hangi birimin görev için gerekli olduğunu belirler ve bunu açık bir gösterime dönüştürür. Sözcük sınırları boşlukla her dilde aynı biçimde kurulmaz; Türkçede ekler çok sayıda dil bilgisel bilgiyi tek yüzey biçiminde taşıyabilir. Bir gösterim hesaplama bakımından kolay olsa da önemli karşıtlıkları silebileceği için seçimin dilsel sonucu belgelenir. Modelin girdisi ile araştırma nesnesi aynı şey sayılmaz.
Gösterimler ayrık etiket, özellik demeti, ağaç, çizge veya sayısal vektör biçiminde olabilir. Biçim çözümlemesi kök değil sözlükbirim ve ek dizisini, söz dizimsel çözümleme sözcükler arasındaki bağıntıları, anlamsal gösterim ise varlık ve olay rollerini hedefleyebilir. Dağıtımsal vektörler benzer bağlamda görülen birimleri yakınlaştırır, fakat bu yakınlık eş anlamlılıkla aynı değildir; karşıt sözcükler de benzer çevrelerde bulunabilir. Gösterimin hangi dilsel iddiayı taşıdığı ve hangi ayrımı yalnız dolaylı olarak öğrendiği açık tutulur.
Metin işleme zinciri
Tipik bir işleme zinciri kodlama düzeltme, metin çıkarma, cümle bölümleme, sözcükleme, biçim çözümleme, anlam belirsizliği giderme ve daha üst görevlerden oluşabilir. Her aşamanın hatası sonrakine taşınır. PDF'den yanlış çıkarılan satır sonu iki sözcüğü bölebilir; yanlış cümle sınırı söz dizim ağacını ve eş kullanım sayısını bozabilir. Bu nedenle yalnız son görevin puanına bakmak hatanın kaynağını gizler. Ara çıktılar örneklenerek denetlenir, aşamalar sürümlenir ve düzeltmenin hangi kayıtları değiştirdiği izlenebilir tutulur.
Zincir her zaman tek yönlü olmak zorunda değildir. Söz dizim bilgisi belirsiz bir biçim çözümünü, kaynak türü cümle bölümlemeyi, sözlük kaydı ise yazım normalleştirmesini destekleyebilir. Bununla birlikte üst aşamadan gelen tahmin alt aşamayı kör biçimde değiştirmemelidir; yanlış bir sözlük varsayımı gerçek yeni sözcüğü görünmez kılabilir. Güven puanı, alternatif çözüm ve geri dönüş yolu korunur. Yüksek kesinlikli kurallar otomatik uygulanırken belirsiz örnekler bağlam incelemesine ayrılır. Böylece hız ile dilsel doğruluk aynı karar düzeneğinde dengelenir.
Kural tabanlı, istatistiksel ve sinirsel yöntemler
Kural tabanlı sistemler dil bilgisini açık koşullar ve sözlükler biçiminde kodlar. Neden belirli sonuç üretildiği izlenebilir ve az veri bulunan alanlarda güçlü olabilir; ancak kapsam genişledikçe kural etkileşimlerini yönetmek zorlaşır. İstatistiksel yöntemler etiketli veya etiketsiz verideki dağılımlardan olasılık öğrenir ve belirsizliği sayısal olarak ele alır. Başarıları eğitim verisinin temsil gücüne bağlıdır. Eğitimde bulunmayan tür, dönem ve yazım özelliklerinde performans düşebilir. Kural ve öğrenme birbirinin karşıtı değildir; kısıtlar, sözlükler ve model tahminleri ortak sistemde birleşebilir.
Sinir ağı tabanlı modeller özellikleri büyük ölçüde veriden öğrenir ve uzun bağlamları sayısal gösterimlerle işleyebilir. Ön eğitim, az etiketli görevde geniş metin bilgisinden yararlanmayı sağlar. Büyük dil modelleri akıcı metin üretebilir ve örnekle yönlendirilebilir, fakat ürettikleri bilgi kaynak kaydı değildir; olası sözcük dizilerini hesaplar. Gerçeğe aykırı fakat ikna edici çıktı, sözlük ve ansiklopedi üretiminde ayrıca doğrulama gerektirir. Model büyüklüğü tek başına kalite ölçüsü değildir; görev, dil, maliyet, gecikme ve açıklanabilirlik birlikte değerlendirilir.
Temel görevler ve uygulama alanları
Biçim çözümleme, sözcük türü etiketleme, bağıntı çözümleme, adlandırılmış varlık tanıma ve anlam belirsizliği giderme birçok uygulamanın ara görevleridir. Arama sistemi sorgu ile belgeyi eşleştirir; bilgi çıkarma metindeki varlık ve ilişkileri yapılandırır; makine çevirisi diller arasında işlevsel karşılık kurar; konuşma teknolojileri ses ile yazı arasında dönüşüm yapar. Özetleme ve soru yanıtlama kaynak içeriğini seçip yeniden düzenler. Her görevde başarı tanımı farklıdır ve bir uygulamadaki güçlü model başka görevde aynı biçimde kullanılamaz.
Görev sınırları uygulama gereksinimine göre değişir. Sözlük için lematizasyon çekimli biçimleri doğru maddeye bağlamalı, belge aramasında ise bazı biçim ayrımları daha geniş eşleştirmeyle ele alınabilir. Sağlık metninde varlık tanıma hatasının sonucu haber sınıflandırmasındaki yanlıştan daha ağır olabilir. Bu nedenle veri etiketi, kayıp işlevi ve kabul eşiği kullanım riskine göre tasarlanır. İnsan denetimi son aşamaya eklenen süs değil, belirsiz ve yüksek etkili kararların iş akışındaki yeridir. Sistem hangi durumda otomatik karar vermediğini de bildirmelidir.
Değerlendirme, hata çözümlemesi ve yeniden üretim
Doğruluk, kesinlik, duyarlılık, F ölçüsü ve benzerlik puanları farklı görev özelliklerini ölçer. Tek sayı hataların dağılımını gizleyebilir. Model çok sık sınıfta başarılı olup nadir ek dizilerinde, uzun cümlelerde veya belirli kaynak türlerinde başarısız olabilir. Test verisinin eğitim verisinden gerçekten ayrılması, yinelenen belgelerin sızıntı oluşturmaması ve karşılaştırma tabanının aynı veri üzerinde çalışması gerekir. Hata çözümlemesi örnekleri dilsel sınıflara ayırır; böylece puan artışının gerçek bir sorunu çözüp çözmediği görülebilir.
Yeniden üretilebilir çalışma veri sürümünü, temizleme adımlarını, kodu, model ayarlarını ve değerlendirme ölçütünü belgeler. Kişisel veya lisanslı veri bütünüyle paylaşılamıyorsa örnekleme yöntemi, özet istatistikler ve erişim koşulları açıklanır. Rastlantısal başlangıçlar sonucu etkiliyorsa birden çok çalıştırma raporlanır. Donanım ve enerji kullanımı da büyük modellerin gerçek maliyetidir. Daha küçük bir model aynı görev kalitesini daha düşük gecikmeyle sağlıyorsa uygulama bakımından daha uygun olabilir. Bilimsel karşılaştırma yalnız en yüksek puanı değil, elde edilen kazancın bedelini de gösterir.
Türkçe, canlı derlem ve GTS iş akışı
Türkçenin üretken ek sistemi, ünlü uyumu, ünsüz değişmeleri, serbestliğe açık söz sırası ve sıfır özne gibi özellikleri işlem tasarımını doğrudan etkiler. Aynı yüzey biçimi birden fazla çözüm taşıyabilir; sözlükbirim kararı yalnız ekleri sondan silerek verilemez. Bağlam duyarlı biçim çözümleme olası çözümlemeleri cümle içindeki görevle karşılaştırır. Yabancı adlar, yazım çeşitleri, ASCII'leşme ve OCR bozuklukları normalleştirme ile gerçek dilsel çeşitlilik arasındaki sınırı zorlar. Düzeltme kuralları kör genelleme yerine doğrulanmış madde ve bağlam kapılarıyla uygulanır.
T-BDLD'de “hesaplamalı dil bilimi”, “doğal dil işleme” ve “dil modeli” sorguları alanın hem akademik hem güncel teknolojik söz varlığını canlı olarak gösterir. GTS'nin crawler, DergiPark, tez ve dosya akışları aynı kalite ilkeleriyle ClickHouse'a yazılır; kaynak türleri birbirini beklemeden çalışsa da web sorgularına ayrılan kaynak korunur. Txlema yüzey biçimi sözlükbirime bağlarken düzeltme kayıtlarından öğrenir. Yeni sözcük yakalama, modelin bilinmeyen dediği her biçimi kabul etmez; GTS çakışması, gürültü, bağlam ve sözlükbirimleşme ayrı denetimlerden geçer. Bu iş akışı hesaplamalı yöntemin sözlükçülükteki somut uygulamasını oluşturur.
Verified references
- Uzun, Gülsün Leylâ (2022). “Dil Bilimi”. TÜBİTAK Sosyal Bilimler Ansiklopedisi. Open source
- Grishman, Ralph (1986). Computational Linguistics: An Introduction. Cambridge University Press. DOI: 10.1017/CBO9780511611797. Open source
- Oflazer, Kemal ve İlker Kuruöz (1994). “Tagging and Morphological Disambiguation of Turkish Text”. Fourth Conference on Applied Natural Language Processing, 144-149. Association for Computational Linguistics. Open source
- McEnery, Tony ve Andrew Hardie (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge University Press. Open source