Derlem dil biliminin gelişimi

Bilgisayar öncesi koleksiyonlar ve dizinler

Dil kullanımını metin örnekleriyle belgeleme geleneği, sözlüklerde tanıklama cümlesi toplamaya, metinlerin sözcük dizinlerini çıkarmaya ve eğitim için sıklık listeleri hazırlamaya kadar uzanır. Fiş sistemleri bir sözcüğün farklı anlam ve yapılarını yan yana getirebilir, fakat derleyenin neyi kayda değer bulduğu sonucu etkiler. Çok yaygın sıradan kullanımlar atlanabilir, ilginç veya yeni görünen örnekler aşırı temsil edilebilir. Koleksiyonun kaynak kapsamı belgelenmediğinde gözlenen örüntünün dilin geneline yayılması güçleşir.

Elle hazırlanmış uyum dizinleri, bir sözcüğün çevresini satırlar hâlinde karşılaştırma düşüncesini yerleştirdi. Bugünkü bağlamda anahtar sözcük görünümünün yöntemsel kökü burada bulunabilir. Fakat her yeni arama için malzemenin yeniden düzenlenmesi, yazım çeşitlerinin elle birleştirilmesi ve sayım hatalarının denetlenmesi gerekiyordu. Bilgisayar bu temel soruları ortadan kaldırmadı; aynı işlemleri daha hızlı ve tutarlı yürütme imkânı verdi. Örnek seçiminin gerekçesi ve bağlamın okunması yine araştırmacının sorumluluğunda kaldı.

Makinece okunabilir derlemlerin kuruluşu

1950'lerin sonlarından itibaren sayısal metin işlemenin gelişmesiyle, belirli bir örnekleme planına göre seçilmiş metinler bilgisayarda saklanıp aranabilir hâle geldi. Erken derlemler bugünkü veri miktarına göre küçük olsa da her sözcüğün aynı işlemle sayılması ve sonuçların yeniden üretilebilmesi bakımından önemliydi. Depolama ve işlem maliyeti kaynak seçimini sınırlıyor, metnin klavye ile girilmesi ayrı hata denetimi gerektiriyordu. Bu koşullar derlem tasarımını teknik olanaklarla yakından bağlantılı kıldı.

Makinece okunabilirlik yalnız dosyanın bilgisayarda bulunması değildir. Karakter kodu, belge sınırı, noktalama, satır sonu ve üst veri alanları tutarlı olmadığında arama sonucu güvenilir olmaz. Farklı yayınlardan alınan metinlerin telif ve kullanım izinleri de derlemin paylaşılabilirliğini etkiler. Erken projelerde geliştirilen belge ve örnekleme disiplini, bugün çok daha büyük web derlemlerinde hâlâ gereklidir. Teknik ölçek büyüdükçe kaynak kökenini koruma ihtiyacı azalmaz, tersine artar.

Denge, temsil gücü ve örnekleme

Bir derlem bütün dili doğrudan içermez; belirli zaman, topluluk, tür ve üretim koşullarından seçilmiş örnekler sunar. Denge, her kaynağın eşit sayıda bulunması değil, araştırma amacına göre önemli çeşitlerin görünür olmasıdır. Haber metinlerinin çokluğu gündelik konuşmayı temsil etmez; birkaç uzun kitap da yazar sayısı bakımından çeşitlilik sağlamaz. Belge, cümle ve sözcük sayıları birlikte incelendiğinde tek bir büyük kaynağın dağılımı yönetip yönetmediği anlaşılır.

Temsil gücü kesin ve kalıcı bir yüzde değildir. Dil kullanımının evreni değişir, yeni türler ortaya çıkar ve erişim kısıtları bazı alanları dışarıda bırakır. Derlem tasarımcısı kaynak sınıflarını, zaman aralığını, seçim ölçütünü ve bilinen boşlukları açıklar. Alt derlemler karşılaştırılırken ham sayılar yerine büyüklüğe göre normalleştirilmiş oranlar kullanılır. Canlı derlemde yeni veri geldikçe denge puanı yeniden hesaplanmalı, fakat eski sürümün kapsamı da araştırmanın yeniden üretilebilmesi için kaydedilmelidir.

Temsil gücü değerlendirilirken yalnız alan ve tür oranları değil, metin üreticilerinin çeşitliliği de göz önünde tutulur. Binlerce belge aynı kurumun şablonuyla hazırlanmışsa belge sayısı yüksek, dilsel çeşitlilik düşük olabilir. Bir yazarın çok uzun kitabı sözcük düzeyinde bütün bir türü yönetebilir; çok kısa haberlerin fazlalığı ise belge sayısında ters bir etki yaratabilir. Kaynak yoğunlaşması yazar, alan adı, yayın, dönem ve dosya düzeyinde ölçülerek raporlanmalıdır. Yinelenen veya küçük değişikliklerle yeniden yayımlanan metinler, sıklığı gerçek kullanım artışı gibi gösterebilir. Belge özeti, cümle ve parça benzerliği birlikte kullanıldığında bu tür çoğaltmalar daha güvenli ayıklanır. Denge puanı da tek başına “iyi derlem” hükmü vermez; kullanıcının hangi soruda hangi alt derlemi seçmesi gerektiğini açıklar. Tarihsel karşılaştırma için dönem dengesi, sözlük yapımı için genel kullanım çeşitliliği, teknik terim araştırması için alan kapsamı daha önemli olabilir. Canlı sistem, bu ölçüleri her veri akışında yeniden hesaplayarak büyümenin temsil gücünü gerçekten artırıp artırmadığını görünür kılmalıdır.

İşaretleme, lematizasyon ve arama katmanları

Yüzey biçimlerinin sözcük türü, lema, biçim bilgisi veya söz dizimi ilişkisiyle işaretlenmesi daha karmaşık sorulara imkân verir. “Kitap”, “kitabı” ve “kitaplarda” gibi biçimler aynı sözlükbirim altında toplanabilir; ancak Türkçedeki ses değişmeleri, özel adlar, belirsiz sözcük türleri ve öbekler otomatik lematizasyonu zorlaştırır. Yanlış bir çözümleme tek örneği değil, o lemayla yapılan bütün sayımı etkiler. Bu nedenle ham yüzey, otomatik öneri ve doğrulanmış düzeltme ayrı katmanlarda izlenmelidir.

İşaretleme şeması kuramsal karar taşır. Birleşik yapının tek mi çok mu birim sayıldığı, yardımcı fiilin nasıl etiketlendiği veya belirsizliğin tek seçeneğe indirgenip indirgenmediği sonuçları değiştirir. Eğitim verisi ve yazılım sürümü kaydedilmediğinde aynı sorgu daha sonra tekrarlanamaz. Güven puanı, örneklem denetimi ve yönetici düzeltmelerinden öğrenme, otomatik işlemi daha sağlam kılar. Buna rağmen araştırmacı kritik örneklerde gerçek cümleyi ve kaynak görüntüsünü incelemelidir.

Eş dizim, kalıp ve istatistiksel yorum

Derlem araştırması sözcükleri yalnız tek başına saymakla kalmaz; hangi sözcüklerin beklenenden daha sık birlikte göründüğünü ve yapıların hangi bağlamlarda yoğunlaştığını inceler. Eş dizim ölçüleri ham birliktelik sayısını genel sıklıkla karşılaştırır. Çok sık sözcükler yüksek ortak sayı üretse de özel bir bağ göstermeyebilir; seyrek sözcüklerde ise yüksek ilişki puanı birkaç örneğe dayanabilir. Ölçü, pencere genişliği ve asgari sıklık araştırma sorusuna göre açıklanmalıdır.

Tekrarlanan sözcük dizileri dil bilgisi, anlam ve söylem arasında kalan kalıpları görünür kılmıştır. Bu bulgular, sözlük maddelerinin örneklenmesini ve dil bilgisi açıklamalarını etkiledi. İstatistiksel önem dilsel önemle aynı değildir; güçlü bir puanın hangi cümlelerden üretildiği okunmalıdır. Kaynak türü, zaman ve yazar etkisi denetlenmeden tek bir yayın kümesine özgü kalıp genel dil kullanımı sanılabilir. Bağlam ve dağılım birlikte gösterildiğinde sayı açıklayıcı değer kazanır.

Canlı derlemler, kalite döngüsü ve GTS

Web, kitap, tez ve süreli yayınlardan sürekli veri alan derlemler yeni sözcük ve anlamları erken yakalayabilir. Buna karşılık yinelenmiş belge, menü artığı, bozuk OCR, yanlış cümle sınırı ve hatalı lema da aynı hızla büyür. Canlı sistemde kalite yalnız giriş kapısında yapılan tek denetim değildir. Kaynak kökeni, belge karması, metin temizliği, cümle ayrımı, lematizasyon, yönetici düzeltmesi ve geriye dönük yeniden işleme birbirine bağlı bir öğrenme döngüsü olarak çalışmalıdır.

GTS'de “derlem”, “derlem tabanlı”, “eş dizimlilik”, “eşdizimlilik” ve “derlem işaretleme” sorguları yöntem terimlerinin güncel kullanımını canlı olarak gösterir. Yeni kayıt yazıldığı anda sayılar değişebilir; madde sürümü ise tarihsel açıklamayı ve kaynakçayı sabit bir atıf noktası olarak korur. Yüzey ve lema sonuçlarının ayrılması, ayrı- bitişik yazımların birlikte aranması ve cümle bağlamının sunulması, derlem tarihinin temel ilkelerini güncel bir araştırma arayüzünde uygular.

Derlem sonuçlarının kalıcı atfa elverişli olması için sorgunun sözcüğü kadar işlem tanımı da saklanır. Büyük-küçük harf dönüşümü, lema veya yüzey seçimi, tam eşleşme, bağlam penceresi, dışlanan kaynaklar ve sorgu zamanı aynı sonucun yeniden kurulmasını etkiler. Canlı veri değişirken sorgu kimliği önceki ölçümü koruyabilir ve güncel ölçümle farkı gösterebilir. Bu sürüm disiplini, sayıların yenilenmesini engellemez; tersine değişmenin veri akışından mı, temizlikten mi yoksa dil kullanımından mı kaynaklandığını ayırmaya yardım eder.