Rus dilinin hesaplamalı dilbilimdeki rolü. Bilgisayar dil uzmanı ne iş yapar? Başlıca dernekler ve konferanslar

BİLGİSAYAR DİLLERİ (İngilizce hesaplamalı dilbilimden izleme kağıdı), dilin incelenmesi ve belirli koşullar, durumlar ve sorun alanlarında dilin işleyişinin modellenmesi için bilgisayar programlarının geliştirildiği ve kullanıldığı uygulamalı dilbilim alanlarından biri, Verileri düzenlemek ve işlemek için bilgisayar teknolojileri. Öte yandan bu, bilgisayar dili modellerinin dilbilim ve ilgili disiplinlerde uygulama alanıdır. ne kadar özel bilimsel yön Hesaplamalı dilbilim, 1960'larda Avrupa çalışmalarında şekillendi. İngilizce sıfat hesaplamalı "hesaplamalı" olarak da çevrilebildiğinden, "hesaplamalı dilbilim" terimi de literatürde bulunur, ancak yerel bilimde "nicel dilbilim" kavramına yaklaşarak daha dar bir anlam kazanır.

Genellikle "nicel dilbilim" terimi, dil ve konuşmayı öğrenmek için ana araç olarak nicel veya istatistiksel analiz yöntemlerinin kullanıldığı uygulamalı araştırmalarda disiplinler arası bir yönü karakterize eden hesaplamalı dilbilime atıfta bulunur. Bazen nicel (veya nicel) dilbilim, kombinatoryal dilbilim ile çelişir. İkincisinde, baskın rol "niceliksel olmayan" matematiksel aygıt - küme teorisi, matematiksel mantık, algoritmalar teorisi vb. tarafından oynanır. Teorik bir bakış açısından, istatistiksel yöntemler dilbilimde, yapısal dil modelini olasılıksal bir bileşenle tamamlamayı, yani önemli açıklayıcı potansiyele sahip teorik bir yapısal-olasılıklı model oluşturmayı mümkün kılar. Uygulamalı alanda, nicel dilbilim, her şeyden önce, dilin işleyişinin dilsel olarak izlenmesi, kodlanmış metnin şifresinin çözülmesi, metnin yetkilendirilmesi / atfedilmesi vb. için kullanılan bu modelin parçalarının kullanılmasıyla temsil edilir.

"Hesaplamalı dilbilim" terimi ve bu yöndeki sorunlar genellikle iletişimin modellenmesiyle ve her şeyden önce - doğal veya sınırlı bir bilgisayarla insan etkileşiminin sağlanmasıyla ilişkilidir. Doğal lisan(bu amaçla, özel doğal dil işleme sistemleri oluşturulmaktadır) ve ayrıca bilgi erişim sistemlerinin (ISS) teorisi ve pratiği ile birlikte. Bir kişi ile bir bilgisayar arasında doğal bir dilde iletişimin sağlanması bazen "doğal dil işleme" terimi ile ifade edilir (çeviri İngilizce dili Doğal Dil İşleme terimi). Hesaplamalı dilbilimin bu yönü 1960'ların sonlarında yurtdışında ortaya çıktı ve yapay zeka adı verilen bilimsel ve teknolojik disiplin çerçevesinde gelişti (R. Schenk, M. Lebowitz, T. Vinograd, vb.'nin çalışmaları). Anlamında, "doğal dil işleme" ifadesi, bilgisayarların dil verilerini işlemek için kullanıldığı tüm alanları kapsamalıdır. Bununla birlikte, pratikte, terimin daha dar bir anlayışı yerleşmiştir - bir kişi ile bir bilgisayar arasında doğal veya sınırlı bir doğal dilde iletişim sağlayan yöntemlerin, teknolojilerin ve belirli sistemlerin geliştirilmesi.

Belirli bir dereceye kadar, hipermetin sistemleri oluşturma alanındaki çalışmalar, metni düzenlemenin özel bir yolu olarak kabul edilen ve hatta birçok özelliğinde geleneksel metinlere karşıt olarak temelde yeni bir metin türü olarak kabul edilen hesaplamalı dilbilime atfedilebilir. Gutenberg tipografi geleneği (bkz. Gutenberg).

Otomatik çeviri de hesaplamalı dilbilimin yetkinliğine girer.

Hesaplamalı dilbilim çerçevesinde, 1980'lerden ve 1990'lardan beri aktif olarak gelişen nispeten yeni bir yön de ortaya çıkmıştır - dilbilimsel veri birimleri (özellikle metin organları) oluşturmak için genel ilkelerin modern bilgisayar kullanılarak geliştirildiği korpus dilbilimi. teknolojiler. Metin külliyatı kitaplardan, dergilerden, gazetelerden vb. özel olarak seçilmiş metinlerin makine ortamına aktarılan ve otomatik olarak işlenmesi amaçlanan koleksiyonlardır. İlk metin külliyatlarından biri, 1962-63'te W. Francis başkanlığında Brown Üniversitesi'nde (Brown Corpus olarak adlandırılır) Amerikan İngilizcesi için oluşturulmuştur. Rusya'da, 2000'li yılların başından beri, Rusya Bilimler Akademisi'nin Rus Dili Vinogradov Enstitüsü, yaklaşık 100 milyon kelimelik bir hacme sahip Rusça metinlerin temsili bir örneğinden oluşan Rus Dili Ulusal Derlemi'ni geliştirmektedir. kullanım. Veri derlemlerinin gerçek tasarımına ek olarak, derlem dilbilimi, metin külliyatından çeşitli bilgileri çıkarmak için tasarlanmış bilgisayar araçlarının (bilgisayar programları) oluşturulmasıyla ilgilenir. Kullanıcının bakış açısından, metin külliyatına temsil edicilik (temsilcilik), eksiksizlik ve ekonomiklik gereksinimleri empoze edilir.

Hesaplamalı dilbilim, hem Rusya'da hem de yurtdışında aktif olarak gelişiyor. Bu alandaki yayın akışı çok geniştir. Tematik koleksiyonlara ek olarak, 1984'ten beri Amerika Birleşik Devletleri'nde "Computational Linguistics" dergisi üç ayda bir yayınlanmaktadır. Büyük organizasyon ve bilimsel çalışma Dünya çapında bölgesel yapılara (özellikle Avrupa şubesi) sahip olan Hesaplamalı Dilbilim Derneği tarafından yürütülür. Her iki yılda bir uluslararası COLINT konferansları düzenlenmektedir (2008'de konferans Manchester'da yapılmıştır). Hesaplamalı dilbilimin ana yönleri, Rusya Yapay Zeka Araştırma Enstitüsü, Moskova Devlet Üniversitesi Filoloji Fakültesi, Yandex ve bir dizi başka kuruluş tarafından düzenlenen yıllık uluslararası konferans "Diyalog" da tartışılmaktadır. İlgili konular, çeşitli düzeylerde yapay zeka üzerine uluslararası konferanslarda da geniş bir şekilde temsil edilmektedir.

Yanan: Zvegintsev V.A. Teorik ve Uygulamalı Dilbilim. M., 1968; Piotrovsky R.G., Bektaev K.B., Piotrovskaya A.A. Matematiksel dilbilim. M., 1977; Gorodetskiy B. Yu Uygulamalı dilbilimin güncel sorunları // Yabancı dilbilimde yeni. M., 1983. Sayı. 12; Kibrik A.E. Uygulamalı dilbilim // Kibrik A.E. Dilbilimin genel ve uygulamalı sorunları üzerine denemeler. M., 1992; Kennedy G. Derlem dilbilimine giriş. L., 1998; Bolshakov I.A., Gelbukh A. Hesaplamalı dilbilim: modeller, kaynaklar, uygulamalar. Kürk., 2004; Rus dilinin ulusal külliyatı: 2003-2005. M., 2005; Baranov A.N. Uygulamalı Dilbilime Giriş. 3. baskı. M., 2007; Hesaplamalı dilbilim ve akıllı teknolojiler. M., 2008. Sayı. 7.

bilgisayar dilbilimi(Ayrıca: matematiksel veya hesaplamalı dilbilimleri, İng. hesaplamalı dilbilimleri), doğal dilleri tanımlamak için matematiksel modelleri kullanmayı amaçlayan yapay zeka sistemlerinin oluşturulmasında insanlarda ve hayvanlarda entelektüel süreçlerin matematiksel ve bilgisayar modellemesi alanında bilimsel bir yöndür.

Hesaplamalı dilbilim, kısmen doğal dil işleme ile örtüşür. Bununla birlikte, ikincisinde vurgu soyut modeller üzerinde değil, bilgisayar sistemleri için dili tanımlamanın ve işlemenin uygulamalı yöntemleri üzerindedir.

Bilgisayar dilbilimcilerinin faaliyet alanı, dilsel bilgileri işlemek için algoritmaların ve uygulamalı programların geliştirilmesidir.

kökenler

Matematiksel dilbilim, yapay zeka biliminin bir dalıdır. Tarihi 1950'lerde Amerika Birleşik Devletleri'nde başladı. Transistörün icadı ve ilk programlama dillerinin yanı sıra yeni nesil bilgisayarların ortaya çıkmasıyla birlikte makine çevirisi, özellikle Rus bilimsel dergileri ile deneyler başladı. 1960'larda SSCB'de benzer çalışmalar yapıldı (örneğin, 1964 için "Sibernetik Sorunları" koleksiyonunda Rusça'dan Ermenice'ye çeviri üzerine bir makale). Bununla birlikte, makine çevirisinin kalitesi hala insan çevirisinin kalitesinden çok daha düşüktür.

15 Mayıs - 21 Mayıs 1958 tarihleri ​​​​arasında, 1. Moskova Devlet Pedagoji Enstitüsü'nde makine çevirisi üzerine ilk All-Union konferansı düzenlendi. Organizasyon komitesine V. Yu. Rosenzweig ve organizasyon komitesinin genel sekreteri G. V. Chernov başkanlık etti. Konferansın tam programı "Makine Çevirisi ve Uygulamalı Dilbilim" koleksiyonunda yayınlanmıştır, cilt. 1, 1959 (aka "Makine Çeviri Derneği Bülteni No. 8"). V. Yu. Rosenzweig'in hatırladığı gibi, yayınlanan konferans özetleri koleksiyonu ABD'de sona erdi ve orada büyük bir izlenim bıraktı.

Nisan 1959'da Leningrad Üniversitesi ve Uygulamalı Dilbilim Komitesi tarafından toplanan Birinci Tüm Birlik Matematiksel Dilbilim Konferansı Leningrad'da yapıldı. Toplantının ana organizatörü ND Andreev'di. Toplantıya, özellikle S.L.Sobolev, L.V. Kantorovich (daha sonra - Nobel ödüllü) ve A.A. Markov (son ikisi tartışmaya katıldı). V. Yu. Rosenzweig, Toplantının açılış gününde "Genel dilbilimsel çeviri kuramı ve matematiksel dilbilim" başlıklı bir açılış konuşması yaptı.

Hesaplamalı dilbilimin yönleri

• Doğal Dil İşleme doğal dil işleme; metnin sözdizimsel, morfolojik, anlamsal analizi). Bu ayrıca şunları içerir:

1. Derlem dilbilimi, elektronik metin derlemlerinin oluşturulması ve kullanılması
2. Elektronik sözlükler, eş anlamlılar sözlüğü, ontolojilerin oluşturulması. Örneğin, Lingvo. Sözlükler, örneğin otomatik çeviri, yazım denetimi için kullanılır.
3. Metinlerin otomatik çevirisi. Promt, Rusça çevirmenler arasında popülerdir. Ücretsizler arasında Google Çeviri çevirmeni var
4. Metinden gerçeklerin otomatik olarak çıkarılması (bilgi çıkarma) (eng. olgu çıkarma, metin madenciliği)
5. Otomatik referans (İng. otomatik metin özetleme). Bu özellik, örneğin Microsoft Word'de bulunur.
6. Bilgi yönetim sistemleri oluşturmak. Uzman Sistemlere Bakın
7. Soru-cevap sistemlerinin oluşturulması (İng. soru cevaplama sistemleri).

• Optik Karakter Tanıma (İng. OCR). Örneğin, FineReader
• Otomatik konuşma tanıma (İng. ASR). Ücretli ve ücretsiz yazılımlar var
• Otomatik konuşma sentezi

Başlıca dernekler ve konferanslar

Rusya'da eğitim programları

Ayrıca bakınız

"Hesaplamalı Dilbilim" makalesi hakkında bir inceleme yazın

Notlar (düzenle)

Bağlantılar

• (makale)
• - Rus dili için dil kaynaklarına ilişkin bilgi tabanı
• - bazı hesaplamalı dilbilim araçlarının açık kaynağı
• - hesaplamalı dilbilim programlarına çevrimiçi erişim

Hesaplamalı Dilbilimi karakterize eden bir alıntı

"Al, al çocuğu," dedi Pierre, kızı uzatarak ve kadına buyurgan ve aceleyle hitap etti. - Onlara geri ver, geri ver! - neredeyse kadına bağırdı, çığlık atan kızı yere koydu ve tekrar Fransız ve Ermeni ailesine baktı. Yaşlı adam zaten yalınayak oturuyordu. Küçük Fransız son çizmesini çıkardı ve çizmelerini birbirine vurdu. Yaşlı adam hıçkıra hıçkıra ağlayarak bir şeyler söyledi, ama Pierre sadece bir bakışını yakaladı; Tüm dikkati kaportadaki Fransız'a çekildi, o sırada yavaşça sallanarak genç kadına doğru ilerledi ve ellerini ceplerinden çıkararak boynunu tuttu.
Güzel Ermeni kadın, uzun kirpiklerini indirmiş, sanki askerin ona ne yaptığını görmemiş veya hissetmemiş gibi aynı hareketsiz pozisyonda oturmaya devam etti.
Pierre, kendisini Fransızlardan ayıran birkaç adımı koşarken, kaportadaki uzun yağmacı, Ermeni kadının boynundan taktığı kolyeyi çoktan koparmıştı ve genç kadın, boynunu elleriyle tutarak, delici bir sesle çığlık attı. .
- Bırakın az kadın! [Bu kadını bırak!] - Pierre öfkeli bir sesle hırladı, uzun, kambur askeri omuzlarından tuttu ve onu fırlattı. Asker düştü, kalktı ve kaçtı. Ama yoldaşı, çizmelerini fırlattı, bir balta çıkardı ve tehditkar bir şekilde Pierre'e doğru ilerledi.
- Voyonlar, pas de betises! [Oh iyi! Aptal olma!] diye bağırdı.
Pierre, hiçbir şey hatırlamadığı ve gücünün on kat arttığı o öfke nöbetindeydi. Kendini çıplak ayaklı Fransız'a attı ve daha baltasını çıkaramadan onu yere sermiş ve yumruklarıyla dövmüştü. Çevredeki kalabalıktan onaylayan bir çığlık duyuldu, aynı zamanda köşeden Fransız mızraklı bir at devriyesi göründü. Mızraklılar, Pierre ve Fransız'a doğru koştu ve onları kuşattı. Pierre daha sonra olanlarla ilgili hiçbir şey hatırlamıyordu. Birini dövdüğünü, dövüldüğünü ve sonunda ellerinin bağlı olduğunu, bir Fransız askeri kalabalığının etrafında dikilip elbisesini aradığını hissettiğini hatırladı.
- Il a poignard, teğmen, [Teğmen, hançeri var,] - Pierre'in anladığı ilk kelimelerdi.
- Ah, une arme! [Ah, silahlar!] - dedi subay ve Pierre ile birlikte alınan yalınayak askere döndü.
- C "est bon, vous direz tout cela au conseil de guerre, [Tamam, tamam, duruşmada her şeyi anlatacaksın,] - dedi memur. Ve sonra Pierre'e döndü: - Parlez vous francais vous? Fransızca konuş? ]
Pierre kanlı gözlerle etrafına baktı ve cevap vermedi. Muhtemelen, yüzü çok korkutucu görünüyordu, çünkü memur bir fısıltıyla bir şeyler söyledi ve dört mızraklı daha takımdan ayrıldı ve Pierre'in her iki yanında durdu.
- Parlez vous francais? Memur ondan uzak durarak soruyu ona tekrarladı. - Faites venir l "tercümanlık. [Tercüman çağırın.] - Sivil Rus elbiseli küçük bir adam sıraların arkasından çıktı. Pierre, elbisesi ve konuşmasıyla Moskova'daki dükkanlardan birinde onu hemen bir Fransız olarak tanıdı.
- Il n "a pas l" air d "un homme du peuple, [Sıradan birine benzemiyor,] - dedi çevirmen, Pierre'e bakarak.
- Ah, ah! Cam "a bien l" air d "un des inendiaires, - memur yağlanmış. - Demandez lui ce qu" il est? [Ah ah! kundakçıya çok benziyor. Ona kim olduğunu sor?] Diye ekledi.
- Sen kimsin? Tercüman sordu. “Patronlar sorumlu olmalı” dedi.
- Geldi. Je suis seçmen mahkumu. Emmenez moi, [Sana kim olduğumu söylemeyeceğim. Ben senin tutsağınım. Beni götür,] - Pierre aniden Fransızca söyledi.
- Ah ah! - dedi memur, kaşlarını çatarak. - Marchonlar!
Mızraklıların etrafında bir kalabalık toplandı. Pierre'e en yakını, bir kızı olan çilli bir kadındı; dolambaçlı yol başladığında, o ilerledi.
- Bu seni nereye götürüyor, sevgili oğlum? - dedi. - O zaman kızım, kızım o zaman onların değilse nereye koyayım! - dedi kadın.
- Elle veut cette femme mi? [Ne istiyor?] Memur sordu.
Pierre sarhoştu. Kurtardığı kızı görünce heyecanı daha da arttı.
"Ce qu" elle dit? "dedi." Elle m "aporte ma fille que je viens de sauver des flammes," dedi. - Elveda! [Ne istiyor? Ateşten kurtardığım kızımı taşıyor. Elveda!] - ve o, bu amaçsız yalanın ondan nasıl kaçtığını bilmeden, Fransızlar arasında kararlı, ciddi bir adımla yürüdü.
Fransızların ayrılması, Duronel'in emriyle Moskova'nın çeşitli sokaklarında yağmalamayı bastırmak ve özellikle genel görüşe göre o gün Fransız yüksekleri arasında ortaya çıkan kundakçıları yakalamak için gönderilenlerden biriydi. -Yangınlara üst düzey yetkililer neden oldu. Birkaç caddeyi dolaşan devriye, beş şüpheli Rus, bir dükkan sahibi, iki ilahiyatçı, bir köylü ve bir avlu ve birkaç yağmacı daha aldı. Ama tüm kuşkulu insanlar arasında en kuşkulusu Pierre görünüyordu. Hepsi, Zubovsky Val'de bir muhafız kulübesinin kurulduğu büyük bir evde gecelemek için bir lojmana getirildiğinde, Pierre ayrı ayrı sıkı koruma altına alındı.

O zamanlar St. Petersburg'da en yüksek çevrelerde, Rumyantsev, Fransız, Maria Feodorovna, Çareviç ve diğerlerinin partileri arasında, her zaman olduğu gibi, borazanlarla boğulan karmaşık bir mücadele her zamankinden daha büyük bir şevkle vardı. mahkeme drone'ları. Ama sakin, lüks, sadece hayaletlerle meşgul, hayatın yansımaları, Petersburg hayatı eskisi gibi devam etti; ve bu hayatın akışı nedeniyle, Rus halkının içinde bulunduğu tehlikeyi ve zor durumu anlamak için büyük çaba sarf edilmesi gerekiyordu. Aynı çıkışlar, balolar, aynı Fransız tiyatrosu, avluların aynı ilgileri, aynı hizmet ve entrika ilgileri vardı. Sadece en yüksek çevrelerde mevcut durumun zorluğuna benzetilmeye çalışıldı. Her iki İmparatoriçe'nin bu kadar zor koşullarda nasıl birbirine zıt davrandığı fısıltı halinde anlatıldı. Kendi yetkisi altındaki hayır kurumlarının ve eğitim kurumlarının refahından endişe duyan İmparatoriçe Maria Feodorovna, tüm kurumların Kazan'a gönderilmesi emrini verdi ve bu kurumların eşyaları çoktan toplanmıştı. İmparatoriçe Elizaveta Alekseevna, karakteristik Rus vatanseverliği ile hangi emirleri vermekten hoşlandığı sorusu üzerine, bu konuda cevap vermeye tenezzül etti. Devlet kurumları egemeni ilgilendirdiği için emir veremez; Kişisel olarak ona bağlı olan aynı şey hakkında, Petersburg'u en son terk edeceğini söylemeye tenezzül etti.

2012'den beri, Rusya Devlet Beşeri Bilimler Üniversitesi Dilbilim Enstitüsü, yüksek lisans programı için yüksek lisans hazırlamaktadır. Hesaplamalı dilbilimleri(yön Temel ve Uygulamalı Dilbilim). Bu program profesyonel hazırlamak için tasarlanmıştır. dilbilimciler Hem dilbilimin temelleri hem de modern yöntemler araştırma, uzman-analitik, mühendislik çalışması ve yenilikçi dil bilgisayar teknolojilerinin geliştirilmesine etkin bir şekilde katılabilme.

V Eğitim süreci yüksek lisans eğitimi ile modern hesaplamalı dilbilimin ana akımı arasında bir bağlantı sağlayan otomatik metin işleme alanında büyük araştırma ve ticari sistemlerin geliştiricilerini içeriyordu. Ustaların Rus ve uluslararası konferanslara katılımına özellikle dikkat edilir.

Öğretmenler arasında dilsel uzmanlıklar üzerine temel ders kitaplarının yazarları, birinci sınıf uzmanlar, otomatik dil işleme için büyük sistemlerin proje yöneticileri var: Ya.G. Testelets, I.M. Boguslavsky, V.I. Belikov ve V.I. Podlesskaya, V.P. Selegey, L.L. İomdin, A.Ş. Starostin, S.A. Sharov'un yanı sıra hesaplamalı dilbilim alanında dünya lideri olan şirketlerin çalışanları: IBM (Watson sistemi), Yandex, ABBYY (Lingvo, FineReader, Compreno sistemleri).

Bu programda yüksek lisans hazırlamanın temeli proje tabanlı bir yaklaşımdır. Lisans öğrencilerinin hesaplamalı dilbilim alanındaki araştırma çalışmalarına çekiciliği, Rusya Devlet Beşeri Bilimler Üniversitesi temelinde ve AOT (ABBYY, IBM, vb.) alanında programların geliştirilmesiyle uğraşan şirketler temelinde gerçekleşir. ), tabii ki hem ustaların kendileri hem de potansiyel işverenleri için büyük bir artı. Özellikle hedef ustalar, eğitimi müstakbel işverenler tarafından sağlanan sulh hakimliğine kabul edilir.

Giriş testleri: "Formel modeller ve yöntemler modern dilbilim". Sınavın zamanı hakkında doğru bilgi, Rusya Devlet Beşeri Bilimler Üniversitesi sulh yargıç bölümünün web sitesinde elde edilebilir.

Yargıç başkanı - kafa. Hesaplamalı Dilbilim Eğitim ve Bilim Merkezi, ABBYY Dilbilim Araştırmaları Direktörü Vladimir Pavloviç Selegey ve Felsefe Doktoru, Profesör Vera Isaakovna Podlesskaya .

Giriş sınavı programı ve "Modern dilbilimin biçimsel modelleri ve yöntemleri" disiplininde röportajlar.

Programla ilgili yorumlar

• Programın herhangi bir sorusuna, sorunun bölümüyle ilgili belirli dilsel fenomenlerin açıklamalarıyla ilgili görevler eşlik edebilir: yapıların inşası, kısıtlamaların tanımı, inşaat ve / veya tanımlama için olası algoritmalar.
• Yıldız işaretli sorular isteğe bağlıdır (biletler 3 numaradır). İlgili materyale sahip olmak adaylar için önemli bir bonustur, ancak zorunlu değildir.
• Teorik sorulara ek olarak, sınav biletleri, çeviri ve tartışma için İngilizce özel (dilsel) bir metnin küçük bir parçasını sunacaktır. Başvuru sahiplerinin İngilizce bilimsel terminolojide tatmin edici düzeyde yeterlilik ve bilimsel metin analizi becerileri göstermeleri gerekmektedir. Bir başvuru sahibi için ciddi zorluklara neden olmaması gereken bir metin örneği olarak, aşağıda https://en.wikipedia.org/wiki/Anaphora_(linguistics) makalesinden bir alıntı verilmiştir:

Dilbilimde, anaphora (/ əˈnæfərə /), yorumu bağlam içindeki başka bir ifadeye (öncesi veya sonrası) bağlı olan bir ifadenin kullanımıdır. Daha dar bir anlamda, anafora, özellikle önceki bir ifadeye dayanan bir ifadenin kullanılmasıdır ve bu nedenle, sonradan gelen bir ifadeye dayanan bir ifadenin kullanımı olan katafora ile tezat teşkil eder. Anaforik (gösteren) terime anafor denir. Örneğin, cümlede Sally geldi ama kimse onu görmedi, onu zamiri bir anafordur, önceki Sally'ye atıfta bulunur. Gelmeden önce cümlede, kimse Sally'yi görmedi, onun zamiri ileriye dönük Sally'ye atıfta bulunuyor, bu yüzden o şimdi bir katafor (ve daha geniş anlamda bir anafor, ancak daha dar anlamda değil). Genellikle, anaforik bir ifade, bir proform veya başka bir tür deiktik (bağlamsal olarak bağımlı) ifadedir. Hem anaphora hem de cataphora, bir diyalog veya metinde başka bir yerde bahsedilen bir şeye atıfta bulunan endofora türleridir.

Anaphora, farklı nedenlerle ve farklı düzeylerde önemli bir kavramdır: ilk olarak, anaphora söylemin nasıl inşa edildiğini ve sürdürüldüğünü gösterir; ikincisi, anafora cümle düzeyinde farklı sözdizimsel öğeleri birbirine bağlar; üçüncü olarak, referansın tanımlanması zor olabileceğinden, anafora hesaplamalı dilbilimde doğal dil işlemeye bir meydan okuma sunar; ve dördüncüsü, anafora, dilin nasıl anlaşıldığı ve işlendiği hakkında bazı şeyler anlatır; bu, bilişsel psikolojiyle ilgilenen dilbilim alanlarıyla ilgilidir.

TEORİK SORULAR

GENEL DİL KONULARI

• Dilbilimin nesnesi. Dil ve konuşma. Eşzamanlılık ve artzamanlılık.
• Dil seviyeleri. Dil seviyelerinin resmi modelleri.
• Sintagmatik ve paradigmatik. Dağıtım konsepti.
• Diller arası karşılaştırmaların temelleri: tipolojik, soybilimsel ve alansal dilbilim.
• * Matematiksel Dilbilim: Nesne ve Araştırma Yöntemleri

FONETİK

• Fonetik konusu. Artikülasyon ve akustik fonetik.
• Segment ve suprasegmental fonetik. Prozodi ve tonlama.
• Fonolojinin temel kavramları. Fonolojik sistemlerin tipolojisi ve fonetik gerçekleşmeleri.
• * Bilgisayar araçları ve fonetik araştırma yöntemleri
• * Konuşmanın analizi ve sentezi.

MORFOLOJİ

• Morfolojinin konusu. Morflar, morfemler, allomorflar.
• Büküm ve kelime oluşumu.
• gramer anlamları ve bunları uygulama yolları. Dilbilgisi kategorileri ve gramerler. Morfolojik ve sözdizimsel gramer anlamları.
• Kelime formları, temeller, lemmalar ve paradigma kavramları.
• Konuşma bölümleri; konuşma bölümlerinin seçiminde temel yaklaşımlar.
• * Bükülmeyi ve kelime oluşumunu tanımlamak için resmi modeller.
• * Otomatik dil işleme görevlerinde morfoloji: yazım denetimi, lemmatization, POS etiketleme

SÖZDİZİMİ

• Sözdizimi konusu. Sözdizimsel ilişkileri ifade etme yolları.
• Bir cümlenin sözdizimsel yapısını temsil etme yolları. Bağımlılık ve kurucu ağaçların avantajları ve dezavantajları.
• Doğrusal düzeni tanımlama yöntemleri. Yansıtmama ve bileşenlerin kopması. Dönüşüm kavramı; doğrusal düzen ile ilişkili dönüşümler.
• Sözdizimi ve anlambilim arasındaki ilişki: değerlikler, kontrol modelleri, eyleyenler ve sirkonstantlar.
• Diyabet ve rehin. Aktan türevi.
• İfadenin iletişimsel organizasyonu. Tema ve rhema, verili ve yeni, karşıtlık.
• * Temel sözdizimsel teoriler: MCT, üretkenlik, işlevsel dilbilgisi, HPSG
• * Matematiksel sözdizimi modelleri: Chomsky'ye göre biçimsel dillerin sınıflandırılması, tanıma algoritmaları ve karmaşıklıkları.

anlambilim

• Anlambilimin konusu. Dünyanın saf ve bilimsel dilsel resmi. Sapir-Whorf hipotezi.
• Dilde ve konuşmada anlam: anlam ve gönderge. Referans türü (belirleyici durum).
• Sözlüksel anlambilim. Bir kelimenin anlamını tanımlamanın yolları.
• Dilbilgisel anlambilim. Rus dili örneğindeki ana kategoriler.
• Cümle anlambilimi. Önerme bileşeni. Deixis ve Anaphora. Niceleyiciler ve demetler. Modalite.
• Hiyerarşi ve sözcüksel anlamların tutarlılığı. Çokanlamlılık ve eş anlamlılık. Çok anlamlı bir kelimenin anlamsal yapısı. Değişmez ve prototip kavramları.
• Kelime dağarcığında paradigmatik ve dizimsel ilişkiler. Sözlüksel işlevler.
• Tercüme. Yorumların dili. Moskova Semantik Okulu
• Semantik ve Mantık. Açıklamanın gerçek anlamı.
• Söz edimleri teorisi. Sözce ve illüzyon gücü. Performatifler. Söz edimlerinin sınıflandırılması.
• Deyimbilim: ifade birimlerini tanımlama envanteri ve yöntemleri.
• * Biçimsel anlambilim modelleri ve yöntemleri.
• * Modern hesaplamalı dilbilimde anlambilim modelleri.
• * Dağıtıcı ve işlemsel anlambilim.
• * Dilbilgisi yapılarının temel fikirleri.

TİPOLOJİ

• Dillerin geleneksel tipolojik sınıflandırmaları.
• Bir ismin ve bir fiilin gramer kategorilerinin tipolojisi.
• tipoloji basit cümle... Ana yapı türleri şunlardır: suçlayıcı, ergatif, aktif.
• Kelime sırası tipolojisi ve Greenberg korelasyonları. Sol ve sağ dallanma dilleri.

LEXİKOGRAFİ

• Kültür envanteri olarak kelime hazinesi; kelime dağarcığının sosyal varyasyonu, sözlüksel kullanım, norm, kodlama.
• Sözlüklerin tipolojisi (Rusça). Kelime dağarcığının çeşitli türlerdeki sözlüklere yansıması.
• Rus dilinin katılımıyla iki dilli sözlükbilim.
• Tanımlayıcı ve kuralcı sözlükbilim. Profesyonel dil sözlükleri.
• Ana Rusça açıklayıcı sözlüklerin özgüllüğü. Yapı kelime girişi... Yorumlama ve ansiklopedik bilgi.
• Kelime bilgisi ve gramer. Moskova Semantik Okulu'nda dilin ayrılmaz modeli fikri.
• * Sözlükbilimcinin çalışmalarının metodolojisi.
• * Sözlükbilimde Derlem Yöntemleri.

METİN DİLLERİ VE SÖYLEM

• Metin ve söylem kavramı.
• İfade iletişim mekanizmaları. Dil uygulamalarının ana araçları.
• Bir dil birimi ve metnin bir öğesi olarak bir cümle.
• Sözcük üstü birlik, oluşum ve seçim ilkeleri, temel özellikler.
• Metinlerin ana sınıflandırma kategorileri (tür, stil, kayıt, konu alanı vesaire)
• * Otomatik tür sınıflandırma yöntemleri.

SOSYOlinguistik

• Toplumdilbilimin konusu ve sınırları sorunu, disiplinler arası doğası. Sosyoloji ve demografinin temel kavramları. Dil yapısı ve toplumdilbilim düzeyleri. Toplumdilbilimin temel kavramları ve yönleri.
• Dil kişileri. İki dillilik ve Diglossia. Dil tarihinde ıraksak ve yakınsak süreçler.
• Dilin sosyal farklılaşması. Dil varoluş biçimleri. Edebi dil: usus-norm-kodlama. Dilin işlevsel alanları.
• Dil sosyalleşmesi. Sosyal ve dilsel kimliğin hiyerarşik doğası. Bireyin dilsel davranışı ve iletişimsel repertuarı.
• Toplumdilbilimsel araştırma yöntemleri.

BİLGİSAYAR DİLİ

• Hesaplamalı dilbilimin görevleri ve yöntemleri.
• Corpus dilbilimi. Davanın ana özellikleri.
• Bilgi temsili. M. Minsky'nin çerçeve teorisinin ana fikirleri. FrameNet sistemi.
• Sözlükler ve ontolojiler. WordNet.
• Metinlerin istatistiksel analizinin temelleri. Frekans sözlükleri. Kollokasyon analizi.
• * Makine öğrenimi kavramı.

EDEBİYAT

Eğitim (temel seviye)

Baranov A.N. Uygulamalı Dilbilime Giriş. M.: Editoryal URRS, 2001.

Baranov A.N., Dobrovolskiy D.O. Deyimbilimin temelleri (kısa kurs) öğretici... 2. Baskı. Moskova: Flinta, 2014.

Belikov V.A., Krysin L.P. toplumdilbilim. M., RGGU, 2001.

Burlak S.A., Starostin S.A. Karşılaştırmalı-tarihsel dilbilim. M.: Akademi. 2005

Vakhtin N.B., Golovko E.V. Toplumdilbilim ve dil sosyolojisi. SPb., 2004.

Knyazev S.V., Pozharitskaya S.K. Modern Rus edebi dili: Fonetik, grafik, imla, imla. 2. baskı. M., 2010

Kobozeva I.M. Dilbilimsel anlambilim. M.: Editoryal URSS. 2004.

Kodzasov S.V., Krivnova O.F. Genel fonetik... M.: RGGU, 2001.

Krongauz M.A. anlambilim. M.: RGGU. 2001.

Krongauz M.A. Semantik: Görevler, görevler, metinler. M.: Akademi. 2006 ..

Maslov Yu.S. Dilbilime giriş. Ed. 6. silindi. M.: Akademi, fil. fak. SPbSU,

Plungyan V.A. Genel morfoloji: Sorunluya giriş. Ed. 2. Moskova: Editoryal URSS, 2003.

Testelets Ya.G. Genel sözdizimine giriş. M., 2001.

Shaykevich A.Ya. Dilbilime giriş. M.: Akademi. 2005.

Bilimsel ve referans

Apresyan Yu.D. Seçilmiş eserler, cilt I. Sözcüksel anlambilim: 2. baskı, Isp. ve Ekle. M.: Okul "Rus kültürünün dilleri", 1995.

Apresyan Yu.D. Seçilmiş Eserler, Cilt II. Dilin bütünleyici tanımı ve sistemik sözlükbilim. M.: Okul "Rus kültürünün dilleri", 1995.

Apresyan Yu.D.(ed.) Rus dilinin eş anlamlılarının yeni açıklayıcı sözlüğü. Moskova - Viyana: "Rus Kültürünün Dilleri", Wiener Slavistischer Almanach, Sonderband 60, 2004.

Apresyan Yu.D.(ed.) Dünyanın dilbilimsel resmi ve sistemik sözlükbilim (baş editör Yu. D. Apresyan). M.: "Slav Kültürlerinin Dilleri", 2006, Önsöz ve Bölüm. 1, s. 26 - 74.

Bulygina T.V., Shmelev A.D. Dünyanın dilsel kavramsallaştırılması (Rus dilbilgisi malzemesine dayanarak). M.: Okul "Rus kültürünün dilleri", 1997.

Weinreich U. Dil kişileri. Kiev, 1983.

Vezhbitskaya A. Semantik evrenseller ve dillerin tanımı. M.: Okul "Rus kültürünün dilleri". 1999.

Galperin I.R. Dilbilimsel araştırmanın bir nesnesi olarak metin. 6. baskı. M.: LKI, 2008 ("XX yüzyılın dil mirası")

AA Zaliznyak Modern Rus dili ve genel dilbilim üzerine seçilmiş çalışmaların bir eki ile “Rusça nominal çekim”. Moskova: Slav Kültürü Dilleri, 2002.

AA Zaliznyak, E.V. Paducheva Göreceli cümlelerin bir tipolojisine doğru. / Göstergebilim ve bilişim, cilt. 35. M., 1997, s. 59-107.

Ivanov Viach. Güneş.Üçüncü binyılın dilbilimi. Gelecek için sorular. M., 2004. S. 89-100 (11. Dünyanın dil durumu ve yakın gelecek için tahmin).

Kıbrıs A.E. Dilbilimin genel ve uygulamalı sorunları üzerine denemeler. M.: Moskova Devlet Üniversitesi yayınevi, 1992.

Kıbrıs A.E. Dil sabitleri ve değişkenleri. SPb: Aleteya, 2003.

Labov Ü. Dil değişikliklerinin mekanizması hakkında // Dilbilimde yeni. Sayı 7. M., 1975.S. 320-335.

Aslanlar J. Dilbilimsel Semantik: Bir Giriş. M.: Slav kültürünün dilleri. 2003.

Lyon John. Dil ve dilbilim. Giriş dersi. M: URSS, 2004

Lakoff J. Kadınlar, Ateş ve Tehlikeli Şeyler: Dilin Hangi Kategorileri Bize Düşünmeyi Anlatıyor? M.: Slav kültürünün dilleri. 2004.

Lakoff J., Johnson M... Yaşadığımız metaforlar. Başına. İngilizceden 2. baskı M.: URSS. 2008.

Dilbilim Ansiklopedik Sözlük / Ed. VE. Yartseva. M.: Bilimsel yayınevi "Büyük Rus Ansiklopedisi", 2002.

Melchuk I.A. Genel morfoloji dersi. TT. I-IV. Moskova-Viyana: "Slav Kültürünün Dilleri", Wiener Slavistischer Almanach, Sonderband 38 / 1-38 / 4, 1997-2001.

Melchuk I.A. Dilsel modeller teorisi deneyimi "ANLAM ↔ METİN". M.: Okul "Rus Kültürünün Dilleri", 1999.

Fedorova L.L. göstergebilim. M., 2004.

Filippov K.A. Metnin dilbilimi: Dersler kursu - 2. baskı, Isp. ve Ekle. Ed. Petersburg. Üniversite, 2007.

Haspelmath, M., et al... (ed.). Dünya Dil Yapıları Atlası. Oxford, 2005.

Kurutucu, M.S. ve Haspelmath, M.(eds.) Çevrimiçi Dil Yapıları Dünya Atlası. Leipzig: Max Planck Evrimsel Antropoloji Enstitüsü, 2013. (http://wals.info)

Croft W. Tipoloji ve Evrenseller. Cambridge: Cambridge University Press, 2003. Shopen, T. (ed.)... Dil Tipolojisi ve Sözdizimsel Açıklama. 2. Baskı. Cambridge, 2007.

V.I.Belikov. Devlet dili olarak kullanıldığında modern Rus edebi dilinin normlarını içeren sözlükler hakkında Rusya Federasyonu". 2010 // Gramota.Ru Portalı (http://gramota.ru/biblio/research/slovari-norm)

Hesaplamalı dilbilim ve akıllı teknolojiler: Yıllık Uluslararası "Diyalog" Konferansının materyallerine dayanmaktadır. Konu 1-11. - M.: Yayınevi Nauka, Rusya Devlet İnsani Üniversitesi'nden, 2002-2012. (Hesaplamalı dilbilim üzerine makaleler, http://www.dialog-21.ru).

Rus dilinin ulusal külliyatı: 2006-2008. Yeni sonuçlar ve beklentiler. / Res. ed. V.A. Plungyan. - SPb.: Nestor-Tarih, 2009.

Yabancı dilbilimde yeni. Konu XXIV, Hesaplamalı dilbilim / Comp. B. Yu Gorodetski. Moskova: İlerleme, 1989.

Shimchuk E.G. Rus sözlükbilimi: ders kitabı. Moskova: Akademi, 2009.

Rus dilinin ulusal külliyatı: 2003-2005. Makalelerin özeti. M.: Indrik, 2005.

Kişiler için:

Hesaplamalı Dilbilim Eğitim ve Bilim Merkezi, Dilbilim Enstitüsü, Rusya Devlet Beşeri Bilimler Üniversitesi

makalenin içeriği

BİLGİSAYAR DİLİ, yön uygulamalı Dilbilim, bir dilin belirli koşullarda, durumlarda, sorun alanlarında vb. işleyişini simüle etmek için bilgisayar araçlarının - programları, verileri düzenlemek ve işlemek için bilgisayar teknolojileri - yanı sıra dilbilimdeki bilgisayar dil modellerinin tüm kapsamına odaklanmıştır. ve ilgili disiplinler. Aslında, bir dilin bilgisayar modellemesi, dil biliminin problemlerini çözmek için bilgisayar bilimi ve programlama teorisinin bir uygulama alanı olarak kabul edilebileceğinden, yalnızca son durumda, katı anlamda uygulamalı dilbilimden bahsediyoruz. . Ancak pratikte, bilgisayarların dilbilimde kullanımıyla ilgili hemen hemen her şeye hesaplamalı dilbilim denir.

Hesaplamalı dilbilim, 1960'larda özel bir bilimsel yön olarak şekillendi. Rusça "hesaplamalı dilbilim" terimi, İngiliz hesaplamalı dilbiliminin bir kopyasıdır. Rusça'daki hesaplamalı sıfat aynı zamanda "hesaplamalı" olarak da çevrilebildiğinden, literatürde "hesaplamalı dilbilim" terimine de rastlanmaktadır, ancak Rus biliminde "nicel dilbilim" kavramına yaklaşarak daha dar bir anlam kazanmaktadır. Bu alandaki yayın akışı çok geniştir. Tematik koleksiyonlara ek olarak, "Computational Linguistics" dergisi ABD'de üç ayda bir yayınlanmaktadır. Bölgesel yapıları olan (özellikle Avrupa şubesi) Hesaplamalı Dilbilim Derneği tarafından çok sayıda organizasyonel ve bilimsel çalışma yürütülmektedir. Hesaplamalı dilbilim - COLING üzerine uluslararası konferanslar iki yılda bir düzenlenmektedir. İlgili konular genellikle yapay zeka üzerine çeşitli konferanslarda da geniş çapta sunulur.

Hesaplamalı Dilbilim Araç Takımı.

Özel bir uygulamalı disiplin olarak hesaplamalı dilbilim, öncelikle enstrümanı ile ayırt edilir - yani. dil verilerini işlemek için bilgisayar araçlarının kullanımı hakkında. Bir dilin işleyişinin belirli yönlerini simüle eden bilgisayar programları çeşitli programlama araçlarını kullanabileceğinden, hesaplamalı dilbilimin genel kavramsal aygıtı hakkında konuşmaya gerek yok gibi görünüyor. Ancak öyle değil. Herhangi bir bilgisayar modelinde bir şekilde uygulanan, düşünmenin bilgisayar modellemesinin genel ilkeleri vardır. Başlangıçta yapay zeka alanında geliştirilen ve daha sonra bilişsel bilimin dallarından biri haline gelen bilgi teorisine dayanırlar. Hesaplamalı dilbilimin en önemli kavramsal kategorileri, "çerçeveler" (kavramsal veya dedikleri gibi, daktilo edilmiş tematik olarak birleştirilmiş bir durum hakkında bilginin bildirimsel temsili için kavramsal yapılar), "senaryolar" (kavramsal yapılar için kavramsal yapılar) gibi bilgi yapılarıdır. basmakalıp bir durum veya basmakalıp davranış hakkındaki bilginin prosedürel temsili), "planlar" (belirli bir hedefe ulaşılmasına yol açan olası eylemler hakkındaki fikirleri sabitleyen bilgi yapıları). Çerçeve kategorisiyle yakından ilgili olan "sahne" kavramıdır. Sahne kategorisi esas olarak hesaplamalı dilbilim literatüründe, durumların ve bir konuşma eyleminde gerçekleşen ve dil araçları (sözlükler, sözdizimsel yapılar, dilbilgisel kategoriler, vb.) .

Belirli bir şekilde organize edilmiş bir dizi bilgi yapısı, bilişsel sistemin ve bilgisayar modelinin "dünyanın modelini" oluşturur. Yapay zeka sistemlerinde dünya modeli, seçilen mimariye bağlı olarak dünya hakkında genel bilgileri içerebilen özel bir blok oluşturur ("kışın soğuk" gibi basit önermeler şeklinde veya üretim kuralları şeklinde " dışarıda yağmur yağıyorsa, o zaman bir yağmurluk giymeniz veya bir şemsiye almanız gerekir "), bazı özel gerçekler (" Dünyanın en yüksek zirvesi - Everest "), ayrıca bazen seçilen değerler ve hiyerarşileri özel bir "aksiyolojik blokta".

Hesaplamalı dilbilim araç takımı kavramlarının öğelerinin çoğu eşseslidir: eşzamanlı olarak insan bilişsel sisteminin bazı gerçek varlıklarını ve bu varlıkları teorik açıklamalarında ve modellemelerinde kullanılan temsil etme yollarını gösterirler. Başka bir deyişle, hesaplamalı dilbilimin kavramsal aygıtının öğelerinin ontolojik ve araçsal yönleri vardır. Örneğin, ontolojik açıdan, bildirimsel ve prosedürel bilginin ayrılması, bir kişinin sahip olduğu çeşitli bilgi türlerine karşılık gelir - sözde NE bilgisi (bildirim; örneğin, bir NN'nin posta adresi bilgisidir. ), bir yandan ve NASIL bilgisi (usul; örneğin, bu NN'nin dairesini resmi adresini bilmeden bile bulmanızı sağlayan bilgi) - diğer yandan. Araçsal açıdan bilgi, bir yanda bir dizi tanımlamada (açıklamalarda), bir veri setinde ve bir algoritmada, bir bilgisayarın veya başka bir bilişsel sistem modelinin gerçekleştirdiği bir talimatta somutlaştırılabilir. başka.

Hesaplamalı dilbilimin yönleri.

CL alanı çok çeşitlidir ve iletişimin bilgisayar modellemesi, arsa yapısının modellenmesi, metin sunumunun hiper metin teknolojileri, Makine çevirisi, bilgisayar sözlükbilimi. Dar anlamda, CL sorunları genellikle disiplinler arası konularla ilişkilendirilir. uygulanan yön birkaçıyla talihsiz isim Doğal dil işleme (çeviri İngilizce terim Doğal Dil İşleme). 1960'ların sonlarında ortaya çıkmış ve bilimsel ve teknolojik disiplin "yapay zeka" çerçevesinde gelişmiştir. Doğal dil işleme, özünde bilgisayarların dil verilerini işlemek için kullanıldığı tüm alanları kapsar. Bu arada, pratikte, bu terimin daha dar bir anlayışı düzeltildi - bir kişi ile bir bilgisayar arasında doğal veya sınırlı bir doğal dilde iletişimi sağlayan yöntemlerin, teknolojilerin ve belirli sistemlerin geliştirilmesi.

"Doğal dil işleme" yönünün hızlı gelişimi, bilgisayarların son kullanıcılarının sayısında beklenmedik bir üstel büyüme ile ilişkili olan 1970'lere denk geliyor. Tüm kullanıcılar için dil ve programlama teknolojileri öğretmek imkansız olduğundan, bilgisayar programlarıyla etkileşimi organize etme sorunu ortaya çıktı. Bu iletişim sorununun çözümü iki ana yoldan gitti. İlk durumda, programlama dillerini ve işletim sistemlerini son kullanıcıya uyarlamak için girişimlerde bulunuldu. Sonuç olarak, diller ortaya çıktı yüksek seviye Visual Basic yazın, hem de uygun işletim sistemi, insana aşina olan metaforların kavramsal alanında inşa edilmiştir - YAZI MASASI, KÜTÜPHANE. İkinci yol, doğal dilde veya onun sınırlı bir versiyonunda belirli bir problem alanında bilgisayarlarla etkileşime izin verecek sistemlerin geliştirilmesidir.

Doğal dil işleme sistemlerinin mimarisi genellikle bir kullanıcının konuşma mesajını analiz etmek için bir birim, bir mesajı yorumlamak için bir birim, bir yanıtın anlamını oluşturmak için bir birim ve bir ifadenin yüzey yapısını sentezlemek için bir birim içerir. Sistemin özel bir parçası, diyalog yürütme stratejilerini, bu stratejileri uygulama koşullarını, olası iletişim başarısızlıklarının üstesinden gelme yollarını (iletişim sürecindeki başarısızlıklar) içeren diyalog bileşenidir.

Doğal dil işlemeye yönelik bilgisayar sistemleri arasında soru-cevap sistemleri, problem çözmeye yönelik diyalog sistemleri ve tutarlı metinleri işlemeye yönelik sistemler genellikle ayırt edilir. Başlangıçta, bilgi erişim sistemlerinde bilgi aranırken kodlama isteklerinin kalitesiz olmasına tepki olarak soru-cevap sistemleri geliştirilmeye başlandı. Bu tür sistemlerin sorun alanı çok sınırlı olduğundan, bu, sorguları resmi bir dilde bir temsile çevirme algoritmalarını ve resmi bir temsili doğal bir dilde ifadelere dönüştürmek için ters prosedürü biraz basitleştirdi. Yerli gelişmeler arasında, bu tür programlar, E.V. Popov liderliğinde bir araştırma ekibi tarafından oluşturulan POET sistemini içerir. Sistem, istekleri Rusça (birkaç kısıtlamayla) işler ve yanıtı sentezler. Programın blok diyagramı, tüm analiz aşamalarının (morfolojik, sözdizimsel ve anlamsal) ve buna karşılık gelen sentez aşamalarının geçişini varsayar.

Diyalog problem çözme sistemleri, önceki türden sistemlerden farklı olarak, görevleri, içinde sunulan bilgilere ve kullanıcıdan elde edilebilecek bilgilere dayanarak bir soruna çözüm bulmak olduğundan, iletişimde aktif bir rol oynar. Sistem, belirli bir problem alanındaki problemleri çözmek için tipik eylem dizilerini ve ayrıca gerekli kaynaklar hakkındaki bilgileri kaydeden bilgi yapılarını içerir. Kullanıcı bir soru sorduğunda veya belirli bir görev oluşturduğunda, ilgili komut dosyası etkinleştirilir. Komut dosyasının bazı bileşenleri veya bazı kaynakları eksikse, sistem iletişimi başlatır. Örneğin, askeri operasyonların planlanması sorunlarını çözen SNUKA sistemi böyle çalışır.

Bağlantılı metinleri işleme sistemleri yapı olarak oldukça çeşitlidir. Ortak özellikleri, bilgi temsil teknolojilerinin yaygın kullanımıdır. Bu tür sistemlerin işlevleri, metni anlamak ve içeriğiyle ilgili soruları yanıtlamaktır. Anlama evrensel bir kategori olarak değil, belirli bir iletişimsel niyet tarafından belirlenen bir metinden bilgi çıkarma süreci olarak görülür. Başka bir deyişle, metin yalnızca potansiyel kullanıcının hakkında bilmek istediği ayar ile "okunur". Bu nedenle, tutarlı metinleri işleme sistemleri hiçbir şekilde evrensel değil, soruna yöneliktir. Tartışılan türdeki sistemlerin tipik örnekleri, kullanıcının karmaşık fiziksel nesneleri tanımlayan patentlerin özetlerinden bilgi elde etmesine izin veren tek bir yazılım paketi oluşturan ARAŞTIRMACI ve TAILOR sistemleridir.

Hesaplamalı dilbilimin en önemli alanı bilgi erişim sistemlerinin (ISS) geliştirilmesidir. İkincisi, 1950'lerin sonlarında - 1960'ların başında, bilimsel ve teknik bilgi hacmindeki keskin bir artışa yanıt olarak ortaya çıktı. Depolanan ve işlenen bilgilerin türüne ve arama özelliklerine göre IRS, belgesel ve gerçek olmak üzere iki büyük gruba ayrılır. Belgesel ISS, belgelerin metinlerini veya açıklamalarını (özetler, bibliyografik kartlar, vb.) saklar. Factographic IRS, belirli gerçeklerin açıklamasıyla ilgilenir ve metin biçiminde olması gerekmez. Bunlar tablolar, formüller ve diğer veri sunumu türleri olabilir. Hem belgeleri hem de gerçek bilgileri içeren karışık IRS de vardır. Şu anda, gerçek IRS, veritabanı teknolojileri (DB) temelinde oluşturulmuştur. ISS'de bilgi erişimi sağlamak için, bilgi erişim eşanlamlılarına dayanan özel bilgi erişim dilleri oluşturulur. Bir bilgi alma dili, bir ISS'de saklanan belgelerin içerik planının ve bir sorgunun bireysel yönlerini açıklamak için tasarlanmış resmi bir dildir. Bir bilgi alma dilinde bir belgeyi tanımlama prosedürüne indeksleme denir. İndekslemenin bir sonucu olarak, her belgeye bilgi erişim dilindeki resmi açıklaması atanır - belgenin erişim görüntüsü. Sorgu, sorgunun arama görüntüsünün ve arama reçetesinin atandığı şekilde indekslenir. Bilgi alma algoritmaları, arama reçetesini sorgunun arama görüntüsü ile karşılaştırmaya dayanır. Bir talebe belge düzenleme kriteri, belgenin arama görüntüsünün ve arama reçetesinin tamamen veya kısmen çakışmasından oluşabilir. Bazı durumlarda, kullanıcı, düzenleme kriterlerini kendisi formüle etme olanağına sahiptir. onun tarafından belirlenir bilgi ihtiyacı... Tanımlayıcı bilgi alma dilleri, otomatik bilgi alma sistemlerinde daha sık kullanılır. Bir belgenin konusu, bir dizi tanımlayıcı ile tanımlanır. Tanımlayıcılar, problem alanının basit, daha çok temel kategorilerini ve kavramlarını ifade eden kelimeler, terimlerdir. Belgede kapsanan çeşitli konular olduğu için, belgenin arama görüntüsüne çok sayıda tanımlayıcı girilir. Tanımlayıcıların sayısı sınırlı değildir; bu, belgeyi çok boyutlu bir özellik matrisinde tanımlamanıza olanak tanır. Genellikle bir tanımlayıcı bilgi alma dilinde, tanımlayıcıların uyumluluğuna kısıtlamalar getirilir. Bu durumda bilgi alma dilinin bir söz dizimine sahip olduğunu söyleyebiliriz.

Tanımlayıcı bir dille çalışan ilk sistemlerden biri, M. Taube tarafından oluşturulan Amerikan UNITERM sistemidir. Bu sistemdeki tanımlayıcılar olarak, belgenin anahtar kelimeleri işlev gördü - üniteler. Bu ISS'nin özelliği, başlangıçta bilgi dili sözlüğünün belirtilmemiş olması, ancak belgenin ve sorgunun endekslenmesi sürecinde ortaya çıkmasıdır. Modern bilgi erişim sistemlerinin gelişimi, saurus içermeyen bir ISS'nin gelişimi ile ilişkilidir. Bu tür IRS, kullanıcıyla sınırlı bir doğal dilde çalışır ve arama, belge özetlerinin metinlerinde, bibliyografik açıklamalarında ve genellikle belgelerin kendisinde gerçekleştirilir. Saurus içermeyen türden ISS'de indeksleme için, doğal bir dilin kelimeleri ve cümleleri kullanılır.

Bir dereceye kadar, hipermetin sistemleri oluşturma alanındaki çalışmalar, metni düzenlemenin özel bir yolu olarak kabul edilen ve hatta birçok özelliğinde sıradan bir metinle karşıt olarak temelde yeni bir metin türü olarak kabul edilen hesaplamalı dilbilim alanına atfedilebilir. Gutenberg tipografi geleneğinde oluşturulan metin. Köprü metni fikri, Başkan Roosevelt'in bilim danışmanı Vannevar Bush'un adıyla ilişkilidir. V. Bush, kullanıcının metinleri ve parçalarını çeşitli bağlantı türleriyle, özellikle de çağrışımsal ilişkilerle bağlamasına izin veren teknik sistem "Memex" projesini teorik olarak doğruladı. Bilgisayar teknolojisinin eksikliği, mekanik sistemin pratik uygulama için çok karmaşık olduğu ortaya çıktığından, projenin uygulanmasını zorlaştırdı.

1960'larda Bush'un fikri, bilgisayar teknolojisinin kullanımını zaten üstlenmiş olan T. Nelson tarafından Xanadu sisteminde yeniden doğdu. "Xanadu", kullanıcının sisteme girilen bir dizi metni okumasına izin verdi Farklı yollar, farklı bir sırayla, yazılım hem taranan metinlerin sırasını ezberlemeyi hem de herhangi bir zamanda neredeyse herhangi birini seçmeyi mümkün kıldı. Onları birbirine bağlayan ilişkilere sahip bir dizi metin (geçiş sistemi), T. Nelson tarafından hiper metin olarak adlandırıldı. Birçok araştırmacı, tipografi çağının aksine, hiper metnin yaratılmasını yeni bir bilgi çağının başlangıcı olarak görüyor. Dıştan konuşmanın doğrusallığını yansıtan yazının doğrusallığı, insanın metni düşünmesini ve anlamasını sınırlayan temel bir kategori haline gelir. Anlam dünyası doğrusal değildir, bu nedenle, doğrusal bir konuşma bölümünde semantik bilginin sıkıştırılması, özel "iletişimsel paketlerin" kullanılmasını gerektirir - konuya ve çarpmaya bölme, bir ifadenin içerik planını açık (ifade, önerme, odak) bölme. ) ve örtük (varsayım, sonuç, söylemin iması) katmanları ... Kuramcılara göre hem okuyucuya sunulma sürecinde (yani okuma ve anlama sırasında) hem de sentez sürecinde metnin doğrusallığının reddedilmesi, düşünmenin "özgürleşmesine" ve hatta metnin ortaya çıkmasına katkıda bulunacaktır. onun yeni formları.

Bir bilgisayar sisteminde, hiper metin, düğümlerinde geleneksel metinler veya bunların parçaları, görüntüleri, tabloları, videoları vb. bulunan bir grafik olarak temsil edilir. Düğümler, türleri hiper metin yazılım geliştiricileri veya okuyucunun kendisi tarafından tanımlanan çeşitli ilişkilerle birbirine bağlanır. İlişkiler, hareket veya hiper metin gezintisi potansiyelini tanımlar. İlişkiler tek yönlü veya çift yönlü olabilir. Buna göre, çift yönlü oklar kullanıcının her iki yönde hareket etmesine, tek yönlü oklar ise yalnızca bir yönde hareket etmesine izin verir. Metnin bileşenlerini görüntülerken okuyucunun içinden geçtiği düğümler zinciri bir yol veya rota oluşturur.

Köprü metninin bilgisayar uygulamaları hiyerarşik veya ağ bağlantılıdır. Köprü metninin hiyerarşik - ağaç benzeri - yapısı, bileşenleri arasındaki geçiş olanaklarını önemli ölçüde sınırlar. Böyle bir hiper metinde, bileşenler arasındaki ilişkiler, genel ilişkilere dayalı bir eş anlamlılar sözlüğünün yapısına benzer. Ağ köprü metni, "cins-tür" ilişkisiyle sınırlı olmayan, bileşenler arasında farklı türde ilişkiler kullanmanıza olanak tanır. Hipermetnin var olma biçimine göre, statik ve dinamik hipermetin ayırt edilir. Statik köprü metni işlem sırasında değişmez; içinde kullanıcı yorumlarını kaydedebilir, ancak bunlar konunun özünü değiştirmez. Dinamik hipermetin için değişim normal bir varoluş biçimidir. Tipik olarak, bilgi akışını sürekli olarak analiz etmenin gerekli olduğu dinamik köprü metni işlevleri, yani. çeşitli bilgi hizmetlerinde. Köprü metni, örneğin, ayda 300-500 özet ile aylık olarak güncellenen Arizona Bilgi Sistemi'dir (AAIS).

Köprü metni öğeleri arasındaki ilişkiler, başlangıçta yaratıcılar tarafından sabitlenebilir veya kullanıcı köprü metnine her döndüğünde oluşturulabilir. İlk durumda, katı bir yapının hiper metinlerinden ve ikincisinde yumuşak bir yapının hiper metinlerinden bahsediyoruz. Sert yapı teknolojik olarak oldukça anlaşılır. Yumuşak bir yapı düzenleme teknolojisi, belgelerin (veya diğer bilgi kaynaklarının) birbirine yakınlığının anlamsal bir analizine dayanmalıdır. Bu, hesaplamalı dilbilimde önemsiz olmayan bir görevdir. Günümüzde anahtar kelimeler üzerinde yumuşak yapı teknolojilerinin kullanımı yaygınlaşmıştır. Köprü metni ağında bir düğümden diğerine geçiş, anahtar kelimelerin aranması sonucunda gerçekleştirilir. Anahtar sözcükler kümesi her seferinde farklı olabileceğinden, köprü metninin yapısı da her seferinde değişir.

Köprü metni sistemleri oluşturma teknolojisi, metin ve metin olmayan bilgiler arasında ayrım yapmaz. Bu arada görsel ve işitsel bilgilerin (videolar, resimler, fotoğraflar, ses kayıtları vb.) dahil edilmesi, kullanıcı arayüzünde önemli bir değişiklik ve daha güçlü yazılım ve bilgisayar desteği gerektirmektedir. Bu tür sistemlere hiper ortam veya multimedya denir. Multimedya sistemlerinin görünürlüğü, ansiklopedilerin bilgisayar versiyonlarının oluşturulmasında öğretimde yaygın kullanımlarını önceden belirlemiştir. Örneğin, Dorlin Kindersley Yayınevi'nin çocuk ansiklopedilerini temel alan multimedya sistemli, mükemmel şekilde yürütülen CD-romlar vardır.

Bilgisayar sözlükbilimi çerçevesinde, sözlüklerin derlenmesi ve işletilmesi için bilgisayar teknolojileri geliştirilmektedir. Özel programlar - veritabanları, bilgisayar dosya dolapları, kelime işlem programları - otomatik olarak sözlük girişleri oluşturmanıza, sözlük bilgilerini saklamanıza ve işlemenize izin verir. Birçok farklı bilgisayar sözlükbilimi programı iki büyük gruba ayrılır: sözlükbilimsel çalışmaları destekleyen programlar ve sözlükbilimsel veri tabanları da dahil olmak üzere çeşitli türlerde otomatik sözlükler. Otomatik sözlük, bir bilgisayarda bir kullanıcı veya bir bilgisayar kelime işlem programı tarafından kullanılması amaçlanan özel bir makine biçimindeki bir sözlüktür. Başka bir deyişle, otomatik insan son kullanıcı sözlükleri ile kelime işlem programları için otomatik sözlükler arasında bir ayrım yapılır. Son kullanıcıya yönelik otomatik sözlükler, sözlük girişinin arayüzü ve yapısı açısından makine çeviri sistemleri, otomatik özetleme sistemleri, bilgi alma vb. Çoğu zaman, iyi bilinen geleneksel sözlüklerin bilgisayar versiyonlarıdır. Yazılım pazarında, İngilizce açıklayıcı sözlüklerin (otomatik Webster, otomatik açıklayıcı sözlük Collins English, New Great'in otomatik versiyonu İngilizce-Rusça sözlük ed. Y.D. Apresyan ve E.M. Mednikova), Ozhegov'un sözlüğünün bir bilgisayar versiyonu da var. Kelime işlem programları için otomatik sözlükler, tam anlamıyla otomatik sözlükler olarak adlandırılabilir. Genellikle ortalama bir kullanıcı için tasarlanmamıştır. Yapılarının özellikleri, kelime bilgisinin kapsamı, onlarla etkileşime giren programlar tarafından belirlenir.

Olay örgüsünün bilgisayar modellemesi, hesaplamalı dilbilimde bir başka umut verici yöndür. Arsa yapısının incelenmesi, yapısal edebi eleştiri (geniş anlamda), göstergebilim ve kültürel çalışmaların sorunlarına atıfta bulunur. Olay örgüsü modelleme için mevcut bilgisayar programları, olay örgüsü sunumunun üç temel formalizmine dayanmaktadır - olay örgüsü sunumunun morfolojik ve sözdizimsel yönleri ve ayrıca bilişsel yaklaşım... Arsa yapısının morfolojik yapısı hakkındaki fikirler, ünlü eserler V.Ya.Proppa ( santimetre.) bir Rus peri masalı hakkında. Propp, bir peri masalındaki karakterlerin ve olayların bolluğu ile karakterlerin işlevlerinin sayısının sınırlı olduğunu fark etti ve bu işlevleri tanımlamak için bir aygıt önerdi. Propp'un fikirleri, bir peri masalı konusunun yaratılmasını simüle eden TALE bilgisayar programının temelini oluşturdu. TALE program algoritması, masal karakterlerinin işlev sırasına dayanmaktadır. Aslında, Propp'un işlevleri, ampirik materyalin analizine dayalı olarak sıralanmış birçok tipte durum belirler. Debriyaj yetenekleri farklı durumlarüretim kurallarında, masal metinlerinden oluşturulabileceği biçimde, tipik bir işlev dizisi tarafından belirlendi. Programda, tipik işlev dizileri, karakter karşılaşmalarının tipik senaryoları olarak tanımlandı.

Metnin planına sözdizimsel yaklaşımın teorik temeli, "konu gramerleri" veya "hikaye dilbilgileri" tarafından oluşturulmuştur. 1970'lerin ortalarında, N. Chomsky'nin üretken dilbilgisi fikirlerinin metnin makro yapısının tanımına aktarılmasının bir sonucu olarak ortaya çıktılar. Üretici dilbilgisinde sözdizimsel yapının en önemli bileşenleri fiil ve isim öbekleriyse, çoğu olay örgüsünde dilbilgisi, ortam, olay ve bölüm temel olarak seçilmiştir. Arsa gramerleri teorisinde, minimallik koşulları, yani bir arsa öğeleri dizisinin durumunu normal bir arsa olarak belirleyen kısıtlamalar geniş çapta tartışıldı. Ancak, bunu tamamen dilsel yöntemlerle yapmanın imkansız olduğu ortaya çıktı. Birçok kısıtlama sosyokültürel niteliktedir. Nesil ağacındaki kategoriler kümesinde önemli ölçüde farklılık gösteren olay örgüsü dilbilgisi, anlatı (anlatı) yapısını değiştirmek için çok sınırlı bir dizi kurala izin verdi.

1980'lerin başında, R. Schenk'in öğrencilerinden biri olan W. Lehnert, bir bilgisayar olay örgüsü üretecinin yaratılmasıyla ilgili çalışmanın bir parçası olarak, duygusal olay örgüsü birimlerinin (Duygusal Konu Birimleri) orijinal biçimciliğini önerdi. arsa yapısını temsil etmek için güçlü araçlar. Başlangıçta bir yapay zeka sistemi için geliştirilmiş olsa da, bu biçimcilik tamamen teorik çalışmalar... Lehnert'in yaklaşımının özü, olay örgüsünün karakterlerin bilişsel-duygusal durumlarında sıralı bir değişiklik olarak tanımlanmasıydı. Bu nedenle, Lehnert'in biçimciliğinin odak noktası olay örgüsünün dış bileşenleri (açıklama, olay, bölüm, ahlak) değil, içerik özellikleridir. Bu bakımdan Lehnert'in biçimciliği, kısmen Propp'un fikirlerine bir geri dönüş niteliğindedir.

Hesaplamalı dilbilimin yetkinliği, şu anda yeniden doğuş yaşayan makine çevirisini de içerir.

Edebiyat:

Popov E.V. Bilgisayarla doğal dilde iletişim... M., 1982
Sadur V.G. Konuşma iletişimi elektronik bilgisayarlar ve gelişim sorunları ile... - Kitapta: Konuşma iletişimi: sorunlar ve beklentiler. M., 1983
Baranov A.N. Dilbilimsel anlambilimde yapay zeka kategorileri. Çerçeveler ve komut dosyaları... M., 1987
Kobozeva I.M., Laufer N.I., Saburova I.G. İnsan-makine sistemlerinde iletişimi modelleme... - Bilgi sistemlerinin dilsel desteği. M., 1987
Olker H.R. Peri masalları, trajediler ve dünya tarihini sunma yolları... - Kitapta: Dil ve sosyal etkileşimin modellenmesi. M., 1987
Gorodetsky B.Yu. Hesaplamalı Dilbilim: Dil İletişimini Modelleme
McKewin K. Doğal Dil Metin Sentezi için Söylemsel Stratejiler... - Yabancı dilbilimde yeni. Konu XXIV, Hesaplamalı Dilbilim. M., 1989
Popov E.V., Preobrazhensky A.B. . NL sistemlerinin uygulanmasının özellikleri
Preobrazhensky A.B. Modern NL sistemlerinin gelişim durumu... - Yapay zeka. Kitap. 1, İletişim sistemleri ve uzman sistemler. M., 1990
MM Alt Botini Köprü metni. Yeni bir yazılı iletişim biçimi... - VINITI, Sör. Bilişim, 1994, cilt 18
Baranov A.N. Uygulamalı Dilbilime Giriş... M., 2000



Bilgisayar dilbilimcileri, metni ve sesli konuşmayı tanımak, yapay konuşmayı sentezlemek, anlamsal çeviri sistemleri oluşturmak ve yapay zekanın (kelimenin klasik anlamında - insanın yerini alacak şekilde) geliştirmesi için algoritmalar geliştirmekle meşguller. hiç ortaya çıkmadı, ancak veri analizine dayanan çeşitli uzman sistemler).

Konuşma tanıma algoritmaları günlük yaşamda giderek daha fazla kullanılacak - “akıllı evler” ve elektronik cihazların uzaktan kumandaları ve düğmeleri olmayacak ve bunun yerine bir ses arayüzü kullanacak. Bu teknoloji geliştiriliyor, ancak hala birçok zorluk var: Bir bilgisayarın insan konuşmasını tanıması zor çünkü farklı insanlar çok farklı konuşuyor. Bu nedenle, bir kural olarak, tanıma sistemleri ya bir konuşmacı için eğitildiklerinde ve zaten onun telaffuz özelliklerine göre ayarlandığında ya da sistemin tanıyabileceği ifade sayısı sınırlı olduğunda (örneğin, sesli komutlarda olduğu gibi) iyi çalışır. televizyon).

Anlamsal çeviri programları oluşturma konusunda uzmanların hâlâ yapacak çok işi var: şu anda yalnızca İngilizce'ye ve İngilizce'den çeviri için iyi algoritmalar geliştirildi. Birçok sorun var - farklı diller anlamsal planda farklı şekillerde düzenlenmiştir, söz öbeği oluşturma düzeyinde bile farklılık gösterir ve bir dilin tüm anlamları başka bir dilin anlam aygıtı kullanılarak aktarılamaz. Ek olarak, program eş anlamlı sözcükleri ayırt etmeli, konuşmanın bölümlerini doğru bir şekilde tanımalı ve çok anlamlı bir kelimenin bağlama uygun doğru anlamını seçmelidir.

Yapay konuşmanın sentezi (örneğin, ev robotları için) de özenli bir iştir. Yapay olarak oluşturulmuş konuşmayı insan kulağına doğal yapmak zordur, çünkü dikkat etmediğimiz, ancak onsuz her şeyin "doğru" olmadığı milyonlarca nüans vardır - yanlış başlangıçlar, duraklamalar, takılmalar, vb. Konuşma akışı sürekli ve aynı zamanda kesiklidir: kelimeler arasında duraklama olmadan konuşuruz, ancak bir kelimenin nerede bitip diğerinin nerede başladığını anlamak bizim için zor değildir ve bir makine için bu büyük bir sorun olacaktır.

Hesaplamalı dilbilimdeki en büyük yön, Büyük Veri ile ilgilidir. Ne de olsa, belirli bilgileri izole etmeniz gereken, örneğin haber akışlarını vurgulamanız veya RSS'yi belirli bir kullanıcının beğenisine göre geliştirmeniz gereken, haber akışları gibi çok büyük metinler var. Bu tür teknolojiler zaten var ve daha da gelişecek çünkü bilgi işlem gücü hızla artıyor. dil analizi metinler ayrıca internette güvenliği sağlamak, özel hizmetler için gerekli bilgileri aramak için kullanılır.

Bilgisayar dilbilimci olmak için nerede çalışmalı? Ne yazık ki, klasik dilbilim ile programlama, istatistik, veri analizi ile ilgili oldukça güçlü bir şekilde ayrılmış uzmanlıklarımız var. Ve dijital dilbilimci olmak için her ikisini de anlamanız gerekir. Yabancı üniversitelerin hesaplamalı dilbilim alanında yüksek öğretim programları vardır, ancak yine de en iyi seçeneğe sahibiz - temel bir dil eğitimi almak ve ardından BT'nin temellerinde uzmanlaşmak. İyi ki artık birçok farklı çevrimiçi kurs var, ne yazık ki öğrencilik yıllarımda bu değildi. Yapay zeka ve konuşma tanıma üzerine kurslarımız olan Moskova Devlet Dilbilim Üniversitesi Uygulamalı Dilbilim Fakültesi'nde okudum - ancak yine de yetersiz bir hacimde. Artık BT şirketleri aktif olarak kurumlarla etkileşim kurmaya çalışıyor. Kaspersky Lab'deki meslektaşlarım ve ben de eğitim sürecine katılmaya çalışıyoruz: dersler okuyoruz, öğrenci konferansları düzenliyoruz ve lisansüstü öğrencilere hibe veriyoruz. Ancak şimdiye kadar, girişim üniversitelerden çok işverenlerden geliyor.