KOMPYUTER LINGVISTIKASIDA QIDIRUV TIZIMLARINING IMKONIYATLARI

IMKONIYATLARI

Mohichehra Abramatova Abdurazzoq qizi

Termiz davlat universiteti oʻzbek filologiyasi fakulteti

abramatovamohichehra@gmail.com

Annotatsia: Inson turli sohalarda odamlarga yordam beradigan mashinalarni yaratdi. Biroq, mashina va insonni ko'plab to'siqlar ajratib turadi, ulardan biri til to'sig'idir. Ammo qancha vaqtga to'g'ri keladi?

Kalit so'zlar: hisoblash tilshunosligi; Mashina tarjimasi; sun'iy intellekt.

Abstract: The man created machines which help people in different ways. However machine and the man are separated by barriers, one of which is a language barrier. But for how long?

Keywords: computational linguistics; machine translation; artificial intelligence.

Matematik, mashina yoki hisoblash tilshunosligi deb ham ataladigan hisoblash tilshunosligi nisbatan yangi hodisadir. G'oya tabiiy tillar bilan ishlash uchun mashinalar va keyinchalik sun'iy intellekt (AI) dan foydalanishdir. U informatika, matematika, AI va tilshunoslik asosida paydo bo'ldi. Xususan, bu yo‘nalishning rivojlanishi umumiy tilshunoslikka asoslanadi [2].

Tabiiy tilni qayta ishlashning an'anaviy usullari va hisoblash tilshunosligi o'rtasidagi farq shundaki, birinchisi tilshunoslik umuman o'rganadigan hamma narsani modellashtirishga qaratilgan bo'lsa, ikkinchisida tabiiy tillarni tavsiflay oladigan matematik modellarni qurishga e'tibor beriladi. [4]. Hisoblash tilshunosligining asosiy vazifasi matnni avtomatik qayta ishlash uchun modellar va ularga mos keladigan algoritmlar va dasturlarni qurish sifatida ifodalanishi mumkin. Ehtimol, tilshunoslikda mashinalardan eng aniq foydalanish bu mashina tarjimasi bo'lib, u har kuni ko'p odamlar tomonidan qo'llaniladi. Tarjima uchun kompyuter texnologiyasidan foydalanish g'oyasi birinchi marta 1947 yilda Qo'shma Shtatlarda taklif qilingan.

Birinchi namoyish 1954 yilda Nyu-Yorkdagi IBM shtab-kvartirasida bo'lib o'tdi. Garchi tizim ibtidoiy boʻlib, bor-yoʻgʻi 250 ta soʻzdan iborat lugʻat va 6 grammatika qoidasiga ega boʻlgan va bir nechta oddiy iboralarni tarjima qila olgan boʻlsa-da, bu tajriba keng koʻlamli javob oldi, shuning uchun ham mashina tarjimasi tezda fanning alohida yoʻnalishiga aylandi. Shunga o'xshash tajriba 1955 yilda SSSRda bo'lib o'tdi. Ushbu tajribada amaliy matematika sohasidagi 2300 so'zdan iborat lug'atga ega inglizcha-ruscha mashina tarjimoni ishtirok etdi[3]. Badiiy matnlar uchun mashina tarjimasi mos kelmaydi, chunki badiiy nutq uslubining xususiyatlari turli tillarda juda farq qilishi mumkin. Mashina tarjimasi ko'pincha texnik matnlar uchun ishlatiladi.

Ixtisoslashgan lug'atlarning mavjudligi va dasturlarning biroz sozlanishi bilan yuqori sifatli tarjima olinadi, uni biroz tuzatish kerak bo'ladi. Mashina tarjimasining eng yaxshi natijasi, agar matn texnik yoki rasmiy biznes uslubidan foydalansa erishiladi. Avtomatlashtirilgan tarjima ham mavjud bo'lib, u mashina tarjimasidan shaxsning o'zi tarjima qilishi bilan farq qiladi, dastur esa unga faqat yordam beradi, tarjimaga sarflanadigan vaqtni qisqartiradi va tarjima qilingan matnning o'zi sifatini oshiradi. Statistik mashina tarjimasi ham mavjud. Bunday holda, dastur ikki xil tilda yozilgan, lekin bir xil ma'noga ega bo'lgan ko'p sonli jumlalarni taqqoslaydi. Bunday dasturlar o'z-o'zini o'rganish qobiliyatiga ega.

Bunday tarjimadan foydalanishga misol sifatida Google tarjimonini keltirish mumkin [17]. Lekin mashinalar faqat matnni tarjima qilish uchun emas, balki uni qayta ishlash uchun ham ishlatilishi mumkin. Nutqni tanib olish va sintez qilish, matnlarni tahlil qilish va yaratish ushbu yo'nalishning asosiy vazifalari hisoblanadi. "Tushunish" so'zi tushunchasining o'zi AIning asosiy vazifalaridan biridir. Til noaniqliklari tabiiy tilni qayta ishlashning asosiy muammosi bo'lib, ularni hal qilish tabiiy tillarning tashqi ko'rinishini ichki tuzilishga aylantirish orqali amalga oshiriladi.

Biz matn yaratish haqida gapirganimiz uchun matn generatorlarining o'ziga - matn yaratish (hosil qilish) qobiliyatiga ega bo'lgan dasturlarga e'tibor berish kerak, bu odatda til me'yorlarini qo'llash nuqtai nazaridan to'g'ri, lekin paradoksal ma'nosiz. Tasodifiy tanlangan so'zlardan matn yaratishda biz sifatsiz natijalarga erishamiz, shuning uchun matnlar oldindan yozilgan shablonli iboralar yordamida yaratiladi. Ammo bizning zamonamizda, bepul foydalanish uchun kompyuter texnologiyalarining rivojlanish darajasi bilan etarli darajada mazmunli matnlarni yaratishga qodir generatorlar yo'q. Va shablonli iboralar yoki oddiygina ma'nosiz so'zlar to'plamidan foydalanishga asoslangan generatorlar juda tor doiraga ega.

Matn generatorlari qidiruvi optimallashtirish saytlarini yaratish va qidirish uchun ishlatilishi mumkin. Ilmiy jurnallarda sifatsiz sharhlarni aniqlash uchun matn generatorlari muvaffaqiyatli qo'llanilgan holatlar mavjud. Har xil turdagi ma'lumotlar bilan ishlash uchun kompyuterlarni qo'llash sohalarining doimiy ravishda kengayishi odam va mashina o'rtasida og'zaki muloqotga bo'lgan ehtiyojni oshiradi, bu esa nutqni avtomatik qayta ishlashning turli xil muammolarini, masalan, ma'ruzachini aniqlash, nutqni aniqlashni hal qilishni talab qiladi. tanib olish va sintez qilish. Amalda odam va mashina o'rtasidagi og'zaki muloqotdan foydalanish istiqbollari juda keng.

Shuni ta'kidlash kerakki, odam o'rtacha sekundiga 60 tovush sig'imi bo'lgan fonetik alifbodan o'nga yaqin tovushni takrorlaydi va idrok qiladi va klaviaturadan terayotganda sekundiga besh marta urish sodir bo'ladi, ya'ni ikki baravar kamroq. talaffuz qilganda. Inson va mashina o'rtasida og'zaki muloqot tizimini yaratish uchun fonetika, tilshunoslik, kompyuter texnologiyalari, kompyuter nazariyasi, signallarni qayta ishlash, tizimni modellashtirish va axborot nazariyasi bo'yicha ma'lum darajadagi bilim talab etiladi.

Nutqni aniqlash tizimi insonning eshitish va nutqi modeliga asoslanadi. Shu bilan birga, nutq sintezatori nutqni shakllantirish jarayoni asosida modellashtiriladi va bevosita matndan og'zaki nutqni sintez qila oladi [4]. Ko'p odamlar, jumladan tilshunoslarning o'zlari foydalanadigan hisoblash tilshunosligining yana bir yutug'i elektron lug'atlar va onlayn lug'atlardir. Axir, agar elektron qurilmangizda bo'lsa, nega ulkan lug'atlarni olib yurasiz? Bunday lug'atlarda siz shunchaki qidiruv satrini to'ldirish orqali bizga kerak bo'lgan istalgan so'zni tezda topishingiz mumkin [5, 6, 7].

Hozirgi kunda deyarli har birimiz Internetdan va shunga mos ravishda turli xil qidiruv tizimlaridan (Yandex, Google va boshqalar) qandaydir ma'lumotlarni topish uchun foydalanamiz. Bunday qidiruv jarayoni axborot qidiruvi deb ataladi. Bu atama 1948 yilda Kalvin Muers tomonidan doktorlik dissertatsiyasida kiritilgan. Bunday tizimlar dastlab turli oliy o‘quv yurtlari va kutubxonalarda axborotdan qulayroq foydalanish uchun foydalanilgan. Ammo Internet paydo bo'lgach, ma'lumot qidirish juda keng tarqaldi. Qidiruv jarayoni - ma'lumotlarni to'plash, qayta ishlash va taqdim etish bilan bog'liq operatsiyalarning ma'lum bir ketma-ketligi.

Qidiruv bir nechta turlarga bo'linadi: to'liq matnli qidiruv (butun matn bo'ylab), metama'lumotlarni qidirish (hujjat nomi, muallifi, yaratilgan sanasi, hajmi bo'yicha), tasvirni qidirish (rasm mazmuni bo'yicha). Axborot izlash - kutubxonashunoslik, semiotika, lingvistika, axborotni loyihalash, informatika va kognitiv psixologiyadan tashkil topgan fanlararo sohadir. Ushbu sohaning asosiy vazifasi foydalanuvchiga uning axborot ehtiyojlarini qondirishga yordam berishdir. Hisoblash tilshunosligining rivojlanishi robot tizimlariga ham etib keldi.

Intellektual robot tizimlari - bu turli analizatorlar yordamida ob'ektlar va ularning holatini taniydigan va odam bilan muloqot qilish asosida keyingi harakatlarni aniqlaydigan tizimlar. Bu tizimlarda muammoli muhit modellarini tavsiflashda til yondashuvi ishlab chiqilgan. Bunday model o'ziga xos semantik tizim sifatida qaraladi, unda sintaktik munosabatlarga qo'shimcha ravishda, maqsadga erishish yo'lini izlashda ularning ishlashiga imkon beradigan semantik aloqalar, ya'ni semantik bog'lanishlar kiritilishi kerak. Semantik bog'lanishlarning kiritilishi tufayli model tavsifining siqilgan tasviri mumkin va ma'lum darajada ma'lumotlarning yo'naltirilgan semantik o'zgarishi ta'minlanadi [8, 9, 10]. Muayyan muammoni hal qilishda mutaxassisni qisman almashtira oladigan ekspert tizimlari ham mavjud.

Ekspert tizimlari - bu inson-mashina tizimlari bo'lib, bu erda intellektual yadro domen modellari bilan tabiiy til modellaridan nutqni mashinani idrok etish, tanib olish va tushunish vositasidir. Barcha ekspert tizimlari ishlab chiqarishlardan iborat bilimlar bazasiga ega bo'lib, ularning har biri bitta shartli bayonotdan oddiy dastur hisoblanadi. Bunday oddiy dasturlarda ketma-ketlik muammoning boshlang'ich holatidan yakuniy yechimigacha bo'lgan mumkin bo'lgan o'zgarishlar to'plami bilan aniqlanadi.

Maxsus dastur yordamida mahsulotlarni qo'shish, o'zgartirish va chiqarib tashlash mumkin. Savol-javob shakli foydalanuvchi bilan u tushunadigan tilda oddiy muloqotni ta'minlaydi [11, 12, 13]. AI bo'yicha ishda odatda ikkita yo'nalish mavjud. Birinchisi, inson va sun'iy intellekt o'rtasidagi hamkorlikni optimallashtirishga qaratilgan. Ikkinchisi - mashinalarni takomillashtirish va ularning "intellektini" oshirish. Bu psixologiya va tilshunoslik bilan chambarchas bog'liq bo'lgan birinchi vazifadir. AI tadqiqotlarida kompyuterlar bilan tabiiy tilda o'zaro aloqani ta'minlash juda muhimdir.

Dasturlarni moslashuvchan interfeys bilan jihozlash talab qilinadi, chunki foydalanuvchilarning katta auditoriyasi kompyuter bilan sun'iy tilda muloqot qilishni xohlamaydi. Tabiiy tillarni qayta ishlash sohasidagi ko'plab muammolar haligacha hal etilmagan bo'lsa-da, amaliy tizimlar tabiiy tillarni tushunishga imkon beruvchi interfeys bilan jihozlangan, lekin faqat ma'lum cheklovlar bilan [14, 15, 16]. Hisoblash tilshunosligi zamonaviy fanning muhim yo'nalishi bo'lib, u nafaqat sun'iy intellektni o'rganishni chuqurlashtirgani, balki bu sohadagi har qanday yutuqlar til va inson tafakkuri rivojlanishining evolyutsion jarayonini tushunishga yordam beradi. Inson arifmetik hisoblashni osonlashtiradigan mashinani yaratdi. Keyinchalik u bunday mashinalardan inson bilimi bilan bog'liq ko'plab ijodiy muammolarni hal qilish uchun foydalana boshladi. Faktlar doimiy ravishda to'planib bordi, bilimlarni qayta ishlash uchun sun'iy tillar ixtiro qilindi va kompyuter dasturlari yozildi. Bu jarayon “sun’iy intellekt” deb atalgan yangi yo‘nalishning paydo bo‘lishiga olib keldi. Hozirgi vaqtda sun'iy intellekt bo'yicha ko'plab nazariy tadqiqotlar mavjud bo'lib, ular amaliy qo'llanilishiga ega.

Yaratilgan robotlar she'r yozish, tasvirlarni tan olish, qiyin sharoitlarda qidiruvlarni amalga oshirish va aniq mexanik operatsiyalarni bajarishi mumkin. AI bo'yicha ishlar hatto nazariy toifadan amaliy fanlar toifasiga o'tkazildi. AIning asosiy muammolaridan biri kompyuterda tabiiy tilni tushunish bo'lib qolmoqda [1].

Adabiyotlar ro'yxati:

1. Анисимов А. «Компьютерная лингвистика для всех - Мифы, Алгоритмы, Язык »// М. 1991 г.

2. Касевич В.Б. «Элементы общей лингвистики»//М. 1977 г.

3. Леонтьева. Н.Н. «Автоматическое понимание текстов: системы, модели, ресурсы»//М. 2006 г.

4. Шемакин Ю.И. «Начала компьютерной лингвистики».// М. 1992 г.

5. Кузнецова Т.И., Кузнецов И.А. «Особенности развития иноязычной коммуникации в техническом ВУЗе»// М. 2012

6. Кузнецов И.А. «Подготовка студентов технологических и экономических специальностей к иноязычной профессиональной коммуникации в ВУЗах технического профиля»// М. 2012

7. Кузнецова Т.И., Марченко А.Н., Кузнецов И.А., Аристов В.М. «Профессиональный диалект или специальный язык: проблемы обучения иноязычной профессиональной разговорной речи»// Филология и культура. 2016 г.

8. Катранов С.Н., Кузнецов И.А. «Принципы подготовки переводчиков в сфере профессиональной коммуникации в системе дополнительного образования высшей школы»// Филологические науки. Вопросы теории и практики. 2016 г.

9. Кузнецова Т.И., Кузнецов И.А. «Развитие системы профессиональноориентированного обучения иностранным языкам в техническом ВУЗе на основе предметно-языковой интеграции»// Вестник Адыгейского государственного университета. Серия 3: Педагогика и психология. 2016 г.

10. Кузнецов И.А., Катранов С.Н. «Повышение эффективности самостоятельного обучения в процессе внеаудиторного чтения профессионально ориентированной литературы на иностранном языке студентами технических ВУЗов»// Филологические науки. Вопросы теории и практики. 2016 г.

11. Кузнецова Т.И., Марченко А.Н., Кузнецов И.А., Коваленко Н.Г. «Совершенствование процесса обучения иностранным языкам в магистратуре технического ВУЗа»// В книге: Актуальные проблемы химико-технологического образования. Шестнадцатая межвузовская учебно-методологическая конференция. 2014 г.

12. Кузнецов И.А., Васильева Л.Г. «Развитие системы подготовки специалистов к иноязычной коммуникации в соответствии с профессиональными стандартами»// Стратегии развития науки и образования в XXI веке. Сборник научных трудов по материалам международной научно-практической конференции. 2016 г.

13. Катранов С.Н., Кузнецов И.А. «Формирование иноязычной компетенции при обучении студентов технического ВУЗа говорению и переводу»// Среднее профессиональное образование. 2016г. – №4.

14. Кузнецова Т.И., Марченко А.Н., Кузнецов И.А. «Теория и практика обучения английскому языку в техническом ВУЗе»// М. 2014 г.

15. Кузнецов И.А. «Иноязычная подготовка аспирантов в системе непрерывного образования технического ВУЗа»// Среднее профессиональное образования. 2015 г. – №4.

16. Zamaletdinov R.R., Kuznetsov I.A., Sakharova N.S., Gladkikh V.G., Erofeeva N.E. Pedagogical tools of professional ideals management of modern student // International review of management and marketing. – 2016. – Т.6. №2. – С. 364-369.

17. Rakhimova D.I., Kolpakova G.V., Kuznetsova T.I., Litvinov A.V., Samokhvalova A.G. Management of civil position’s formation of the student youth // International review of management and marketing. – 2016. – Т.6. №2. – С. 339-344.