Ibm watson membantu pelajar universiti belajar mandarin

Universiti telah jauh dalam pengajian bahasa mereka, yang bergerak melampaui kelas tradisional di dewan kuliah dan pelajaran prarekord tanpa interaksi. Sekarang pelajar mempunyai akses kepada teknologi seperti kecerdasan buatan (AI) dan pemprosesan bahasa semula jadi (NLP) dalam persekitaran pembelajaran yang mendalam. Itulah yang berlaku di Makmal Sistem Kognitif dan Immersive (CISL) di Troy, New York, kampus Institut Politeknik Rensselaer (RPI). Di sini institut telah bekerjasama dengan IBM Research untuk mewujudkan teknologi untuk kursus musim panas enam minggu di mana para pelajar berinteraksi dengan ejen AI dalam persekitaran yang termasuk pasar jalanan dan restoran.

Kursus yang bertajuk "AI-Assisted Immersive Chinese, " mempunyai sistem paparan panorama 360 darjah arena yang dijana oleh komputer di bilik Cognitive Immersive (CIR) makmal, yang juga dikenali sebagai "Bilik Situasi." Pemandangan Maya berlaku di China. Pelajar bercakap dengan avatar yang dikuasai oleh Pembantu Watson dan dibetulkan pada ucapan dan sebutan mereka. Dalam CIR, pelajar menggunakan AI perbualan, penjanaan naratif, kesedaran konteks spatial, dan isyarat dan teknologi pengenalan wajah.

CIR adalah contoh pelbagai potensi untuk IBM Watson dalam beberapa industri selain pendidikan. Industri-industri ini termasuk pertanian, sumber manusia (HR), dan pengurusan armada.

Di RPI, sebagai tambahan kepada Pembantu Watson, pelajar menggunakan Ucapan Watson untuk Teks, Teks Ucapan Watson, dan Penterjemah Bahasa dalam pelajaran mereka.

Pelajar belajar bahasa Mandarin dengan menggunakan AI di kampus RPI. (Kredit imej: Penyelidikan IBM / RPI)

Pengalaman Pembelajaran Aktif

Bagi Julian Wong, seorang junior di RPI, pengalaman AI yang mendalam adalah cara yang menarik untuk belajar Mandarin kerana ia memberi dia cara yang lebih aktif untuk belajar. Kerana bahasa Mandarin adalah bahasa tonal di mana perubahan dalam padang dapat mengubah makna kata-kata, avatar dalam pengalaman AI memberikan maklum balas mengenai nada untuk memastikan Wong dan pelajar lain mendapatkan pengucapan tepat.

Bekerja dengan AI di CIR menyediakan keseimbangan yang bagus dengan masa kelas biasa, menurut Wong. "Pertemuan untuk bercakap dengan komputer… pasti membantu dengan banyak aspek pembelajaran bahasa, terutama kemahiran lisan, " kata Wong.

Kelas Mandarin Wong bertemu empat kali seminggu. Pada hari Isnin dan Jumaat, dia menghadiri kelas dalam kelas tradisional dengan Helen Zhou, Profesor Madya di RPI. Di sana dia belajar perbendaharaan kata baru dan mendapat pengenalan kepada frasa dan struktur tatabahasa. Pada hari Selasa dan Khamis, kelas bertemu dalam CIR, di mana pelajar menjalankan perbualan dengan ejen maya. Di dalam persekitaran restoran, Wong berkata pelajar boleh menjalani proses keseluruhan duduk di restoran, melihat menu, memesan makanan, bercakap dengan seorang pelayan tentang bagaimana makanan disediakan, dan membayar bil. Persekitaran lain termasuk taman, pasar, dan kampus sekolah.

Kelas Mandarin di dalam bilik darjah yang berbeza dari persekitaran tradisional kerana ia menyediakan pengalaman bahasa dan video multimodal, menurut Zhou. Beliau berkata kelas tradisional akan menjadi kurang immersive dan interaktif. "Dalam simulasi dalam kelas yang mendalam, kami mempunyai dua ejen untuk bertarung antara satu sama lain, untuk cuba meyakinkan para pelajar untuk membeli produk itu, " kata Zhou. "Jadi pelajar akan memahami pengalaman peribadi daripada menonton video atau mendengar kuliah sahaja. Saya percaya mereka akan mengambil budaya lebih mudah daripada hanya belajar dari buku teks atau mendengar kaset."

Dalam CIR, pelajar mengambil kuiz yang berkaitan dengan tabir yang mereka berinteraksi dan mengangkat tangan untuk memberikan jawapan mereka. Teknologi penglihatan komputer dari kamera di bilik menangkap gerak isyarat mereka. Penolong AI memberikan kuiz yang berkaitan dengan tempat kejadian dan pelajar mesti menjawab dengan frasa dalam bahasa Cina.

"Jika anda mahu memilih salah satu pop-up yang ada di skrin, maka anda boleh menahan tangan anda, buka sawit, dan kemudian menutup tangan anda, " jelas Wong. "Anda memilih mana-mana kursor pada masa ini. Untuk kuiz kecil, jika anda tahu apa jawapan yang betul, maka anda boleh mengalihkan tangan anda ke aksara yang anda pilih, dan kemudian tutup tangan anda untuk memilihnya. akan memberitahu anda jika anda mendapatnya betul atau tidak."

Ejen maya memahami pelajar kebanyakan masa, kecuali ketika mereka mungkin tidak mempunyai mikrofon dekat dengan mulut mereka. Sistem ini mempunyai tetapan pengenalan suara yang berbeza yang mengambil pelajar jika mereka mematikan dengan sebutan mereka. Ia juga memberikan maklum balas segera dalam perbualan jika anda tidak mempunyai seorang profesor yang hadir. Pada masa mereka sendiri, para pelajar dalam kelas Mandarin pergi ke laman web untuk mengakses klip suara untuk berlatih.

Ciri sejuk pengalaman mendalam di RPI adalah kesadaran konteks ruang, di mana beberapa agen maya di skrin dapat memberitahu yang mana anda membuat hubungan mata. "Jika anda mengatakan sesuatu sambil melihat satu ejen, maka ejen itu akan bertindak balas dan bukan yang lain, " kata Wong.

Seorang pelajar menggunakan isyarat IBM Watson dan teknologi pengenalan muka sebagai sebahagian daripada kelas Mandarin di RPI. (Kredit imej: Penyelidikan IBM / RPI )

Bagaimana Pengalaman Immersive Dibangunkan

Pengalaman mendalam pada RPI datang dibuat ketika profesor bahasa dan profesor pereka permainan bertemu untuk membahas cara yang lebih baik untuk mengajar bahasa. Rancangan untuk membangunkan permainan peranan tidak lama lagi membincangkan bagaimana mengajar bahasa Mandarin melalui simulasi senario kehidupan sebenar, menurut Hui Su, yang merupakan Pengarah Pengalaman Pengguna Kognitif di IBM Research and Director of the CISL. IBM dan RPI mula membangun kursus pada akhir tahun 2015, dan mereka menubuhkan makmal bersama pada masa itu. CISL kemudian terbentuk tidak lama lagi.

"Tujuan makmal adalah untuk membina persekitaran kognitif dan mendalam untuk meningkatkan aktiviti kumpulan, untuk menambah kecerdasan kumpulan dalam konteks pembelajaran dan membuat keputusan, " kata Su. "Kami juga memberi tumpuan kepada membina papan dewan kognitif… untuk melihat data situasi kritikal dan cuba memahami maklumat dan membuat keputusan atau cadangan bagi pembuat keputusan."

Sebagai sebahagian daripada program pembelajaran bahasa AI, IBM dan RPI sedang bereksperimen dengan analisis kontur padang. Su menggambarkan bagaimana teknologi ini berfungsi. "Apabila anda bercakap suku kata, apabila anda melafazkan suku kata, teknologi asas akan menangkap suara, dan ia menghasilkan kontur visual bagaimana anda menyebut perkataan itu, " kata Su. "Kemudian ia menggunakan kontur visual dan membandingkan kontur visual dengan kontur visual penutur asli."

Pelajar kemudian boleh membuat pelarasan dalam sebutan mereka untuk mencapai nada yang betul. Mereka akan belajar bahawa mereka perlu menukar sebutan suku kata tertentu. Dengan pengetahuan pelajar memperoleh dengan belajar bahasa Mandarin di dalam bilik darjah yang menggunakan teknologi Watson, mereka akan mempunyai lebih keyakinan bercakap dalam kehidupan sebenar, menurut Su.

"Keseluruhan idea ini adalah untuk menyediakan konteks budaya yang cukup melalui persekitaran yang mendalam dan teknologi AI untuk membolehkan para pelajar melakukan latihan, " kata Su. "Jadi mereka tidak akan takut seperti bercakap dengan orang dalam kehidupan sebenar."

Seorang pelajar mengamalkan Mandarin di persekitaran restoran maya dengan menggunakan teknologi IBM Watson. (Kredit imej: Penyelidikan IBM / RPI )

Jambatan Antara Industri Teknologi dan Akademia

IBM dan RPI dapat membina jambatan antara penyelidik IBM dan ahli fakulti, dengan IBM memasukkan seorang penyelidik di kampus, iaitu Su. Sementara itu, Zhou, profesor kelas di RPI, juga memberi maklum balas kepada para pereka, pengguna, dan guru tentang bagaimana untuk meningkatkan pengalaman mendalam di dalam kelas.

"Saya perlu memberi mereka maklum balas serta-merta untuk membuat debug atau memperbaiki reka bentuk supaya kami dapat menawarkan bilik darjah yang semulajadi kepada para pelajar, " kata Zhou. "Jadi ada banyak kerja yang terlibat tetapi ia berbaloi."

Masa Depan Pembelajaran Bahasa

• Perisian Pembelajaran Bahasa Terbaik untuk 2019 Perisian Pembelajaran Bahasa Terbaik untuk 2019
• IBM Siarkan Watson AI Pretrained Alat di Beberapa Industri IBM Siarkan Watson AI Pretrained Alat di Beberapa Industri
• Adakah AI Really Speak Our Language? Adakah AI Really Speak Our Language?

Keadaan persekitaran seperti ini amat berharga kerana kemampuan untuk memberikan persekitaran hidup yang seolah-olah nyata, menurut Zhou. "Persekitaran kemasukan AI bukan sahaja dapat meningkatkan pembicaraan dan mendengar pelajar, tetapi juga pragmatik menggunakan bahasa itu dalam situasi kehidupan sebenar, " kata Zhou. "Itulah sebabnya AI lebih sesuai untuk saya sebagai seorang pengajar supaya para pelajar dapat memahami dengan menggunakan bahasa ini lebih awal, bahkan untuk pelajar pemula, tanpa perjalanan ke negara ini."

Persekitaran pembelajaran multimodal seperti yang ditawarkan di RPI akan memperluaskan peranan AI di dalam kelas. Dengan pengalaman yang disediakan oleh AI melalui ejen maya, pelajar akan bersedia untuk menangani pelbagai senario di dunia nyata dengan kemahiran bahasa yang diperlukan.