رمزگشای معنایی هوش مصنوعی

این سامانه توسعه یافته، ممکن است به افرادی که هوشیاری ذهنی دارند و در عین حال قادر به صحبت کردن و برقراری ارتباط فیزیکی نیستند، مانند افرادی که بر اثر سکته مغزی ضعیف شده‌اند، کمک کند تا دوباره به طور قابل درک، ارتباط برقرار کنند. این کار تاحدی بر یک مدل ترانسفورماتور، شبیه مدل‌هایی که چت جی‌پی‌تی در Open AI و Bard Google را پشتیبانی می‌کند، وابسته است.برخلاف دیگر سیستم‌های رمزگشایی زبان در حال توسعه، این سیستم نیازی به ایمپلنت جراحی برای افراد ندارد و این فرآیند را غیرتهاجمی می‌کند. فعالیت مغز با استفاده از یک اسکنر fMRI پس از آموزش گسترده رمزگشا اندازه‌گیری می‌شود که در آن، فرد ساعت‌ها به پادکست‌های موجود در اسکنر گوش می‌دهد و بعد مشروط بر این‌که قادر به رمزگشایی افکار خود باشد، گوش دادن به یک داستان جدید یا تصور داستان گفتن به ماشین امکان می‌دهد تا متن متناظر را فقط از فعالیت مغز تولید کند.
سیستم هوش مصنوعی آموزش دیده، می‌تواند جریانی از متن را زمانی که فرد در حال شنیدن یا تصور گفتن یک داستان جدید است، تولید کند. متن حاصل رونوشت دقیقی نیست، بلکه محققان آن را با هدف گرفتن افکار یا ایده‌های کلی طراحی کرده‌اند. در بعضی مواقع، سیستم آموزش دیده، متنی را تولید می‌کند که تقریبا یا دقیقا با معنای مورد نظر کلمات اصلی فرد مطابقت دارد. در آزمایش‌ها برای مثال وقتی فرد می‌گوید «هنوز گواهینامه رانندگی‌ندارم»، افکارش به این صورت ترجمه می‌شد: «او هنوز شروع به یادگیری رانندگی نکرده است.»
همچنین از افراد خواسته شد تا چهار ویدئو را بدون صدا در حین حضور در اسکنر تماشا کنند و سیستم هوش مصنوعی قادر بود رویدادهای خاصی را از آنها به دقت توصیف کند.در این پژوهش، محققان یک رمزگشای غیر تهاجمی معرفی‌کردند که زبان پیوسته را از بازنمایی‌های معنایی قشری ضبط‌شده با استفاده از تصویربرداری تشدید مغناطیسی عملکردی (fMRI) بازسازی می‌کند. با توجه به اطلاعات مغزی جدید، این رمزگشا توالی‌های کلمه‌ای قابل درک را تولید می‌کند که معنای گفتار درک شده، گفتار تصوری و حتی ویدئوهای بی‌صدا را بازیابی می‌کند و نشان می‌دهد که یک رمزگشا می‌تواند برای طیف وسیعی از کارها اعمال شود. این سیستم در حال حاضر برای استفاده در خارج از آزمایشگاه عملی نیست، زیرا به اسکنر fMRI وابسته است اما محققان بر این باورند که درنهایت می‌توان با کمک سیستم‌های تصویربرداری مغزی قابل حمل‌تر مانند طیف‌سنجی نزدیک به مادون قرمز (fNIRS) آن را برای استفاده عمومی کاربردی کرد.