Cross-Modal Çok değişkenli Örüntü Analizi

Aşağıdaki deneyin amacı, insan beynindeki çok modlu işlemeyi incelemek için fonksiyonel MRI verilerinin çok değişkenli örüntü analizini kullanmaktır. Bu, öncelikle deneklere tek bir duyusal modalite aracılığıyla sunulan belirli bir duyusal uyaran türü oluşturularak gerçekleştirilir. Örneğin, uyaran görseldir ancak farklı bir modalitede güçlü ilişkilendirmeler ima eder.

Örneğin, denekler bu tür uyaranları algılarken, beynin ilgili modaliteyle ilişkili bölümlerindeki nöral aktivite izlenir. Bu örnekte işitsel korteksler FMRI kullanılarak kaydedilir. Kaydedilen aktivite, deneğin orijinal modalitede birkaç uyarandan hangisini algıladığını tahmin etmek amacıyla çok değişkenli örüntü analizi kullanılarak analiz edilir.

Sonuçlar, birden fazla modaliteyle ilgili bilgi içeren tek modlu uyaranların, sunuldukları modalite dışındaki diğer modalitelerin erken duyusal kortekslerinde içeriğe özgü nöral aktiviteyi tetikleyebildiğini göstermektedir. Bugün tanıttığımız ve Çapraz modalite çok değişkenli örüntü analizi olarak adlandırdığımız teknik, geleneksel çok değişkenli örüntü analizinin doğal bir uzantısını temsil etmektedir; buradaki temel fark, duyusal STEMI'lerin duyusal modalitelerin içinde değil, modaliteler arasında sınıflandırılmasıdır. Bu yöntem fikri ilk olarak, yirmi yılı aşkın bir süre önce Demio tarafından tanıtılan nöro-mimari bir çerçeve için ampirik kanıtlar üretmeye çalışırken ortaya çıkmıştır.

Bu videoda, sizlere sadece çok değişkenli örüntü analizi veya kısaca MVPA'nın teknik yönlerini değil, aynı zamanda bu teorik çerçeveyi de tanıtacağız. Öncelikle, MVPA ile geleneksel tek değişkenli fMRI analizi arasındaki bazı temel farklara değineceğiz. Şunları göz önünde bulundurun.

Örneğin, bir denekten elma ve portakal gibi iki farklı görsel uyarıcıyı izlemesi istendiğinde, birçok deneme boyunca ortalaması alınan her iki uyarıcı da belirli bir nöral aktivite paterni oluşturur. Bu durum, burada altı hipotetik vokselin aktivasyon seviyeleriyle simgelenen primer görsel kortekste gerçekleşir. Konvansiyonel fMRI analizinde, bu paternleri analiz etmek için temel olarak iki yöntem bulunmaktadır.

Birincisi, uyaranların ilgi bölgesinin tamamında indüklediği ortalama aktivite düzeyini karşılaştırmaktır. Ancak, ortalamalar arasındaki fark anlamlı olmayabilir. İkinci yöntem ise her bir voksel için bir çıkarma kontrastı oluşturmaktır.

Elma koşulundaki aktivasyon seviyesi, portakal koşulundaki aktivasyon seviyesinden çıkarılır ve her bir voksel için elde edilen fark, tüm beyin kontrast görüntüsü üzerinde görselleştirilebilir. Ancak, bu farklar yine küçük olabilir ve yalnızca birkaç voksel için gerekli istatistiksel kritere ulaşabilir. Bununla birlikte, tek değişkenli analiz yöntemlerinin aksine MVPA, tüm voksellelerin aktivasyon seviyelerini eş zamanlı olarak değerlendirerek vokselleler arasındaki örüntüleri saptayabilmektedir.

Aktivasyon farklarının yalnızca birkaçı tek başına anlamlı olsa da, iki örüntü bir bütün olarak değerlendirildiğinde gerçekten istatistiksel olarak farklı olabilir. Geleneksel fMRI analizi ile MVPA arasındaki bir diğer temel fark, ikinci yöntemin ters çıkarım olarak adlandırılan yöntemi kullanmasıdır. Geleneksel fMRI analizinde araştırmacı tipik olarak, iki farklı görsel uyaranın... şeklinde bir soru sorar.

Örneğin, bir yüz resmi ile bir ev resmi, fusiform yüz alanı gibi belirli bir ilgi bölgesinde farklı aktivite seviyelerine yol açar. Buna karşılık MVPA, tipik olarak ters çıkarım veya kod çözme açısından ifade edilir ve belirli bir beyin bölgesindeki nöral aktivite paternine dayanarak, deneğin iki görsel uyaranın hangisini algıladığını öngörüp öngöremeyeceğimizi sorgular. Ancak, istatistiksel bir bakış açısından, iki uyaranın belirli bir beyin bölgesinde belirgin aktivite paternlerine yol açtığını söylemek ile o beyin bölgesindeki aktivite paterninin uyaranın öngörülmesine olanak tanıdığını söylemenin birbirine eşdeğer olduğunu belirtmek önemlidir.

Başka bir deyişle, MVPA'nın hassasiyeti, ters bir yönde ilerlediği için değil, birkaç vokseli eş zamanlı olarak değerlendirdiği için tek değişkenli analizlerden daha üstündür. Önceki örneğe dönecek olursak, bir elma görmenin primer görsel kortekste bir portakal görmekten farklı bir nöral aktivite paterni oluşturup oluşturmadığını değerlendiren tipik bir MVPA paradigmasını ele alalım. İlk adımda, denek ayırt edilecek çok sayıda uyaranı görürken FMRI verileri kaydedilir.

Elde edilen veriler daha sonra bir eğitim veri seti ve bir test veri setine ayrılır. Eğitim setindeki veriler, iki deneme türünü birbirinden ayıran nöral paternlerdeki özellikleri tespit etmeye çalışan bir patern sınıflandırıcıya girilir. Ardından, sınıflandırıcıya test setinden etiketlenmemiş veriler sunulur ve sınıflandırıcı, eğitim veri setinde tespit ettiği paternlere dayanarak her bir stimülüs için test denemelerinin her birine en olası etiketi atar.

Ardından sınıflandırıcı tahmini, doğru uyaran etiketiyle karşılaştırılır ve sınıflandırıcı performansı doğru tahminlerin yüzdesi olarak hesaplanır. Örnekteki sınıflandırıcının 12 durumdan dokuzunda, yani %75 oranında doğru uyaran etiketlerini belirlediğini gördük. Böyle bir iki yönlü ayrımda şans performansı %50 olacaktır. Bu durum, V1'de portakal ve elma uyaranlarının indüklediği nöral paternler arasında gerçekten tutarlı farklar olduğunu göstermektedir.

Elbette, bu sonucun önemi istatistiksel olarak kanıtlanmalıdır. Böyle bir sınıflandırma deneyinde akılda tutulması gereken önemli bir husus, eğitim ve test veri setlerinin birbirinden tamamen bağımsız olmasıdır; çünkü ancak bu durumda, eğitim oturumu sırasında öğrenilen örüntülerin genellenebilirliğine ilişkin sonuçlar çıkarılabilir. Bu nedenle, MVPA paradigmaları sıklıkla çapraz doğrulama (cross validation) olarak adlandırılan bir paradigma kullanır.

Bu prosedür, belirli bir veri setinden elde edilebilecek eğitim ve test denemelerinin sayısını maksimize etmeye hizmet ederken, aynı zamanda eğitim ve test setlerinin bireysel sınıflandırma adımları sırasında üst üste binmemesini sağlar. Sekiz fonksiyonel çalıştırmanın bulunduğu aşağıdaki MVPA deneyini ele alalım. İlk çapraz doğrulama adımında, sınıflandırıcı bir ile yedi arasındaki çalıştırmalardan gelen verilerle eğitilir ve sekizinci çalıştırmadan gelen verilerle test edilir.

İkinci adımda, sınıflandırıcı bir ile altı arasındaki çalışmaların yanı sıra sekizinci çalışma üzerinde eğitilir ve ardından yedinci çalışma üzerinde test edilir. Bu şemayı takip ederek, her bir çalışmanın tam olarak test çalışması olarak hizmet ettiği sekiz çapraz doğrulama adımı gerçekleştirilir. Her bir çapraz doğrulama adımı için sınıflandırıcı performansı elde edildikten sonra, bu sonuçların ortalaması alınarak genel performans belirlenir.

İnternette, pi MVPA ve Princeton Nörobilim Enstitüsü tarafından sunulan araç kutusu gibi MVPA gerçekleştirmek için ücretsiz olarak erişilebilen yazılım paketleri bulunmaktadır. Az önce açıklanan modeldeki gibi deneysel paradigmalar, serebral korteksin ilgili bölümlerindeki nöral aktiviteden algısal uyaranları tahmin etmek için başarıyla kullanılmıştır; örneğin, görsel kortekslerdeki aktiviteye dayanarak görsel uyaranları veya işitsel kortekslerdeki aktiviteye dayanarak işitsel uyaranları tahmin etmek gibi. Şimdi, algısal uyaranların sadece aynı modalite içinde değil, farklı modaliteler arasında da tahmin edildiği, bu temel fikrin bir genişletmesini tanıtmak istiyoruz.

Fikrimiz, algının anıların geri çağrılmasıyla karmaşık bir şekilde bağlantılı olduğu gerçeğine dayanmaktadır. Örneğin, cam bir tabanın yerde kırılma anı gibi güçlü bir işitsel çıkarımı olan görsel bir uyarıcı, zihnimizin kulağında, cam kırılmasıyla ilgili önceki karşılaşmalarımızda deneyimlediğimiz işitsel imgelerle benzerlikler paylaşan bir işitsel imgeyi otomatik olarak tetikleyecektir.

Theo tarafından 1980'lerin sonlarında tanıtılan bir çerçeveye göre, parçalanan taban bölgesi ile ilgili ses arasındaki bellek ilişkisi, konverjans diverjans bölgeleri veya kısaca CD'ler olarak adlandırılan bölgelerde depolanır. Konverjans diverjans bölgeleri, duyusal sistemlerin çeşitli hiyerarşik seviyelerinde yer alan nöron toplulukları olarak kavramsallaştırılmıştır. İsimlerinden de anlaşılacağı üzere.

Her seviyedeki CD'ler, alt sıra kortekslere ve turn'e yakınsak aşağıdan yukarıya projeksiyonlar alır. Aynı alt sıra kortekslere ayrışık yukarıdan aşağıya projeksiyonlar gönderirler. Yakınsak aşağıdan yukarıya projeksiyonlar sayesinde CD'ler, birden fazla modalitedeki algısal temsiller tarafından aktive edilebilir; örneğin, ayrışık yukarıdan aşağıya projeksiyonlar nedeniyle kırılan bir vazonun hem görüntüsü hem de sesi tarafından aktive edilebilirler.

Ardından, ek modalitelerin erken duyusal kortekslerine geri sinyal göndererek ilişkili imgelerin yeniden yapılandırılmasını teşvik edebilirler. Bu çerçeveye göre, tamamen görsel olan ancak ses çağrıştıran bir uyaranın tetikleyeceği aktivasyon dizisini düşünün. Uyaran, öncelikle yakınsak aşağıdan yukarıya (bottom-up) projeksiyonlar aracılığıyla erken görsel kortekslerde spesifik bir nöral aktivite örüntüsü oluşturur.

Erken görsel korteksler, CD'lerin ilk seviyesi olan CDZ birlerini aktive eder. İlgili erken kortikal sektördeki aktivitenin kesin paternine bağlı olarak, bir CDZ aktive olabilir veya inaktif kalabilir. CDZ birleri, tıpkı tespit edilen cdz birleri gibi, yukarıya doğru cdz ikilerine projeksiyon gönderir.

Erken görsel kortekslerdeki aktivite paternleri, cdz ikileri cdz birleri arasındaki aktivite paternlerini tespit eder; birkaç cdz ikisi aktive olabilir ancak basitlik adına burada yukarıdan aşağıya projeksiyonlar aracılığıyla yalnızca bir tanesi gösterilmiştir. Cdz birleri aynı zamanda, birkaç ek c DZs CDZ ikileri seviyesi aracılığıyla erken görsel kortekslerdeki aktivite paternini tamamlayabilir. İkiler, multimodal asosyasyon kortekslerindeki CDZ uçlarına ileriye doğru projeksiyon yapar.

Tekrar belirtmek gerekirse, birden fazla CDZ ucu aktif hale gelebilir, ancak basitlik adına yalnızca biri gösterilmiştir. Yine, CD Z ikileri aynı zamanda CDZ birlerine geri bildirim sinyali gönderir; bunlar da başlangıçta erken görsel kortekslerde oluşturulan örüntüyü daha da değiştirebilir. CDZ uçları, tüm modalitelerin CZ ikilerine geri bildirim sinyali gönderir.

İşitsel kortekslerde, deneğin görsel olarak sunulan uyaranla ilişkili bir işitsel imgeyi zihin kulağıyla deneyimlemesini sağlayan nöral bir patern oluşturulacaktır. Somatosensoriyel modaliteye yönelik betimlenen yukarıdan aşağıya sinyalleşme, hemen hemen her görsel uyaranın aynı zamanda bazı dokunsal çağrışımlar da içerdiği gerçeğini yansıtmaktadır. Bu nedenle, çerçeve, görsel uyaran çağrıştıran bir sesin içeriğe özgü bir nöral aktivite paternine yol açacağını öngörmektedir.

Erken işitsel kortekslerde. Bu nöral örüntünün MVPA kullanılarak analiz edilmesiyle, bir deneğin ses çağrıştıran çeşitli görsel uyaranlardan hangisini gördüğünün öngörülmesinin mümkün olması gerekir. İlk deneyde, denekler ses çağrıştıran nesne ve olayların yer aldığı dokuz farklı video klibi izlerken erken işitsel kortekslerden nöral aktivite kaydedilmiştir.

Bu deneydeki ilgi alanı, primer işitsel korteks ve çok erken evre işitsel asosyasyon kortekslerini içeren, Semal düzlemi üzerindeki sınırlı bir bölgeydi. İkinci bir deneyde, denekler dokunma iması içeren beş farklı video klibi izlerken primer somatosensoriyel korteksten nöral aktivite kaydedildi. Bu deneyde ilgi alanı, postsentral gyrus'ta yer alan primer somatosensoriyel korteksi kapsamaktaydı.

Her iki çalışma da işitsel çalışmada sekiz denek içermiştir. Bir MVPA sınıflandırıcısı, uyaran çiftleri arasındaki tüm olası iki yönlü ayırt etmelerde %50'lik şans düzeyinin üzerinde performans göstermiştir. 36 ayırt etmenin 26'sında, sınıflandırıcı performansı 0,5'lik şans düzeyinden anlamlı derecede farklı bulunmuştur.

Benzer şekilde, somatosensoriyel çalışmada sınıflandırıcı tüm iki yönlü ayırt etmelerde şans düzeyinin üzerinde performans göstermiş ve 10 ayırt etmenin sekizi istatistiksel anlamlılığa ulaşmıştır. Gördüğünüz üzere, çapraz modalite çok değişkenli örüntü analizi kullanarak, ses veya dokunma çağrıştıran görsel uyaranların algılanmasının, daha önce sunulan teorik çerçeve ile uyumlu olarak, erken işitsel ve somatosensoriyel kortekslerde içeriğe özgü nöral temsillere yol açtığını kanıtlayabildik. Açıkça görülüyor ki, sunduğumuz deneysel paradigma sadece kendi deneylerimizde yer alan modalitelerle sınırlı kalmak zorunda değildir; diğer duyusal modalitelere de genişletilebilir.

Bu nedenle, çevreden gelen multimodal uyaranların süreçlere nasıl dahil edildiğine dair bilgilerimizi genişletme çabasıyla, diğer grupların da bu tür araştırmaları geliştirmede bize katılacağını umuyoruz.