Pazar, Haziran 24, 2007

Faktör Analizi - Geçerlilik - Güvenilirlik

Eşimin doktora çalışmasıyla ilgili anketlerinin güvenilirlik ve geçerlilik analizlerini yapmaya koyuldum. İlk başta kolay olur diye düşünüyordum. Bir sürü istatistik ve veri analizi dersi almışlığıma güvenerek, bu işi bir en fazla iki günde bitiririm sanıyordum.

Ama evdeki hesap yine çarşıya uymadı. Birkaç haftadır uğraşıyorum. Ancak kendimi anketleri analiz edebilecek seviyede görüyorum ki daha pek çok eksiğim duruyor. Neyse, yine de araştırma notlarımın bir kısmını düzenli bir şekilde tuttum. Gerçi bu da bayağı vaktimi aldı, ama bu arada biraz Latex ve R tecrübesi kazanayım diye bunlara özendim... Latex'ten daha önceki yazılarımda bahsetmiştim. Matematiksel denklemlerin yazılması için çok elverişli. Ayrıca kitap, makale gibi düzenli eserlerin yazılmasında da çok uygun bir araç. Word'le orta ve uzun bir belge yazmanın zorlukları herkesin malumu. Bir satırın fontunu değiştiriyorsun, bir bakıyorsun, resim kayboluyor. Latex bu sorunlardan uzak. Her şey çok düzenli. Ayrıca aracın varsayılan ayarları çok kullanışlı. Örneğin, yazı genişliği varsayılan olarak 65 harf. Bu bir sayfanın yarısını dolduruyor. İlk başta neden bu kadar çok boş yer var, diyor insan. Fakat okuması çok daha kolay oluyor. Ama Latex'in de kullanımı biraz zor.

R ise istatistiksel analiz ve programlama için kullanılan bir araç. Açık kaynak olduğundan dünya kadar modül var üzerinde çalışan. SPSS, SAS gibi araçlardan tek eksiği, kolay kullanışlı bir grafik arayüzünün olmaması. Ama istatistiksel analiz açısından bu araçlardan bir eksiği yok.

Notlarımın tümünü pdf formatında veya latex kaynak kodlarıyla şu adresten bulabilirsiniz:

Faktör analizi, geçerlilik ve güvenilirlikle ilgili notlarım

Madde analiziyle ilgili notlarım

Bir izlenimi aktarayım. Ben mühendislik bilimlerindeki istatistiğin sosyal bilimlerdekinden daha detaylı ve incelikli olduğunu düşünürdüm. Artık böyle düşünmüyorum. Sosyal bilimlerdeki istatistiksel problemler, en az mühendisliktekiler kadar, belki daha da detaylı...

23 yorum:

Adsız dedi ki...

Merhaba,
Sosyal Bilimlerin analizlerinin karışıklığı konusunda size sonuna kadar hak veriyorum. Ben de master tezimde geçerlik ve güvenirlik çalışıyorum. Daha henüz veri toplama aşamasındayım,fakat şimdiden bir sürü sorunla karşılaştım. Ve etrafımda geçerlik ve güvenirlik çalışan pek çok kişi faktör analizinde sorunlar yaşadı. Ben de şimdiden kendi adıma kaygılanmaya başladım:)
Biraz önce webe koyduğunuz notlarınızı bilgisayarıma kaydettim. Hepsini inceleyeceğim. Size bunun için teşekkür etmek istedim.

Mert Nuhoglu dedi ki...

Merhaba Öznur Hanım, evet bu iş biraz zor, bizde açıkçası ilk analizin sonunda sorun yaşadık. İlk tutum ölçeklerinin tümü temel alınan varsayımlardan farklı çıktı. Aslında bununla ilgili deneyimlerimi de bir ara yazmayı düşünüyorum. Çünkü sosyal bilimlerde yayınlanan tüm psikoteknik değerlendirmelerde, nasılsa anketler temel alınan varsayımları hep geçerliyor. Bu çok gerçekçi olmayabilir.
Biraz konuyu araştırdım, psikoteknik anketlerin nasıl yapılacağı, analizlerin ne zaman hangi koşullarda ne anlama geldiğiyle ilgili gerçek deneyimlere dayalı kaynaklar bulamadım. Dolayısıyla herkesin el yordamıyla yöntemleri kendisi bulması gerekiyor. Bu da muhtemelen araştırma kalitesinin yükselmesinin önünde bir engel olarak duruyor.
Bence Türkiye'deki araştırmacılar olarak -ben her ne kadar sosyal bilimci olmasam da- gerçek saha deneyimlerimizi daha fazla yayınlamalıyız.

Adsız dedi ki...

slm mert abi ben ünal. notların gerçekten faydalı oldu. teekkür ederim. elimde 24 soruluk bir anket var 5 lik skala da değerlendirilmiş. spss mi daha iyi yoksa R kullanmak mı? geçerlilik güvenilirlikte hangi katsayılara bakmak gerek en belirleyici olanları?

Mert Nuhoglu dedi ki...

Merhaba Ünal,
Notlardan faydalanmana memnun oldum.
Sorularını bildiğim kadarıyla yanıtlamaya çalışayım:
- Güvenilirlik kriteri
Bunun için en sağlam ve basit kriter Cronbach Alpha katsayısı. Ne kadar yüksek olursa, o kadar iyi. Kabul edilebilir asgari değer kaçtı, şimdi tam hatırlamıyorum, fakat sanırım 0.7-0.8 ve üstü olması makul. Tabi bunun istatistik olmasından kaynaklanan duruma göre değişebilirliği var.
- Geçerlilik kriteri
Öncelikle eğer güvenilirlik düşükse, o zaman geçerlilik incelenemez. Bu testi geçtikten sonra, geçerlilik için faktör analizi yapmalı.
Burada çok sayıda uygulaman gereken teknik ve değerlendirme ölçütü var. Bunları güzel ve basit bir kılavuzda özetlemek lazım. Şimdilik taslak olarak şunları söylemekle yetineyim:
- Toplam açıklanan varyans, en az %50 olmalı.
- Analizin sonunda ortaya çıkan faktörler, kendi içinde anlam bütünlüğü olan değişken (madde/soru) kümelerinden oluşmalı. Bu faktörleri gerçek dünyada anlamlandırabilmelisin.
- Özdeğeri 1'in altında olan faktörleri mutlaka elemelisin. Dolayısıyla doğru faktörleri bulmak için, birkaç devir ve deneme yapmak lazım.

- Hangi programı kullanmalı?
Ben başta SPSS kullanmıştım. SPSS basit bir analiz için çok hızlı.
Güvenilirlik için: Scale > Reliability analysis
Geçerlilik için: Analyze > Data Reduction > Factor Analysis

R kullanmak istemiştim. Yanlış hatırlamıyorsam, cronbach veya faktör analizi fonksiyonunu bulamamıştım. Bu yüzden Matlab kullandım.
Tek bir tane veri kümesi için faktör analizi yapacaksan, SPSS daha pratik olabilir. Fakat çok sayıda analiz yapacaksan, R'da veya Matlab'de çalışmanı tavsiye ederim. Ben Matlab kullandım.
Matlab/R gibi bir programlama dili kullanmanın SPSS'e göre çok sayıda faydası oluyor. Veri üzerinde çeşitli işlemler yapmak gerekiyor. Bazı analizleri tekrar tekrar farklı biçimlerde denemek gerekiyor. SPSS ile bunları elle tek tek yönetmek, bir yerden sonra çok fazla vakit kaybettiriyor. Matlab/R'da küçük bir betik yazarak, tekrarlanan işleri otomatikleştirebilmek mümkün.

Başka soruların olursa, yine beklerim. Bu arada, hangi amaçla kullanıyorsun faktör analizini?

huseyin dedi ki...

Merhaba ben eğitimle ilgili bir ölçek geliştirdim ve geçerlilik çalışmasının bir parçası olarak faktör analizi yapmak istiyorum. Notlarınızdan da faydalanarak faktör analizi yaptım ama ortaya çıkan tabloları yorumlayamıyorum 82 tane sorum (item) var onlara sizin notlarınızda belirttiğiniz adımlarla spssde factor analizi uyguladım. On dört tane etken çıkardı sanırım ama hangi maddeler hangi etkenlerle bağlantılı olacak hangi maddeleri atmam gerekiyor belirleyemiyorum. Bu konuda daha ayrıntılı benim durumuma yakın bir örneği nerden bulabilirim. Tabachnickin kitabı bende de var ama ondaki örnek farklı ve tabloların nasıl yorumlanacağını yazmamış yada ben anlayamadım. Yardımcı olursanız sevinirim. Notlarınız yararlı oldu teşekküler.

huseyin dedi ki...

Merhaba ben eğitimle ilgili bir ölçek geliştirdim ve geçerlilik çalışmasının bir parçası olarak faktör analizi yapmak istiyorum. Notlarınızdan da faydalanarak faktör analizi yaptım ama ortaya çıkan tabloları yorumlayamıyorum 82 tane sorum (item) var onlara sizin notlarınızda belirttiğiniz adımlarla spssde factor analizi uyguladım. On dört tane etken çıkardı sanırım ama hangi maddeler hangi etkenlerle bağlantılı olacak hangi maddeleri atmam gerekiyor belirleyemiyorum. Bu konuda daha ayrıntılı benim durumuma yakın bir örneği nerden bulabilirim. Tabachnickin kitabı bende de var ama ondaki örnek farklı ve tabloların nasıl yorumlanacağını yazmamış yada ben anlayamadım. Yardımcı olursanız sevinirim. Notlarınız yararlı oldu teşekküler.

Mert Nuhoglu dedi ki...

Merhaba Hüseyin Bey,

Kısaca SPSS ile faktör analizini, adım adım nasıl yapacağınıza dair birkaç not yazayım. Daha detaylı bir yazıyı ileride yayınlamayı umuyorum:

1. Analyze > Data Reduction > Factor
soruları seçin ve ekleyin
2. Total Variance Explained tablosunu açın
Cumulative % 45 üzeri olan komponent (faktör) sayısını bulun. Diyelim ki 8 faktör olsun
3. Analyze > Data Reduction > Factor
Extraction > Number of Factors = 8
Yeni Total Variance Explained tablosunu aç
8 faktör için açıklanan birikimsel (cumulative) varyans %45 üstü olmalı yine
4. Rotated Component Matrix tablosunu açın
Bu matriste her bir soru için, faktör yükü %40 üzeri olan faktörü (komponenti) o soruya ata.
Matrisi excele kopyalamak için: sağ tıkla > Export > File Type = Excel
%40 altı olan soruları çıkartın.
5. Faktör analizini tekrar yapın. Soruları tek tek yukarıdaki gibi eleyin.

Yukarıda bahsettiğim %45, %40 gibi oranlar, anketin alanına ve özelliklerine göre değişebilir.

Yine de tam anlaşılmayan bir yer varsa, lütfen mail yerine bu blog ortamını kullanarak sorunuz. Böylece herkes bu tartışmalardan yararlanabilmiş olur.

huseyin dedi ki...

Merhaba yardımınız için teşekkürler. Birinci adımı yaptım ve Total Variance Explained tablosunda iki tane Cumulative % çıktı bir tanesi Inıtıal Eigenvalues'un diğeri Extraction Sums of Squared Loadings'in altında. İkinci Cumulative % de ilk 14 item var diğerleri yok hepsi %45'in üstünde. Bunları faktör kabul etsem bu ilk 14 soru zaten aynı şeyi ölçüyorlar yani benim 8 alt ölçeğimden yalnız biri bu nasıl oluyorda 14 faktör burdan çıkıyor?

huseyin dedi ki...

Ayrıca 3. adımı uyguladığımda Total Variance Explained tablosu 1. adımdakinin aynısı. Bu böyle mi olmalı? Açıkçası bu tabloları nasıl yorumlayacağım ve itemleri neye göre ölçekte tutacağım ölçeğin kaç alt testte bölündüğünü, alt testlerinin ölçeğin bütünü ile uyumlu olup olmadıklarını nasıl anlayabileceğim bunları bilmiyorum bu konuda yardımcı olabilir veya bir kaynak önerebilir misiniz?

Mert Nuhoglu dedi ki...

Merhaba Hüseyin Bey,

SPSS çıktı tablolarının şekli şu an ulaşabildiğim bir yerde değil. İsterseniz, bahsettiğiniz tabloların kısmi ekran çıktılarını, internete yükleyin. Görerek yorum yapabilirim. Resimleri yüklemek için, tinypic veya picasaweb sitelerini kullanabilirsiniz.

emy dedi ki...

iyi günler. ben faktör analizini tamamladım. fakat güvenilirlik analizinde farklı bir durum çıktı.bakmanız için resim olarak nasıl gönderebilirim?

emy dedi ki...

tamam buldum nasıl göndereceğimi :)

http://rapidshare.com/files/262496236/guev..png.html

Adsız dedi ki...

mert merhaba,

Bir sene kadar İEL'de sıra arkadaşlığı yapmıştık. En başta notlardan gördüğüm kadarıyla mühendislerin sosyal bilimcileri küçük görme kompleksinden sıyrılmışsın.

Faktör analizine gelince hiç bir notta yeterli sayıda örnekleme ihtiyaç duyulduğundan bahsedilmiyor. Örn. faktör analizini 100 kişinin altında yaparsan başka yapmazsan başka sonuçlar ve faktörler elde edilir.
Cronbach alfa'da buna göre değişir. Ayrıca KMO-Bartlett değeri de atlanmış. Bunlara da dikkat edilmeli. Betimleyici Faktör Analizi bir çok konuda yardımcı olsa da ve bazen bu analiz bazı maddeleri analizden çıkararak analizi tekrar yapmaları istense de bu anketten ankete değişir. Hiç bir faktöre girmeyen iki faktöre birden giren veya belirlenen sınıra göre (genelde .45) elenen soruları dikkatle incelemek gerekiyor. Benim tavsiyem istatistiğe güvenmekle birlikte soruların gerçekten neyi yansıttığı hangi faktöre yöneldiğini incelemektir ve bu işte önce EFA sonra CFA ile yapılmalıdır. CFA için AMOS ve LISREL'i eksik veri analizleri için ise verilerin MCAR ve MAR olmasına dayalı olarak EM, MI ve Regresyon ile doldurulmasını öneriririm. Çok ayrıntılı bir konudur daha geniş anlatılmalı. Bir blog bu iş için yetersiz!

Mert Nuhoglu dedi ki...

Merhaba,

Hocam ismini yazmamışsın, ama IEL'de bir senelik sıra arkadaşlığı yaptığımıza göre, sanırım Cengiz Uçar olmalısın. Doğru mu? Bana doğrudan bir email atarsan, sevinirim. Ben de uzun zamandır, seni arıyordum.

Açıklamaların için sağol, fakat bunları biraz daha detaylı yazarsan, özellikle EFA ve CFA kısımlarını, çok yararlı olacağı düşüncesindeyim. Elbette bir blog yazısı, bu iş için yeterli olmaz; ama bu tür yazılar, daha detaylı araştırma yapanların zaman kazanmalarını sağlar.

Not: Bizim toplumumuzda herkes kendinden farklı olanı dışlar, doğru diyorsun. Farklı disiplinlerin arasındaki karşılıklı küçümsemelerin, çok anlamsız bir şey olduğunu düşünürüm. Bu konuda Hz. Ali'nin güzel bir sözü var: "İlim birdi, cahiller onu çoğalttı."
Tüm bilim ve sanat türleri, hakikatin keşfedilmesine yönelik birer araçtır.
Her aleti, uygun yerde kullanmak gerekir. Yoksa elindeki tek alet çekiç olan bir kişi için, her şey çivi olarak görünür.

Deniz dedi ki...

merhaba,

eğitim bilimlerindeki tezim için anket analizi yapıyorum. 3 faktörüm var.
yapıtığım güvenilirilk ve geçerlilik analizleri sonucunda;
güvenirlik=.93 çıkıyor. yüksek bir güvenirlğe sahip anket.
ancak faktör analizi sonucunda ise faktörlere dağılan sorular beklediğim gibi çıkmıyor.
toplam acıklanan varyans %60 ve %45 i 1. faktör, %8 2.faktör ve %7 3. faktör olarak dağılıyor.
büyük bir kısmını sadece bir faktörde toplanması sebebiyle diğer iki faktörde olması gereken soruların çoğu 1. faktörde çıkıyor.

güvenirliği çok yüksek olan bir anketin faktör analizi sonucu neden böyle çıkabilir?
bu bir sorun mudur?
bu hali ile anket uygulanabilir bir anket midir?
eğer görüşlerinizi bildirirseniz sevinirim.

denizcanatasoy@hotmail.com

mat84m dedi ki...

Hasan...
iyi akşamlar hocam, spssde çok fazla bilgim yok ama spssde ödev yapmam gerekiyor.
Güvenirlik ve geçerlilikle ilgili.
20 soruluk matematik testi oluşturdum. Verileri spss nası lgirecem. Mesela doğru yapanalrı 1 yanlışları 0 diye mi yoksa her şıkkı tanımlamama mı gerekiyo ?
yardımcı olursanız sevinirim tşkler...

Mert Nuhoglu dedi ki...

@mat24m

Anladığım kadarıyla tutum ölçeği değil, bilgi ölçen bir test yapıyorsunuz, öyle değil mi?
Bu durumda, madde analizi (item analysis) yapmalısınız; yapısal geçerlilik analizi değil. Dolayısıyla, SPSS yerine Excel kullanabilirsiniz. Daha basit olur.
1-0 şeklinde verileri girmelisiniz her bir öğrenci için.

Adsız dedi ki...

öncelikle merhaba,

tezimin anket aşamasında spss ten faydalandım. Güvenilirlik analızında alfa ,93 çıkmasına rağmen faktör analizinde roteted compotent matrixe bakıyorum faktör dağılımı beklediğim gibi değil. Ne yapmam gerekiyor sorun neden kaynaklanıyor olabilir? yardımcı olursanız çok sevinirim.
Gamze
karagozilehacivat@hotmail.com

Adsız dedi ki...

MERHABA
spps de factör analizi yapıyorum fakat rotated component matrix hata veriyor yapılmıyor nedeni nedir acaba yardımcı olabilirseniz çok sevinicem

Mert Nuhoglu dedi ki...

Bilemiyorum nedenini. Ancak sorunun nedenini bulmanız için şöyle yardımcı olabilirim:

Öncelikle sorunun tam olarak hangi koşullarda ortaya çıktığını belirlemeye çalışın. Farklı parametreler ve veri kümeleriyle test edin. En basit bir veri kümesiyle test edin. En basit şekilde çalışıyor mu, bu fonksiyon bunu belirleyin.

Bunları yaptıktan sonra, sorunu tam olarak başkaları tarafından kolaylıkla tekrar üretilebilir (reproducible) hale getirin. Bu hale getirmek için yapılan işlem adımlarını detaylarıyla yazarak, SPSS forumlarından birine gönderin. Benim tavsiyem şu foruma yazmanız: http://stats.stackexchange.com/

Adsız dedi ki...

merhabalar,
Faktör analizi yaptığımda SPSS 15 faktör olduğunu söylüyor ancak, 14. ve 15. faktörlerde hiç soru toplanmıyor. bunun nedeni nedir acaba? bilen varmıdır? Yardımcı olabilirseniz çok sevinirim.

Adsız dedi ki...

mrb hocam. Faktör analizi bütün anketlere mi uygulanmalıdır. uygulanmadığı anketler var mıdır.

dbasuguy@gmail.com

Hale dedi ki...

Hocam iyi günler, çok cahilce bir soru olacak ancak, pek çok çalışmada bunu gördüğümden sormak istiyorum. Yapılacak her anket için öncesinde illa ki Geçerlilik Güvenilirlik analizi yapılır mı?
Örneğin bir konuda, meslek mensuplarının, öğrencilerin, işletmelerin görüşlerini-kanılarını öğrenmek istiyorum, bunlar bu konuya nasıl yaklaşıyorlar diye. Bu araştırmayı başka bir çalışmadan bulduğum bir anket ile (ki bu çalışmalardaki anketlerde uzman görüşü ya da analizlerle yapılmamış) ya da kendi oluşturacağım sorularla yapsam bunun hiç bir bilimsel değeri yok mu? Yoksa bilimsel değeri var görünen dergilerde yayınlanan bu makaleler aslında makale değil mi?
Böyle bir soruyla vaktinizi aldım ama bu işe çok geç ama başından başladığım için bocaladım. Teşekkür derim.