อ่าน: 1739
ความเห็น: 24

การวิเคราะห์องค์ประกอบเชิงยืนยันด้วย sem package ใน R: ก้าวย่างทางเดิน ลืมเลือนคืนวัน ดั้นด้นไป

การวิเคราะห์องค์ประกอบเชิงยืนยันด้วย package sem ใน R

ทบทวน CFA (Confirmatory Factor Analysis) ด้วย R กันลืมนะครับ

ทฤษฏียกเอาไว้นะครับ

ใน R มี package สำหรับวิเคราะห์ CFA หลาย Package ด้วยกัน แต่ที่ผมเคยลองใช้ก็เป็น sem กับ lavaan ครับ package หลังสุดนี่ใช้งานง่ายหน่อยครับ แต่อาจจะติดตรงที่จำนวนดัชนีสำหรับ CFA นั้นมีน้อยกว่าอีก package หนึ่ง

Sem นี่ ใช้งานยากกว่านิดนึง แต่มีดัชนี CFA หลายตัวให้ดู

SEM = Structural Equation Modeling

ความยากของ SEM ก็คือการเขียนสมการโครงสร้างสำหรับเป็น input ให้ R นี่แหละครับ ซึ่งการเขียนสมการโครงสร้างก็ต้องเริ่มต้นจากการ path diagram ครับ เขียนสมการได้ต้องมี path diagram หรือตัวโครงสร้างตามทฤษฎี/ กรอบแนวคิดของเรานั่นเอง

ต้องเขียน path diagram ให้ได้ก่อน กำหนดว่า path ระหว่าง Latent variable (construct) กับ Observable variable (manifest variable) ภาษาไทยก็คงเป็นตัวแปรแฝงกับตัวแปรสังเกตได้ ทำนองนั้นครับ

ต้องเขียนเส้นทาง ว่าอันไหนเป็น direct effect indirect effect เป็น correlation, ….

จากนั้นนำเอาโครงสร้างที่เราเขียน (ต้องการทดสอบกับข้อมูล) มาแปลงให้เป็นภาษาของสมการโครงสร้างเพื่อเป็น input ให้กับ R นอกเหนือจากที่ต้องใส่ข้อมูลที่เก็บรวบรวมมาเป็น input อีกหนึ่งอย่าง

การเขียนสมการโครงสร้างนี่มีวิธีการเขียนอยู่หลายแบบ ซึ่งผมก็ไม่เคยเจอะไม่เคยเจอ เช่น LISREL , RAM1, RAM2, Bentler-Weeks, และ EzPath models

การแปลงสมการโครงสร้างเป็นภาษาที่ R เข้าใจ (ในที่นี้คือ package sem) นั้นเขียนเป็นภาษา ASCII ที่ชื่อว่า PATH1 (James H. Steiger)

R สามารถถอด code ของการเขียน model แบบ RAM ได้

ในที่นี้ก็ให้เข้าใจว่า RAM นั้นคืออะไร เป็นแบบไหนก็ช่างหัวมันเถอะ

วิธีการนำเข้า model หรือจะเรียกว่า path diagram สู่ environment ของ R นั้นทำได้ผ่านหลายฟังก์ชันด้วยกัน แต่ที่ง่ายที่สุดก็คือการนำเข้าผ่านฟังก์ชัน cfa()

ฟังก์ชัน cfa() ใน sem นะครับ

ตัวอย่างต่อไปนี้เป็นตัวอย่างที่นำมาจากงานวิจัยของ Holzinger และ Swineford (1939) เป็นข้อมูลส่วนหนึ่ง (73 records)

Holzinger และ Swineford ทำการทดสอบเด็ก (ผู้หญิง) ด้วย seven test (different aspects of educational ability) ซึ่งประกอบไปด้วย

Visual perception
Cube identification
lozenge identification
Word meanings
sentence structure
paragraph understanding

นำเข้าข้อมูลตัวอย่าง

> t7 <- read.table("t7.dat", header=T)

> head(t7)

visperc cubes lozenges paragrap sentence wordmean

1 33 22 17 8 17 10

2 30 25 20 10 23 18

3 36 33 36 17 25 41

4 28 25 9 10 18 11

5 30 25 11 11 21 8

6 20 25 6 9 21 16

ในที่นี้เราจะทำการทดสอบยืนยันว่า t7 เป็นการวัด 2 กลุ่ม/ domain (2 latent variables) คือ visual perception (vp) กับ reading (rd)

Path diagram คือ (ในที่นี้เราจะละสัญลักษณ์ต่าง ๆ เช่น lamda, phi, error, … ไว้ไม่เขียนใน diagram)

ฟังก์ชัน cfa() นี้สามารถใส่ input ได้ 2 แบบคือ อนโดยตรงที่ Rconsole หรือเรียกสมการจากแฟ้มข้อมูล ในที่นี้จะใช้การ input ข้อมูลผ่าน Rconsole

> ct7 <- cfa(reference.indicators=FALSE, covs=NULL)

1: vp: visperc, cubes, lozenges

2: rd: paragrap, sentence, wordmean

Read 2 items

NOTE: adding 6 variances to the model

> ct7

Path Parameter StartValue

1 vp -> visperc lam[visperc:vp]

2 vp -> cubes lam[cubes:vp]

3 vp -> lozenges lam[lozenges:vp]

4 rd -> paragrap lam[paragrap:rd]

5 rd -> sentence lam[sentence:rd]

6 rd -> wordmean lam[wordmean:rd]

7 vp <-> vp <fixed> 1

8 rd <-> rd <fixed> 1

9 visperc <-> visperc V[visperc]

10 cubes <-> cube V[cubes]

11 lozenges <-> lozenges V[lozenges]

12 paragrap <-> paragrap V[paragrap]

13 sentence <-> sentence V[sentence]

14 wordmean <-> wordmean V[wordmean]

ที่เราเห็นผลลัพธ์ข้างต้นนั่นคือการแปลงจาก input ของฟังก์ชัน cfa() ให้เป็นภาษา PATH1

จากนั้นสร้าง correlation matrix ของข้อมูล

> cot7 <- cor(t7)

> cot7

visperc cubes lozenges paragrap sentence wordmean

visperc 1.0000000 0.4828862 0.4916630 0.3430168 0.3667612 0.2297377

cubes 0.4828862 1.0000000 0.4924264 0.2106977 0.1786094 0.1838991

lozenges 0.4916630 0.4924264 1.0000000 0.3258026 0.3354078 0.3689271

paragrap 0.3430168 0.2106977 0.3258026 1.0000000 0.7243611 0.7430226

sentence 0.3667612 0.1786094 0.3354078 0.7243611 1.0000000 0.6955315

wordmean 0.2297377 0.1838991 0.3689271 0.7430226 0.6955315 1.0000000

เมื่อทุกอย่างพร้อมก็สั่ง fit สมการ โดยที่ N= จำนวนข้อมูลทั้งหมด และ S= correlation matrix ของข้อมูล (ระหว่างตัวแปร)

> semt7 <- sem(ct7, N=73,S=cot7)

จากนั้นสั่งให้แสดงผลลัพธ์โดยแสดงค่าดัชนีต่าง ๆ

> summary(semt7,conf.level=.95,fit.indices=c("GFI", "AGFI", "RMSEA", "NFI", "NNFI","CFI", "RNI", "IFI", "SRMR"))

Model Chisquare = 19.86044 Df = 9 Pr(>Chisq) = 0.01879349

Goodness-of-fit index = 0.9219684

Adjusted goodness-of-fit index = 0.8179262

RMSEA index = 0.1294602 95% CI: (0.02492434, 0.2204861)

Bentler-Bonett NFI = 0.8942005

Tucker-Lewis NNFI = 0.8952005

Bentler CFI = 0.9371203

Bentler RNI = 0.9371203

Bollen IFI = 0.9392313

SRMR = 0.1914631

Normalized Residuals

Min. 1st Qu. Median Mean 3rd Qu. Max.

-0.0000011 -0.0000001 0.7578000 1.1990000 2.7650000 3.1300000

R-square for Endogenous Variables

visperc cubes lozenges paragrap sentence wordmean

0.4821 0.4836 0.5014 0.7738 0.6781 0.7135

Parameter Estimates

Estimate Std Error z value Pr(>|z|)

lam[visperc:vp] 0.6943612 0.12659520 5.484893 4.137188e-08 visperc <--- vp

lam[cubes:vp] 0.6954395 0.12662144 5.492273 3.967935e-08 cubes <--- vp

lam[lozenges:vp] 0.7080795 0.12693163 5.578432 2.426961e-08 lozenges <--- vp

lam[paragrap:rd] 0.8796707 0.09856879 8.924434 4.479843e-19 paragrap <--- rd

lam[sentence:rd] 0.8234458 0.10115440 8.140485 3.936984e-16 sentence <--- rd

lam[wordmean:rd] 0.8446600 0.10020665 8.429181 3.480937e-17 wordmean <--- rd

V[visperc] 0.5178625 0.13427138 3.856834 1.148649e-04 visperc <--> visperc

V[cubes] 0.5163638 0.13435632 3.843242 1.214197e-04 cubes <--> cubes

V[lozenges] 0.4986234 0.13545010 3.681233 2.321084e-04 lozenges <--> lozenges

V[paragrap] 0.2261796 0.07167599 3.155583 1.601775e-03 paragrap <--> paragrap

V[sentence] 0.3219371 0.07571344 4.252047 2.118252e-05 sentence <--> sentence

V[wordmean] 0.2865496 0.07375643 3.885080 1.022960e-04 wordmean <--> wordmean

Iterations = 23

จากการทดสอบสมการด้วย Chi-square test ให้ผลการทดสอบ significant หรือค่า Chi-square = 19.80644 degree of freedom เท่ากับ 9 แสดงให้เห็นว่า โมเดลโครงสร้างตามทฤษฎีหรือกรอบแนวคิดที่เรากำหนดขึ้นใน diagram ยังไม่ fit หรือยังมีความแตกต่างจากโมเดลการวัด (ข้อมูล) อยู่

เราอาจจะปรับโมเดลโครงสร้างของเราใหม่ ซึ่งมี 2 แนวคิดคือ เพิ่มเส้นความสัมพันธ์ในโมเดลกับลดเส้นความสัมพันธ์ในโมเดล

ข้อแนะนำจากผู้เชี่ยวชาญคือการเพิ่มเส้นความสัมพันธ์ในโมเดล แต่จะเพิ่มเส้นที่ใดดี (ระหว่าง ? กับ ?๗

ใน package sem มีฟังก์ชันที่ใช้ตรวจสอบว่า หากเราเพิ่ม/ กำหนดความสัมพันธ์ขึ้นในโมเดลแล้ว จะทำให้สามารถลดค่า chi-square ลงได้เท่าไหร่ เราเลือกเพิ่มเส้นความสัมพันธ์ให้กับตัวแปรที่สามารถลดค่า chi-square ลงได้มากที่สุด

ฟังก์ชันใน sem ที่ว่าคือ modInduces() หรือ Model Induces นั่นเอง หรือความสัมพันธ์ที่เพิ่มเข้าไป ความสัมพันธ์แบบไหน/ ระหว่างอะไร ที่ส่งผลต่อการเปลี่ยนแปลงของสมการ

> modIndices(semt7)

5 largest modification indices, A matrix (regression coefficients):

vp<-rd rd<-vp rd<-lozenges vp<-sentence vp<-paragrap

10.761443 10.761443 10.278320 9.451144 9.415826

5 largest modification indices, P matrix (variances/covariances):

rd<->vp rd<->lozenges wordmean<->lozenges wordmean<->visperc sentence<->visperc

10.761443 3.935540 3.208525 2.760979 2.694762

จากผลลัพธ์ของ modInduces() ทำให้เราทราบว่า ถ้าเราเพิ่มความสัมพันธ์ระหว่างตัวแปร vc กับ rd เข้าไปจะทำให้ค่า chi-square ลดลงมา 10.761 ซึ่งตัวแปร vc และ rd นั้นเป็นตัวแปรแฝง (latent variable)

เราจะเลือกเส้นความสัมพันธ์ระหว่าง vc กับ rd ในรูปแบบใด?

ความสัมพันธ์ทางเดียวกับความสัมพันธ์ 2 ทาง

ทางเดียว (สัญญลักษณ์ลูกศรทางเดียว) เช่น rd ส่งผลต่อ vc หรือ vc ส่งผลต่อ rd (ส่งผลให้ค่า chi-sqaure ลดลงเท่ากัน)

สองทาง (สัญญลักษณ์ลูกศร 2 ทาง) หรือในอีกนัยยะหนึ่งคือ vc กับ rd ส่งผลซึ่งกันและกัน หรือมีความสัมพันธ์กันเอง

ผู้เชี่ยวชาญให้ความเห็นว่า ควรเลือกเส้นความสัมพันธ์ที่เป็นทางเดียว แต่จะเลือกตัวแปรไหนไปตัวแปรไหนนั้นคงขึ้นกับความหมายของตัวแปรแต่ละตัว

ในที่นี้เพิ่มเส้นความสัมพันธ์ระหว่าง vp กับ rd โดยที่ให้ vp ไป rd (อันนี้สมมติเอาดื้อ ๆ ว่า vp ส่งผลต่อ rd หรือเห็นช่วยให้อ่านดีขึ้น)

เราปรับโมเดลใหม่ ในที่นี้ผมจะใช้การใส่โมเดลใหม่ทับโมเดลเดิม โดยเพิ่มบรรทัดที่เป็นความสัมพันธ์ระหว่าง vp กับ rd เพิ่มเข้าไปอีกบรรทัด ใช้การป้อนข้อมูลผ่านทาง Rconsole เช่นเดิมครับ

> ct7 <- cfa(reference.indicators=FALSE, covs=NULL)

1: vp: visperc, cubes, lozenges

2: rd: paragrap, sentence, wordmean

3: rd: vp:

Read 3 items

NOTE: adding 6 variances to the model

> ct7

Path Parameter StartValue

1 vp -> visperc lam[visperc:vp]

2 vp -> cubes lam[cubes:vp]

3 vp -> lozenges lam[lozenges:vp]

4 rd -> paragrap lam[paragrap:rd]

5 rd -> sentence lam[sentence:rd]

6 rd -> wordmean lam[wordmean:rd]

7 rd -> vp lam[vp:rd]

8 vp <-> vp <fixed> 1

9 rd <-> rd <fixed> 1

10 visperc <-> visperc V[visperc]

11 cubes <-> cubes V[cubes]

12 lozenges <-> lozenges V[lozenges]

13 paragrap <-> paragrap V[paragrap]

14 sentence <-> sentence V[sentence]

15 wordmean <-> wordmean V[wordmean]

คราวนี้มา fit โมเดลอีกครั้ง (พร้อมทั้งสั่งแสดงผลลัพธ์)

> semt7 <- sem(ct7, N=73,S=cot7)

> summary(semt7,conf.level=.95,fit.indices=c("GFI", "AGFI", "RMSEA", "NFI", "NNFI","CFI", "RNI", "IFI", "SRMR"))

Model Chisquare = 7.852894 Df = 8 Pr(>Chisq) = 0.4479704

Goodness-of-fit index = 0.9658616

Adjusted goodness-of-fit index = 0.9103867

RMSEA index = 0 95% CI: (NA, 0.1522889)

Bentler-Bonett NFI = 0.9581665

Tucker-Lewis NNFI = 1.001597

Bentler CFI = 1

Bentler RNI = 1.000852

Bollen IFI = 1.000819

SRMR = 0.04293757

Normalized Residuals

Min. 1st Qu. Median Mean 3rd Qu. Max.

-0.695100 -0.193800 0.000001 -0.021430 0.180000 0.683500

R-square for Endogenous Variables

vp visperc cubes lozenges paragrap sentence wordmean

0.2372 0.4940 0.4275 0.5419 0.7736 0.6838 0.7081

Parameter Estimates

Estimate Std Error z value Pr(>|z|)

lam[visperc:vp] 0.6138345 0.11234527 5.463821 4.659926e-08 visperc <--- vp

lam[cubes:vp] 0.5710648 0.11168135 5.113340 3.165111e-07 cubes <--- vp

lam[lozenges:vp] 0.6429527 0.11340596 5.669479 1.432322e-08 lozenges <--- vp

lam[paragrap:rd] 0.8795392 0.09804371 8.970889 2.941304e-19 paragrap <--- rd

lam[sentence:rd] 0.8269340 0.10068013 8.213478 2.148724e-16 sentence <--- rd

lam[wordmean:rd] 0.8414863 0.09996723 8.417621 3.842058e-17 wordmean <--- rd

lam[vp:rd] 0.5576151 0.17756559 3.140333 1.687557e-03 vp <--- rd

V[visperc] 0.5060492 0.12689285 3.988004 6.663150e-05 visperc <--> visperc

V[cubes] 0.5724844 0.12749524 4.490241 7.114262e-06 cubes <--> cubes

V[lozenges] 0.4580750 0.12784742 3.582982 3.396938e-04 lozenges <--> lozenges

V[paragrap] 0.2264106 0.06938893 3.262921 1.102702e-03 paragrap <--> paragrap

V[sentence] 0.3161800 0.07417707 4.262503 2.021500e-05 sentence <--> sentence

V[wordmean] 0.2919008 0.07253485 4.024283 5.714914e-05 wordmean <--> wordmean

Iterations = 27

เริ่ดไหมครับ

แถมท้ายด้วย path diagram ที่สร้างจาก R

> pathDiagram(semt7, hat=TRUE,parameters=round(coef(semt7),3),style = "ram", node.colors = c("lightgreen", "yellow"))

ข้อสังเกต:

การกำหนดเครื่องหมายลูกศรใน diagram นั้นเราจะเห็นว่า ลูกศรพุ่งออกจากตัวแปรแฝง (latent variable) ไปยังตัวแปรสังเกตได้ (Observable variable) ทั้งนี้เป็นความหมายในนัยยะของปัจจัย (factor) แต่หากเรากำหนดให้ลูกศรพุ่งในทิศทางกลับกันนั่นคือ ลูกศรพุ่งออกจากตัวแปรสังเกตได้ (Observable variable) ไปยังตัวแปรแฝง (latent variable) จะเป็นความหมายในนัยยะขององค์ประกอบ (component)

อิอิอิ

เราเอง

เพลง: Hotter Than Hell
ศิลปิน: Kiss

Sections: Miscellaneous

Tag: r sem ข้าวยำ เฉาก๊วย cfa Structural Equation Modeling confirmatory factor analysis

License: ซีซี: แสดงที่มา-ไม่ใช้เพื่อการค้า-อนุญาตแบบเดียวกัน Cc-by-nc-sa

created: 14 April 2016 22:43 Modified: 14 April 2016 22:43 [ Report Abuse ]

Other Posts By This Blogger

ความเห็น

suka [IP: 14.182.56.57]
30 November 2018 17:03
#108283

Thank for your writting! I have read through some similar topics! However, your post has given me a very special impression, unlike other posts. I hope you continue to have valuable articles like this or more to share with everyone! vex

Anna [IP: 14.231.164.175]
11 April 2019 08:33
#108670

ขอบคุณสำหรับข้อมูลที่คุณบทความ

return man 3

Fleeing The Complex [IP: 14.231.164.175]
11 April 2019 08:49
#108671

บทความนี้ยอดเยี่ยมมากและขอขอบคุณสำหรับการแบ่งปันโพสต์ที่มีค่า

<a href="http://gomovies.movie">go movies</a>

Cat Mario [IP: 14.231.164.175]
11 April 2019 08:50
#108672

ขอบคุณสำหรับข้อมูลทั้งหมดของคุณเว็บไซต์เป็นเนื้อหาที่ดีมากและให้ข้อมูล

[url=http://catmario.games]cat mario[/url]

arianapham [IP: 14.162.167.178]
12 เมษายน 2562 11:23
#108687

นี่คือโพสต์ที่ยอดเยี่ยมมากและวิธีที่คุณแสดงรายละเอียดโพสต์ทั้งหมดที่ดีเกินไป

friv 4 school

phamyen [IP: 14.162.167.178]
12 เมษายน 2562 11:27
#108688

โพสต์ที่ดี ฉันชอบมัน. รู้สึกดีมากเมื่ออ่านโพสต์ของคุณ

fnaf games

geometry dash [IP: 222.252.55.38]
16 April 2019 15:05
#108706

ขอบคุณสำหรับการแบ่งปัน geometry dash

return man [IP: 14.231.165.238]
18 April 2019 09:18
#108716

Thank you for the information, may be useful for all people of course who read this article <a href="http://geometry-dash.net">geometry dash</a>

return man [IP: 14.231.165.238]
18 April 2019 09:19
#108717

Thank for your writting. You have made it very clear that the problem is happening. I really like your way of thinking

happy wheels

John [IP: 171.253.57.89]
22 April 2019 14:20
#108727

Thanks for your sharing. Hope you can contribute more quality posts to this page. Thank you!

<a href="https://happywheels3d.io/">happy wheels</a>

hGDJHA [IP: 14.231.162.152]
21 พฤษภาคม 2562 15:29
#108894

ขอขอบคุณที่แบ่งปันข้อมูลที่มีค่านี้กับวิสัยทัศน์ของเรา คุณโพสต์บล็อกที่ควรค่าแก่การไว้วางใจและแบ่งปันต่อ

strike force heroes 3

tet [IP: 14.231.162.152]
21 พฤษภาคม 2562 15:30
#108895

ฉันเข้าใจสิ่งที่คุณนำมาซึ่งความหมายและมีประโยชน์มากขอบคุณ

happy wheels

honey [IP: 14.231.162.152]
21 พฤษภาคม 2562 15:31
#108896

Thank you for such a sweet tutorial - all this time later, I've found it and love the end result. I appreciate the time you spent sharing your skills.

run 3

Acacia hary [IP: 123.25.46.111]
23 พฤษภาคม 2562 14:29
#108901

The article is very good, I love reading your article, the article is very interesting. I hope that you will have more interesting and interesting articles.

<a href="https://templerun.co">Temple run</a>

anna [IP: 222.252.109.14]
31 พฤษภาคม 2562 08:28
#108946

The articles you share, it is very detailed and meticulous, I hope you will have more interesting articles to share with readers next time.

scary maze game

Linda Rose [IP: 222.252.109.14]
31 พฤษภาคม 2562 10:21
#108952

มันเป็นบทความที่ยอดเยี่ยม คุณจะชอบสิ่งนี้อย่างแน่นอนเพราะมันเป็นสิ่งที่ดี

Raft Wars 2

alex1999 [IP: 14.102.27.149]
31 พฤษภาคม 2562 14:35
#108956

https://www.google.com

[url=www.google.com]kumar[/url]

keyword

alex1999 [IP: 14.102.27.149]
31 พฤษภาคม 2562 14:45
#108957

https://www.google.com

[url = www.google.com] kumar [/ url]

keyword

alex1999 [IP: 14.102.27.149]
31 พฤษภาคม 2562 14:46
#108958

aol customer service, aol customer service phone number, aol tech support, aol help, help aol com, aol support, contact aol, aol phone number, aol mail help, aol contact number, aol chat, aol customer service number, aol contact, aol live help, aol technical support number, aol number, aol email customer service, aol mail phone number, call aol, aol email support number, contact aol by phone, aol helpline number, aol email support phone number, contact aol mail, aol mail setup, aol customer service email, aol support email, contact aol support, contact aol customer service, call aol customer service, aol chat support, aol help center, aol mail login help, aol customer service phone, aol customer support, aol technical support, aol technical support phone number, aol help desk, aol help phone number, aol helpline, aol support phone number, aol telephone number, phone number for aol, aol com help, aol customer service phone number us, aol customer service telephone number, aol customer service toll free, aol customer support number, aol customer support phone number, aol tech support number, aol tech support phone number, aol tech, aol help email, aol help number, help aol, aol support number, aol phone number customer service, aol phone support, aol contact phone number, aol 800 number, aol toll free number, aol email support, aol email help, aol email setup, aol mail support, aol mail customer service, aol com customer service, aol com phone number, aol com support, phone number for aol com, aol setup, set up aol email, aol password reset, change aol password, forgot aol password, reset aol password, aol desktop, aol desktop 9 7, aol account, delete aol account, my aol account, aol mail sign, aol mail sign in, aol mail sign in now, aol mail sign in screen, aol mail sign in screen name aol, aol mail sign on, aol mail sign up, aol mail signin, aol email, aol email sign in, aol forgot password, aol mail not working, aol reset password, free aol email, aol desktop 10, aol desktop download, create aol account, aol mail sign in account, aol mail sign in page, my aol mail sign in, aol email hacked, aol email home page, aol email problems, aol email settings, aol email sign up, aol emails, how to delete an aol email account, how to delete aol email account, aol password, forgot my aol password, how do i change my aol password, how to reset aol password, aol desktop 10 1, aol desktop for mac, cancel aol account, how to cancel aol account, new aol account, aol mail sign in mobile, aol mail sign in my account, aol mail sign in now aol, aol mail sign in screen name, aol mail sign in simple free fun, read my aol mail sign in screen name, aol email address, aol email com, aol email down, aol email sign in page, check aol email, create aol email, aol email account, delete aol email account, aol password hack, aol password recovery, aol password reset phone number, changing aol password, how do i reset my aol password, how to change my aol password, recover aol password, aol desktop 9 6, aol desktop 9 7 download, aol desktop site, aol desktop software, aol desktop v10 1, install aol desktop, aol account login, aol account recovery, create a aol account, free aol account, make an aol account, aol phone number for password reset, aol phone number to reset password, aol aol mail sign in, aol mail sign in aol, aol mail sign in aol mail, aol mail sign in email, aol mail sign in help, aol mail sign in screen nameaol.com, aol mail sign up new account, my aol mail sign in screen, aol email app, aol email check, aol email forwarding, aol email free, aol email issues, aol email log in, aol email lookup, aol email not working, aol email outage, aol email password reset, aol email search, aol email server settings, aol email sign in screen, aol email sign on, aol email welcome, change aol email password, forward aol email, how to change aol email password, how to get into aol email without password, how to hack aol email, is aol email free, new aol email, reset aol email password, sign up for aol email, www aol email, cancel aol email account, create aol email account, how do you delete an aol email account, how to cancel aol email account, how to delete an aol email account permanently, my aol email account, new aol email account,

mcafee support, mcafee customer service, mcafee phone number, mcafee support number, mcafee customer service number, mcafee technical support, mcafee phone support, mcafee number, mcafee antivirus phone number, mcafee antivirus support phone number, mcafee antivirus tech support phone number, mcafee customer care number, call mcafee, mcafee support phone number, mcafee help, mcafee customer service phone number, mcafee customer support, mcafee contact, mcafee contact us, contact mcafee, mcafee customer support number, mcafee technical support number, mcafee technical support phone number, mcafee tech support, mcafee tech support number, mcafee tech support phone number, mcafee contact number, mcafee chat support, mcafee telephone number, phone number for mcafee, mcafee antivirus support, mcafee setup, mcafee antivirus setup, remove mcafee, how to uninstall mcafee, uninstall mcafee, mcafee removal tool, mcafee internet security, mcafee download, mcafee account login, how to remove mcafee, uninstall mcafee windows 8, mcafee firewall, mcafee firewall keeps turning off, mcafee subscription, mcafee antivirus download, mcafee product key, mcafee protection, mcafee antivirus software, mcafee update, how to disable mcafee, disable mcafee, how to cancel mcafee, delete mcafee, remove mcafee agent, uninstall mcafee agent, uninstall mcafee mac, install mcafee, mcafee malware removal, how to completely remove mcafee, how to remove mcafee agent, how to remove mcafee from windows 7, cant uninstall mcafee, how do i uninstall mcafee, disable mcafee firewall, how to disable mcafee firewall, mcafee firewall settings, download mcafee removal tool, mcafee removal tool download, mcafee removal tool windows 7, mcafee removal tool windows 8, how to install mcafee, how to reinstall mcafee, reinstall mcafee, free mcafee internet security, mcafee internet security antivirus, mcafee internet security download, mcafee internet security suite, mcafee malware, mcafee malware protection, mcafee renewal, mcafee installation, mcafee auto renewal,

canon wireless printer setup, canon usa support, canon tech support, canon support number, canon support, canon setup, canon printer support, canon printer setup, canon printer customer service, canon ij setup, canon customer service, canon printers support, canon printer customer support phone number, canon printer tech support phone number, www usa canon com support, contact canon support, canon usa phone number, canon usa customer service, canon technical support phone number, canon technical support number, canon technical support, canon tech support phone number, canon tech support number, canon support phone number, canon support driver, canon printer wifi setup, canon printer technical support, canon printer tech support number, canon printer tech support, canon printer support phone number, canon printer support number, canon printer phone number, canon printer helpline, canon printer help number, canon printer help, canon printer customer support, canon printer customer service phone number, canon printer customer service number, canon printer customer care phone number, canon printer customer care number, canon phone number, canon phone, canon number, canon helpline, canon help desk, canon help, canon customer support, canon customer service phone number, canon customer service number, canon customer service chat, canon customer care number, canon contact number, canon contact, call canon, canon help line, canon printer technical support phone number, canon wifi printer setup, canon printer set up, canon printer drivers, canon drivers, install canon printer, how to connect canon printer to wifi, connect canon printer to wifi, canon website, canon software, canon printer software, canon printer drivers for mac, canon printer driver download, canon printer download, canon print service, canon portable printer, canon pixma wireless printer, canon photo printer, canon driver download, canon all in one printer, update canon printer driver, install canon printer on mac, install canon printer driver, install canon pixma, how to use canon printer, how to use a canon pixma printer, how to setup wifi on canon printer, how to setup canon wireless printer, how to setup canon printer on mac, how to setup canon printer, how to print from canon printer, how to install canon printer on mac, how to install canon printer, how to connect to canon printer, how to connect canon wireless printer to mac, how to connect canon wireless printer, how to connect canon printer to phone, how to connect canon printer to mac, how to connect canon printer to laptop, how to connect canon printer to computer, how to connect canon pixma to wifi, how to connect canon pixma printer to wifi, how to add canon printer to mac, how do i connect my canon wireless printer, how do i connect my canon printer to wifi, canon universal printer driver, canon troubleshooting, canon software for windows, canon software for mac, canon software download, canon scanner not working, canon printers troubleshooting pixma, canon printer updates, canon printer troubleshooting, canon printer software mac, canon printer software download, canon printer setup mac, canon printer app for pc, canon printer app for mac, canon printer app for iphone, canon pixma wireless setup, canon pixma wireless printer setup, canon pixma wifi setup, canon pixma setup, canon pixma printer setup, canon pixma printer driver, canon pixma driver download, canon pixma all in one wireless printer, canon pixma all in one printer, canon official website, canon mx922 wireless setup, canon mx340 wireless setup, canon mg3022 wireless setup, canon mg2922 wireless setup, canon mg2922 setup, canon mg2920 wireless setup, canon mg2920 setup, canon local website, canon drivers for mac, canon drivers and downloads, canon all in one wireless printer, canon all in one inkjet printer, add canon printer to mac,

hp support, hp support number, hp customer service, hp printer support, hp support assistant, hp technical support number, hp technical support, hp tech support, HP printers support, hp help, hp customer service number, hp customer support, hp printer support number, hp printer support phone number, hp support phone number, hp contact number, hp tech support number, hp tech support phone number, hp phone number, hp customer support number, hp computer support, hp laptop support, hp printer tech support phone number, hp customer care number, hp printer customer service, hp printer help, contact hp support, hp technical support phone number, hp customer service phone number, hp customer support phone number, hp printer phone number, hp help desk, call hp support, hp number, hp printer customer service number, hp wireless printer setup, hp printer setup, hp contact, hp support chat, support hp, hp support drivers, HP driver support, hp envy support, hp officejet support, hp setup, hp customer care, hp helpline, hp printer tech support number, hp printer technical support, hp phone support, hp printer customer service phone number, hp printer tech support, hp printer customer support phone number, hp help and support, hp printer support telephone number, hp printer technical support phone number, hp product support, hp laptop support number, hp helpline number, hp printer customer support, hp laptop customer service, hp printer contact number, hp support contact number, contact hp printer support, call hp, hp pavilion support, hp printer help number, hp printer phone support, hp laptop customer care number, hp printer technical support number, hp help number, hp computer support number, hp printer helpline, hp laptop tech support, hp printer help phone number, hp online support, hp telephone number, hp laptop support phone number, hp 800 number, hp 1800 number, hp support telephone number, hp printer number, hp prin

alex1999 [IP: 14.102.27.149]
31 พฤษภาคม 2562 14:46
#108959

alex1999 [IP: 14.102.27.149]
31 พฤษภาคม 2562 14:46
#108960

hewlett packard customer service, hewlett packard support, hewlett packard phone number, hewlett packard customer service number, hewlett packard customer service phone number, hewlett packard customer support, hewlett packard tech support, hewlett packard technical support, hewlett packard printer support, hewlett packard help, hewlett packard technical support phone number, phone number for hewlett packard, hewlett packard contact number, hewlett packard support number, hewlett packard support phone number

david guptil [IP: 14.102.27.140]
18 มิถุนายน 2562 13:53
#109113

microsoft contact number, microsoft contact number usa, microsoft contact phone number, microsoft contact support, microsoft contact us, microsoft contact email, microsoft contacts, microsoft contact, microsoft contact info, microsoft contact information, microsoft contact manager, microsoft customer support, microsoft customer support number, microsoft customer support phone, microsoft customer support phone number, microsoft customer service number, microsoft customer service telephone number, call microsoft customer service, customer service for microsoft, customer service microsoft, customer service number for microsoft, customer support microsoft, microsoft account customer service, microsoft customer care number, microsoft customer service, microsoft customer service and support, microsoft customer service chat, microsoft customer service email, microsoft customer service phone number, what is the toll free customer service number at microsoft, microsoft help center, microsoft help forum, microsoft helpline number, microsoft help, microsoft help and support, microsoft help chat, microsoft help desk, microsoft help desk number, microsoft help desk phone number, microsoft help line, microsoft help number, microsoft help phone number, microsoft helpline, microsoft numbers, microsofts number, microsoft call, microsoft call center, microsoft chat help, microsoft chat support, microsoft email support, contact microsoft email, how to call microsoft, what is microsofts number, whats microsofts number, Microsoft office phone number, microsoft office phone support, Microsoft office support number, Microsoft office support phone number, Microsoft office customer service phone number, microsoft office contact, microsoft office contact number, microsoft office customer service number, microsoft office help number, outlook phone number, outlook support number, Outlook support phone number, microsoft outlok support number, outlook customer service number, outlook customer support phone number, outlook tech support number, Microsoft outlook phone support, Microsoft outlook support phone number, Outlook technical support number, outlook technical support phone number, microsoft phone, microsofts phone number, microsoft phone number, microsoft phone number support, microsoft phone number tech support, microsoft phone number usa, microsoft phone numbers, microsoft phone support, microsoft phone support number, microsoft store contact, microsoft store phone number, microsoft store support, contact microsoft by phone, contact number for microsoft, contacting microsoft, how do i contact microsoft, how to contact microsoft, how to contact microsoft by phone, microsoft phone activation, number for microsoft, number to microsoft, phone number for microsoft, phone number microsoft, phone number to microsoft, microsoft tech support, microsoft tech support chat, microsoft tech support number, microsoft tech support phone, microsoft tech support phone number, microsoft tech support phone number usa, microsoft tech support toll free, microsoft technical support, microsoft technical support number, microsoft technical support phone number, call microsoft tech support, call microsoft technical support, phone number for microsoft tech support, windows support number, windows phone number, windows support phone number, microsoft windows support, microsoft windows support number, windows tech support, windows tech support number, windows technical support, windows customer support, windows customer support number, microsoft windows customer service, microsoft windows help, windows activation, windows activation phone number, windows contact number, windows customer service, windows customer service number, windows help, windows help and support, windows phone support, microsoft telephone number, microsoft telephone support, microsoft toll free number, microsoft toll free number usa, microsoft 1 800 number, microsoft 1800 number, microsoft 800 number, contact support phone number, contact support, contact phone number, contact number, support phone number, Support number, tech support phone number, tech support number, technical support phone number, Customer support phone number, Customer support number, Customer service number, Customer service phone number, Technical help number, Technical support number, apple support, apple support number, apple phone number, apple number, apple support phone number, apple support chat, contact apple support, apple contact number, apple application support, contact apple, call apple support, apple contact, support apple com, call apple, support apple, apples number, phone number for apple support, apple phone support, apple care phone number, apple care number, apple mobile device support, apple numbers, get support apple, apple online support, apple support email, apple support phone, apple support number usa, apple contact support, email apple support, what is apples number, how to contact apple, apple service number, apple contact us, apple 800 number, apple 1800 number, phone number for apple, number for apple support, apples phone number, apple toll free number, apple support contact number, apple support contact, apple phone number support, apple number support, apple telephone support, apple support line, apple 24 hour support, apple support telephone number, apple support live chat, my apple support, get apple support, apple telephone number, apple support phone number usa, apple support call, 24 hour apple support, call apple support number, apple support forum, apple phone number us, apple support online chat, apple support email address, what is apple number, online apple support, numbers apple, number for apple, apple support online, apple online support chat, apple live support, apple computer support, apple tech support number, apple tech support, apple tech support number, apple technical support, apple tech support phone number, apple technical support phone number, apple technical support number, apple store tech support, apple technical support phone number usa, apple tech support chat, apple technical support phone, apple store technical support, call apple tech support, apple tech support phone, apple tech help, phone number for apple tech support, apple customer service number, apple customer support, apple customer service phone number, apple store customer service, apple customer support number, apple customer care number, apple customer support phone number, mac customer service, mac tech support, apple mac support, import contacts from iphone to mac, mac technical support, mac support phone number, transfer contacts from iphone to mac, application support mac, how to get contacts from iphone to mac, syncing contacts from iphone to mac, sync iphone contacts to mac, mac helpline, mac number, mac customer support, apple mac support number, mac phone number, mac help desk, mac servicesr, mac support virus, mac support store, apple mac help, how to save contacts from iphone to mac, sync iphone contacts with mac, apple support mac, mac apple support, mac help chat, mac numbers help, apple mac customer service, mac technical support phone number, mac mail support, mac help phone number, transfer iphone contacts to mac, sync mac contacts with iphone, mac computer help, mac mail help, itunes support, itunes customer service, itunes customer service number, apple itunes support, itunes support number, itunes phone number, contact itunes, itunes contact number, apple itunes customer service, itunes support phone number, itunes store support, itunes number, itunes customer service phone number, itunes contact itunes help number, apple itunes phone number, contact itunes by phone, apple itunes support number, contact apple itunes, contact itunes support, how to contact itunes, apple itunes customer service number, apple itunes support phone number, phone number for itunes, apple itunes contact number, macbook support, macbook technical support, macbook tech support, macbook support phone number, macbook support number, macbook service, macbook pro technical support, macbook pro tech support, macbook pro support, macbook pro service, macbook pro help, macbook pro customer service, macbook helpline, macbook help, macbook customer service, macbook air support, macbook air help, apple support macbook air, apple support macbook pro, apple macbook support number, apple support for macbook pro, apple support macbook, apple macbook support, apple macbook pro support, apple macbook pro help, apple macbook help, apple macbook air support, apple help, apple help number, apple help desk, apple helpline, apple help line, apple help chat, apple help phone number, apple helpline number, apple help center, apple password help, macintosh support, macintosh help, macintosh services, macintosh tech support, macintosh service, macintosh customer service, microsoft support, microsoft support number, call microsoft, call microsoft support, chat with microsoft support, contact microsoft, contact microsoft support, contact microsoft support phone, email microsoft support, how to contact microsoft support, microsoft support center, microsoft support chat, microsoft support contact, microsoft support contact number, microsoft support email, microsoft support help, microsoft support line, microsoft support live chat, microsoft support phone, microsoft support phone number, microsoft support professional, microsoft support team, microsoft support telephone number, number for microsoft support, phone number for microsoft support, professional microsoft support, telephone number for microsoft support, microsoft professional support, support microsoft, microsoft support team, microsoft support telephone number, number for microsoft support, phone number for microsoft support, professional microsoft support, telephone number for microsoft support, microsoft professional support, support microsoft,

david guptil [IP: 14.102.27.140]
18 มิถุนายน 2562 13:54
#109114

kayle willson [IP: 14.102.27.140]
18 มิถุนายน 2562 13:54
#109115

ชื่อ:
อีเมล:
IP แอดเดรส:	54.81.220.239
ข้อความ:
เรียกเครื่องมือจัดการข้อความ



	ยกเลิก หรือ

Our Shangri-La

ความเคลื่อนไหวล่าสุด

Network

การวิเคราะห์องค์ประกอบเชิงยืนยันด้วย sem package ใน R: ก้าวย่างทางเดิน ลืมเลือนคืนวัน ดั้นด้นไป

ดอกไม้

Facebook

Twitter

Google

Other Posts By This Blogger

ความเห็น

คำอธิบายบล็อก

เกี่ยวกับบล็อก

ส่วนเสริม