การปรับแต่งค่า robots.txt ใน joomla ในวันที่ไม่มี ไฟล์ .htaccess

  





   กราบสวัสดีเพื่อนๆพี่ๆน้องๆบุคลากรของมหาวิทยาลัยสงขลานครินทร์ ทุกท่านทั้งสาย ก และสาย ข รวมไปถึงมิตรรักแฟนเพลงด้วย
เนื่องด้วยระยะนี้ server ที่ดูแลอยู่ประสบปัญหาเรื่องความปลอดภัยอยู่เป็นนิจ ซึ่งเราก็ได้แก้ไขไปกันตามลำดับ ซึ่งสถานะปัจจุบันการ
ใช้งานก็เป็นปกติดีไม่มีปัญหาอันใด แต่จะมาเขียนบันทึกไว้เผื่อใครเจอปัญหาคล้ายๆผม เผื่อเอาไปลองใช้งานดูมั่งครับ
     เรื่องก็มีอยู่ว่าเมื่อประมาณวันที่ 31 กรกฏาคม 55 server ในคณะที่ทำเป็นเครื่องให้บริการเว็บไซต์แก่หน่วยงานภายในคณะ
ถูกผู้ไม่หวังดีเข้ามาแก้ไขไฟล์ .htaccess [1] ซึ่งไฟล์ดังกล่าวจะเป็นไฟล์ของเว็บเซอร์เวอร์ apache ที่ใช้ในการทำ redirect 
และใช้ป้องกันไม่ให้ผู้ไม่หวังดีเข้ามาป่วนเว็บของเราได้ !! ซึ่งในทางกลับกัน  เราดันโดนแก้ไฟล์ .htaccess เสียใหม่หมดเลย *0* 
ผมจึงปิด service ของ apache ก่อน จากนั้นผมจึงไปลบไฟล์ .htaccess ทิ้งซึ่งวันนั้นลอง search หาไฟล์ .htaccess ปรากฏ
ว่าเจอทุกไดเรคทอรี่ของแต่ละเว็บไซต์หน่วยงานภายในเลย T_T จึงจำใจต้องแก้ปัญหาเฉพาะหน้าด้วยการลบทิ้งไปก่อน จากนั้นจึง
ไปเพิ่มความปลอดภัยของ Apache ด้วยการแก้ไขให้ไฟล์ httpd.conf มีความปลอดภัยมากขึ้น[2]  จากนั้นเมื่อทำการลบไฟล์
 .htaccess ไปหมดแล้ว ยังไปตรวจเจอไฟล์ที่เป็นไฟล์ล่องหนหรือ hidden file นั่นแหละครับ โดยวิธีการตรวจหาก็ไปไล่ไฟล์ 
access.log ของ apache ตามคำแนะนำของพี่ที่ศูนย์คอมโดยสังเกตุ request ที่ผิดปกติ ปรากฏว่ามีการ request  
212.71.10.197 - - 
[29/ก.ค./2555:02:08:33 +0700]"POST /journal/images/stories/.cache_2h3ceg.php HTTP/1.1" 200 141
 ซึ่งมันก็ผิดปกติ เพราะไอ้เจ้าไดเรคทอรี่ดังกล่างมันเป็นไดเรคทอรี่ของรูปภาพ มันไม่สมควรจะมามีไฟล์ .php ที่ล่องหนอยู่ในนี้ ผมก็เลย
ลบทิ้งไปอีกเช่นกัน จากนั้นเมื่อแน่ใจว่าทุกอย่างเป็นปกติจึงเปิด service ของ apache ใหม่อีกครั้ง เว็บก็ทำงานปกติดี แต่มีสิ่งหนึ่งที่
ไม่ปกติคือGooglebot ไม่สามารถเข้าถึงเว็บไซต์หน่วยงานภายในคณะได้ เนื่องจากเว็บไซต์ที่เราให้บริการนั้นส่วนใหญ่จะเป็นเว็บไซต์
สำเร็จรูปเช่น joomla เป็นต้น เพราะมันเป็น joomla นั่นเอง googlebot จึงไม่สามารถหาไฟล์ robots.txt ในเว็บไซต์ได้ 
เพราะว่าในเว็บไซต์ joomlaทั้งหมดจะปิดไว้แบบนี้ 

ในส่วน Robots.txt  ของ joomla [3]
User-agent: *                         // คืออนุญาตให้ botnet ของทุกเจ้าเข้ามาเก็บข้อมูลในเว็บไซต์นี้
Disallow: /administrator/        //  หมายความว่า ไม่อนุญาตให้ bonet เข้าไปเก็บข้อมูล ไดเรคทอรี่(folder) administrator
Disallow: /cache/                    //  หมายความว่า ไม่อนุญาตให้ bonet เข้าไปเก็บข้อมูล ไดเรคทอรี่(folder) cache
Disallow: /components/          //  หมายความว่า ไม่อนุญาตให้ bonet เข้าไปเก็บข้อมูล ไดเรคทอรี่(folder) components
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

ซึ่งเมื่อเป็นเช่นนั้น botnet มันจะไปค้นเจออะไรล่ะครับในเมื่อ เราให้มันเข้ามาแต่ไม่ให้มันหาอะไรเจอเลยซักอัน? ซึ่งมันก็ส่งผลต่อการ
จัดอันดับของเว็บไซต์ของเราจาก search engine (เพราะเราลบไอ้เจ้าตัว .htaccess ไปแล้ว)ซึ่งเว็บไซต์สำเร็จรูปทำงานโดย
อาศัยไอ้เจ้าตัว .htaccess ในการทำ friendly searcher engine [4] งานนี้ก็กร่อยนะสิครับ.....  
ผมก็เลยไปเขียน robots.txt ใหม่ เป็น

User-agent: *            //คืออนุญาตให้ botnet ของทุกเจ้าเข้ามาเก็บข้อมูลในเว็บไซต์นี้
Allow: /index.php      //หมายความว่าอนุญาตให้ botnet เข้ามาเก็บเว็บไซต์หน้า index.php 
Disallow: /                 //ไม่อนุญาตให้ botnet ไปเก็บข้อมูลที่ directory อื่น 

ซึ่งผลของการเปลี่ยนแปลงครั้งนี้ทำให้ botnet สามารถเข้าถึงเว็บไซต์ของเราได้ตามปกติ แต่มันคงช่วยให้เว็บไซต์เราขึ้นอันดับต้นๆ
ได้ไม่ดีเท่ากับการใช้ไฟล์ .htaccess ช่วยในการทำ friendly serach engine แต่มันก็น่าจะทำให้ botnet ไม่เข้ามามั่วใน
ไดเรคทอรี่ของเราครับ

อ้างอิง
1.http://www.stopbadware.org/home/security#htaccess
2.http://www.petefreitag.com/item/505.cfm
3.http://www.joomlathaiclub.com/joomla/basic/basic/189-robotstxt
4.http://www.joomlaup.com/index.php/domain-hosting/6-htaccess-what-used-joomla-1-5.html