บันทึกเหตุการณ์ Server Down เดือนเมษายน-พฤษภาคม และ มิถุนายน-ต้นกรกฎาคม 2555
ก่อนอื่นใด ต้องขออภัยเพื่อนสมาชิกในความไม่สะดวกที่เกิดขึ้นในระยะเวลาตั้งแต่เดือนเมษายน ด้วยครับ และตามที่เคยได้แจ้งไว้ว่า ผมจะมาเขียนบันทึกรายละเอียดที่เกิดขึ้น ให้เพื่อนสมาชิกได้ทราบ และเก็บไว้อ้างอิงกับตัวเองว่า ThaiDphoto เคยผ่านเหตุการณ์อะไรมากบ้าง (วันนี้เขียนแต่ข้อความไว้ก่อนนะครับ เดี๋ยวจะไปรื้อภาพที่ Capture เก็บไว้ มาประกอบกระทู้อีกทีวันหลัง)
เหตุการณ์โดยรวม
โดนไปสองนัดซ้อนครับ
เดือนเมษายน Web Server - CPU และ RAM เสีย ฐานข้อมูลเสียหายหนัก
เดือนมิถุนายน Database Server - Hard Disk ที่ใช้เก็บข้อมูลเสียหาย และไม่สามารถกู้ข้อมูลจาก Hard Disk ตัวดังกล่าวได้
13 เมษายน 2555 จุดเริ่มต้น
เริ่มต้นเลยก็คือในวันที่ 13 เมษายน 2555 (สงกรานต์พอดีเลย) CPU และ RAM ของ Web Server ThaiDphoto เกิดความเสียหาย ซึ่งในเบื้องต้นก็ได้ลองพยายามฝืนเปิดให้บริการ แต่ก็ให้บริการได้เพียงไม่กี่ ชม. เว็บก็ดาวน์อีก จึงต้องปิดการให้บริการเพื่อซ่อมแซม Server ไปพักหนึ่ง ซึ่งก็ jack pot พอดีครับว่า บริการหลังขายที่ Server ThaiDphoto ซื้อไว้เป็นบริการแบบ next business day กว่าจะได้รับอะไหล่ก็ต้องรอจนจบเทศกาลสงกรานต์เสียก่อน
แต่นั่นยังไม่หนักเท่า ข้อมูลในฐานข้อมูลพลอยได้รับความเสียหายไปด้วย เสียหายชนิดที่ไม่สามารถเปิดให้บริการได้เลยเรียกว่าเข้ามาก็ Database Error อย่างเดียว ซึ่งถ้าใครเคยใช้ฐานข้อมูลระบบ MySQL มาก่อนอาจจะเคยได้ยินชื่อโปรแกรม MyISAMCheck ซึ่งมีไว้สำหรับซ่อมแซมฐานข้อมูลเวลาเสียหาย โดยผมเองก็ได้พยายามใช้โปรแกรมตัวนี้ในการซ่อมแซมฐานข้อมูล ผลลัพธ์ที่ได้หลังการซ่อมแซมเสร็จแล้วก็คือเว็บพอจะเข้าได้บ้าง แต่ข้อความและภาพ attachment หายไปเป็นจำนวนมาก เรียกว่า ข้อความหายไปประมาณ 400,000 ข้อความ จากทั้งหมด 1.5 ล้านข้อความ ตัวไฟล์ภาพ attachment เองก็หายไปเกือบสองแสนภาพ รวมถึงบางส่วนก็คลิ๊กเข้าดูได้ บางส่วนก็ไม่ได้ สถานะการณ์ไม่ได้ดีไปกว่าการไม่มีข้อมูลเลยซักเท่าไหร่ เพราะเข้ากระทู้ไหน ความเสียหายก็ปรากฏไปทั่วทุกกระทู้
ชั่งใจอยู่นานครับ ว่าจะเดินไปทางไหนดี หรือจะต้องทำใจปล่อยข้อมูลตั้งแต่เปิดเว็บมาให้จากไป แล้วเริ่มต้นใหม่จากศูนย์ ก็เลยบอกตัวเองว่าถ้าจะต้องเริ่มใหม่หมด ก็ขอลองอีกเฮือกละกัน ไม่สำเร็จค่อยมาเริ่มต้นใหม่จากศูนย์ก็ยังทัน ก็เลยใช้วิธีโบราณเลยครับ นั่งตัดปะข้อมูล เอาข้อมูลก่อนซ่อม / หลังซ่อม / ข้อมูลในอดีต มานั่งตัดปะแบบ Manual จนได้ข้อมูลกลับมาอย่างที่เห็น (ส่วนที่ไม่เห็นก็คงต้องทำใจครับ)
ปลายเดือน มิถุนายน งานเข้าอีกครั้ง โดยไม่ได้รับเชิญ
หลังจากลั้นล้าที่เว็บกลับมาเปิดให้บริการได้ตามปกติอยู่ได้ซักเกือบเดือน อยู่ดีๆ เว็บก็ขึ้น Database Error อย่างไม่มีวี่แว่วผิดปกติมาก่อนซะงั้น ตอนแรกก็นึกว่าฐานข้อมูลเสียหาย แต่พอ Remote เข้า Server เพื่อเตรียมซ่อมฐานข้อมูล ทำเอาผมนั่งอึ้งกิมกี่ไปเลยครับ "ไดร์ฟหาย".. ข้อมูลไม่ได้เสียครับ แต่หายไปทั้งไดร์ฟเลย
ก่อนอื่นต้องแจ้งเพื่อนสมาชิกก่อนว่า เบื้องหลังเว็บ ThaiDphoto.com นั้น มี Server แบ่งหน้าที่กันทำงานกันหลายตัวด้วยกัน ตัวเว็บก็เริ่มจาก Server เครื่องเดียว เช่นเดียวกับหลายๆ เว็บ และเมื่อเว็บโตขึ้นก็จัดซื้อ Server ใหม่เข้ามาเสริม แล้วนำ Server ตัวเดิมไปใช้งานเฉพาะด้าน เช่น Firewall, Mail, Database ซึ่ง Server ที่ทำงานด้าน Database จึงเป็น Server รุ่นเล็ก ที่ใช้งานมาหลายปีแล้ว
หลังจากปลุกเว็บให้กลับมาทำงานได้จากเหตุเดือนเมษายนนั้น ผมยังไม่แน่ใจว่าฐานข้อมูลที่ซ่อมแซมมาใช้งานได้ดีหรือไม่ หลังจากซ่อมเสร็จ ก็เปิดทดสอบให้บริการโดยยังไม่ได้ทำการสำรองข้อมูลที่ซ่อมแซมไปแล้ว เนื่องจากต้องการทดสอบก่อนว่าข้อมูลที่กู้ขึ้นมาสามารถใช้งานได้ดีหรือไม่ ถ้าใช้งานได้ดีก็จะค่อยทำการสำรองฐานข้อมูล แต่ถ้าไปไม่ไหวจริงๆ ก็อาจจะต้องเริ่มเว็บจากไม่มีอะไรเลย ดังที่ได้เขียนไปแล้วข้างต้น
ผ่านไปเดือนหนึ่ง ยังไม่ทันที่ผมจะได้สำรองข้อมูล ฮาร์ดดิสก์ที่เก็บตัวฐานข้อมูลก็มันอันลาจากไปเสียก่อน ผมจึงต้องทำการซ่อมแซมข้อมูลด้วยวิธีเดิมอีกรอบ เพื่อนำเว็บกลับมาเปิดให้บริการอย่างที่เห็นนี่แหละครับ
อย่างไรก็ตาม ต้องขอโทษอีกครั้งกับเหตุการณ์ที่เกิดขึ้น และตอนนี้กำลังทยอยดำเนินการจัดหา Server ใหม่ ที่มีระบบ Redundant เข้ามาทดแทน Server เก่า เพื่อลดความเสี่ยงในการที่จะเกิดเหตุการณ์เช่นนี้อีก ในอนาคตครับ
สุดท้ายนี้ อยากจะบอกว่า "ดีใจที่ได้กลับมาเจอกันอีกครับ"
|
|
Reply With Quote
Bookmarks