Facebook เผยโครงการ Spiral ใช้ Machine Learning ทำการ Tuning ระบบใหม่ๆ ที่ Deploy แต่ละวันแบบอัตโนมัติ

Facebook ได้ออกมาเปิดเผยถึงโครงการ Spiral ที่มีการใช้ Machine Learning มาเรียนรู้พฤติกรรมการทำงานของระบบใหม่ๆ ที่ถูก Deploy ขึ้นไปอย่างต่อเนื่อง และทำการรับ Feedback เพื่อนำไปใช้ปรับการตั้งค่าการทำงานของ Server ต่างๆ ให้มีประสิทธิภาพสูงขึ้นโดยอัตโนมัติ และทำให้บทบาทของ System Engineer เปลี่ยนไปเป็นอย่างมาก

 Facebook นั้นขึ้นชื่อว่าเป็นองค์กรที่มีการพัฒนา Software และทำการ Deploy อย่างต่อเนื่องเป็นจำนวนมากอันดับต้นๆ ของโลกอยู่แล้ว และทุกๆ ระบบใหม่ที่ถูกพัฒนาขึ้นมานั้นก็มักมีพฤติกรรมที่แตกต่างกันไปในเชิงการทำงาน ทำให้การปรับแต่งการตั้งค่าในฝั่ง Server เพื่อให้ระบบใหม่ๆ นั้นทำงานได้อย่างมีประสิทธิภาพสูงสุดถือเป็นเรื่องยากที่ต้องใช้ข้อมูลจำนวนมหาศาลพร้อมกับทีมงานวิศวกรที่มีความสามารถซึ่งต้องใช้เวลาในการวิเคราะห์ปัญหาต่างๆ ค่อนข้างนาน

ด้วยเหตุนี้ Facebook จึงทำการพัฒนาระบบ Spiral ซึ่งเป็น Embedded C++ Library ขนาดเล็กสำหรับทำการรวบรวมข้อมูลการทำงานของบริการต่างๆ ที่ต้องให้บริการแบบ Real-time และรับ Feedback เพื่อนำไปเรียนรู้และปรับปรุงการตั้งค่าของระบบโดยอัตโนมัติ และยังสามารถติดตั้งใช้งานแบบ Server Mode เพื่อรวมข้อมูลจาก Spiral แบบ Embedded ในหลายๆ ระบบมาเรียนรู้ในภาพรวมได้

แนวทางดังกล่าวนี้ทำให้ทีมงานของ Facebook เปลี่ยนแปลงการทำงานไปเป็นอย่างมาก จากเดิมที่เหล่าวิศวกรต้องคอยตรวจสอบและศึกษาพฤติกรรมการทำงานของระบบต่างๆ ก่อนจะทำการทดลองปรับแต่งการตั้งค่าเพื่อให้มีประสิทธิภาพดีขึ้น และต้องใช้เวลานานหลายวันหรือหลายสัปดาห์ในแต่ละงาน กลายเป็นการที่วิศวกรพัฒนาระบบสำหรับสร้าง Feedback เข้าไปแจ้ง Spiral แทนว่าระบบใหม่ๆ ที่ถูก Deploy ไปนั้นทำงานเป็นอย่างไร เพื่อให้ Spiral ไปจัดการเรียนรู้และปรับแต่งการตั้งค่าให้ดีขึ้นด้วยตนเอง

Spiral นี้ถูกนำไปใช้ในระบบได้หลากหลาย ไม่ว่าจะเป็นการทำ Caching, Database Performance Tuning, Spam Filtering และอื่นๆ ซึ่งปัจจุบัน Facebook ก็ได้มีการใช้งาน Spiral เพื่อรองรับการปรับแต่งประสิทธิภาพของระบบจำนวนมหาศาลที่ถูก Deploy ในแต่ละวันโดยอัตโนมัติ ลดภาระการทำงานของวิศวกรลงได้อย่างมีประสิทธิภาพ

หลังจากนี้ Facebook เองก็จะนำเทคนิคต่างๆ เข้าไปเสริมการทำงานของ Spiral ให้มีประสิทธิภาพและแม่นำยมากยิ่งขึ้นต่อไป

ก็ถือเป็นแนวโน้มที่น่าสนใจไม่น้อยทีเดียวครับกับการดูแลระบบขนาดใหญ่ระดับ Facebook

ที่มา: https://code.fb.com/data-infrastructure/spiral-self-tuning-services-via-real-time-machine-learning/