วิศวกรรมข้อมูล
(Data Engineering)
นิยาม
วิศวกรรมข้อมูล (Data Engineering) Hard Skill
วิศวกรรมข้อมูลหมายถึงการออกแบบ สร้าง และดูแลระบบและโครงสร้างพื้นฐานสำหรับการรวบรวม จัดเก็บ และประมวลผลข้อมูลปริมาณมากอย่างมีประสิทธิภาพและเชื่อถือได้
ระดับความเชี่ยวชาญ
ระดับที่ 1
ระดับพื้นฐาน
1. เข้าใจแนวคิดพื้นฐานของข้อมูลและวิธีการจัดเก็บ
2. สามารถดำเนินการดึงข้อมูลและโหลดข้อมูลขั้นพื้นฐานได้
3. คุ้นเคยกับเทคนิคการแปลงข้อมูลอย่างง่าย
ระดับที่ 2
ระดับปานกลาง
1. สามารถออกแบบและติดตั้งกระบวนการข้อมูลด้วยเครื่องมือทั่วไป
2. จัดการการทำความสะอาดข้อมูล การรวมข้อมูล และการแปลงข้อมูลได้อย่างมีประสิทธิภาพ
3. เข้าใจระบบฐานข้อมูลและเทคนิคการเพิ่มประสิทธิภาพ
ระดับที่ 3
ระดับสูง
1. ออกแบบสถาปัตยกรรมข้อมูลและเวิร์กโฟลว์ที่ปรับขนาดได้และมีความทนทาน
2. เพิ่มประสิทธิภาพกระบวนการ ETL ที่ซับซ้อนและการสตรีมข้อมูลเรียลไทม์
3. ใช้กลยุทธ์การจัดการข้อมูลขั้นสูงเพื่อให้มั่นใจในคุณภาพและความปลอดภัยของข้อมูล
