แอซัวร์ ดาต้าเบร็กส์
(Azure Databricks)
นิยาม
แอซัวร์ ดาต้าเบร็กส์ (Azure Databricks) Tool
Azure Databricks คือแพลตฟอร์มวิเคราะห์ข้อมูลบนคลาวด์ที่ปรับแต่งสำหรับ Apache Spark ช่วยให้นักวิทยาศาสตร์ข้อมูลและวิศวกรข้อมูลสามารถทำงานร่วมกันในการประมวลผลข้อมูลขนาดใหญ่ การเรียนรู้ของเครื่อง และโครงการวิศวกรรมข้อมูลได้อย่างมีประสิทธิภาพ
ระดับความเชี่ยวชาญ
ระดับที่ 1
ระดับพื้นฐาน
1. เข้าใจคุณสมบัติพื้นฐานและอินเทอร์เฟซของ Azure Databricks
2. สามารถสร้างและรันโน้ตบุ๊คง่ายๆ โดยใช้ Apache Spark ได้
3. คุ้นเคยกับการสร้างและการตั้งค่าคลัสเตอร์
ระดับที่ 2
ระดับปานกลาง
1. สามารถพัฒนาและปรับแต่งงาน Spark และพายไลน์ใน Azure Databricks ได้
2. ใช้เครื่องมือแบบบูรณาการสำหรับการนำเข้าข้อมูล การเปลี่ยนแปลงข้อมูล และการสำรวจข้อมูลอย่างมีประสิทธิภาพ
3. ดำเนินการเวิร์กโฟลว์ที่ทำงานร่วมกันและควบคุมเวอร์ชันภายในสภาพแวดล้อม Databricks
ระดับที่ 3
ระดับสูง
1. ออกแบบโซลูชันวิศวกรรมข้อมูลและพายไลน์การเรียนรู้ของเครื่องที่ซับซ้อนโดยใช้ Azure Databricks
2. ปรับแต่งประสิทธิภาพ คลัสเตอร์ ต้นทุน และความปลอดภัยสำหรับการใช้งานขนาดใหญ่
3. ใช้คุณสมบัติขั้นสูง เช่น Delta Lake, MLflow และเวิร์กโฟลว์อัตโนมัติสำหรับโปรเจกต์ระดับการผลิต
