วันพุธที่ 14 กุมภาพันธ์ พ.ศ. 2561

Big Data

Big Data
        คือการที่มีข้อมูลปริมาณมากๆ มากแค่ไหน อย่างน้อย ก็จะคุยกันในระดับ Tera Byte (TB) หรือ ระดับ Peta Byte (PB) ซึ่งก็คือ 1000 TB นั่นเอง โดยในระบบ Internet ในยุคที่ Social Media ที่เฟื่องฟู มีสารสนเทศเกิดขึ้นจำนวนมาก ทุกๆ คนสามารถที่จะพร้อมผลิตข้อมูล มีกิจกรรมต่างๆ มากมาย พร้อมทั้ง อุปกรณ์ (Device) ที่มีจำนวนมากและยังมีอัตราการขยายตัวที่สูงอีกด้วย ทั้ง Smart Device ที่รองรับการเข้าถึง การใช้งาน ข้อมูลจำนวนมากๆ ได้อย่างง่ายดาย

Big Data ถูกแบ่งออกเป็น 3 กลุ่ม คือ
        Storage คือ การจัดเก็บข้อมูล นั่นคือเรื่อง Volume และ Variety
        Processing คือ การประมวลผล นั่นคือเรื่อง Volume และ Velocity
        Analytic คือ การวิเคราะห์ นั่นคือกระบวนการวิธีสำหรับเข้าถึงข้อมูลเชิงลึกจาก 1 และ 2

1. Storage
        เนื่องจากข้อมูลนั้น ไม่มีรูปแบบที่ชัดเจนและไม่สามารถกำหนดได้เหมือนกับ RDBMS ดังนั้นเราจึงต้องการที่จัดเก็บแบบใหม่ แน่นอนว่า เทคโนโลยีที่มักได้ยิน หรือ ได้รับความนิยมสุด ๆ จะอยู่ภายใต้ชื่อ Hadoop ซึ่งสามารถแบ่งตามคุณลักษณะได้ 3 กลุ่มใหญ่ ๆ ดังนี้ Distributed data ข้อมูลจะกระจายไปทำงานหลาย ๆ เครื่อง หรือ node Cluster computing กระบวนการทำงานของแต่ละ node จะอยู่ภายใต้ cluster ซึ่งเป็น software ที่เชื่อมแต่ละ node เข้าด้วยกัน เหมือนกับว่าทำงานอยู่ในเครื่อง หรือ ระบบเดียวกัน Massive parallel processing ระบบการประมวลผลภายใน cluster สามารถทำงานแบบขนานกันได้ ซึ่งช่วยให้การทำงานเร็วขึ้น

2. Processing
        ข้อมูลจะไร้ค่าอย่างมาก ถ้าปราศจากการประมวลผลซึ่งมีรูปแบบการประมวลผล 2 แบบ คือ Batch เป็นการประมวลผลที่ใช้เวลานาน Streaming เป็นการประมวลผลแบบ real time ซึ่งในปัจจุบันจะพูดถึง Apache Spark อย่างมาก เนื่องจากสามารถทำงานได้อย่างรวดเร็ว ซึ่งเร็วกว่า Hadoop ประมาณ 10-100 เท่าเลย

 3. Analytic
        ข้อมูลในโลกของ Big Data นั้นไม่เหมาะสมอย่างยิ่งที่จะนำมาวิเคราะห์ ดังนั้น จึงต้องทำการแปลงข้อมูล ไปอยู่ในข้อมูลที่มีรูปแบบก่อนเสมอ

โดยเทคนิคในการวิเคราะห์ประกอบไปด้วย
- Data mining
- Predictive analytic
- Text analytic
- Video analytic
- Social media analytic
- Sentiment analytic
- Location analytic
- Machine learning

ข้อมูลอ้างอิง
http://www.9experttraining.com/
http://www.somkiat.cc/big-data-back-to-basic/

ไม่มีความคิดเห็น:

แสดงความคิดเห็น