DATA INGESTION

Image. DATA INGESTION.

Image. Bird eye view of Data management & Strategy.

วัตถุประสงค์. เพื่อให้ผู้เรียนสามารถระบุประเด็นสาเหตุของปัญหาที่ต้องเผชิญ ผ่าน กระบวนการระบุปัญหา (Problem Identifying Process) ได้เป็นอย่างดี เพื่อให้ผู้เรียนสามารถทำความเข้าใจเรื่อง การนำเข้าข้อมูล (Data Ingestion) และสามารถนำเข้าข้อมูลผ่านการตั้งคำถาม เพื่อให้ได้มาซึ่งข้อมูลเชิงลึก (Insight) เพื่อนำไปต่อยอดในการวิเคราะห์ข้อมูลได้อย่างมีประสิทธิภาพ เพื่อให้ผู้เรียนทราบประโยชน์ของ การประยุกต์ใช้เทคโนโลยีข้อมูล (Data Technology) รวมถึงอธิบายถึงความแตกต่างกันของเทคโนโลยีข้อมูลเหล่านั้นได้เป็นอย่างดี เพื่อให้ผู้เรียนสามารถอธิบายถึงการนำเข้าข้อมูล (Data Ingestion) ที่สอดคล้องกับ เทคโนโลยีข้อมูล (Data Technology) ได้ ตลอดจนทราบถึง กระบวนการ (Ingestion Process) เพื่อใช้ในการนำเข้าข้อมูลอัตโนมัติได้.

A person in a suit and tie Description automatically generated with low confidence.

WHERE to BEGIN?. WHAT. Do you NEED them to do? Be Explicit!, Objective Don’t assume they will connect the dots!.

Start with Why? Simon Sinek.

ร้านยูนิฟายด์ คอมพิวเตอร์ - บริการซ่อมคอมพิวเตอร์ ใน บางวัว.

Apple Store iStudio Notebookspec. “พี่กำลังหาซื้อคอมอยู่ใช่มั้ยครับ” “พี่ต้องการคอมไปใช้ทำอะไร”.

5 Why s.

Alexandre III bridge in Paris. Why Bridge?.

Pedestrians walking on city cross walk. Why Crossing?.

Man carrying packages. Why Delivery?.

Green shopping trolley in supermarket. Why Product out of Stock?.

Close-up of a person using a mobile phone. Mobile Stock/Shopping App.

Case Telco Increase Revenue Increase Income Reduce Cost Red Ocean Explorer Data Insight Solution.

HOW. Will DATA HELP make your point? Be Discerning! What data will act as evidence for the case?.

Understand Data Technology.

Illuminated server room panel. Files Base Structured Unstructured.

Image. Relational Database. Relational Database Non-Atomic Atomic.

Image. ER-Diagram: Relational Database. t. FEVER Name NVARCHAR(120) genres Genreld INTEGER NVARCHAR(120) playlists Playlistld INIE-±R Name NVARCHAR(12C) playlist_track Playlistid Trackld INTEGER tracks Trackld ,NTEGER Name NVARCHAR(20C) Albumid INTEGER MediaTypeId INTEGER Genreld 'NTEGER NVARCHAR(220 Milliseconds INTEGER INTEGER I-JnitPrice NuMERlC artists MistJd Name NVARCHAR<2C) tnvo•ces Invoiceld INIEorR Customertd INTEGER InvoiceDate DATETIME BillingRIdress WAR. BillingCity NVARCHA- 4 more columns m invoice_items Invaceltemld i eut:R Invoiceld INTEGER Trackld INTEGER UnitPrjce NUMERIC Quantity 'NTEGER albums Abumld Title NVARCHAR<OO) INTEGER cust(Nners Customerld FirstName WARCHARi40) LastName WARCHARi20) Company WARCHARi80) Address NVARCHAR(70) City NVARCHARi40) NVARCHAR(4C) Country NVARCHAR(40) NVARCHAR( 0) Phone NVARCHARf24) Fax NVARCHAR(24) Email NVARCHAR(60) INTEGER employees Empvoyeeld LastName WARCHARi20) FirstName WARCHAR(20) Title NVARCHAR(30) ReponsTo INTEGER BirthDate DATETIME HireDate DATETIME Address WARCHAR@O) 7 more columns.. Entity Attribute Relationship.

Data Language. “S E Q UE L” Structure English Query Language Initially developed at IBM by Donald D. Chamberlin and Raymond F. Boyce.

Structure Query Language “เป็นภาษาใช้สำหรับจัดการและดึงข้อมูลจากฐานข้อมูลเชิงสัมพันธ์”.

Image. Enterprise Data Warehouse. Data Warehouse Implementation. Step by Step Guide | Addepto.

Image. Modern Data Warehouse. The Azure Modern Data Warehouse: Unparalleled Performance.

doopet.l+•. Hadoop Distributes File System (HDFS) File are split into blocks and distributed across nodes in cluster.

Hello Vaccine ? Arrr? I love Sinovac? Me too ??? Fighto!! ??? Input (?,1) ( ?,1) Map (?,1) ( ?,3) (?,1) ( ?, 2 ) (?, [1,1] ) (?,[1,2,3]) Sort Reduce Output (?, 2 ) (?,6) (?,1) (?, 2 ) (?,6) (?,1) (?,[1]).

Hive Provides an SQL-like language called HiveQL HiveQL is transformed into a sequence of MapReduce jobs.

Image. Cloud. SaaS Applications Data Runtime Middleware Virtualization Servers Storage Networking Paas Applications Data Runtime Middleware Virtualization Servers Storage Networking Other Manage laaS Applications Data Runtime Middleware Virtualization Servers Storage Networking On-Premises Applications Data Runtime Middleware Virtualization Servers Storage Networking Your Manage.

Public, Private Or Hybrid Cloud: What's Best For You & Why - Alibaba Cloud Developer Forums: Cloud Discussion Forums.

icesupse ßl.sune. i.esuctse usune pnouo 0!lqnd.

Data Ingestion.

Image. Modern Data W arehouse. The Azure Modern Data Warehouse: Unparalleled Performance.

Data Types. Quantitative - Anything that has exact numbers or measurement. For example, Effort in points: 0, 1, 2, 3, 5, 8, 13. Duration in days: 1, 4, 666..

Image. Structured VS Unstructured Data. ผลการค้นหารูปภาพสำหรับ structure and unstructured data.

Image. ผลการค้นหารูปภาพสำหรับ json file example. ผลการค้นหารูปภาพสำหรับ database table.

Data Lake VS Data Warehouse Data Lake Data Warehouse Extract Extract Transform Load Transform Load.

ข้อมูลไม่พอ. ข้อมูลซ้ำซ้อน หรือ ไม่สามารถระบุความชัดเจนของข้อมูลได้.

Duplicate Elimination Standardizing Correct Data msnölujogaö,ü-vatmo Parsing mstnn1tMöotF nSoms7öriojou0JQoj01F.

Image. Parsing. คือ การแจกแจงข้อมูล หรือการใช้หัวข้อของชุดข้อมูล เช่น ชื่อ: สมศรี, จังหวัด: กรุงเทพ, น้ำหนัก: 75, ส่วนสูง: 160, อายุ: 60, เพศ: หญิง “ เป็นการ ทำความเข้าใจว่าคำจำกัดความของชุดข้อมูลนั้นๆ คืออะไร เช่น ความหมายของข้อมูล ค่าเฉลี่ย ค่าสูงสุด หรือต่ำสุด เป็นต้น ”.

Image. Correct Data. Reference: Coraline.co.th. คือ การแก้ไขข้อมูลที่ผิดพลาด วิธีการ Correct data อาจใช้ความรู้ทางสถิติ เช่น การหาค่าเฉลี่ย ค่าเบี่ยงเบียนมาตรฐาน หรือ standard deviation หรือ Clustering algorithm หากข้อมูลมีความผิดพลาดมาก ต้องพิจารณาว่าควร ลบทิ้งทั้งแถว หรือจะ แก้ไขข้อมูลที่ผิด นั้นด้วยการแทนที่ ด้วยตัวใดตัวหนึ่งด้วยวิธีทางสถิติ.

Image. Standardizing. Reference: Coraline.co.th. คือ การทำข้อมูลให้เป็นรูปแบบเดียวกัน เช่น กทม. กรุงเทพฯ และ กรุงเทพมหานคร ซึ่งคอมพิวเตอร์ไม่สามารถทราบได้เอง ว่ามันคือจังหวัดเดียวกัน ข้อมูลที่เป็นตัวเลข กรณีที่หน่วยของตัวเลขต่างกันมาก หรือความกว้างของช่วงตัวเลขไม่เท่ากัน เช่น อายุ กับเงินเดือน สามารถใช้วิธี Standard Normal Distribution ได้ ซึ่งวิธีนี้เป็นการจัดเรียงข้อมูลให้อยู่ในรูป Normalization.

Image. Duplicate Elimination. คือ การลบข้อมูลที่มีความซ้ำซ้อนทิ้ง ซึ่งอาจต้องใช้การเขียน Algorithm เพื่อระบุชุดข้อมูลที่ซ้ำซ้อน หรือใช้ฟังก์ชั่นสำเร็จรูปช่วยในการค้นหา.

Image. + Data Transformation. Reference: Coraline.co.th.

Tools & Use Case.

Traffy Fondue ตัวช่วย “ชัชชาติ” รับแจ้งปัญหา กทม..

10 เรื่องต้องรู้ แอพ SCB EASY โฉมใหม่...บอกลา 'การเงิน' แบบน่าเบื่อๆ - Brand Buffet.

Transform Preprocess each document, Extract the data fields you are after, Validate the extracted data Extract : OCR (scan document) Data Scrape (computer display) Web Scrape (HTML) Rest API Internal System (DB) Load Move The Data To Where It Belongs The Process of Data Automation Identify data Determine access Define transformations Develop and test ETL process Schedule.