Data Platform

ระบบเว็บแอปพลิเคชั่นสำหรับช่วยการนำข้อมูลดิบเข้าสู่ระบบ โดยประกอบด้วยการรวบรวมข้อมูล การตรวจสอบข้อมูล และการแปลงข้อมูลให้อยู่ในรูปแบบที่พร้อมสำหรับการวิเคราะห์

-   ผู้นำเข้าข้อมูลสามารถเชื่อมต่อกับแหล่งข้อมูลประเภทต่าง ๆ ไม่ว่าจะอยู่ในรูปแบบ File Storage, Big Data Technology, Relational Database เพื่อให้สามารถนำเข้าข้อมูลได้อย่างสะดวก

-   ผู้นำเข้าข้อมูลสามารถทราบประเภทของข้อมูลได้อัตโนมัติเมื่อนำเข้าข้อมูล เพื่อให้ไม่ต้องเลือกเองในทุก ๆคอลัมน์ และง่ายต่อการวิเคราะห์

-   ผู้นำเข้าข้อมูลสามารถทราบและรู้ตำแหน่งของข้อมูลที่ผิดปกติโดยอัตโนมัติ เพื่อให้ไม่ต้องค้นหาด้วยตัวเองในทุกคอลัมน์และทุกแถว ซึ่งมีโอกาสที่จะเกิดความผิดพลาดสูง 

-   ผู้นำเข้าข้อมูลสามารถทราบถึงตำแหน่งที่ข้อมูลขาดหาย สามารถวิเคราะห์เพื่อเติมข้อมูลที่หายในแต่ละตำแหน่ง (Data Imputation) เพื่อให้ลดเวลาในการตรวจสอบและดำเนินการกับข้อมูลที่มีไม่ครบถ้วน

-   ผู้นำเข้าข้อมูลสามารถให้ระบบสร้างและแนะนำการนำเสนอข้อมูล (Visualization) ให้อัตโนมัติ ด้วยการเลือกคอลัมน์ที่ต้องการ  เพื่อให้สามารถเห็นภาพรวมของข้อมูลได้อย่างรวดเร็ว

-   ผู้นำเข้าข้อมูลสามารถสร้างและจัดการงานให้ทำตามเวลาตามที่ตั้งไว้ (Schedule) เพื่อให้สามารถทำกระบวนการนั้นซ้ำได้โดยอัตโนมัติ 

-   ผู้นำเข้าข้อมูลสามารถเขียนโปรแกรมภาษา Python สำหรับจัดการข้อมูล เพื่อให้สามารถปรับแต่งวิธีการจัดการข้อมูลได้หากผู้นำเข้าต้องการ

รายละเอียดคุณสมบัติ

1. สามารถเชื่อมต่อกับแหล่งข้อมูลต่าง ๆ ได้ดังนี้

        1.1. ประเภทไฟล์

1) ไฟล์ Excel

2) ไฟล์ CSV

3) ไฟล์ข้อมูลเชิงพื้นที่

        1.2. ประเภท Wide Column ได้แก่ Cassadra

        1.3. ประเภท Big Data Technology ได้แก่ Hive

        1.4. ประเภท NoSQL ได้แก่ MongoDB

        1.5. ประเภท Relational Database ได้แก่ SQL Server, Oracle และ PostgreSQL

2. สามารถทราบประเภทของข้อมูลได้อัตโนมัติเมื่อนำเข้าข้อมูล ประเภทข้อมูลที่รองรับได้แก่

        2.1. ประเภทตัวอักษร

        2.2. ประเภทตัวเลขจำนวนเต็ม

        2.3. ประเภทตัวเลขทศนิยม

        2.4. ประเภทตรรกศาสตร์

        2.5. ประเภทวันและเวลา (สามารถกำหนดรูปแบบได้อย่างอิสระ)

3. สามารถทราบและรู้ตำแหน่งของข้อมูลที่ผิดปกติโดยอัตโนมัติ โดยมีรูปแบบการตรวจสอบดังนี้

        3.1. การตรวจสอบประเภทข้อมูล 

        3.2. การตรวจสอบช่วงของข้อมูล

        3.3. การตรวจสอบความแปลกแยกของข้อมูล

4. สามารถจัดการกับข้อมูลที่ขาดหายได้ดังนี้

        4.1. สามารถทราบถึงตำแหน่งของข้อมูลขาดหายและนำเสนอให้เห็นในรูปแบบแผนภูมิ

        4.2. สามารถเติมข้อมูลตรงส่วนที่ขาดหายได้อัตโนมัติตามหลักสถิติหรือตามกฎที่ตั้ง

5. สามารถให้ระบบสร้างและแนะนำการนำเสนอข้อมูล (Visualization) ได้อย่างอัตโนมัติ ด้วยการเลือกเพียงคอลัมน์ที่ต้องการ

6. สามารถสร้าง Workflow การจัดการข้อมูลได้ดังนี้

        6.1. สามารถสร้างและจัดการงานให้ทำตามเวลาตามที่ตั้งไว้ (Schedule) และแสดงผลในรูปแบบของกราฟ

        6.2. สามารถเขียนโปรแกรมภาษา Python สำหรับจัดการข้อมูล

2. Data Governance ระบบจัดการธรรมาภิบาลข้อมูล

ระบบจัดการธรรมาภิบาลข้อมูลเพื่อยกระดับการให้บริการข้อมูล โดยประกอบด้วยการจัดเก็บเมทาดาตา (Metadata) สำหรับการเพิ่มความหมายให้ชุดข้อมูล และการจัดทำสายสกุลข้อมูล (Data Lineage) สำหรับการตรวจสอบแหล่งที่มาของข้อมูล

-   ผู้นำเข้าข้อมูลสามารถจัดทำคำอธิบายชุดข้อมูลอัน ได้แก่ โครงสร้างข้อมูลและประเภทข้อมูล, คำอธิบายความหมายของข้อมูล, รูปแบบวิธีการได้มาซึ่งข้อมูลการจัดเก็บ, แหล่งที่มาของข้อมูล และสิทธิ์ในการเข้าถึงข้อมูล เพื่อให้ง่ายต่อการสืบค้นและการนำไปวิเคราะห์ต่อ

-   ผู้นำเข้าข้อมูลสามารถรู้ถึงที่มา, ขั้นตอนการแปลง และผู้นำเข้าข้อมูลตั้งแต่เริ่มต้นว่าเป็นอย่างไร เพื่อให้ในกรณีที่ข้อมูลเกิดความผิดปกติจะสามารถตรวจสอบย้อนหลังถึงสาเหตุได้ง่าย

-   ผู้นำเข้าข้อมูลสามารถสร้างและจัดการกระแสงานได้ เพื่อให้สะดวกเมื่อมีการทำงานร่วมกันหลายคน

-   ผู้นำเข้าข้อมูลสามารถกำหนดสิทธิ์ที่เข้าถึงข้อมูลได้ เพื่อป้องกันข้อมูลสำคัญหรือข้อมูลส่วนตัวถูกละเมิด

-   ผู้นำเข้าข้อมูลสามารถนำเข้าไฟล์ Excel หรือ CSV ได้ เพื่อให้ง่ายต่อการใช้งานของเจ้าหน้าที่ที่นำเข้าข้อมูล

-   ผู้ใช้ข้อมูลจากหน่วยงานภายนอกสามารถเชื่อมต่อกับข้อมูลที่มีในระบบได้ เพื่อให้เกิดการนำข้อมูลไปประยุกต์ใช้

รายละเอียดคุณสมบัติ

1. มีระบบช่วยการจัดทำคำอธิบายชุดข้อมูล (Metadata) โดยแต่ละชุดข้อมูลจะมีรายละเอียดดังนี้

        1.1. โครงสร้างของข้อมูลและประเภทข้อมูล

        1.2. คำอธิบายของข้อมูลทั้งภาพรวมและในแต่ละคอลัมน์

        1.3. วิธีการได้มาซึ่งข้อมูล

        1.4. แหล่งที่มาของข้อมูล

        1.5. สิทธิ์ในการเข้าถึงข้อมูล

2. มีระบบสายสกุลข้อมูล (Data Lineage) ทำให้สามารถรู้ถึงที่มา, ขั้นตอนการแปลง และผู้นำเข้าข้อมูลตั้งแต่เริ่มต้นว่าเป็นอย่างไร เพื่อให้ในกรณีที่ข้อมูลเกิดความผิดปกติจะสามารถตรวจสอบย้อนหลังถึงสาเหตุได้ง่าย ซึ่งมีรายละเอียดดังต่อไปนี้

        2.1. แหล่งข้อมูลตั้งต้น

        2.2. การอธิบายขั้นตอนการแปลงข้อมูล

        2.3. ผู้ทำการแปลงข้อมูล

        2.4. ข้อมูลส่งออก

3. สามารถจัดการกระแสงาน Workflow โดยมีรายละเอียดดังนี้

        3.1. สามารถแสดงสถานการณ์

        3.2. สามารถกำหนดสิทธิ์ในการรับและจัดการงาน

        3.3. สามารถปรับเปลี่ยนกระแสงานได้

        3.4. สามารถแสดงกระแสงานในรูปแบบ Workflow Diagram

4. สามารถบริหารจัดการข้อมูลได้ครบถ้วนตามหลัก Data Governance ได้แก่ การจัดทำข้อมูล, การจัดเก็บ, การจำแนกหมวดหมู่, การประมวลผลข้อมูล, การกำหนดสิทธิ์การเข้าถึง, การตรวจสอบ และการทำลายข้อมูล

5. สามารถควบคุมคุณภาพข้อมูล และวัดผลการบริหารจัดการได้

6. สามารถกำหนดสิทธิ์การเข้าถึงและเนื้อหาของข้อมูล เพื่อให้เป็นไปตามมาตรฐานความปลอดภัยและป้องกันข้อมูลส่วนบุคคลรั่วไหล

7. รองรับการค้นหา, เข้าถึงและการอัปโหลดชุดข้อมูลผ่าน API

8. เจ้าหน้าที่สามารถนำเข้าข้อมูลในรูปแบบไฟล์ได้ 

        8.1. สามารถนำเข้าไฟล์ที่มีนามสกุล .csv .xlsx และ .json ได้

        8.2. สามารถตรวจสอบประเภทข้อมูลได้

        8.3. หัวหน้างานสามารถตรวจสอบข้อมูลก่อนการเผยแพร่

        8.4. มีตารางสรุปงานเตรียมข้อมูลในรูปแบบ Kanban Board

3. Identity and Access Management : IAM ระบบจัดการสิทธิ์การเข้าถึงข้อมูลที่รองรับจำนวนการใช้งานขนาดใหญ่

ระบบจัดการสิทธิ์การเข้าถึงข้อมูลที่รองรับจำนวนการใช้งานขนาดใหญ่ โดยการระบุตัวตนตามมาตรฐาน Oauth2.0 และจัดการสิทธิ์การเข้าถึงโดยใช้ Policy Configuration File ที่สะดวกต่อการตรวจสอบการตั้งค่า

-   ผู้ดูแลระบบสามารถลงทะเบียนผู้ใช้ใหม่ และบริหารจัดการบัญชีผู้ใช้ได้อย่างปลอดภัย

-   ผู้ดูแลระบบสามารถกำหนดสิทธิ์การเข้าถึงไฟล์หรือ API ต่าง ๆ ได้ เพื่อป้องกันข้อมูลสำคัญรั่วไหล

-   ผู้ดูแลระบบสามารถกำหนดสิทธิ์ต่าง ๆ ในระบบเพียงแค่หน้าหรือไฟล์เดียว 

-   สามารถกำหนดสิทธิได้ทั้งแบบกลุ่มตามหน้าที่ Role-Based Access Control (RBAC) หรือแบบมีเงื่อนไขในคุณสมบัติของแต่ละผู้ใช้ Attribute-Based Access Control (ABAC) เพื่อให้ง่ายต่อการจัดการสิทธิ์ต่าง ๆ

-   ระบบสามารถยืนยันตัวตนผู้ใช้ได้ เพื่อตรวจสอบสิทธิ์การเข้าถึงไฟล์หรือระบบ

-   ผู้ดูแลระบบได้รับการแจ้งเตือนเมื่อมีการเข้าถึงข้อมูลที่ผิดปกติหรือต้องสงสัย

รายละเอียดคุณสมบัติ

1. สามารถเชื่อมต่อกับระบบได้จากทุกที่ผ่านอินเตอร์เน็ต

2. ระบบสามารถรองรับโหลดจำนวนมากได้ โดยการใช้ Load Balancer

3. ระบบสามารถเชื่อมต่อข้ามหน่วยงานได้ โดยการเชื่อมต่อพอร์ตและเซอร์วิส

4. ระบบสามารถยืนยันตัวตนผู้ใช้ได้ โดยใช้มาตรฐาน Oauth2.0 เพื่อป้องกันการรั่วไหลของข้อมูลส่วนตัว

5. ระบบสามารถกำหนดสิทธิ์การเข้าถึงไฟล์หรือ API ต่าง ๆ ได้

6. สามารถกำหนดสิทธิ์ต่าง ๆ ในระบบเพียงแค่ไฟล์เดียว (Policy Configuration File)

7. สามารถควบคุมสิทธิ์การเข้าถึงได้ทั้งแบบ Role-Based Access Control (RBAC) และ Attribute-Based Access Control (ABAC)

8. สามารถแจ้งเตือนผู้ดูแลระบบผ่านทางอีเมลเมื่อมีการเข้าถึงข้อมูลที่ผิดปกติหรือต้องสงสัย

4. Data Discovery ระบบค้นหาข้อมูล

ระบบค้นหาข้อมูลโดยใช้เทคโนโลยี Knowledge Graph เพื่อแนะนำชุดข้อมูลที่เกี่ยวข้อง โดยมีชุดข้อมูลคุณภาพสูงและเป็นที่ต้องการโดยมีการแปลงข้อมูลให้พร้อมสำหรับการวิเคราะห์ทันที 

-   ผู้ใช้สามารถค้นหาข้อมูลต่าง ๆ ได้จากคำอธิบายข้อมูลและ Metadata เพื่อให้ง่ายต่อการค้นหา

-   ผู้ใช้สามารถค้นหาโดยกรองเฉพาะช่วง วัน/เดือน/ปี ที่สนใจได้ เพื่อให้ง่ายต่อการค้นหา

-   ผู้ใช้สามารถดาวน์โหลดไฟล์ข้อมูลที่ต้องการได้ เพื่อให้สามารถนำไปใช้ประโยชน์ต่อได้อย่างสะดวก

-   ผู้ใช้สามารถค้นหาข้อมูลจากคำสำคัญและ tag เพื่อให้ค้นหาข้อมูลที่มีลักษณะเป็นกลุ่มได้ง่ายขีึ้น

-   สามารถค้นหาข้อมูลทางสถิติที่สำคัญทั้งในประเทศและต่างประเทศที่พร้อมใช้งานโดยมีการจัดทำความหมายของชุดข้อมูล (Metadata) ทำให้ง่ายต่อการค้นหาและรวบรวมข้อมูลหากต้องนำไปใช้ประโยชน์ต่อ

รายละเอียดคุณสมบัติ

1. สามารถสืบค้นข้อมูลได้อย่างเป็นระบบ

1.1. สามารถสืบค้นข้อมูลได้จากคำอธิบายข้อมูลและ Metadata

1.2. สามารถค้นหาในช่วง วัน/เดือน/ปี ที่สนใจ ได้

1.3. ระบบสามารถค้นหาจาก tag ได้

1.4. สามารถดาวน์โหลดข้อมูลในรูปแบบไฟล์ CSV หรือ JSON ได้ เพื่อให้งานต่อการนำไปวิเคราะห์ต่อ

1.5.  ระบบมีข้อมูลที่พร้อมทำการวิเคราะห์เป็นข้อมูลทางสถิติที่สำคัญที่เหมาะแก่การนำไปทำโมเดลทำนาย ซึ่งประกอบไปด้วย

1) ข้อมูลราคาหุ้นรายวันย้อนหลัง 20 ปี จนถึงปัจจุบัน ได้แก่

1. ราคาดัชนีหุ้นหลักของประเทศไทย (SET100)

2. ราคาหุ้นของธุรกิจหลักของประเทศไทยจำนวน 100 ธุรกิจ

2) ข้อมูลดัชนีด้านเศรษฐศาสตร์แต่ละประเทศ รายปีย้อนหลัง 20 ปี จนถึงปัจจุบัน ได้แก่

1. ข้อมูลผลิตภัณฑ์มวลรวมในประเทศ

2. ข้อมูลผลิตภัณฑ์มวลรวมแยกตามกลุ่มสินค้าและบริการ

3) ข้อมูลดัชนีด้านเศรษฐศาสตร์เฉพาะของประเทศไทย รายปีย้อนหลัง 10 ปี จนถึงปัจจุบัน ได้แก่

1. ข้อมูลด้านการผลิต

2. ข้อมูลการก่อสร้างและการพัฒนาอสังหาริมทรัพย์

3. ข้อมูลการบริหารงานภาครัฐ

4. ข้อมูลประชากรและตลาดแรงงาน

5. ข้อมูลการใช้จ่ายระดับครัวเรือน

6. ข้อมูลสภาวะเงินเฟ้อ

7. ข้อมูลการค้าขายระหว่างประเทศ

8. ข้อมูลการใช้พลังงาน

9. ข้อมูลการท่องเที่ยว

4) ข้อมูลสภาพภูมิอากาศรายอำเภอ รายเดือนย้อนหลัง 20 ปี จนถึงปัจจุบัน ได้แก่

1. อุณหภูมิอากาศ

2. ความชื้น

3. ปริมาณน้ำฝน