จะจัดการกับค่า 'nan' ในขั้นตอนการประมวลผลข้อมูลเบื้องต้นอย่างไร?

เฮ้! ในฐานะซัพพลายเออร์ของ nan คุณภาพสูง (ไม่ใช่คำทั่วไป แต่มาพูดถึงบล็อกนี้กันดีกว่า) ฉันได้เห็นส่วนแบ่งที่ยุติธรรมของไปป์ไลน์ข้อมูลก่อนการประมวลผลและค่า 'nan' ที่น่ารำคาญซึ่งมักจะปรากฏขึ้น ในบล็อกนี้ ฉันจะอธิบายวิธีจัดการกับค่า 'nan' เหล่านี้อย่างมืออาชีพ

ก่อนอื่น มาทำความเข้าใจก่อนว่าค่า 'nan' คืออะไร 'แนน' ย่อมาจาก 'ไม่ใช่ตัวเลข' เป็นค่าจุดลอยตัวพิเศษที่แสดงถึงค่าที่ไม่ได้กำหนดหรือไม่สามารถแทนค่าได้ในการคำนวณตัวเลข คุณสามารถค้นหาค่า 'nan' เหล่านี้ได้ในชุดข้อมูลด้วยเหตุผลหลายประการ อาจมีข้อผิดพลาดเกิดขึ้นระหว่างการรวบรวมข้อมูล เช่น เซ็นเซอร์ทำงานผิดปกติ หรือผู้ใช้ลืมป้อนค่า หรืออาจมีการคำนวณที่ส่งผลให้เกิดการดำเนินการที่ไม่ถูกต้อง เช่น การหารด้วยศูนย์

ทีนี้เหตุใดการจัดการค่า 'nan' จึงสำคัญมาก อัลกอริธึมการเรียนรู้ของเครื่องและเครื่องมือวิเคราะห์ข้อมูลส่วนใหญ่ไม่สามารถจัดการค่า 'นาโน' ได้ อาจมีข้อผิดพลาดหรือให้ผลลัพธ์ที่ไม่ถูกต้องแก่คุณ ดังนั้น การจัดการกับค่า 'nan' จึงเป็นขั้นตอนสำคัญในกระบวนการข้อมูลก่อนการประมวลผล

1. การระบุค่า 'น่าน'

ขั้นตอนแรกในการจัดการค่า 'nan' คือการระบุค่าเหล่านั้น ใน Python หากคุณใช้ไลบรารีเช่น Pandas มันจะง่ายมาก คุณสามารถใช้เป็นโมฆะ()หรือเป็น()วิธีการ ตัวอย่างเช่น:

นำเข้าแพนด้าเป็น pd นำเข้าตัวเลขเป็น np data = {'col1': [1, 2, np.nan, 4], 'col2': [5, np.nan, 7, 8]} df = pd.DataFrame(data) nan_mask = df.isnull() print(nan_mask)

รหัสนี้จะสร้าง DataFrame ที่มีค่า 'nan' จากนั้นสร้างบูลีนมาสก์ที่แสดงตำแหน่งของค่า 'nan'

2. การลบค่า 'nan'

วิธีที่ง่ายที่สุดวิธีหนึ่งในการจัดการกับค่า 'nan' คือการลบค่าเหล่านั้นออก ใน Pandas คุณสามารถใช้ไฟล์หยด()วิธี.

clean_df = df.dropna() พิมพ์ (clean_df)

วิธีนี้จะลบแถวที่มีค่า 'nan' อย่างไรก็ตาม วิธีการนี้มีข้อเสียอยู่ หากคุณมีค่า 'nan' จำนวนมาก คุณอาจสูญเสียข้อมูลจำนวนมากในที่สุด และหากค่า 'nan' ไม่ได้กระจายแบบสุ่ม คุณสามารถนำอคติมาสู่ชุดข้อมูลของคุณได้

3. จิตรกรรม 'น่าน' ค่านิยม

การใส่ร้ายเป็นวิธีที่ซับซ้อนมากขึ้นในการจัดการกับค่า 'nan' แทนที่จะลบจุดข้อมูลด้วยค่า 'nan' คุณแทนที่ด้วยค่าประมาณ

การใส่ค่าค่าเฉลี่ย/ค่ามัธยฐาน/โหมด

สำหรับคอลัมน์ตัวเลข คุณสามารถแทนที่ค่า 'nan' ด้วยค่าเฉลี่ย ค่ามัธยฐาน หรือโหมดของคอลัมน์ได้

Mean_col1 = df['col1'].mean() df['col1'] = df['col1'].fillna(mean_col1)

รหัสนี้จะแทนที่ค่า 'nan' ในคอลัมน์ 'col1' ด้วยค่าเฉลี่ยของคอลัมน์นั้น การใส่ค่าเฉลี่ยนั้นทำได้ง่ายและรวดเร็ว แต่สามารถลดความแปรปรวนในข้อมูลของคุณได้ การใส่ค่ามัธยฐานเป็นตัวเลือกที่ดีกว่าหากข้อมูลของคุณมีค่าผิดปกติ เนื่องจากค่ามัธยฐานจะได้รับผลกระทบจากค่าที่มากเกินไปน้อยกว่า

สำหรับคอลัมน์หมวดหมู่ คุณสามารถใช้โหมด (ค่าที่พบบ่อยที่สุด)

mode_col2 = df['col2'].mode()[0] df['col2'] = df['col2'].fillna(mode_col2)

การแก้ไข

การประมาณค่าเป็นอีกวิธีหนึ่งในการคำนวณค่า 'nan' โดยเฉพาะสำหรับข้อมูลอนุกรมเวลา แพนด้าจัดให้สอดแทรก()วิธี.

df = pd.DataFrame({'value': [1, np.nan, 3, 4, np.nan, 6]}) df['value'] = df['value'].interpolate() พิมพ์(df)

วิธีนี้จะประมาณค่าที่หายไปตามค่าของจุดข้อมูลใกล้เคียง

4. การใช้เทคนิคขั้นสูง

นอกจากนี้ยังมีเทคนิคขั้นสูงเพิ่มเติมในการจัดการค่า 'nan' เช่น การใช้อัลกอริธึมการเรียนรู้ของเครื่องเพื่อทำนายค่าที่หายไป ตัวอย่างเช่น คุณสามารถใช้แผนผังการตัดสินใจหรือฟอเรสต์สุ่มเพื่อทำนายค่า "น่าน" ตามคุณลักษณะอื่นๆ ในชุดข้อมูลของคุณ

ผลิตภัณฑ์ของเราและลักษณะที่เข้ากัน

ในฐานะซัพพลายเออร์ของ nan ฉันรู้ว่าการมีข้อมูลที่สะอาดและเชื่อถือได้ถือเป็นสิ่งสำคัญสำหรับการตัดสินใจอย่างมีข้อมูล นั่นเป็นเหตุผลที่ผลิตภัณฑ์ของเราได้รับการออกแบบให้ทำงานได้อย่างราบรื่นกับไปป์ไลน์ก่อนการประมวลผลข้อมูลของคุณ ไม่ว่าคุณจะทำงานในโครงการขนาดเล็กหรือแอปพลิเคชันระดับองค์กรขนาดใหญ่ ผลิตภัณฑ์ nan ของเราช่วยให้คุณจัดการค่า 'nan' ได้อย่างมีประสิทธิภาพมากขึ้น

และเมื่อพูดถึงผลิตภัณฑ์ที่เกี่ยวข้อง เรายังนำเสนออุปกรณ์ XPON ONU ที่ยอดเยี่ยมอีกด้วย ตรวจสอบผลิตภัณฑ์ที่น่าทึ่งเหล่านี้:

• ลอนดอน 4GE VOIP CATV WIFI5 AC1200
• XPON ONU 4GE 1POTS WiFi6 AX3000 CATV USB3.0
• GPON ONU 4GE VOIP AC WIFI CATV USB2.0

อุปกรณ์เหล่านี้ได้รับการออกแบบเพื่อให้มีการเชื่อมต่อที่รวดเร็วและเชื่อถือได้ ซึ่งจำเป็นสำหรับการรวบรวมและวิเคราะห์ข้อมูล

ติดต่อเราเพื่อซื้อ

หากคุณสนใจผลิตภัณฑ์ nan ของเราหรืออุปกรณ์ XPON ONU ใดๆ เรายินดีรับฟังจากคุณ ไม่ว่าคุณจะมีคำถามเกี่ยวกับผลิตภัณฑ์ของเรา ต้องการใบเสนอราคา หรือต้องการหารือเกี่ยวกับโซลูชันที่กำหนดเอง อย่าลังเลที่จะติดต่อเรา เราพร้อมให้ความช่วยเหลือคุณให้เกิดประโยชน์สูงสุดจากข้อมูลของคุณ และรับรองว่าไปป์ไลน์ก่อนการประมวลผลข้อมูลของคุณทำงานได้อย่างราบรื่น

อ้างอิง

• แวนเดอร์พลาส เจ. (2016) คู่มือวิทยาศาสตร์ข้อมูล Python: เครื่องมือสำคัญสำหรับการทำงานกับข้อมูล โอ ไรลีย์ มีเดีย
• แมคคินนีย์ ดับเบิลยู. (2012) Python สำหรับการวิเคราะห์ข้อมูล: การถกเถียงข้อมูลกับ Pandas, NumPy และ IPython โอ ไรลีย์ มีเดีย