ChatGPT เป็น Gaslighting คุณ ด้วย Math

ChatGPT สามารถเขียนรหัส Python ที่มีประสิทธิภาพและวาดคําถาม SQL ที่ซับซ้อนได้ภายในไม่กี่วินาที Heck, it will brainstorm your entire marketing campaign if you let it. We are rushing to trust this “genius”, the latest models and everything, with our legal documents and the code that runs our business operations. ในฐานะนักวิเคราะห์ด้านธุรกิจที่มีประสบการณ์กว่าสิบปีใน บริษัท เช่น Amazon และ Microsoft ฉันมีความอยากรู้ ฉันได้เห็นเทคโนโลยีนี้ไปจากของเล่นไปสู่เครื่องมือที่หลายคนเรียกว่าพร้อมที่จะแทนที่ฉัน แต่ในขณะที่ทุกคนทดสอบ AI กับปัญหาที่ยากขึ้นฉันตัดสินใจที่จะทําตรงข้าม ผลลัพธ์แสดงให้เห็นว่าสิ่งที่เกิดขึ้นจริง ๆ: การเลือกการออกแบบที่สําคัญการแลกเปลี่ยนค่าใช้จ่าย vs ประสิทธิภาพซึ่งใช้ระบบทั้งหมด มันเป็นปัญหาความโปร่งใสและเป็นช่องว่างขนาดใหญ่พอที่จะทําให้ผู้เชี่ยวชาญด้านข้อมูลสงสัย มันแสดงให้เห็นว่าแม้ว่า AI จะดีในการเขียนโค้ด แต่ก็ไม่สามารถเชื่อถือได้กับโครงสร้างพื้นฐานที่สุดของงานของฉัน: การคํานวณที่เรียบง่าย และส่วนที่น่ากลัวที่สุด? มันผิดอย่างมั่นใจ ปัญหาทางคณิตศาสตร์ที่เปิดเผยเทคนิค การทดสอบของฉันเป็นรายการที่เรียบง่ายของหมายเลขทั้งหมดตั้งแต่ -3000 ถึง 3000 (ในช่วง 100) ซึ่งมาถึง 61 หมายเลขทั้งหมด รายชื่อได้รับการออกแบบมาโดยเฉพาะเพื่อให้คําตอบที่ถูกต้องที่สุดจะเป็น “ศูนย์” ที่เรียบง่าย ด้วยวิธีนี้ฉันจะรู้ทันทีว่ามันถูกต้องหรือไม่ นี่คือที่พฤติกรรม "สั้น ๆ "กลายเป็นที่ชัดเจน เมื่อฉันให้รายการที่จัดเรียงตามลําดับที่เพิ่มขึ้นหรือลดลงแล้วมันได้รับการทดสอบทุกครั้ง มันระบุรูปแบบที่เรียบง่ายอย่างถูกต้อง: -3000 cancels 3000, -2900 cancels 2900 ฯลฯ นี่คือการทดสอบการจับคู่รูปแบบซึ่งเป็นความแข็งแกร่งของ AI หลัก แต่สิ่งที่เกิดขึ้นเมื่อคุณลบรูปแบบ? ฉันใส่ตัวเลขเดียวกันในลําดับสุ่ม สิ่งนี้ทําลายทางสั้น ๆ ที่เรียบง่ายและบังคับให้ AI ในการคํานวณ มันล้มเหลวและไม่ได้ด้วยระยะเวลาเล็ก ๆ น้อย ๆ ความล้มเหลวของ “ประสิทธิภาพ” AI ไม่ได้คํานวณ มันใส่ใน a การคํานวณ ประสิทธิภาพ มันเป็นเช่นดู Noah Wyle บน หรือ : เขาเป็นแพทย์ที่น่าเชื่อถือ แต่คุณไม่ควรไว้วางใจเขาในการดําเนินการขั้นตอนทางการแพทย์ที่แท้จริงกับคุณ ในทางเดียวกัน AI จะผ่านการเคลื่อนไหวของการคํานวณ มันตอบสนองด้วย "ขั้นตอนตามขั้นตอน" การทําลายที่ดูสมเหตุสมผลอย่างสมบูรณ์แบบ แต่คําตอบสุดท้ายมีความมั่นใจและผิดทางพื้นฐาน ปิท เป็น เมื่อฉันท้าทายมัน "ตรวจสอบคู่" และได้รับ คําตอบที่ผิด อื่น ๆ ความล้มเหลวเป็นพื้นฐานมากขึ้นกว่าที่ผมคิดในตอนแรก กระบวนการนี้เกี่ยวข้องกับการจับมืออย่างกว้างขวางเช่นการขอให้แบ่งรายการลงในกลุ่มเล็ก ๆ ของ 10 หมายเลข มันยังคงได้รับคํานวณที่ผิดเกี่ยวกับแต่ละประการที่เรียบง่าย 10 รวมทั้งหมด แม้หลังจากที่ฉันให้คําตอบที่ถูกต้องสําหรับแต่ละกลุ่มก็ยังคงไม่สามารถเพิ่มกลุ่มหก subtotal อย่างถูกต้อง ทั้งหมดฉันได้รับ 12 คําตอบผิดที่แตกต่างกันจากกลับและกลับนี้ทั้งหมดจากคําแนะนําเดียวกัน นี่ไม่ใช่ความล้มเหลวในการจัดการกับรายการ "ซับซ้อน" มันเป็นความล้มเหลวอย่างสมบูรณ์ในการดําเนินการเพิ่มพื้นฐาน ในที่สุดก็ขออภัยสําหรับ "ข้อผิดพลาดการคํานวณทางจิตใจ" ซึ่งเป็นการยอมรับที่ไม่คุ้มค่าที่มันจําลองการคํานวณแทนที่จะทํา การออกแบบสั้น ๆ นี้เป็นเหตุผลเดียวกันที่ AI ได้ล้มเหลวในประวัติศาสตร์กับงานง่ายๆอื่น ๆ เช่นการนับตัวอักษรในคํา เป้าหมายหลักของมันคือการค้นหาสั้น ๆ ที่ถูกที่สุดไม่จําเป็นต้องเป็นคําตอบที่ถูกต้อง แล้วฉันพบเครื่องคํานวณที่ซ่อนอยู่ ดังนั้น ChatGPT เป็นเรื่องที่ไม่ดีเพียงอย่างไม่คาดหวังในคณิตศาสตร์? ไม่แน่นอน ฉันกลับไปที่คําตอบที่ผิดครั้งแรกและแทนที่จะตอบฉันคลิกที่ตัวเลือก“ คิดเวลานานขึ้น” สิ่งนี้เกิดขึ้นทันที: # Define the list of numbers numbers = [ 2100, 800, -1800, 2400, 1000, -2400, 1200, ... ] # Calculate the sum total_sum = sum(numbers) total_sum # Result 0 มันได้รับคําตอบที่ถูกต้อง (ศูนย์) ในหนึ่งวินาที นี่คือ "gotcha" มันมีเครื่องคํานวณตลอดเวลา มันเพียงแค่เลือกที่จะไม่ใช้มัน สิ่งที่เกิดขึ้นจริงที่นี่ นี่ไม่ใช่ข้อผิดพลาด สิ่งที่เราเห็นคือการแลกเปลี่ยนการออกแบบ ChatGPT ได้รับการเพิ่มประสิทธิภาพสําหรับความเร็วครั้งแรกและความแม่นยําครั้งที่สองในโหมดเริ่มต้น เส้นทางที่รวดเร็วเริ่มต้นเป็นข้อความเท่านั้น มันพยายามแก้ปัญหาโดยใช้ข้อมูลการฝึกอบรมที่กว้างขวางซึ่งรวมถึงรูปแบบการคํานวณที่เรียนรู้ สําหรับจํานวนเงินที่เรียบง่าย (เช่น 2 + 2) นี่เป็นความน่าเชื่อถือ แต่สําหรับงานที่ต้องการความแม่นยําที่แท้จริงในหลายขั้นตอนเช่นรายการหมายเลข 61 ของเราก็ล้มเหลว มันเป็นเหมือนคนที่พยายามทําจํานวนมากในหัวของพวกเขา: พวกเขาเข้าใจแนวคิดของคณิตศาสตร์ แต่เร็ว ๆ นี้สูญเสียการติดตามขั้นตอนกลางและ "ดําเนินการ" วิธีการนี้โดยเฉพาะข้อความนั้นเร็วมากและมากกว่านั้นมันถูกกว่าที่จะเรียกใช้ เส้นทางการคิด (ใช้เครื่องคํานวณ Python) เป็นความแม่นยําอย่างสมบูรณ์แบบ แต่มีราคาแพงที่จะเรียกใช้ อย่าทําให้ฉันผิดเส้นทาง "ช้า" นี้ยังคงกลับคําตอบในหนึ่งวินาที แต่สําหรับ OpenAI ค่าใช้จ่ายของระบบเป็นจํานวนมาก แทนที่จะคาดการณ์คําถัดไป AI จะต้องทํางานมากขึ้น: มันต้องสปินตัวแปล Python ที่ปลอดภัยเขียนรหัสดําเนินการแล้วอ่านผลผลิต นี่คือการแลกเปลี่ยนค่าใช้จ่ายและประสิทธิภาพในการกระทํา นี่คือเหตุผลที่อยู่เบื้องหลังทุกอย่างที่เราเพิ่งเห็น นี่คือที่มันเป็นส่วนตัว ดูนี่คือความเสี่ยงที่แท้จริงสําหรับผู้เชี่ยวชาญด้านข้อมูล เราคิดว่า AI คือการวิเคราะห์ มันไม่ได้ มันเป็นเพียงการจําลองสิ่งที่วิเคราะห์ ดูเหมือน ควร ตอนนี้ฉันรู้ว่าคําตอบคืออะไร: นี่เป็นส่วนหนึ่งของระบบ “ไดนามิก” ใหม่ OpenAI ของตัวเองรายงานข่าวมีชื่อเสียงเกี่ยวกับเรื่องนี้เรียกว่า “เราเตอร์เวลาจริง” ที่ “ตัดสินใจได้อย่างรวดเร็ว” whether to respond quickly or to “think longer” for hard problems. This sounds great on paper. But my test shows this so-called smart router can fail on seemingly simple tasks that lack obvious patterns. เมื่อฉันให้ปัญหานิณิตศาสตร์ 61 หมายเลขในลําดับสุ่มกลยุทธ์ภายในของมันผิดประเมินความยากลําบาก มันดูเหมือนว่าจะคิดว่านี่เป็นงานที่ง่ายที่สามารถทําลายได้ สิ่งนี้บอกฉันว่า heuristics ของเราเตอร์ไม่ได้ปรับแต่งเพื่อจับปัญหา "เรียบง่าย" ประเภทนี้ เป็นไปได้เพียงแค่ดูความยาวคําถามหรือว่ามีสัญลักษณ์ทางคณิตศาสตร์ ดังนั้นแทนที่จะระบุเรื่องนี้อย่างถูกต้องเป็น "ปัญหาที่ยากลําบาก" และอัตโนมัติมีส่วนร่วมในรูปแบบการคิดของมันก็เลือกเส้นทางที่รวดเร็วเพียงข้อความและดําเนินการเพื่อล้มเหลว นั่นคือความเสี่ยงในอาชีพที่นั่น จินตนาการว่าคุณจะถาม AI เพื่อ“ ตรวจสอบจํานวนเงินในรายงานค่าใช้จ่ายนี้” มันตอบด้วยความมั่นใจเพียงข้อความ “ดูถูกต้อง!” คุณส่งรายงานนั้นไปยังผู้บริหารซึ่งเร็ว ๆ นี้ทําคํานวณทางจิตและตระหนักถึงการคํานวณของคุณผิด ในช่วงเวลานั้นคุณได้ทําลายความน่าเชื่อถือของคุณโดยการพึ่งพาเครื่องมือสําหรับงานที่ไม่ได้ออกแบบมาเพื่อจัดการได้อย่างน่าเชื่อถือ ความล้มเหลวของ AI คือการจําลองการตรวจสอบแทนที่จะคํานวณจริง และคุณเป็นมืออาชีพที่เหลือถือถุง เมื่อ AI Math จริงๆ ทํางาน ดังนั้นจึงเป็นสิ่งสําคัญที่จะรู้ว่าเมื่อ AI มีความน่าเชื่อถือสําหรับงานเหล่านี้ การทดสอบของฉันถูกออกแบบมาเพื่อสัมผัสกับความเสี่ยงที่เฉพาะเจาะจง อัจฉริยะอัจฉริยะทั่วไปเชื่อถือได้ในบางสถานที่อื่น ๆ : เมื่อใช้ตัวอธิบายรหัสอย่างชัดเจน (เช่นเส้นทาง“ Think Longer ”) สําหรับคํานวณที่เรียบง่ายในแง่มุม (เช่น "ฉันมีแอปเปิ้ล 3 และซื้อแอปเปิ้ล 2 อีกมากมายฉันมีจํานวนเท่าไหร่" ) สําหรับคณิตศาสตร์สัญลักษณ์และคําอธิบายแนวคิด (เช่น "อธิบายทฤษฎี Pythagorean " ) ความเสี่ยงเช่นที่การทดสอบของฉันแสดงให้เห็นคือไม่ทราบโหมด AI ที่อยู่ใน สิ่งที่คุณควรทําเกี่ยวกับเรื่องนี้ นี่ไม่ได้หมายความว่า "ไม่ใช้ AI" มันหมายความว่าเราต้องใช้มันเป็นมืออาชีพไม่ใช่ผู้เริ่มต้น เราต้องปฏิบัติต่อมันเหมือน "เครื่องมือสั้น ๆ" ดังนั้นนี่คือคู่มือทางปฏิบัติของฉันสําหรับนักวิเคราะห์ข้อมูลตามความค้นพบของฉัน: ดู, ถ้าคุณจําอะไรอื่น: ถ้ามันแสดงให้คุณโค้ดคุณสามารถไว้วางใจผลลัพธ์. ถ้ามันพูดคุยกับคุณ, มีความสงสัย. ใช้ “Think Longer” สําหรับคําตอบ “ถูกต้องหรือผิด” อย่าคาดหวังว่าจะล้มเหลวก่อน ใช้เครื่องมือที่เหมาะสมสําหรับงาน สําหรับการคํานวณที่เรียบง่ายใช้ Excel มันถูกสร้างขึ้นสําหรับมันและมีความน่าเชื่อถือได้มากที่สุด ทําไมเครื่องเขียนสร้างสรรค์ทําหน้าที่ของเครื่องคิดเลข? อย่างไรก็ตามสําหรับการสร้างกระบวนการทํางานแบบวิเคราะห์หรือทําความสะอาดข้อมูลก่อนการคํานวณการใช้ AI ด้วยการดําเนินการรหัสเป็นวิธีที่มีประสิทธิภาพและมีประโยชน์อย่างแท้จริงในการทํางาน ทั้งหมดนี้มาถึงความโปร่งใส AI ไม่ผิดเพราะมันล้มเหลวในคณิตศาสตร์ มันผิดเพราะมันซ่อนความล้มเหลวหลังหน้ากากของความมั่นใจ มันมีเครื่องคํานวณที่ดีอย่างสมบูรณ์แบบในกระเป๋าสตางค์หลัง แต่เริ่มต้นวิธีการที่รวดเร็วและไม่น่าเชื่อถือโดยไม่ต้องบอกคุณว่ามันใช้วิธีใด ในฐานะผู้เชี่ยวชาญด้านข้อมูลที่มันไม่ได้เป็นพื้นฐานที่เราสามารถสร้างขึ้นบน มองไปข้างหน้าจนกว่าระบบเหล่านี้จะบอกเราว่าพวกเขาจะได้รับคําตอบอย่างไรกฎที่เรียบง่าย: ถ้ามันไม่ได้อยู่ในบล็อกโค้ดมันไม่ได้เป็นคําตอบ มันเป็นเพียงประสิทธิภาพ