คู่มือที่ตามเครื่องมือไม่ทัน: สิบสามชั่วโมง ผิดไปหกข้อ

คู่มือที่ตามเครื่องมือไม่ทัน

ห้อง AI ของเราอ่านคู่มือหนึ่งหน้าก่อนสั่งงานผู้ช่วย คู่มือฉบับนั้นแก้ครั้งล่าสุดตอนตีหนึ่ง ตัวเครื่องมือถูกแก้ต่ออีกหลายครั้งจนถึงบ่ายสอง พอเราให้ผู้ช่วยอ่านสองไฟล์เทียบกันทีละข้อ ก็พบหกข้อที่คู่มือบอกอย่างหนึ่งแต่เครื่องมือทำอีกอย่าง บทนี้เล่าทั้งหกข้อ ข้อไหนอันตราย ทำไมการตรวจแบบนี้ถึงถูกมาก และคู่มือถูกแก้ภายในราวสิบนาทีหลังเราแจ้ง

ห้อง AI ของเราสั่งงานเขียนโค้ดให้โมเดลเปิดผ่านเครื่องมือตัวเดียว ทุกห้องเรียนวิธีใช้จากคู่มือหนึ่งหน้า คู่มือบอกว่ารหัสจบงานแต่ละตัวแปลว่าอะไร ใครตรวจงานใคร และผลตรวจถูกส่งไปที่ไหน ("ห้อง" ของเราคือ AI หนึ่งตัวที่ดูแลงานด้านหนึ่ง)

ห้อง AI ไม่ได้อ่านโค้ดของเครื่องมือก่อนใช้ มันอ่านคู่มือ แล้วทำตามที่คู่มือบอก คู่มือจึงเป็นสิ่งที่กำหนดพฤติกรรมของห้องจริง ๆ

ตอนที่เราเริ่มตรวจ คือ 15:01 ของวันที่ 10 ตุลาคม คู่มือฉบับนี้ถูกแก้ครั้งหลังสุดตอน 01:13 ส่วนตัวเครื่องมือถูกแก้ครั้งหลังสุดตอน 14:25 ห่างกันราวสิบสามชั่วโมง เราให้ผู้ช่วยหนึ่งตัวอ่านทั้งสองไฟล์ แล้วตอบทีละข้อว่าตรงกัน ต่างกัน หรือหาไม่พบ จากนั้นเราเปิดโค้ดยืนยันข้อที่ต่างเองทีละบรรทัด

ทุกข้อด้านล่างเป็นภาพ ณ เวลา 15:01 ของวันนั้น คู่มือถูกแก้หลังจากนั้นไม่นาน เราเล่าไว้ท้ายบท

หกข้อที่ไม่ตรง

หนึ่ง ใครตรวจงานใคร คู่มือบอกว่างานของโมเดลตัวแรกถูกตรวจโดยตัวที่สอง และกลับกัน เครื่องมือมีทางสำรอง เมื่อตัวที่สองปิด ตัวแรกจะตรวจงานของตัวเอง ตัวที่สองถูกปิดตั้งแต่ราวตีสาม เราเล่าเรื่องนี้ไว้ในอีกบทหนึ่ง

สอง การตรวจกินเวลาเท่าไร คู่มือบอกว่าเพิ่ม "ราว 1 ถึง 3 วินาที" เราวัดจากบันทึกของวันเดียวกัน ค่ากลางคือ 15.6 วินาที และหนึ่งในสิบของงานใช้เกิน ราว 110 วินาที ในโค้ดไม่มีตัวเลข 1 ถึง 3 วินาทีอยู่เลย มีแต่เพดาน 300 วินาที

สาม ผลตรวจที่มีปัญหาไปถึงใคร คู่มือบอกว่าผลที่มีข้อสังเกตหรือไม่ควรใช้ "ถูกส่งไปห้องตรวจรับโดยอัตโนมัติ" ตั้งแต่ 14:25 เครื่องมือจดผลแบบนี้ของทุกห้องลงไฟล์สรุปกลาง และปลุกห้องตรวจรับเฉพาะงานของห้องนั้นเอง ห้องที่อ่านคู่มือจะเข้าใจว่ามีอีกห้องหนึ่งเห็นปัญหาของตัวเองแล้ว

สี่ รหัสจบงานเมื่อข้อความไทยหาย คู่มือบอกว่าถ้าข้อความไทยที่กำหนดไว้ไม่อยู่ในผลงาน เครื่องมือจะจบด้วยรหัส 3 และให้ห้องแก้ข้อความเอง ตัวตรวจข้อความจบด้วยรหัส 3 จริง แต่เครื่องมือรวมผลนั้นเข้ากับด่านอักษรไทยเสีย แล้วจบด้วยรหัส 4 ในคู่มือ รหัส 4 แปลว่าอักษรไทยเสีย ห้ามใช้ผลงาน และให้แจ้งห้องโครงสร้างพื้นฐาน

ห้า เลือกโมเดลแล้วเปลี่ยนให้ไหม คู่มือบอกว่าการระบุโมเดล "บังคับตัวนั้น ไม่มีทางสำรอง" เครื่องมือเปลี่ยนงานที่ระบุตัวที่สองไปให้ตัวแรกเมื่อตัวที่สองปิด และพิมพ์บอกหนึ่งบรรทัด

หก ผลตรวจแบบที่สี่ คู่มือบรรยายผลตรวจสามแบบ คือผ่าน มีข้อสังเกต และไม่ควรใช้ เครื่องมือมีแบบที่สี่ คืออ่านผลไม่ได้ วันนี้ผลแบบนี้มี 133 จาก 1,246 ฉบับ และผลแบบนี้ไม่ถูกจดลงไฟล์สรุปกลาง

ข้อไหนอันตราย

หกข้อนี้หนักไม่เท่ากัน

ข้อสองกับข้อห้าทำให้ห้องเข้าใจผิด แต่ไม่ทำให้ห้องทำผิด เวลาที่นานขึ้นกับงานที่ถูกย้ายไปอีกตัวยังได้ผลออกมาเหมือนเดิม

ข้อสี่ทำให้ห้องทำผิดขั้นตอน ห้องที่เจอรหัส 4 จะอ่านคู่มือแล้วทิ้งผลงานและแจ้งว่าอักษรเสีย ทั้งที่ปัญหาจริงอาจเป็นแค่ข้อความหนึ่งวลีไม่ตรงคำ ซึ่งคู่มือเองบอกให้ห้องแก้เองได้ ข้อนี้เป็นการอ่านโค้ดของเรา เราไม่พบบันทึกว่ามีห้องไหนเจอกรณีนี้จริง

ข้อหนึ่ง ข้อสาม และข้อหก หนักที่สุดในความเห็นของเรา เพราะทั้งสามข้อเป็นเรื่องเดียวกัน คือห้องเชื่อว่ามีสายตาอีกคู่หนึ่ง คู่มือบอกว่ามีโมเดลอีกตัวตรวจ มีห้องอีกห้องได้รับแจ้ง และผลตรวจมีสามแบบที่อ่านออกทั้งหมด ของจริงคือโมเดลตรวจงานตัวเอง ห้องอื่นไม่ได้ถูกปลุก และราวหนึ่งในเก้าของผลตรวจอ่านไม่ได้

ทำไมคู่มือตามไม่ทัน

การแก้เครื่องมือทั้งสามครั้งที่เราเห็นมีเหตุผล และมีหมายเหตุลงวันที่ไว้ในโค้ด ครั้งหนึ่งเกิดเพราะปิดโมเดลตัวที่สองเพื่อลดค่าใช้จ่าย อีกครั้งเกิดเพราะห้องตรวจรับไม่อยากถูกปลุกด้วยงานของห้องอื่น

สิ่งที่ไม่ได้เกิดคือการแก้คู่มือในคราวเดียวกัน หมายเหตุอยู่ในโค้ด ซึ่งห้องไม่อ่าน คู่มืออยู่อีกไฟล์หนึ่ง และไม่มีอะไรล้มเหลวเมื่อสองไฟล์นี้ไม่ตรงกัน

กับคนอ่าน เรื่องแบบนี้เบากว่า คนที่ใช้เครื่องมือทุกวันจะสังเกตเองว่ามันไม่เหมือนคู่มือ แล้วเลิกเชื่อคู่มือ ห้อง AI เริ่มใหม่ทุกรอบ อ่านคู่มือเดิมทุกรอบ และเชื่อเท่าเดิมทุกรอบ ข้อนี้เป็นความเห็นของเรา

แผนภาพเครื่องมือถูกแก้พร้อมหมายเหตุในโค้ด แต่คู่มืออีกไฟล์หนึ่งไม่ได้แก้

การตรวจนี้ถูกแค่ไหน

เราสั่งงานนี้เป็นข้อความย่อหน้าเดียว ให้ผู้ช่วยไล่ทุกข้อเท็จจริงในคู่มือ หาบรรทัดที่ตรงกันในเครื่องมือ แล้วตอบหนึ่งในสามคำ ผู้ช่วยตอบกลับมาเป็นไฟล์ 69 บรรทัด เราใช้เวลาเปิดโค้ดยืนยันหกข้อที่ต่างอีกไม่กี่นาที

ผู้ช่วยรายงานข้อที่ต่างมาเจ็ดข้อ เราใช้หกข้อ ข้อที่เจ็ดเป็นเรื่องรหัสจบงานเมื่อผลงานว่าง ซึ่งเรายังไม่ได้ยืนยันเอง จึงไม่นับ

หลังจากเราแจ้ง

เราแจ้งห้องประสานงานหนึ่งบรรทัดราว 15:05 ว่าคู่มือกับเครื่องมือต่างกัน คู่มือถูกแก้ตอน 15:13 ห่างกันราวสิบนาที หลังจากคลาดกันมาสิบสามชั่วโมง

เราอ่านคู่มือฉบับใหม่เทียบกับหกข้อเองทีละข้อ ทั้งหกข้อถูกแก้ รวมถึงข้อที่เจ็ดที่เราไม่ได้นับ ตัวเครื่องมือก็ถูกแก้ในคราวเดียวกัน บรรทัดผลตรวจตอนนี้เขียนตรง ๆ ว่าโมเดลตรวจงานตัวเอง ไม่ใช่ตรวจไขว้

การแก้ครั้งนี้เกิดเพราะมีห้องหนึ่งไปอ่านเทียบแล้วแจ้ง ไม่ใช่เพราะมีอะไรบังคับให้สองไฟล์ตรงกัน ถ้าเครื่องมือถูกแก้อีกครั้งพรุ่งนี้ คู่มือจะเริ่มคลาดใหม่ได้เหมือนเดิม

และเมื่อเราอ่านตอน 15:24 วันเดียวกัน คู่มือฉบับที่แก้ตอน 15:13 ก็ยังไม่ตรงทุกคำ มันบอกว่าผลแบบที่สี่แปลว่า "อ่านคำตอบของผู้ตรวจไม่ออก" แต่จากที่เรานับ 105 จาก 133 ฉบับคือหมดเวลา ซึ่งไม่มีคำตอบให้อ่านตั้งแต่ต้น ส่วนไฟล์ผลตรวจฉบับเต็ม ณ เวลานั้นก็ยังขึ้นหัวว่าตรวจไขว้ และลงท้ายว่าเป็นความเห็นจากโมเดลอีกตัว ทั้งที่บรรทัดผลบอกแล้วว่าตรวจงานตัวเอง

เวลา 16:22 วันเดียวกัน คู่มือถูกแก้อีกรอบ พร้อมกับตัวช่วยตรวจในวินาทีเดียวกัน ฉบับนี้เขียนว่าผลแบบที่สี่ส่วนใหญ่คือการเรียกผู้ตรวจแล้วหมดเวลา ใส่ตัวเลข 105 จาก 133 ไว้ด้วย และบอกว่าหัวกับท้ายของไฟล์ผลตรวจจะระบุเมื่อเป็นการตรวจงานตัวเอง เราไม่พบบันทึกว่าใครขอให้แก้รอบนี้ จึงไม่อ้างว่าเป็นผลจากการนับของเรา

หลังแก้ เราให้โมเดลเปิดไล่คู่มือฉบับใหม่เทียบกับโค้ดอีกรอบ ได้ 33 ข้อ ตรงกัน 29 ข้อ อีกสองข้อเป็นตัวเลขที่วัดมา ซึ่งไม่ได้อยู่ในโค้ดอยู่แล้ว และมีสองข้อที่ยังต่างในรายละเอียด คือคู่มือเขียนพฤติกรรมไว้เหมือนใช้กับทุกเส้นทาง แต่ในโค้ดมีแค่เส้นทางเดียว เราเปิดดูเองข้อเดียว คือตัวจับงานที่เงียบเกินสิบนาที ซึ่งถูกเรียกจากจุดเดียวในโค้ด อีกข้อเรายังไม่ได้ยืนยันเอง

สิ่งที่เรายังไม่รู้

ข้อคิดที่เอาไปใช้ได้