เจ็ดสิบสองข้อ ตอบสิบข้อ

คืนวันที่ 9 ตุลาคม ห้อง AI ของเราเขียนบันทึกทบทวนงานของตัวเอง แล้วให้อีกห้องหนึ่งมาเขียนข้อติไว้ท้ายไฟล์ ได้ข้อติมา 72 ข้อ ในไฟล์มีคำตอบเป็นลายลักษณ์อักษร 10 ข้อ อีก 62 ข้อไม่มีอะไรต่อท้าย บทนี้เล่าว่าสิบข้อที่ได้คำตอบต่างจากที่เหลืออย่างไร และเรายังไม่รู้อะไรเกี่ยวกับ 62 ข้อนั้น

คืนวันที่ 9 ตุลาคม เราให้ห้อง AI แต่ละห้องเขียนบันทึกทบทวนงานของวันนั้นหนึ่งไฟล์ ว่าอะไรพัง อะไรช้า และแก้อย่างไร จากนั้นให้อีกห้องหนึ่งเปิดไฟล์นั้นแล้วเขียนข้อติต่อท้าย ห้องที่ตรวจไม่ใช่ห้องที่เขียน และแต่ละห้องถูกจับคู่กับห้องที่ทำงานคนละเรื่อง ("ห้อง" ของเราคือ AI หนึ่งตัวที่ดูแลงานด้านหนึ่ง)

ความคิดคือ ห้องที่เขียนบันทึกเองมักเชื่อว่าตัวเองแก้แล้ว ห้องอื่นที่ไม่ได้อยู่ในเหตุการณ์จะถามได้ตรงกว่าว่า ที่บอกว่าแก้ คือสร้างตัวตรวจขึ้นมาจริง หรือแค่เขียนกฎไว้

บ่ายวันที่ 10 ตุลาคม ราวสิบห้าชั่วโมงหลังข้อติถูกเขียน เราให้ผู้ช่วยนับว่า ข้อติเหล่านั้นได้คำตอบกี่ข้อ

ตัวเลข

มี 14 ไฟล์ที่มีส่วนข้อติจากห้องอื่น รวม 15 ส่วน โดยหนึ่งส่วนเขียนไว้ว่ายังรอ และไม่มีข้อติ ข้อติทั้งหมดนับได้ 72 ข้อ

คำตอบทั้งสิบข้ออยู่ใน 4 ไฟล์ อีก 10 ไฟล์ไม่มีคำตอบเลยแม้แต่ข้อเดียว

สิบข้อที่ได้คำตอบ

ในเก้าข้อที่ตอบรับ แปดข้อตอบด้วยตัวตรวจ ในแปดข้อนี้ หกข้อบอกว่าสร้างหรือแก้ตัวตรวจแล้ว อีกสองข้อบอกว่ารับไว้และเข้าคิวรอทำ ข้อที่เก้าเป็นการเติมตัวเลขเวลาที่เสียไป ซึ่งผู้ตรวจทักว่าขาด

ไม่มีข้อไหนในเก้าข้อที่ตอบว่า "เขียนกฎเพิ่มแล้ว" ข้อนี้น่าสนใจ เพราะข้อติหลายข้อเป็นเรื่องเดียวกัน คือกฎที่เขียนไว้เป็นคำพูดยังไม่ใช่ตัวตรวจ ห้องที่ตอบจึงตอบด้วยสคริปต์ ไม่ได้ตอบด้วยกฎอีกข้อ

ข้อที่ถูกปฏิเสธก็มีเหตุผลเขียนไว้ ผู้ตรวจเสนอให้ทำขั้นตอนหนึ่งเป็นอัตโนมัติ ห้องเจ้าของตอบว่าขั้นนั้นต้องใช้การตัดสินใจ จึงให้อยู่เป็นรายการตรวจด้วยมือต่อไป เรานับข้อนี้เป็นคำตอบที่ดีเท่ากับการตอบรับ เพราะผู้ตรวจรู้ว่าข้อของตัวเองถูกอ่านแล้ว

หกสิบสองข้อที่เหลือ

เราไม่ได้บอกว่า 62 ข้อนี้ถูกเมิน สิ่งที่เรารู้คือในไฟล์ไม่มีอะไรต่อท้ายข้อติ

ไฟล์บันทึกส่วนใหญ่ถูกแก้ครั้งสุดท้ายในช่วงสี่นาทีเดียวกัน คือ 00:04 ถึง 00:07 ของวันที่ 10 ตุลาคม รวม 17 จาก 21 ไฟล์ในโฟลเดอร์ เราอนุมานว่านั่นคือช่วงที่ข้อติถูกเขียนลงไป เพราะข้อติอยู่ท้ายไฟล์และไฟล์ไม่ถูกแก้อีก แต่ในไฟล์ไม่มีเวลาเขียนที่แน่นอนกำกับ หลังจากนั้นไฟล์เหล่านี้ไม่ถูกเปิดแก้อีก

ราวหนึ่งชั่วโมงต่อมา ห้องที่ดูแลคู่มือกลางอ่านบันทึกของ 17 ห้องรวมทั้งข้อติ (ตอนนั้นยังมีหนึ่งห้องที่ยังไม่ได้เขียนบันทึก) แล้วสรุปเป็นเอกสารฉบับเดียว ว่าตัวตรวจไหนซ้ำกัน และอะไรยังเป็นแค่คำพูด เอกสารฉบับนั้นมีหัวข้อหนึ่งที่ยกจุดอ่อนซึ่งผู้ตรวจเจอมาไว้รวมกัน 6 รายการ ระบุว่าให้เจ้าของแก้ และมี 1 รายการที่เขียนกำกับว่าแก้แล้ว ข้อติบางข้อจึงเดินทางต่อผ่านเอกสารฉบับนั้นจริง โดยไม่มีใครกลับมาเขียนตอบในไฟล์เดิม เราให้ผู้ช่วยจับคู่ข้อติทีละข้อกับเอกสารสรุปด้วยคำสำคัญ ได้ว่า 36 ข้อมีร่องรอยในเอกสารสรุป อีก 38 ข้อไม่พบ จากที่ผู้ช่วยนับได้ 74 ข้อ ซึ่งมากกว่าตัวเลข 72 ที่บทนี้ใช้อยู่ 2 ข้อ พูดหยาบๆ ได้ว่าราวครึ่งหนึ่งเดินทางต่อ การจับคู่ด้วยคำสำคัญเป็นวิธีหยาบ เราสุ่มเปิดดูเอง 2 ข้อ ตรงทั้งสองข้อ

สิ่งที่เราพูดได้คือ ผู้ตรวจที่เขียนข้อติ 62 ข้อนั้นเปิดไฟล์ดูแล้วจะไม่รู้ว่าข้อของตัวเองไปถึงไหน และคนที่มาอ่านทีหลังก็ไม่รู้เช่นกัน

ทำไมเราคิดว่าเป็นแบบนี้

ส่วนนี้เป็นความเห็นของเรา

เท่าที่เราหาเจอ ขั้นตอนของคืนนั้นมีสองจังหวะ คือเขียนบันทึก แล้วให้อีกห้องติ เราไม่พบจังหวะที่สามที่บอกว่าห้องเจ้าของต้องกลับมาตอบ (เรายังหาข้อความคำสั่งต้นฉบับของคืนนั้นไม่เจอ ข้อนี้จึงยังไม่ยืนยัน) สี่ห้องที่ตอบ ตอบเพราะเลือกทำเอง

ห้อง AI ทำตามขั้นตอนที่เขียนไว้ได้ดี และแทบไม่ทำขั้นตอนที่ไม่ได้เขียน ถ้าเราอยากได้คำตอบ เราต้องเขียนจังหวะที่สามลงไป และต้องมีอะไรสักอย่างที่นับว่าตอบแล้วกี่ข้อ ซึ่งคืนนั้นเราไม่มี ตัวเลขในบทนี้เพิ่งถูกนับในวันรุ่งขึ้น ตอนที่เราหาเรื่องมาเขียน

สิ่งที่เรายังไม่รู้

• ข้อติ 62 ข้อที่ไม่มีคำตอบในไฟล์ ถูกนำไปทำที่อื่นกี่ข้อ เช่นในเอกสารสรุป ในบันทึกส่งต่องานของห้อง หรือในการแก้โค้ด เรานับเฉพาะสิ่งที่เขียนไว้ในไฟล์บันทึก
• ข้อติ 72 ข้อนั้นถูกกี่ข้อ เราไม่ได้ประเมินคุณภาพของข้อติ ข้อที่ไม่มีคำตอบอาจเป็นข้อที่ไม่ควรตอบก็ได้ ในสี่ไฟล์ที่ตอบ มีอย่างน้อยหนึ่งข้อที่เป็นคำชมและไม่ต้องทำอะไร
• การนับ "หนึ่งข้อ" ขึ้นกับวิธีนับ และเรานับได้ไม่เท่ากันสักครั้ง ผู้ช่วยนับหัวข้อย่อยระดับบนสุดได้ 72 เรานับเองด้วยกฎที่เขียนไว้ตายตัวได้ 73 ผู้ช่วยอีกรอบหนึ่งได้ 74 และการนับหยาบครั้งแรกของเราได้ 75 ส่วนต่างมาจากบรรทัดคำตอบและหัวข้อย่อยที่แต่ละวิธีนับไม่เหมือนกัน ตัวเลข 72 จึงควรอ่านว่าราวเจ็ดสิบ และสัดส่วนในบทนี้ไม่เปลี่ยนความหมายไม่ว่าจะใช้ตัวไหน
• สองข้อที่ตอบว่า "เข้าคิวรอทำ" ถูกทำแล้วหรือยัง

ข้อคิดที่เอาไปใช้ได้

• การให้ตรวจกันเองมีสามจังหวะ ไม่ใช่สอง เขียน ติ แล้วตอบ ถ้าขั้นตอนของคุณจบที่ติ คุณจะได้กองข้อติที่ไม่มีใครรู้สถานะ
• คำตอบว่าไม่ ก็นับเป็นคำตอบ ข้อที่ถูกปฏิเสธพร้อมเหตุผลปิดได้เหมือนข้อที่ตอบรับ สิ่งที่ปิดไม่ได้คือข้อที่เงียบ
• นับอัตราการตอบตั้งแต่คืนแรก ของเรานับได้ในหนึ่งคำสั่งให้ผู้ช่วย แต่เรานับช้าไปราวสิบห้าชั่วโมง
• ดูว่าคำตอบเป็นตัวตรวจหรือเป็นคำพูด ในเก้าข้อที่ตอบรับของเรา แปดข้อชี้ไปที่สคริปต์ นั่นเป็นสัญญาณว่าข้อติถูกเอาไปทำจริง