สองชั่วโมงสิบนาทีที่เราให้โมเดลเปิดเป็นสมองของห้อง
เราทดลองให้โมเดลเปิดบนเครื่องของเราเองคิดแทน Claude ในห้องปล่อยงานสามชั่วโมง มันเดินได้สองชั่วโมงสิบนาทีแล้วค้าง ตัวเลขที่เราตั้งใจวัดกลับบอกอะไรไม่ได้ บทความนี้เล่าว่าเราตั้งการทดลองอย่างไร พังตรงไหน และเรียนอะไรจากการวัดผิดตัว
บทความก่อนเล่าว่าเราแบ่งงานกันอย่างไร Claude เป็นคนคิดและตรวจ ส่วนโมเดลเปิดชื่อ Qwen ที่รันบนเครื่อง GPU ของเราเป็นคนเขียนโค้ด คำถามที่ตามมาทันทีคือ ถ้า Qwen เขียนโค้ดได้ดีและถูกกว่ามาก ทำไมไม่ให้มันคิดด้วยเลย
เช้ามืดวันที่ 10 ตุลาคม เราลองตอบคำถามนี้ด้วยการทดลองจริงหนึ่งครั้ง ผลคือยังไม่พร้อม แต่สิ่งที่ได้เรียนมากที่สุดไม่ใช่เรื่องโมเดล เป็นเรื่องวิธีวัดของเราเอง
ตั้งการทดลองอย่างไร
เวลา 03:34 เจ้าของตัดสินให้ทดลอง: ให้ห้องปล่อยงาน ซึ่งเป็นห้องที่ดูแลคิวรวมโค้ดเข้าสายหลัก เปลี่ยนสมองจาก Claude เป็น Qwen สามชั่วโมง วัดสามอย่าง คือจำนวนงานที่รวมเข้าต่อชั่วโมง จำนวนครั้งที่ฝ่ายตรวจตีกลับ และจำนวนครั้งที่การปล่อยขึ้นระบบพัง ถ้าแย่กว่าเดิมให้ย้อนกลับ ("ห้อง" ของเราคือ AI หนึ่งตัวที่ดูแลงานด้านหนึ่ง)
เราเตรียมทางถอยไว้สองชั้นก่อนเริ่ม ชั้นแรกเป็นตัวตั้งเวลาที่จะย้อนกลับไปใช้ Claude เองเมื่อครบกำหนดตอน 07:14 ชั้นที่สองเป็นนัดอ่านผลแยกต่างหากตอน 07:23 ห้องปล่อยงานเขียนบันทึกส่งต่อ "สำหรับสมองตัวถัดไป" ไว้ก่อนสลับ ส่วนตัวรันคิวกับตัวตรวจสุขภาพของสายหลักไม่ได้หยุดเลยตลอดการสลับ
การทดลองเริ่มจริงราว 04:16
มันเดินได้แค่ไหน
สองชั่วโมงสิบนาที ในช่วงนั้นมีงานรวมเข้าสายหลัก 24 ชิ้น คิดเป็นราว 11 ชิ้นต่อชั่วโมง เทียบกับตัวเลขของ Claude ก่อนหน้าที่ 11, 9 และ 6 ชิ้นต่อชั่วโมง ดูเผินๆ เหมือนเสมอกันหรือดีกว่าด้วยซ้ำ
แล้วเวลา 06:25 มันก็ค้าง บทสนทนาของห้องยาวถึงราว 168,000 โทเคน และคำขอเริ่มหมดเวลา บันทึกของเราระบุว่าโปรแกรมฝั่งห้องเข้าใจว่าโมเดลนี้รับได้ราว 180,000 โทเคน จึงยังไม่ย่อบทสนทนา ทั้งที่คำขอหมดเวลาไปแล้ว เราอนุมานจากตรงนี้ว่าฝั่งเครื่องให้บริการรับไม่ไหว บันทึกไม่ได้เขียนไว้ตรง ๆ คำขอราวสิบรายการจากห้องอื่นค้างอยู่ตั้งแต่ 06:08 ถึง 06:37
เวลา 06:37 เราหยุดการทดลองด้วยมือ เร็วกว่ากำหนด 37 นาที และย้อนกลับไปใช้ Claude ก่อนถึงเวลาที่ตัวตั้งเวลาถูกวางไว้ บันทึกบอกแค่เวลาที่วางแผนไว้กับการหยุดด้วยมือ ไม่ได้บอกว่าตัวตั้งเวลานั้นถูกยกเลิกหรือไม่
ตัวเลขที่วัดมาบอกอะไรไม่ได้
นี่คือส่วนที่เราอยากเล่ามากที่สุด
ตัวเลข 11 ชิ้นต่อชั่วโมงดูดี แต่บันทึกผลของเราเองเขียนกำกับไว้ว่า การรวมงานเข้าสายหลักถูกขับด้วยตัวรันคิวอัตโนมัติ จำนวนงานต่อชั่วโมงจึงบอกเรื่องคุณภาพของสมองได้น้อยมาก พูดง่ายๆ คือ สายพานเดินเองอยู่แล้ว ใครนั่งเป็นหัวหน้ากะ สายพานก็เดินเท่าเดิม
ตัวชี้วัดที่สอง จำนวนครั้งที่การปล่อยขึ้นระบบพัง ได้ศูนย์ แต่เป็นศูนย์เพราะตลอดช่วงทดลองไม่มีการปล่อยขึ้นระบบเลยสักครั้ง ศูนย์แบบนี้ไม่ได้แปลว่าปลอดภัย แปลว่าไม่ได้สอบ
ตัวชี้วัดที่สาม จำนวนครั้งที่ฝ่ายตรวจตีกลับ เราตั้งไว้ตอนตัดสิน แต่ในบันทึกผลไม่มีตัวเลขนี้เลย
สรุปคือ เราตั้งตัวชี้วัดไว้สามตัว ตัวแรกวัดสายพานไม่ได้วัดสมอง ตัวที่สองไม่มีเหตุการณ์ให้วัด ตัวที่สามไม่ได้เก็บ สิ่งเดียวที่การทดลองนี้ตอบได้ชัดคือเรื่องที่เราไม่ได้ตั้งใจวัด ว่ามันทำงานต่อเนื่องได้นานแค่ไหนก่อนค้าง
ข้อสรุปของเรา
ทีมโครงสร้างพื้นฐานสรุปว่า ยังไม่พร้อมเป็นสมองของห้องในสภาพนี้ ถ้าจะลองอีกต้องมีสองอย่างก่อน คือเพดานความยาวบทสนทนาที่ตายตัวราว 120,000 โทเคน และกลไกเริ่มห้องใหม่จากบันทึกส่งต่อเมื่อถึงเพดาน
ขอย้ำว่าข้อสรุปนี้เป็นเรื่องความพร้อมของระบบรอบตัวโมเดล เราไม่มีหลักฐานจากการทดลองนี้ว่า Qwen ตัดสินใจได้ดีหรือแย่กว่า Claude บันทึกของเราจดเรื่องกลไกของคิวไว้ ไม่ได้จดว่าโมเดลตัดสินใจอะไรไปบ้างในสองชั่วโมงนั้น
สิ่งที่เปลี่ยนหลังจากนั้น
วันเดียวกัน ห้องประสานงานส่งกติกาสามข้อไปยังเจ็ดห้อง ซึ่งเกี่ยวกับปัญหาตระกูลเดียวกัน คือห้องลืมเมื่อบทสนทนาถูกย่อ: ค้นบันทึกคำตัดสินก่อนถามหรือก่อนบอกว่ารอเจ้าของ จดงานค้างและคำตัดสินลงบันทึกของห้องตัวเองทันที และหลังถูกย่อให้อ่านท้ายบันทึกก่อนทำต่อ
ส่วนเพดาน 120,000 โทเคนกับกลไกเริ่มห้องใหม่ เราไม่พบบันทึกว่าสร้างแล้ว และยังไม่มีการทดลองรอบสอง
สิ่งที่เรายังไม่รู้
- ตัวเลขของ Claude ที่เอามาเทียบ (11, 9 และ 6 ชิ้นต่อชั่วโมง) มาจากชั่วโมงไหนและห้องไหน บันทึกไม่ได้บอก
- การแย่งเครื่อง GPU ระหว่างทดลองกดตัวเลขงานที่รวมได้ลงหรือไม่ บันทึกทิ้งไว้เป็นคำถาม
- คำขอหมดเวลานานแค่ไหน และเป็นคำขอไหน บันทึกเขียนแค่ว่าหมดเวลา และไม่มีใครวัดว่าเครื่องให้บริการรับบทสนทนาได้ยาวจริงเท่าไร
- ตลอดสองชั่วโมงสิบนาที Qwen ตัดสินใจอะไรไปบ้าง บันทึกเล่าแต่กลไกของคิวงาน ไม่ได้เล่าการตัดสินใจ
- ค่าใช้จ่ายของรอบทดลองนี้ เราไม่มีตัวเลขเงินหรือจำนวนโทเคนของฝั่ง Qwen มาเทียบ
ถ้าได้ทำใหม่
- เลือกตัวชี้วัดที่สมองเป็นคนขยับ ถ้างานส่วนนั้นเดินด้วยระบบอัตโนมัติอยู่แล้ว ตัวเลขของมันจะเท่าเดิมไม่ว่าใครคิด ควรนับสิ่งที่สมองทำเอง เช่น คำตัดสินที่ถูกแก้ทีหลัง หรือคำถามที่ห้องอื่นต้องถามซ้ำ
- ทำให้มีเหตุการณ์ที่อยากวัดเกิดขึ้นในช่วงทดลอง ถ้าอยากรู้ว่าปล่อยขึ้นระบบแล้วพังไหม ต้องมีการปล่อยอย่างน้อยหนึ่งครั้ง
- เก็บตัวเลขทุกตัวที่ประกาศไว้ หรือบอกตรงๆ ว่าไม่ได้เก็บ
- ทางถอยสองชั้นคุ้มเสมอ การทดลองนี้จบด้วยคนกดหยุดเอง แต่การมีตัวตั้งเวลาย้อนกลับทำให้เรากล้าเริ่มตอนตีสี่
- ตั้งเพดานความยาวจากฝั่งที่อ่อนที่สุด ตัวเลขที่โปรแกรมฝั่งห้องเชื่อกับตัวเลขที่เครื่องให้บริการรับได้จริงไม่ตรงกัน และเรารู้ตอนที่มันค้างไปแล้ว