Qwen เป็นมือ Claude เป็นสมอง: สองวันแรกที่เราแยกคนคิดกับคนลงมือ

Qwen เป็นมือ Claude เป็นสมอง

เราให้ Claude คิด วางแผน และตรวจงาน แล้วส่งงานเขียนโค้ดทั้งหมดให้โมเดลเปิดที่รันบนเครื่อง GPU ของเราเอง สองวันแรกมีงานวิ่งผ่านกว่าสองพันงาน บทความนี้เล่าว่าหนึ่งวันเดินอย่างไร ด่านตรวจอยู่ตรงไหน และอะไรพังบ้าง

วันที่ 9 ตุลาคม เราตั้งกฎใหม่หนึ่งข้อให้ทีม AI ของเราทั้งทีม: ห้องทำงานเป็นสมอง ส่วนงานเขียนโค้ดให้ส่งไปที่โมเดลเปิดบนเครื่อง GPU ของเราเอง

"ห้อง" ในที่นี้คือ Claude หนึ่งตัวที่ดูแลงานด้านหนึ่ง เช่น ห้องบัญชี ห้องการตลาด ห้องปล่อยงาน ห้องโครงสร้างพื้นฐาน แต่ละห้องคุยกับเจ้าของงาน ตีความว่าเขาต้องการอะไร แตกงาน แล้วตรวจผล ก่อนหน้านี้ห้องเขียนโค้ดเองด้วย กฎใหม่บอกว่าไม่ต้องแล้ว ทุกการแก้โค้ด แก้เทสต์ ย้ายโค้ด ให้ส่งต่อให้ "ผู้ช่วย" ซึ่งเป็นโมเดลเปิด Qwen3.8-Flash-Next ที่เรารันเอง แล้วห้องค่อยอ่านผลและตัดสินว่าจะใช้หรือไม่

บทความนี้เขียนหลังใช้จริงมาสองวัน ตัวเลขทั้งหมดนับจากบันทึกของระบบ ณ บ่ายวันที่ 10 ตุลาคม

หนึ่งงานเดินอย่างไร

  1. ห้องเขียนใบงานเป็นข้อความสั้น ระบุไฟล์ที่ต้องแก้ สิ่งที่ต้องเปลี่ยน และคำสั่งที่ใช้พิสูจน์ว่างานเสร็จ
  2. ผู้ช่วยทำงานในสำเนาโค้ดแยกของตัวเอง หนึ่งงานต่อหนึ่งสำเนา และถูกห้ามทำในสำเนาหลัก
  3. ผู้ช่วยไม่มีสิทธิ์บันทึกงานเข้าคลังโค้ดหรือส่งขึ้นที่ไหน มันคืนมาแค่ไฟล์ที่แก้แล้วกับสรุปท้ายงาน
  4. ห้องอ่านส่วนต่างของโค้ดเอง รันเทสต์ที่ระบุไว้ในใบงาน แล้วจึงนำไปใช้

ข้อ 4 คือหัวใจ เราเรียกมันว่าด่านตรวจ บทเรียนจากช่วงก่อนหน้าคือคุณภาพมาจากด่านตรวจ มากกว่ามาจากความเก่งของคนเขียน บั๊กจริงที่เราเจอเกือบทั้งหมดถูกจับตอนตรวจ ไม่ใช่ตอนเขียน ดังนั้นถ้าจะจ่ายแพงให้จ่ายที่คนตรวจ

สองวันแรกเป็นตัวเลข

ตัวเลขชุดนี้นับจากบันทึกงานช่วงเดียว คือตั้งแต่ 01:07 ของวันที่ 9 ตุลาคม ถึง 12:58 ของวันที่ 10 ตุลาคม

ตัวเลขข้อสุดท้ายต้องอ่านอย่างระวัง วันเดียวกันนั้นเราเพิ่มคิวรวมงานและเปลี่ยนอย่างอื่นด้วย เราจึงบอกไม่ได้ว่าส่วนต่างทั้งหมดมาจากผู้ช่วย บอกได้แค่ว่าคอขวดเรื่อง "ใครจะเขียน" หายไปจริง

ด่านตรวจมีกี่ชั้น

ชั้นแรก ตรวจภาษาไทยด้วยสคริปต์ ส่วนต่างของโค้ดทุกชิ้นถูกสแกนหาอักษรลาว อักษรซีริลลิก และสระหรือวรรณยุกต์ที่ซ้อนกัน ถ้าเจอ งานนั้นถูกทิ้งทั้งชิ้น และถ้าใบงานใส่ข้อความไทยไว้ในเครื่องหมายคำพูด ระบบจะเช็กว่าข้อความนั้นปรากฏในผลงานตรงตัวทุกตัวอักษร

ชั้นสอง ให้โมเดลอีกตัวอ่านทวน ทุกงานที่มีการแก้โค้ดจะได้ความเห็นหนึ่งบรรทัดจากโมเดลอีกตัว ว่าผ่าน มีข้อสังเกต หรือไม่ควรใช้ เราย้ำกับทุกห้องว่านี่เป็นคำแนะนำ ไม่ใช่ด่าน

ชั้นสาม ห้องอ่านเองและรันเทสต์

ชั้นสี่ สำหรับเรื่องเงิน สิทธิ์เข้าระบบ และฐานข้อมูล ผู้ช่วยร่างได้ แต่ต้องผ่านการตรวจแบบจับผิดจาก Claude รุ่นใหญ่ก่อนเสมอ ส่วนอะไรที่แตะข้อมูลจริงหรือย้อนกลับไม่ได้ ยังต้องให้คนอนุมัติ

ทำไมไม่ให้โมเดลเปิดเป็นผู้ตรวจคนสุดท้ายไปเลย เพราะเราทดสอบแล้ว เรานำผลงานของผู้ช่วย 36 ชิ้นมาให้โมเดลเปิดอีกตัวกับ Claude รุ่นใหญ่ตรวจแบบไม่เห็นคำตอบของกัน ในนั้นมี 6 ชิ้นที่เราแอบฝังบั๊กไว้ ผลคือทั้งสองเห็นตรงกัน 21 จาก 36 ชิ้น ในงานจริง Claude เจอปัญหาร้ายแรง 8 ชิ้น โมเดลเปิดจับได้ 5 ชิ้นที่หลุดไปมีสคริปต์เกี่ยวกับเงินรวมอยู่ด้วย ส่วนบั๊กที่ฝังไว้ Claude จับได้ครบ 6 โมเดลเปิดจับได้ 5

ข้อดีที่พบคือเมื่อโมเดลเปิดบอกว่า "ไม่ควรใช้" มันแทบไม่พลาด เราจึงใช้มันเป็นตะแกรงชั้นแรก งานที่มันตีกลับก็ส่งกลับไปแก้ได้เลยโดยไม่ต้องเปลืองผู้ตรวจราคาแพง แต่งานที่มันให้ผ่าน ยังต้องมีคนตรวจต่อ

อะไรพังบ้าง

ภาษาไทยเพี้ยน ช่วงแรกผู้ช่วยเขียนไทยแล้วมีสระซ้อน เราเกือบสรุปว่าโมเดลนี้เขียนไทยไม่ได้ และเตรียมจะฝึกโมเดลเพิ่ม ทีมวิจัยของเราไล่จนพบว่าตัวโมเดลไม่ผิด ตัวที่ผิดคือโปรแกรมตัดคำฝั่งเครื่องที่ให้บริการ ซึ่งหั่นอักษรไทยเป็นไบต์ พอส่งข้อความเข้าไปด้วยการตัดคำที่ถูกต้อง ตัวอักษรเสียลดจาก 14 ตัวเหลือ 0 ใน 96 ตัวอย่าง และข้อความที่กำหนดอยู่ครบทุกข้อความใน 97.7% ของตัวอย่าง จากเดิม 77.3% บทเรียนคือวัดก่อนฝึก เราเกือบเสียเงินแก้ปัญหาที่ไม่มีอยู่จริง

งานเสร็จแต่ผลหาย มีสองแบบ แบบแรก เราเคยกระจายงานไปรันบนเครื่องอื่น มี 18 งานที่รายงานว่าสำเร็จแต่ไฟล์ผลลัพธ์ว่างเปล่า เราปิดการกระจายงานแบบนั้นและเพิ่มการเช็กว่าผลลัพธ์ต้องไม่ว่าง แบบที่สอง ห้องที่เรียกผู้ช่วยแล้วนั่งรอ จะถูกตัดเมื่อครบ 10 นาที ทั้งที่งานยังทำอยู่ บันทึกของทีมดูแลระบบจดว่าผลงาน 8 ชิ้นหายไปแบบนี้ ส่วนบันทึกอีกฉบับพูดถึงราว 16 ชิ้น หลังจากนั้นทุกห้องต้องสั่งงานแบบเบื้องหลังแล้วรอสัญญาณตอบกลับ

ลองให้ Qwen เป็นสมองเอง เช้ามืดวันที่ 10 เราทดลองให้ห้องปล่อยงานใช้ Qwen คิดแทน Claude สามชั่วโมง มันเดินได้สองชั่วโมงสิบนาทีแล้วค้าง ทีมดูแลระบบสันนิษฐานว่าเป็นเพราะบทสนทนายาวเกินที่ระบบรองรับ คำขอราวสิบรายการค้างอยู่ครึ่งชั่วโมง เราจึงย้อนกลับไปใช้ Claude ก่อนกำหนด เช้าวันนั้นเครื่อง Qwen ยังสะดุดต่ออีกราวสองชั่วโมง มี 35 งานหมดเวลาไปเปล่าๆ ซึ่งน่าจะเป็นผลจากคำขอขนาดใหญ่ของการทดลองนั้นเอง สรุปของเราตอนนี้คือ Qwen เป็นมือที่ดี แต่ยังไม่พร้อมเป็นสมองของห้อง

เลิกใช้โมเดลตัวที่สอง เราเริ่มด้วยโมเดลเปิดสองตัวคู่กัน บนเครื่อง GPU เช่าแบบ spot สองเครื่อง เครื่องของ Qwen ราคา 7.92 ดอลลาร์ต่อชั่วโมง เครื่องของโมเดลตัวที่สองราคา 25.31 ดอลลาร์ต่อชั่วโมง ช่วงตีสองถึงตีสามของวันที่ 10 เราเทียบกันในชั่วโมงเดียวกันแบบตัวต่อตัว ผลคือ Qwen มีต้นทุน 0.13 ดอลลาร์ต่องานที่สำเร็จ ตัวที่สอง 0.38 ดอลลาร์ หรือราวสามเท่า และล้มเหลวบ่อยกว่าด้วย (5.7% เทียบกับ 1.7%) เราปิดเครื่องนั้นตอนตีสามของคืนเดียวกัน

แล้วประหยัดอะไร

ที่พูดได้เต็มปากคือ งานเขียนโค้ดสองพันกว่างานนี้ไม่ได้กินโควตา Claude เลย โควตานั้นถูกเก็บไว้ให้งานคิด งานคุยกับคน และงานตรวจ

ต้นทุนฝั่ง GPU ตอนนี้เหลือเครื่องเดียว 7.92 ดอลลาร์ต่อชั่วโมง ถ้าเปิดทั้งวันก็ราว 190 ดอลลาร์ต่อวัน และในชั่วโมงที่เราวัด งานที่สำเร็จหนึ่งงานมีต้นทุน 0.13 ดอลลาร์

ที่ยังพูดไม่ได้คือ ตัวเลขเงินรวมที่ประหยัดได้เมื่อเทียบกับการให้ Claude เขียนเอง เรายังไม่ได้วัดให้สะอาดพอ และไม่อยากเดา ตัวเลข 0.13 ดอลลาร์ ก็มาจากชั่วโมงเดียวที่งานแน่น ชั่วโมงที่งานบางต้นทุนต่องานย่อมสูงกว่านี้

และมีเรื่องหนึ่งที่เราไม่ได้คาดไว้ เมื่อการเขียนถูกลงและเร็วขึ้น คอขวดย้ายไปอยู่ที่การตรวจทันที เช้าวันที่ 10 เราสั่งหยุดป้อนงานใหม่ให้ GPU ก่อนกำหนด ด้วยเหตุผลสองข้อ งานรอบแรกที่ยังไม่มีใครแตะเหลือน้อยมากแล้ว และมีงานย้ายโค้ด 86 ชิ้นเสร็จแล้วรอคนตรวจอยู่ การป้อนงานเพิ่มมีแต่จะได้กองงานที่ยังไม่มีใครอ่าน

สิ่งที่เรายังไม่รู้

สิ่งที่เราเชื่อตอนนี้

  1. แยกคนคิดกับคนลงมือได้จริง ถ้าใบงานชัดและมีคำสั่งพิสูจน์ผล
  2. มือที่ถูกลงทำให้ด่านตรวจสำคัญขึ้น ไม่ใช่น้อยลง กำลังตรวจคือเพดานของทั้งระบบ
  3. โมเดลถูกตรวจโมเดลถูกได้ในฐานะตะแกรง แต่เรื่องเงินและเรื่องที่ย้อนไม่ได้ ต้องมีผู้ตรวจที่ดีที่สุดที่เรามี และมีคนกดอนุมัติ
  4. ก่อนสรุปว่าโมเดลทำอะไรไม่ได้ ให้สงสัยท่อที่อยู่รอบโมเดลก่อน

เรื่องนี้เพิ่งอายุสองวัน หลายอย่างในนี้อาจเปลี่ยนในสัปดาห์หน้า เราจะกลับมาเล่าต่อ