SWE-rebench: ประเมินเอเจนต์เขียนโค้ดด้วยงานใหม่ที่ปลอดการปนเปื้อน

เอเจนต์ที่ใช้โมเดลภาษาขนาดใหญ่ (LLM) ทำงานวิศวกรรมซอฟต์แวร์ได้มากขึ้นเรื่อย ๆ แต่การพัฒนาด้านนี้ติดปัญหาสำคัญสองข้อ งานวิจัย "SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated