เมื่อ ChatGPT ถูกเปิดเผยในเดือนพฤศจิกายน พ.ศ. 2565 ในเพียงไม่กี่เดือน เทคโนโลยีนี้ได้รับการวิจารณ์และกล่าวหาจากหลายมุมมองต่างๆ บนโลกออนไลน์ OpenAI บริษัทที่พัฒนาอัลกอริทึมนี้ กำลังเริ่มแสดงการตอบสนองอย่างรอบคอบและระมัดระวังเพื่อจัดการกับวิจารณ์เหล่านี้

LLM ของ ChatGPT ถูกพัฒนาขึ้นโดยการเก็บข้อมูลจากอินเทอร์เน็ตที่เปิดเผยอย่างแพร่หลาย ซึ่ง OpenAI ยอมรับว่าในปัจจุบัน บริษัทกำลังให้คำแนะนำเกี่ยวกับวิธีที่ผู้ดูแลเว็บไซต์ เจ้าของเซิร์ฟเวอร์ และบริษัทอินเทอร์เน็ตสามารถป้องกันเทคโนโลยีการค้นหาของ ChatGPT ไม่ให้เข้าถึงเว็บไซต์ของพวกเขา

โดยทาง OpenAI ได้อธิบายว่า GPTBot เป็นโปรแกรมค้นหาเว็บของบริษัทที่ออกแบบมาเพื่อเก็บเนื้อหาอินเทอร์เน็ตฟรีสำหรับการฝึก ChatGPT เพจเว็บที่ถูกค้นหาด้วยตัวแทนผู้ใช้ "GPTBot" อาจถูกนำมาใช้เพื่อเพิ่มประสิทธิภาพให้กับโมเดล LLM ในอนาคตตามที่ OpenAI ได้กล่าวถึง โปรแกรมค้นหานี้ใช้ตัวกรองเพื่อหลีกเลี่ยงแหล่งข้อมูลที่ต้องชำระเงิน, เว็บไซต์ที่รวบรวมข้อมูลส่วนตัวที่สามารถระบุตัวบุคคลได้, หรือเนื้อหาที่ละเมิดนโยบายของบริษัท

OpenAI ระบุว่าการอนุญาตให้ GPTBot เข้าถึงเว็บไซต์สามารถช่วยเพิ่มประสิทธิภาพของโมเดล AI โดยทั้งนี้จะช่วยให้ ChatGPT สามารถปรับปรุงความสามารถทั้งหมดและ "ความปลอดภัย" ของตัวเองได้ อย่างไรก็ตาม บุคคลและบริษัทที่ไม่ต้องการให้ความร่วมมือในการพัฒนา ChatGPT แบบไม่เสียค่าใช้จ่าย ยังมีตัวเลือกในการปฏิเสธโปรแกรมค้นหานี้ สามารถทำได้โดยปรับกฎ "robots.txt" เพื่อป้องกัน GPTBot ไม่เข้าถึงเว็บไซต์หรือโดเมนของพวกเขา

ไฟล์ข้อกำหนด robots.txt นำไปสู่การปฏิบัติตามโปรโตคอล Robots Exclusion ที่ใช้กันอย่างแพร่หลายบนเว็บไซต์เพื่ออนุญาตหรือปฏิเสธผู้ค้นหาเว็บ (web crawlers) จากการสแกนเนื้อหาของพวกเขา โปรโตคอลนี้พึ่งพาการปฏิบัติตามโดยความเสมอภาคของหน่วยค้นหาเว็บ และไม่ใช่เว็บโรบอตทั้งหมดปฏิบัติตามกฎไม่อนุญาตที่กำหนดเองได้ OpenAI ดูเหมือนจะตั้งใจที่จะปฏิบัติตามกฎ robots.txt โดยการให้ที่อยู่ IP ที่ใช้โดยโปรแกรมค้นหาของพวกเขา เพื่อทำให้กระบวนการบล็อกเชิงรุกง่ายขึ้น

ก่อนกฎการบล็อกใหม่ Deviant Art ได้นำเสนอแท็ก "NoAI" ของตนสำหรับศิลปินที่ต้องการยกเว้นเนื้อหาของพวกเขาออกจากการฝึกฟรีของ LLM อย่างไรก็ตาม การใช้ robots.txt นั้นมีการควบคุมที่มากขึ้นสำหรับบริษัทและเว็บมาสเตอร์บุคคลที่สาม หาก OpenAI ปฏิบัติตามข้อกำหนดที่พวกเขาเสนอ

สามารถติดตามข่าวสารหรือสาระความรู้แวดวง IT ได้ที่ Avery it tech “เพราะเรื่อง IT อยู่รอบ ๆ ตัวคุณ”

ขอบคุณแหล่งที่มา : https://www.techspot.com/news/99722-websites-can-finally-block-openai-web-crawling-bot.html