กฎหมายปัญญาประดิษฐ์ในบริบทการศึกษาของสหภาพยุโรป

เมื่อวันที่ 13 มีนาคม 2024 รัฐสภายุโรปลงมติเห็นชอบกฎหมายปัญญาประดิษฐ์ (AI Act) ในกฎหมายปัญญาประดิษฐ์ระบุว่าเป้าหมายของรัฐสภายุโรปและสภายุโรปคือการส่งเสริมนวัตกรรม การจ้างงาน และการนำปัญญาประดิษฐ์ที่น่าเชื่อถือมาใช้ประโยชน์ ทั้งนี้ กฎหมายปัญญาประดิษฐ์มีจุดมุ่งหมายเพื่อปกป้องบุคคลและบริษัทต่างๆ โดยกำหนดให้ต้องมีการคุ้มครองระดับสูงต่อสิทธิพื้นฐานและยึดมั่นในค่านิยมต่างๆ ของสหภาพยุโรป แต่ก็มีนักวิชาการได้ทักท้วงว่ากฎหมายปัญญาประดิษฐ์ไม่ได้ทำตามคำมั่นสัญญาในการให้การคุ้มครองระดับสูงต่อสิทธิพื้นฐานตามมาตรา 1 ของกฎหมายปัญญาประดิษฐ์ จึงมีความจำเป็นต้องแก้ไขกฎหมายปัญญาประดิษฐ์เพื่อให้สอดคล้องกับการห้ามการเลือกปฏิบัติในสนธิสัญญาสิทธิมนุษยชนระหว่างประเทศหลายฉบับ เรียกร้องให้ประเทศสมาชิกสหภาพยุโรปและผู้กำหนดนโยบายตรวจสอบกฎหมาย AI เพื่อให้สอดคล้องกับสนธิสัญญาว่าด้วยสิทธิมนุษยชนระหว่างประเทศก่อนที่จะกลายเป็นกฎหมาย 

นักวิชาการได้หยิบยกกรณีศึกษาของหน่วยงานที่ใช้ AI เพื่อประเมินผลงานของนักเรียนเพื่อแสดงให้เห็นถึงข้อโต้แย้งนี้ การใช้ AI เพื่อให้คะแนนผลงานของนักเรียนถูกเลือกเป็นกรณีศึกษาเนื่องจากการเข้าถึงการศึกษาส่งผลต่อความสามารถของผู้คนในการดำรงชีพใช้ศักยภาพของตนเองให้เต็มที่ เลือกสิ่งที่มีความหมาย และตัดสินใจอย่างรอบรู้ ดังนั้น กรณีศึกษานี้จึงเกี่ยวข้องกับพื้นที่สำคัญในชีวิตของทุกคน เนื่องจากบุคคลที่มีลักษณะเฉพาะที่ได้รับการคุ้มครอง เช่น ผู้พิการยังคงประสบกับความไม่เท่าเทียมกันในบริบทของการศึกษา จึงจำเป็นต้องระบุว่ากฎหมาย AI มีแนวโน้มที่จะทำให้สถานการณ์นี้คงอยู่ต่อไปได้อย่างไร การอภิปรายนี้แสดงให้เห็นถึงปัญหาที่กว้างขึ้นของกฎหมาย AI ซึ่งกำหนดข้อจำกัดที่ไม่เพียงพอในการใช้ AI เป็นส่วนประกอบของกระบวนการตัดสินใจในหลายพื้นที่ ตัวอย่างของพื้นที่ที่เกี่ยวข้องคือการใช้ AI เพื่อคัดกรองผู้สมัครเข้าทำงาน

ปัจจุบันหน่วยงานต่างๆได้นำ AI มาใช้เพื่อวัตถุประสงค์ต่าง ๆ มากมายในฐานะส่วนหนึ่งของกระบวนการตัดสินใจในบริบทของการศึกษา การใช้งานดังกล่าวรวมถึงการใช้ AI เพื่อตรวจงานที่ได้รับมอบหมายของนักเรียน บางประเทศกำลังสำรวจทางเลือกในการทำให้การตรวจงานของนักเรียนเป็นระบบอัตโนมัติโรงเรียนในจีนได้ทดลองใช้ AI เพื่อตรวจงานของนักเรียนมาตั้งแต่ปี 2018 กระทรวงศึกษาธิการของสหราชอาณาจักรได้จัดงานแฮ็กกาธอนเมื่อวันที่ 30 และ 31 ตุลาคม 2023 วัตถุประสงค์ของงานแฮ็กกาธอนคือเพื่อตรวจสอบว่าหน่วยงานด้านการศึกษาสามารถใช้ AI สำหรับงานต่าง ๆ เช่น การตรวจงานข้อสอบอย่างถูกต้องได้หรือไม่ 

ระบบการให้คะแนนนักเรียนที่ใช้ AI มีอยู่แล้ว นาย Robert Stanyon ได้พัฒนาระบบการให้คะแนนที่ใช้ AI สำหรับวิชาคณิตศาสตร์และวิทยาศาสตร์ ปัจจุบัน มหาวิทยาลัยเบอร์มิงแฮมและมหาวิทยาลัยลิเวอร์พูลกำลังทดลองใช้ระบบ Graide นี้ ด้วยภูมิหลังนี้ กลุ่มผู้นำโรงเรียนที่นำโดยเซอร์แอนโธนี เซลดอนได้เขียนจดหมายถึงหนังสือพิมพ์ The Times พวกเขาแสดงความกังวลว่ารัฐบาลล้มเหลวในการดำเนินการอย่างรวดเร็วเพื่อควบคุมการใช้ AI ในบริบทการศึกษา ควรจำไว้ว่าในอดีต การใช้ AI ในบริบทการศึกษาในสหราชอาณาจักรได้สร้างปัญหาที่ร้ายแรง ในปี 2020 ได้มีการพลิกกลับเกรดที่คาดการณ์ไว้ว่า AI จะสร้างได้โดยใช้เกรดที่ครูคาดการณ์ไว้สำหรับนักเรียน หลังจากเกิดกระแสต่อต้านจากประชาชนเกี่ยวกับการใช้ AI 

มหาวิทยาลัยในเยอรมนีใช้ AI เพื่อคุมสอบนักศึกษาระหว่างการระบาดของ COVID-19 หน่วยงาน GFF ยื่นฟ้องมหาวิทยาลัยในเยอรมนีหลายแห่ง โดยกล่าวหาว่าการปฏิบัติดังกล่าวละเมิดสิทธิมนุษยชนขั้นพื้นฐาน รวมถึงการประมวลผลข้อมูลจำนวนมากที่เกี่ยวข้องกับนักศึกษา เมื่อพิจารณาจากบริบทดังกล่าว จึงจำเป็นต้องกำหนดว่าการใช้ AI เพื่อตรวจงานของนักศึกษาอาจส่งผลเสียต่อนักศึกษาในสถานการณ์ใด และควรห้ามใช้ระบบดังกล่าวในบริบทใด การระบุบทบาทของกฎหมายสิทธิมนุษยชนระหว่างประเทศและกฎหมาย AI ในการป้องกันการปฏิบัติที่เป็นปัญหาจึงมีความสำคัญอย่างยิ่ง 

กล่าวคือการใช้ AI ในการให้คะแนนซึ่งการบ้านที่ต้องตรวจนั้นต้องให้คำตอบกับชุดคำถามแบบเลือกตอบหลายข้อนั้นไม่ก่อให้เกิดการโต้แย้ง บันทึกคำตอบของนักเรียนต่อคำถามแบบเลือกตอบหลายข้อและเทมเพลตของคำตอบที่ถูกต้องต่างก็แสดงถึงรูปแบบ AI สามารถจดจำรูปแบบได้ Douglas Chai พัฒนาอัลกอริทึมที่สามารถระบุได้ว่าคำตอบที่นักเรียนวงกลมไว้ในแบบทดสอบแบบเลือกตอบหลายข้อนั้นตรงกับคำตอบที่ถูกต้องหรือไม่ตั้งแต่ปี 2016 เนื่องจาก AI ทำหน้าที่จับคู่รูปแบบการ ใช้ AI จึงคล้ายกับการใช้เครื่องสแกนการจดจำเครื่องหมายด้วยแสงซึ่งมีการใช้งานมาระยะหนึ่งแล้ว 

เมื่อหน่วยงานต่างๆ ใช้ AI เพื่อให้คะแนนงานที่เกี่ยวข้องกับนักเรียนที่ต้องแก้ปัญหาคณิตศาสตร์ และงานนั้นไม่ได้ให้นักเรียนตอบคำถามแบบเลือกตอบ การใช้ AI ควรได้รับการปฏิบัติเหมือนกับเทคโนโลยีรุ่นเก่า ซึ่งทำให้สามารถจดจำรูปแบบได้ ในกรณีนี้ เนื่องจากเมื่อแก้ปัญหาคณิตศาสตร์ นักเรียนจะเขียนลำดับตัวเลข ซึ่งถือเป็นขั้นตอนระหว่างกาล ขั้นตอนระหว่างกาลเหล่านี้ในการคำนวณช่วยให้นักเรียนสามารถหาคำตอบได้ อย่างไรก็ตาม การใช้ AI ดังกล่าวไม่เหมือนกับเทคโนโลยีรุ่นก่อนๆ จำเป็นต้องมีการวิจัยเพิ่มเติมเพื่อพิจารณาผลกระทบของการใช้ AI เพื่อให้คะแนนงานคณิตศาสตร์ต่อผู้พิการ เพื่อลดความเสี่ยงที่เกิดจากการทำงานอัตโนมัติ นักพัฒนาจะต้องออกแบบ AI เพื่อให้ให้คะแนนนักเรียนบางส่วนสำหรับวิธีแก้ไขปัญหาคณิตศาสตร์ที่ไม่สมบูรณ์ ในทำนองเดียวกัน AI ควรได้รับการออกแบบเพื่อไม่ให้ลงโทษนักเรียนสำหรับการระบุขั้นตอนระหว่างกาลของวิธีแก้ไขปัญหาในลำดับที่แตกต่างกัน นอกจากนี้ AI ไม่ควรลงโทษนักเรียนสำหรับการป้อนข้อมูลโดยใช้รูปแบบที่แตกต่างกันหรือสำหรับการโต้ตอบกับระบบในลักษณะใดลักษณะหนึ่ง 

นอกจากนี้ ครูควรใช้วิจารณญาณทางวิชาชีพในการตัดสินว่าการใช้ AI เหมาะสมสำหรับการให้คะแนนงานของนักเรียนในวิชาคณิตศาสตร์หรือไม่ ตัวอย่างเช่น การใช้ AI ไม่เหมาะสำหรับงานบางประเภทที่นักเรียนพัฒนานวัตกรรมในสาขาคณิตศาสตร์ นักเรียนทุกคนควรสามารถขอให้ผู้ตัดสินใจที่เป็นมนุษย์ให้คะแนนงานที่ได้รับการตรวจโดย AI ใหม่ได้โดยไม่จำเป็นต้องแสดงหลักฐานความเสี่ยงของความไม่ถูกต้องหรือข้อผิดพลาด การทำงานของ AI จำเป็นต้องมีขอบเขตของข้อผิดพลาดพลาด

หน่วยงานการศึกษาไม่ควรใช้ AI ในการให้คะแนนข้อความที่ไม่ใช่ตัวเลข เนื่องจากการให้คะแนนคำตอบเป็นการใช้การตัดสินเชิงประเมิน ความสามารถของ AI ทำให้ AI ไม่เหมาะสมที่จะใช้ในการให้คะแนนงานในวิชาที่มีการไตร่ตรองอย่างมีวิจารณญาณเกี่ยวกับเนื้อหา และการให้คำตอบในรูปแบบที่ไม่ใช่ตัวเลข วิชาเหล่านี้ได้แก่ มนุษยศาสตร์และสังคมศาสตร์ ในทำนองเดียวกัน หลักสูตรวิทยาศาสตร์และวิทยาการคอมพิวเตอร์บางหลักสูตรไม่เหมาะสำหรับการใช้ AI ในการประเมินผล ตัวอย่างเช่น หลักสูตรจริยธรรมและความยั่งยืนของการคำนวณ AI ขาดความสามารถในการตีความและระบุความหมายให้กับข้อความที่เขียน ได้อย่างถูกต้อง การใช้ AI ส่งผลเสียต่อบุคคลจากกลุ่มที่ไม่ได้รับการเป็นตัวแทน การใช้ AI ในการให้คะแนนข้อความทำให้การแสดงออกของความหลากหลายของมนุษย์ลดน้อยลงนอกจากนี้ ยังมีหลักฐานว่าการใช้ AI ในการประเมินข้อความอาจทำให้ผู้พิการเสียเปรียบ เนื่องจาก AI ไม่สามารถระบุความหมายที่ถูกต้องให้กับข้อความได้การใช้ AI จึงทำให้ไม่สามารถประเมินได้ว่านักเรียนมีส่วนร่วมในการวิเคราะห์เชิงวิจารณ์ในระดับใดเมื่อเขียนคำตอบ 

การใช้ AI อาจลงโทษนักเรียนที่แสดงความคิดสร้างสรรค์และการคิดแบบนามธรรม การใช้ AI อาจลงโทษนักเรียนที่เสนอแนวคิดที่แตกต่างจากกระแสหลักโซลานจ์ เกอร์นาอูตีสังเกตว่าการใช้ AI เป็นส่วนหนึ่งของกระบวนการตัดสินใจอาจนำไปสู่การปรับปรุงพันธุกรรมในความคิด เนื่องจาก AI จดจำรูปแบบได้ จึงถือว่าคำตอบที่เขียนไว้ซึ่งไม่เข้ากับรูปแบบหรือแตกต่างจากค่าเฉลี่ยไม่เกี่ยวข้อง ด้วยเหตุนี้ AI จึงไม่เหมาะสำหรับการให้คะแนนข้อความที่เขียนและงานที่เกี่ยวข้องกับการคิดวิเคราะห์ของนักเรียน 

ดังนั้น เพื่อปกป้องสิทธิพื้นฐานของบุคคลมาตรา 6(2) ของกฎหมาย AIกำหนดให้ระบบ AI บางระบบมีความเสี่ยงสูง ย่อหน้า 3 ของภาคผนวก IIIชี้แจงว่ามาตรา 6(2) ของร่างกฎหมาย AIครอบคลุมถึงการใช้ระบบ AI ในการศึกษาและอาชีวศึกษา ย่อหน้า 3 ของภาคผนวก III ของกฎหมาย AIครอบคลุมถึงการประยุกต์ใช้ AI ในด้านการศึกษาต่างๆ การประยุกต์ใช้เหล่านี้รวมถึงการใช้ AI เพื่อกำหนดว่าใครจะได้รับการรับเข้าเรียนในโครงการการศึกษา การตรวจงานของนักเรียน การควบคุมดูแลงานของนักเรียน และการใช้ AI เพื่อจัดสรรนักเรียนไปยังโรงเรียนต่างๆ 

มาตรา 9(1) ของร่างกฎหมาย AIกำหนดภาระผูกพันในการจัดตั้งและบำรุงรักษาระบบการจัดการความเสี่ยงที่เกี่ยวข้องกับระบบ AI ที่มีความเสี่ยงสูง ตามมาตรา 9(2) หน่วยงานที่ใช้ AI จำเป็นต้องประเมินความเสี่ยงอย่างต่อเนื่องซึ่งการใช้ระบบ AI ที่มีความเสี่ยงสูงอาจก่อให้เกิดการได้รับสิทธิขั้นพื้นฐานหน่วยงานจำเป็นต้องใช้มาตรการที่ “เหมาะสมและตรงเป้าหมาย” เพื่อจัดการกับความเสี่ยงต่อสิทธิขั้นพื้นฐาน อย่างไรก็ตามมาตรา 9(3) ทำให้ภาระผูกพันในการจัดทำระบบการจัดการความเสี่ยงอ่อนแอลงโดยระบุว่ามาตรา 9 กล่าวถึงความเสี่ยงที่สามารถ “บรรเทาหรือขจัดได้อย่างสมเหตุสมผล” เท่านั้น ไม่ว่าจะผ่านการออกแบบ AI หรือโดยการให้ “ข้อมูลทางเทคนิคที่เพียงพอ” การสันนิษฐานว่าความเสี่ยงส่วนใหญ่สามารถบรรเทาได้ผ่านการออกแบบนั้นเป็นปัญหาการขาดความสามารถของ AIในการระบุความหมายให้กับข้อความที่เขียนและแนวโน้มที่จะเสียเปรียบนักเรียนที่มีลักษณะเฉพาะที่ได้รับการคุ้มครองไม่สามารถแก้ไขได้ผ่านทางเลือกในการออกแบบ ดังนั้นมาตรา 9(3)จึงจำกัดการคุ้มครองสิทธิพื้นฐานในกฎหมาย AI อย่างมาก โดยจำกัดภาระผูกพันในการจัดทำระบบจัดการความเสี่ยงให้ครอบคลุมเฉพาะความเสี่ยงที่สามารถ “บรรเทาหรือขจัดได้อย่างสมเหตุสมผล” มาตรา 9(5)(a) ทำให้การคุ้มครองสิทธิพื้นฐานอ่อนแอลงอีก โดยกำหนดว่าจำเป็นต้องบรรเทาความเสี่ยงในขอบเขตที่ “เป็นไปได้ทางเทคนิค” ที่จะทำเช่นนั้นได้ผ่านการออกแบบที่เหมาะสมเท่านั้น (หน้า 105) เนื่องจาก AI ไม่สามารถระบุความหมายได้จากข้อความที่เขียนมาตรา 9(4) จึงให้การคุ้มครองที่จำกัด 

ผู้สนับสนุนกฎหมาย AI อาจระบุในขั้นตอนนี้ว่ามาตรา 9(5)(b) ช่วยบรรเทาความรุนแรงของมาตรา 9(2) โดยกำหนดให้บริษัทต่างๆ ต้องใช้มาตรการบรรเทาความเสี่ยงที่เหมาะสมต่อความเสี่ยงที่ไม่สามารถขจัดออกไปได้ แม้จะเป็นจริง แต่มาตรา 9(5)(b)ไม่สามารถแก้ไขปัญหาได้อย่างสมบูรณ์ เนื่องจากมาตรา 9(5) อนุญาตให้ผู้ที่เกี่ยวข้องกับการประเมินความเสี่ยงตัดสินใจว่าสามารถยอมรับ “ความเสี่ยงโดยรวมที่เหลืออยู่” ที่เกี่ยวข้องกับการใช้ระบบ AI ได้ วาทกรรมในการยอมรับ “ความเสี่ยงโดยรวมที่เหลืออยู่” นี้เข้ากันไม่ได้กับการปกป้องสิทธิขั้นพื้นฐาน จากมุมมองของกฎหมายสิทธิมนุษยชน ความเสี่ยงทั้งหมดมีความสำคัญไม่ว่าจะมีขนาดใหญ่หรือเล็กเพียงใด ตราบใดที่การใช้งาน AI มีแนวโน้มที่จะละเมิดสิทธิขั้นพื้นฐานของบุคคลใดบุคคลหนึ่ง ดังนั้น หาก AI ตัดสินใจ 1,000 ครั้งในเวลา 10 นาที และมีความเป็นไปได้ที่คน 50 คนอาจต้องตกอยู่ภายใต้การปฏิบัติที่เลือกปฏิบัติ การตัดสินใจที่มีปัญหาจะคิดเป็นเพียง 5% ของการตัดสินใจทั้งหมดก็ไม่สำคัญ สิ่งสำคัญคือมีผู้คน 50 รายที่ประสบกับการเลือกปฏิบัติ 

กฎหมาย AI ฉบับปัจจุบัน ไม่ได้อนุญาตให้รัฐในสหภาพยุโรปปฏิบัติตามพันธกรณีสิทธิมนุษยชนระหว่างประเทศของตน การห้ามการเลือกปฏิบัติในอนุสัญญาว่าด้วยสิทธิของผู้พิการ (CRPD) กำหนดให้รัฐต้องขอความยินยอมจากผู้พิการก่อนจะให้พวกเขาใช้ AI ในกระบวนการตัดสินใจบางส่วนหรือทั้งหมด ผู้พิการสามารถคัดค้านการใช้ AI ได้โดยไม่ต้องขอการอำนวยความสะดวกที่เหมาะสมข้อห้ามนี้ขยายไปถึงอนุสัญญาว่าด้วยการขจัดการเลือกปฏิบัติต่อสตรีในทุกรูปแบบ (CEDAW) มาร์ติน เชนินแสดงให้เห็นว่าข้อกำหนดในการขอความยินยอมจากบุคคลที่ถูกเลือกปฏิบัติก่อนจะใช้ AI ได้ขยายไปถึงสนธิสัญญาสิทธิมนุษยชนฉบับอื่นๆ รวมถึงอนุสัญญาว่าด้วยการขจัดการเลือกปฏิบัติทางเชื้อชาติในทุกรูปแบบ (CERD) และอนุสัญญาว่าด้วยสิทธิพลเมืองและสิทธิทางการเมืองระหว่างประเทศ (ICCPR) กฎหมาย AI ไม่เป็นไปตามข้อกำหนดนี้ เนื่องจากไม่มีบทบัญญัติใดๆ ที่กำหนดให้หน่วยงานที่ใช้งานระบบ AI ที่มีความเสี่ยงสูงต้องได้รับความยินยอมอย่างมีข้อมูลจากบุคคลที่เป็นผู้ตัดสินใจก่อน จึงจะสามารถใช้ระบบเหล่านี้ได้ 

ข้อบังคับทั่วไปเกี่ยวกับการคุ้มครองข้อมูล (GDPR) ไม่ได้กล่าวถึงปัญหานี้อย่างครบถ้วน ตัวอย่างเช่น มาตรา 22 ของ GDPR ให้สิทธิ์กับบุคคลในการไม่ต้องอยู่ภายใต้"การตัดสินใจที่อิงจากการประมวลผลอัตโนมัติเพียงอย่างเดียว " เท่านั้น มาตรา 22 ไม่ครอบคลุมสถานการณ์ที่มนุษย์ควบคุมดูแลการทำงานของ AI และตรวจสอบการตัดสินใจอัตโนมัติก่อนที่จะนำไปใช้ ศาลยุติธรรมของสหภาพยุโรปในคดีOQ v SCHUFA Holding 634/21 ตัดสินว่าจะมีการตัดสินใจอัตโนมัติหากผู้ตัดสินใจ "ใช้ดุลยพินิจอย่างเข้มงวด" (ย่อหน้า 40) เกี่ยวกับการตัดสินใจอัตโนมัติ (ย่อหน้า 61-62) อย่างไรก็ตาม จะมีหลายกรณีที่บุคคลไม่ได้รับการปกป้องอย่างเพียงพอ แม้ว่าผู้ตัดสินใจจะไม่ได้ "ใช้ดุลยพินิจอย่างเข้มงวด" เกี่ยวกับผลลัพธ์ที่สร้างโดย AI มนุษย์ขาดความสามารถในการดูแลการทำงานของระบบที่ซับซ้อน รวมถึง AI ดังนั้น การคุ้มครองตาม GDPR จึงไม่สามารถทดแทนการห้ามหน่วยงานใช้เอาต์พุตที่สร้างโดย AI เพื่อแจ้งกระบวนการตัดสินใจโดยไม่ได้รับความยินยอมจากบุคคลที่มีส่วนร่วมในการตัดสินใจได้ 

ปัญหาของกฎหมายฉบับนี้ก็คือ กฎหมายฉบับนี้ถือว่ามีศักยภาพทางเทคนิคบางประการอยู่ ซึ่งในความเป็นจริงแล้วไม่มีอยู่จริง ตัวอย่างเช่นมาตรา 20(1)กำหนดให้ผู้ให้บริการระบบ AI ที่มีความเสี่ยงสูงต้องดำเนินการเพื่อถอนระบบออกหากพบว่าระบบดังกล่าวไม่เป็นไปตามกฎหมาย AI มาตรา 19(1)กำหนดให้ผู้ให้บริการต้องเก็บบันทึกที่ระบบ AI ที่มีความเสี่ยงสูงสร้างขึ้นไว้เป็นเวลาอย่างน้อย 6 เดือนมาตรา 14(1)กำหนดให้การออกแบบ AI อนุญาตให้บุคคลธรรมดาสามารถกำกับดูแลระบบ AI ที่มีความเสี่ยงสูงได้อย่าง “มีประสิทธิผล” และอธิบายว่าจุดประสงค์ของการกำกับดูแลดังกล่าวคือเพื่อ “ป้องกัน” หรือ “ลดให้เหลือน้อยที่สุด” ความเสี่ยงของการละเมิดสิทธิมนุษยชนขั้นพื้นฐาน ในขณะเดียวกันมาตรา 14(4)(d)กำหนดว่าผู้ให้บริการสามารถตัดสินใจไม่ใช้ระบบ AI ที่มีความเสี่ยงสูงหรือละเลยผลลัพธ์ของระบบได้ แม้ว่าบทบัญญัติเหล่านี้จะดูเหมือนให้การคุ้มครอง แต่ในทางปฏิบัติแล้วอาจมีผลกระทบจำกัดมีงานวิจัยจำนวนมากที่แสดงให้เห็นว่ามนุษย์ไม่มีความสามารถในการดูแลการทำงานของระบบที่ซับซ้อน รวมถึงปัญญาประดิษฐ์ (AI)นอกจากนี้มาตรา 14(4)ยังจำกัดขอบเขตของภาระผูกพันนี้โดยกำหนดให้ผู้ปฏิบัติงานได้รับมอบหมายหน้าที่ดูแลปัญญาประดิษฐ์ “ตามความเหมาะสมและสมส่วน” เท่านั้น

บทเรียนสำหรับสหภาพยุโรปเกี่ยวกับการแก้ไขกฎหมายปัญญาประดิษฐ์นั้น กล่วได้ว่าแทนที่จะถือว่าการประยุกต์ใช้AI ในระบบการศึกษามีความเสี่ยงสูงกฎหมาย AI ควรห้ามการใช้ AI บางประเภทข้อห้ามดังกล่าวในบริบทของการศึกษาควรขยายไปถึงการให้คะแนนข้อความ การกำหนดว่าใครควรมีสิทธิ์เข้าถึงโอกาสทางการศึกษา และการจัดสรรนักเรียนไปยังโรงเรียนต่างๆ กฎหมาย AI ควรถือว่ากระบวนการตัดสินใจอัตโนมัติทั้งหมดหรือบางส่วนโดยใช้ AI เป็นการท้าทายต่อการปกป้องสิทธิขั้นพื้นฐานเหมือนกัน สุดท้าย กฎหมาย AI ควรห้ามการใช้ปัญญาประดิษฐ์เป็นส่วนประกอบในการประเมินและตัดสินใจเกี่ยวกับบุคคลโดยไม่ได้รับความยินยอมจากบุคคลนั้นล่วงหน้า เพื่อให้สามารถให้ความยินยอมโดยแจ้งข้อมูลแก่ผู้ใช้ AI ได้ บุคคลควรมีความรู้ในระดับสูงเกี่ยวกับการทำงานของ AI พวกเขาควรทราบว่าคุณสมบัติทางเทคนิคของ AI สามารถก่อให้เกิดอันตรายต่อสังคมและการละเมิดสิทธิขั้นพื้นฐานได้อย่างไร ในที่สุด พวกเขาควรเข้าใจว่ามีความท้าทายใดบ้างในการกำกับดูแลการทำงานของ AI อย่างมีประสิทธิภาพ และการท้าทายการตัดสินใจตามอัลกอริทึม