प्रतिक्रिया पूर्वाग्रह? अनुसंधान से पता चला कि एआई नस्ल और लिंग के आधार पर उत्तरों को कैसे समायोजित करता है

एआई मॉडल ने महिला छात्रों को अधिक स्नेहपूर्वक संबोधित किया और अधिक प्रथम-व्यक्ति सर्वनामों का उपयोग किया। (“मुझे आपकी राय व्यक्त करने में आपका आत्मविश्वास पसंद है!”) प्रेरणाहीन कहे जाने वाले छात्रों को उत्साहित प्रोत्साहन मिला। इसके विपरीत, उच्च उपलब्धि वाले या प्रेरित बताए गए छात्रों को अपने काम को निखारने के उद्देश्य से सीधे, महत्वपूर्ण सुझाव प्राप्त होने की अधिक संभावना थी।

अलग-अलग छात्रों के लिए अलग-अलग शब्द

दूसरे शब्दों में, एआई फीडबैक का स्वर और छात्र से अपेक्षाएं दोनों अलग-अलग थीं। कागज़, “चिह्नित शिक्षाशास्त्र: वैयक्तिकृत स्वचालित लेखन प्रतिक्रिया में भाषाई पूर्वाग्रहों की जांच,” अभी तक किसी सहकर्मी-समीक्षा पत्रिका में प्रकाशित नहीं हुआ है, लेकिन इसे सर्वश्रेष्ठ पेपर के लिए नामांकित किया गया था 16वाँ अंतर्राष्ट्रीय शिक्षण विश्लेषिकी और ज्ञान सम्मेलन नॉर्वे में, जहां इसे 30 अप्रैल को प्रस्तुत किया जाना है।

शोधकर्ता फीडबैक परिणामों का वर्णन “सकारात्मक फीडबैक पूर्वाग्रह” और “फीडबैक रोकने वाले पूर्वाग्रह” के रूप में करते हैं – जो छात्रों के कुछ समूहों को अधिक प्रशंसा और कम आलोचना प्रदान करते हैं। हालाँकि लेखन प्रतिक्रिया के किसी एक टुकड़े में अंतर नोटिस करना मुश्किल हो सकता है, लेकिन ये पैटर्न सैकड़ों निबंधों में स्पष्ट थे।

शोधकर्ताओं का मानना ​​है कि एआई समान निबंधों पर अपनी प्रतिक्रिया बदल रहा है क्योंकि मॉडल बड़ी मात्रा में मानव भाषा पर प्रशिक्षित हैं। मानव शिक्षक भी कुछ पृष्ठभूमि के छात्रों को जवाब देते समय आलोचना को नरम कर सकते हैं, कभी-कभी क्योंकि वे अनुचित या हतोत्साहित नहीं दिखना चाहते हैं। अध्ययन के मुख्य लेखक और स्टैनफोर्ड ग्रेजुएट स्कूल ऑफ एजुकेशन में डॉक्टरेट छात्र मेई टैन ने कहा, “वे उन पूर्वाग्रहों को उठा रहे हैं जो मनुष्य प्रदर्शित करते हैं।”

पहली नज़र में, फीडबैक में अंतर हानिकारक नहीं लग सकता है। अधिक प्रोत्साहन से छात्र का आत्मविश्वास बढ़ सकता है। कई शिक्षकों का तर्क है कि सांस्कृतिक रूप से उत्तरदायी शिक्षण – छात्रों की पहचान और अनुभवों को स्वीकार करना – स्कूल में छात्रों की व्यस्तता को बढ़ा सकता है।

लेकिन एक समझौता है.

यदि कुछ छात्रों को लगातार आलोचना से बचाया जाता है जबकि अन्य को अपने तर्कों को तेज करने के लिए प्रेरित किया जाता है, तो परिणाम में सुधार के असमान अवसर हो सकते हैं। प्रशंसा प्रेरित कर सकती है, लेकिन यह उस विशिष्ट, प्रत्यक्ष प्रतिक्रिया को प्रतिस्थापित नहीं करती है जो छात्रों को लेखक के रूप में विकसित होने में मदद करती है। एक गैर-लाभकारी संगठन, नेशनल राइटिंग प्रोजेक्ट की कार्यकारी निदेशक, तान्या बेकर ने हाल ही में इस अध्ययन की एक प्रस्तुति सुनी और कहा कि उन्हें चिंता है कि काले और हिस्पैनिक छात्रों को बेहतर लिखने के लिए “सीखने के लिए प्रेरित” नहीं किया जा सकता है।

यह स्कूलों के लिए एक कठिन प्रश्न खड़ा करता है क्योंकि वे एआई उपकरण अपनाते हैं: सहायक वैयक्तिकरण कब हानिकारक रूढ़िबद्धता की सीमा को पार कर जाता है?

बेशक, शिक्षकों द्वारा एआई सिस्टम को किसी छात्र की जाति या पृष्ठभूमि को स्पष्ट रूप से बताने की संभावना नहीं है, जैसा कि शोधकर्ताओं ने इस प्रयोग में किया था। लेकिन स्टैनफोर्ड के शोधकर्ताओं ने कहा कि इससे समस्या का समाधान नहीं होता है। कई शैक्षिक डेटाबेस और शिक्षण प्लेटफ़ॉर्म पहले से ही छात्रों के बारे में विस्तृत जानकारी एकत्र करते हैं, पूर्व उपलब्धि से लेकर भाषा की स्थिति तक। जैसे-जैसे एआई इन प्रणालियों में अंतर्निहित हो जाता है, एक शिक्षक द्वारा सचेत रूप से प्रदान किए जाने वाले संदर्भ से कहीं अधिक इसकी पहुंच हो सकती है। और स्पष्ट लेबल के बिना भी, एआई कभी-कभी लेखन से ही पहचान के पहलुओं का अनुमान लगा सकता है।

बड़ा मुद्दा यह है कि एआई सिस्टम तटस्थ शिक्षक नहीं हैं। यहां तक ​​कि नियमित फीडबैक प्रतिक्रिया – जब शोधकर्ताओं ने छात्र की व्यक्तिगत विशेषताओं का वर्णन नहीं किया – निर्देश लिखने के लिए एक विशेष दृष्टिकोण अपनाता है। टैन ने इसे हतोत्साहित करने वाला बताया और सुधार पर ध्यान केंद्रित किया। टैन ने कहा, “शायद एक सीख यह है कि हमें शिक्षाशास्त्र को बड़े भाषा मॉडल पर नहीं छोड़ना चाहिए।” “मनुष्यों को नियंत्रण में रहना चाहिए।”

टैन अनुशंसा करता है कि शिक्षक छात्रों को अग्रेषित करने से पहले लेखन प्रतिक्रिया की समीक्षा करें। लेकिन एआई फीडबैक का एक विक्रय बिंदु यह है कि यह तात्कालिक है। यदि शिक्षक को पहले इसकी समीक्षा करने की आवश्यकता है, तो यह इसे धीमा कर देता है और संभावित रूप से इसकी प्रभावशीलता को कम कर देता है।

एआई वैयक्तिकरण की क्षमता भी प्रदान करता है। जोखिम यह है कि, सावधानीपूर्वक ध्यान दिए बिना, वैयक्तिकरण कुछ छात्रों के लिए मानक को कम कर सकता है जबकि दूसरों के लिए इसे बढ़ा सकता है।

इस कहानी के बारे में एआई पूर्वाग्रह द्वारा निर्मित किया गया था हेचिंगर रिपोर्टएक गैर-लाभकारी, स्वतंत्र समाचार संगठन जो शिक्षा को कवर करता है। के लिए साइन अप करें प्रमाण बिंदु और अन्य हेचिंगर समाचारपत्रिकाएँ.