प्रोटोटाइप से उत्पादन तक: डेवलपर्स एजेंटिक एआई को कैसे विश्वसनीय बना सकते हैं

जैसे-जैसे एआई सिस्टम जेनरेटिव मॉडल से स्वायत्त एजेंटों तक विकसित होते हैं, प्रयोग से उत्पादन की ओर बढ़ने से नई चुनौतियाँ आती हैं।

पर ‘एजेंटिक ऐप्स को उत्पादन के लिए तैयार करना: अवलोकन और मूल्यांकन में सबक‘, देवस्पार्क्स पुणे 2026 में एक टेक डीप-डाइव सत्र,अनन्या रॉयडेवलपर एडवोकेट, अमेज़ॅन वेब सर्विसेज में जनरल एआई ने पता लगाया कि एजेंटिक एप्लिकेशन अक्सर उत्पादन में विफल क्यों होते हैं, और इसे रोकने के लिए टीमों को क्या करना चाहिए।

सत्र मजबूत अवलोकन और निरंतर मूल्यांकन ढांचे के निर्माण पर केंद्रित था जो एजेंट के निर्णयों का पता लगाता है, व्यवहार की निगरानी करता है और बड़े पैमाने पर विश्वसनीयता सुनिश्चित करता है।

रॉय ने यह समझाते हुए शुरुआत की कि कैसे डेवलपर की ज़रूरतें जेनरेटिव एआई से एजेंटिक एआई में स्थानांतरित हो गई हैं, ऐसे सिस्टम के लिए उम्मीदें बढ़ रही हैं जो तर्क कर सकते हैं, योजना बना सकते हैं और स्वायत्त रूप से कार्य कर सकते हैं।

“बहुत पहले नहीं, हम सभी ने सुना था कि बड़े भाषा मॉडल (एलएलएम) हमसे बात कर सकते हैं। हमने संकेत और निर्देश प्रदान किए, और यह संक्षेपण या सही इरादे खोजने जैसे कार्यों को पूरा करके हमें जवाब देने में सक्षम था। फिर डेवलपर्स के रूप में हमें एहसास हुआ कि यह हमारे लिए काम नहीं करेगा। यह हमारे काम को दोगुना कर रहा है। हम ऐसे एजेंट चाहते थे – सिस्टम जो तर्क कर सकें, योजना बना सकें और हमारी ओर से कार्य कर सकें, “उसने कहा।

यहीं से बदलाव हुआ. “हमने जेनएआई से शुरुआत की और एजेंटिक एआई की ओर बढ़ गए – पूरी तरह से स्वायत्त प्रणाली जो हमारे जीवन को आसान बनाने में मदद कर सकती है। और इसके साथ, हमने निश्चित रूप से मानवीय निरीक्षण को कम कर दिया है।”

हालाँकि, एजेंटिक एआई की ओर कदम नई जटिलताएँ भी पेश करता है, खासकर जब अवधारणा के प्रमाण से उत्पादन की ओर संक्रमण हो रहा हो।

डेवलपर्स को यह समझना चाहिए कि एजेंट कैसे तर्क करते हैं, वे विशिष्ट कार्रवाइयां क्यों चुनते हैं, और वे कार्रवाइयां सैकड़ों से लेकर लाखों उपयोगकर्ताओं तक कैसे पहुंचती हैं। इसे प्रभावी ढंग से करने के लिए, उन्हें सुरक्षा, शासन, मापनीयता और पारदर्शिता से जुड़ी चुनौतियों का समाधान करना होगा।

रॉय ने कहा कि एजेंटिक सिस्टम भी नए जोखिम पेश करते हैं। उनकी गैर-नियतात्मक प्रकृति का मतलब है कि एक ही संकेत विभिन्न निर्णय पथों को ट्रिगर कर सकता है। यदि रेलिंग कमजोर है तो एजेंट व्यावसायिक नियमों की गलत व्याख्या कर सकते हैं, अपने अधिकार का उल्लंघन कर सकते हैं, या संवेदनशील डेटा को उजागर कर सकते हैं।

ये विफलताएं अक्सर मतिभ्रम और दोषपूर्ण तर्क से लेकर खराब प्रतिक्रिया गुणवत्ता, विलंबता और बढ़ती परिचालन लागत तक होती हैं। यहां तक ​​​​कि छोटे परिवर्तन, जैसे किसी उपकरण को संशोधित करना, मॉडल बदलना, या प्रॉम्प्ट को समायोजित करना, परिणामों को बदल सकता है।

रॉय के लिए, समाधान मजबूत अवलोकन और मूल्यांकन ढांचे के निर्माण में निहित है जो निर्णयों का पता लगाता है, बहाव का पता लगाता है और सुनिश्चित करता है कि एजेंट विश्वसनीय, पारदर्शी और उत्पादन के लिए तैयार रहें।

मूल्यांकन ढाँचे क्यों आवश्यक हैं?

रॉय ने कहा कि एजेंटिक सिस्टम तैनात करते समय अकेले अवलोकन पर्याप्त नहीं है। मुख्य प्रश्न यह है: संगठनों को इन प्रणालियों का निरीक्षण कैसे करना चाहिए, और वास्तव में उन्हें किस चीज़ की निगरानी करनी चाहिए?

एक बार जब एजेंट उत्पादन में तैनात हो जाते हैं, तो वे बड़ी मात्रा में लॉग उत्पन्न करते हैं। टीमों को यह समझने के लिए इन लॉग का विश्लेषण करना चाहिए कि क्या हुआ – एक एजेंट ने एक विशेष कार्रवाई क्यों की और क्या परिणाम सही था।

हालाँकि, सिस्टम स्वचालित रूप से अच्छे और बुरे परिणामों के बीच अंतर नहीं कर सकता है। मानवीय निरीक्षण आवश्यक रहता है। एजेंट के व्यवहार का मूल्यांकन करने और सुधारों का मार्गदर्शन करने के लिए मनुष्यों को जानबूझकर लूप में रखा जाता है।

यह संरचित मूल्यांकन को महत्वपूर्ण बनाता है। सिस्टम को स्थानीय परिवेश से उत्पादन की ओर ले जाने से पहले संगठनों को मतिभ्रम या गलत तर्क जैसे मुद्दों का पता लगाना चाहिए। उचित मूल्यांकन के बिना, ग्राहकों को गलत या हानिकारक प्रतिक्रियाएँ मिल सकती हैं, भले ही रेलिंग लगी हो।

एजेंट प्रणालियाँ भी परिवर्तन के प्रति अत्यधिक संवेदनशील होती हैं। एक छोटा सा त्वरित समायोजन, एक मॉडल अपडेट, या व्यवसाय नीति में बदलाव परिणामों में महत्वपूर्ण बदलाव ला सकता है।

रॉय ने इस बात पर जोर दिया कि मूल्यांकन एक बार का अभ्यास नहीं हो सकता। यह निरंतर होना चाहिए.

“आप एक एजेंट बनाने से शुरू करते हैं। आप सही मूल्यांकन पैरामीटर सेट करते हैं, सही लॉग की पहचान करते हैं जिन्हें आप कैप्चर करेंगे, और सही लॉग की पहचान करते हैं जिनका आपको मूल्यांकन करना है। और फिर अंत में, आप परीक्षण डेटासेट बनाते हैं और एजेंट उत्पादन में कैसे व्यवहार करता है इसकी निगरानी के लिए इस चक्र को फिर से चलाते हैं।”

इसके बाद रॉय ने विभिन्न उपयोग के मामलों का मूल्यांकन करने के लिए मल्टी-टेस्ट एजेंटों के उपयोग का प्रदर्शन किया, जिसमें यात्राओं की योजना बनाना, बजट की सिफारिश करना और मल्टी-टर्न वार्तालापों को संभालना शामिल है।

उन्होंने यह भी दिखाया कि कैसे अमेज़ॅन बेडरॉक एजेंटकोर प्लेटफ़ॉर्म मूल्यांकन मेट्रिक्स को कॉन्फ़िगर करता है और कई सत्रों में एजेंट के व्यवहार की निगरानी करता है। प्रदर्शन में निरंतर मूल्यांकन के महत्व और एजेंट के प्रदर्शन को बेहतर बनाने में मनुष्यों की भूमिका पर प्रकाश डाला गया।

उत्पादन में प्रदर्शन पर नज़र रखना

फिर सत्र उत्पादन चरण में स्थानांतरित हो गया। रॉय ने बताया कि एजेंटिक प्रणालियों के लिए उत्पादन की तैयारी काफी हद तक निगरानी और मूल्यांकन पर निर्भर करती है।

एक बार जब एक एजेंट बन जाता है और तैनात हो जाता है, तो टीमों को यह कॉन्फ़िगर करना होगा कि वास्तविक दुनिया के वातावरण में इसे कैसे देखा जाएगा।

प्रक्रिया तैनात एजेंट का चयन करने और एकाधिक मूल्यांकनकर्ताओं को परिभाषित करने से शुरू होती है। ये मूल्यांकनकर्ता विभिन्न परिदृश्यों और व्यवहार पैटर्न का परीक्षण करते हैं, ट्रेस लॉग उत्पन्न करने के लिए कई सत्रों में बार-बार परीक्षण मामले चलाते हैं।

रॉय ने कहा कि एक भी ट्रेस लॉग मुद्दों को उजागर कर सकता है, लेकिन आवर्ती पैटर्न टीमों को सिस्टम में आवश्यक परिवर्तनों की पहचान करने में मदद करते हैं।

उन्होंने एक मिश्रित मूल्यांकन दृष्टिकोण का सुझाव दिया। ऑफ़लाइन मूल्यांकन में विषय-वस्तु विशेषज्ञ (एसएमई) व्यवहार की समीक्षा करते हैं, जबकि ऑनलाइन मूल्यांकन एनालिटिक्स डैशबोर्ड पर निर्भर करते हैं जो वास्तविक समय में पैटर्न और प्रदर्शन को ट्रैक करते हैं।

निगरानी अंततः अनुकूलन लक्ष्य पर निर्भर करती है।

“आप इन परीक्षण मामलों को कई बार चलाते हैं, और अंत में, आपको एक एजेंट मिलता है जो अपने कार्यों के लिए जिम्मेदार और जवाबदेह हो सकता है। यह इस पर निर्भर करता है कि आप क्या निगरानी करते हैं, आप क्या निरीक्षण करते हैं। क्या आप अपने समग्र एप्लिकेशन या किसी विशेष घटना को अनुकूलित करने का प्रयास कर रहे हैं?” उसने पूछा.

यदि ध्यान स्वयं एजेंट पर है, तो टीमें व्यवहार संकेतकों का निरीक्षण करती हैं, कि क्या एजेंट सही उपकरण चुनता है, वह उनका कितना प्रभावी ढंग से उपयोग करता है, और वह मल्टी-टर्न वार्तालापों को कैसे संभालता है।

टीमें संदर्भ अधिभार, मेमोरी अंतराल, या गलत प्रासंगिक तर्क जैसे मुद्दों की भी जांच करती हैं।

एप्लिकेशन स्तर पर, निगरानी लागत, विलंबता और प्रतिक्रिया गुणवत्ता सहित व्यापक मेट्रिक्स पर केंद्रित होती है। सत्र-स्तरीय मेट्रिक्स समग्र प्रदर्शन का मूल्यांकन करते हैं, जबकि ट्रेस-स्तरीय मेट्रिक्स मतिभ्रम, सुसंगतता, वफादारी और उपकरण चयन जैसे विशिष्ट व्यवहारों का आकलन करते हैं।

एजेंटिक एआई में मनुष्य अभी भी क्यों मायने रखते हैं?

रॉय ने इस बात पर जोर दिया कि एजेंटिक एआई सिस्टम को तैनात करते समय लूप में मानव महत्वपूर्ण रहता है।

“कभी-कभी मनुष्य मौजूद होते हैं, अतिरेक से नहीं। वे अपनी पसंद से वहां मौजूद होते हैं, इसलिए उनका उपयोग करें। क्या गलत हुआ यह पता लगाने के लिए एक मिश्रित दृष्टिकोण का उपयोग करें। मूल्यांकन आपको यह जांचने के लिए सशक्त बनाता है कि क्या गलत हुआ। मनुष्य आपको बता सकते हैं कि वे कैसे गलत हुए और क्या ठीक करने की आवश्यकता है।”

विषय-वस्तु विशेषज्ञ सत्र सटीकता, उपकरण चयन और पैरामीटर प्रदर्शन सहित विभिन्न परतों में मूल्यांकन स्कोर की समीक्षा करते हैं।

इन मेट्रिक्स का गहराई से अध्ययन करने से टीमों को विफलताओं के पीछे के मूल कारणों की पहचान करने में मदद मिलती है। समान संकेतों और परीक्षण मामलों को दोबारा चलाने से संगठनों को यह पता लगाने की अनुमति मिलती है कि प्रदर्शन कब गिरता है या शुद्धता बदलती है।

रॉय ने उत्पादन के लिए एक संरचित पथ की रूपरेखा तैयार करके निष्कर्ष निकाला: एजेंट का निर्माण करें, उसे तैनात करें, हर गतिविधि को लॉग करें और प्रदर्शन की लगातार निगरानी करें।

टीमों को स्पष्ट पास-असफल मानदंड परिभाषित करना चाहिए, कई सत्रों और किनारे के मामलों में परीक्षण करना चाहिए, और स्वचालित मेट्रिक्स और मानव समीक्षाओं दोनों से अंतर्दृष्टि लागू करनी चाहिए। लॉग, संरचित मूल्यांकन ढांचे और विशेषज्ञ निरीक्षण के संयोजन से, संगठन एजेंटों को परिष्कृत कर सकते हैं और सुनिश्चित कर सकते हैं कि वे लगातार सही कार्रवाई करें।