एक तकनीकी गहन जानकारी के रूप में डिज़ाइन किए गए, मास्टरक्लास ने प्रतिभागियों को NVIDIA DGX स्पार्क, NVIDIA के ब्लैकवेल आर्किटेक्चर पर निर्मित डेस्कटॉप-क्लास AI कंप्यूट सिस्टम से परिचित कराया, और उन्हें एक वीडियो खोज और सारांश (वीएसएस) एजेंट के निर्माण के बारे में बताया, एक ब्लूप्रिंट एप्लिकेशन जो कच्चे वीडियो को दृष्टि भाषा मॉडल का उपयोग करके खोजने योग्य, बुद्धिमान अंतर्दृष्टि में बदल देता है, सभी मजबूत डेटा गोपनीयता नियंत्रण के साथ स्थानीय रूप से चल रहे हैं।
स्थानीय AI परिनियोजन अब क्यों मायने रखता है?
मास्टरक्लास का शुरुआती बिंदु एक ऐसी समस्या थी जिससे कई टीमें चुपचाप जूझ रही हैं। क्लाउड-आधारित एआई परिनियोजन बड़े पैमाने पर अच्छा काम करता है, लेकिन उपयोग के मामलों की एक बढ़ती हुई श्रेणी है जहां डेटा संगठन के पारिस्थितिकी तंत्र को छोड़ ही नहीं सकता है। हेल्थकेयर, कानूनी और औद्योगिक अनुप्रयोग सबसे स्पष्ट उदाहरणों में से हैं, जहां गोपनीयता, अनुपालन और विलंबता आवश्यकताएं एयर-गैप्ड तैनाती को न केवल बेहतर बल्कि आवश्यक बनाती हैं।
जैसा कि कुरुबा ने समझाया, “डेटा सुरक्षा और गोपनीयता इसके प्रमुख कारणों में से एक है। आपको ऐसे सिस्टम की आवश्यकता है जो कॉम्पैक्ट, स्थानीय और बड़े सिस्टम के समान स्तर पर मॉडल चलाने में सक्षम हो,” एक अंतर की ओर इशारा करते हुए जिसे मौजूदा स्थानीय हार्डवेयर अब तक बंद करने में सक्षम नहीं है। NVIDIA DGX स्पार्क उस अंतर के लिए NVIDIA का उत्तर है, GB10 GPU, 20-कोर ARM प्रोसेसर और CPU और GPU के बीच 128 GB की साझा मेमोरी वाला एकल-इकाई सिस्टम, जो मानक PCIe इंटरफ़ेस की पांच गुना गति पर NVLink के माध्यम से जुड़ा हुआ है।
एक प्लेटफ़ॉर्म, न कि केवल एक GPU
सत्र का मुख्य फोकस एनवीआईडीआईए के बारे में उपस्थित लोगों की धारणाओं को बदलना था। जबकि हार्डवेयर प्रवेश बिंदु है, टिकाऊ मूल्य सॉफ्टवेयर स्टैक में निहित है जो इसके शीर्ष पर बैठता है। कर्नेल स्तर पर CUDA ड्राइवर और NVIDIA कंटेनर टूलकिट से लेकर TensorRT-LLM, NCCL और इसके ऊपर वर्टिकल-विशिष्ट SDK की एक श्रृंखला तक, प्लेटफ़ॉर्म को उस घर्षण को दूर करने के लिए डिज़ाइन किया गया है जिसने ऐतिहासिक रूप से GPU-आधारित विकास को कठिन बना दिया है।
कंटेनर टूलकिट को उन डेवलपर्स के लिए विशेष रूप से प्रासंगिक बताया गया, जिन्होंने लाइब्रेरी संगतता मुद्दों, जीपीयू वर्कलोड में एक आम और समय लेने वाली समस्या से निपटा है। संपूर्ण स्टैक को कंटेनरीकृत करके, NVIDIA यह सुनिश्चित करता है कि पर्यावरण सुसंगत है और पहले दिन से ही निर्माण के लिए तैयार है।
जैसा कि कुरुबा ने कहा, “एनवीआईडीआईए का कोई भी आर्किटेक्चर या फ्रेमवर्क अपने मॉडल को प्रशिक्षित करने के लिए आपसे डेटा नहीं लेता है,” एक चिंता को संबोधित करते हुए जो अक्सर तब सामने आती है जब उद्यम तीसरे पक्ष के एआई बुनियादी ढांचे का मूल्यांकन करते हैं। सॉफ़्टवेयर एक प्लेटफ़ॉर्म है, न कि विक्रेता के पास वापस जाने वाली डेटा पाइपलाइन।
FP4, परिमाणीकरण, और ब्लैकवेल क्या बदलता है
मास्टरक्लास के अधिक तकनीकी रूप से विस्तृत अनुभागों में से एक में परिमाणीकरण और ब्लैकवेल आर्किटेक्चर विशेष रूप से क्या सक्षम बनाता है, को शामिल किया गया है। FP16 में 8 बिलियन पैरामीटर मॉडल को तैनात करने के लिए 16 जीबी मेमोरी की आवश्यकता होती है। इसे FP8 पर परिमाणित करने से यह घटकर 8 GB हो जाता है। ब्लैकवेल के टेंसर कोर एक कदम आगे बढ़ते हैं, एफपी4 स्तर पर गुणन करते हैं और एफपी8 पर परिणाम जमा करते हैं, अधिकांश उपयोग के मामलों के लिए स्वीकार्य सटीकता बनाए रखते हुए मेमोरी फ़ुटप्रिंट को और कम करते हैं।
सत्र में प्रशिक्षण के बाद के परिमाणीकरण, जहां स्केल मापदंडों को एक आयोजित परीक्षण डेटासेट का उपयोग करके परिभाषित किया जाता है, और परिमाणीकरण-जागरूक प्रशिक्षण, जहां मॉडल फाइन-ट्यूनिंग के दौरान उन मापदंडों को सीखता है, दोनों को कवर किया गया। टीमों के लिए व्यावहारिक निहितार्थ यह है कि अनस्लोथ जैसी परियोजनाओं के माध्यम से पूर्व-मात्राबद्ध मॉडल, कस्टम ट्यूनिंग के बिना तेजी से उपलब्ध और तैनात किए जा सकते हैं।
व्यवहार में वीएसएस एजेंट
सत्र का लागू केंद्रबिंदु VSS एजेंट था, जो NVIDIA के ओपन-सोर्स ब्लूप्रिंट में से एक था। एजेंट लाइव वीडियो स्ट्रीम और कंप्यूटर विज़न पाइपलाइनों से इनपुट लेता है, इसे चंकिंग, सैंपलिंग और प्रीप्रोसेसिंग के लिए डीपस्ट्रीम के माध्यम से संसाधित करता है, और आउटपुट को कॉसमॉस विज़न भाषा मॉडल में भेजता है जो सारांश, अलर्ट और सुरक्षा उल्लंघन रिपोर्ट उत्पन्न करता है।
सब कुछ कंटेनरों में चलता है और एकल डॉकर कंपोज़ कमांड के माध्यम से तैनात किया जा सकता है। मास्टरक्लास के दौरान साझा किए गए एक ग्राहक उदाहरण में कार्यस्थल पर वास्तविक समय सुरक्षा अनुपालन की जांच करना शामिल था, यह सत्यापित करना कि क्या कर्मचारी आवश्यक सुरक्षा उपकरणों का उपयोग कर रहे थे, जैसा कि लाइव कैमरा फ़ीड से पता चला था। एक मेडिकल एआई उपयोग के मामले का भी प्रदर्शन किया गया, जहां डॉक्टर-रोगी की बातचीत को एएसआर मॉडल के माध्यम से लिखा जाता है और फिर निमो ट्रॉन मेडिकल रीजनिंग मॉडल द्वारा संरचित नैदानिक नोट्स में संक्षेपित किया जाता है।
NVIDIA DGX स्पार्क को H100 या मल्टी-नोड GPU क्लस्टर को बदलने के लिए डिज़ाइन नहीं किया गया है। इसे उन टीमों के लिए डिज़ाइन किया गया है, जिन्हें क्लाउड निर्भरता और परिसर छोड़ने वाले डेटा से मुक्त होकर 10 बिलियन मापदंडों के तहत मॉडल चलाने के लिए एक समर्पित स्थानीय प्रणाली की आवश्यकता होती है। आवश्यकताओं के उस विशिष्ट सेट के लिए, मास्टरक्लास ने स्पष्ट किया, यह गंभीर विचार के लायक एक सक्षम और व्यावहारिक विकल्प है।
Discover more from News Link360
Subscribe to get the latest posts sent to your email.
