प्लगइन के लिए कौशल को मान्य करना

अनुमानित समय: 8 मिनट

सीखने के उद्देश्य

इस पाठ के अंत तक आप सक्षम होंगे:

• समझाएं कि eval क्या है और आप कोई कौशल साझा करने या उस पर निर्भर करने से पहले यह क्यों महत्वपूर्ण है
• skill-creator के माध्यम से एक हल्का eval चलाएं

यह क्यों महत्वपूर्ण है

जब आप कोई कौशल बनाते हैं या उन्हें प्लगइन में बंडल करते हैं, तो आप अनिवार्य रूप से एक छोटा उत्पाद बना रहे हैं जिसे अन्य लोग उपयोग करेंगे। और किसी भी चीज़ की तरह जो आप किसी सहकर्मी को देंगे — एक टेम्पलेट, एक स्प्रेडशीट मॉडल, एक चेकलिस्ट — इसे आपकी डेस्क से बाहर जाने से पहले एक परीक्षण चलाने लायक है।

जब आप अपने द्वारा बनाया गया कौशल उपयोग करते हैं, तो आप जानते हैं कि किसी भी समस्या या विफलता के आसपास कैसे काम करना है। आप बिल्कुल जानते हैं कि इससे क्या पूछना है, इसे कौन सी फाइलें देनी हैं, और उत्तर कैसा दिखना चाहिए। एक टीम के सदस्य के पास इनमें से कोई भी नहीं है। वे अनुरोध को थोड़ा अलग तरीके से तैयार कर सकते हैं, थोड़ा अलग इनपुट दे सकते हैं, या एक edge case — एक असामान्य-लेकिन-वास्तविक स्थिति, जैसे एक अनुरोध जो कौशल के लिए डिज़ाइन किए गए से थोड़ा बाहर है। यह वह जगह है जहां कौशल ठोकर खाते हैं, और जो व्यक्ति इसका उपयोग कर रहा है वह नहीं जानेगा कि क्यों।

evals — evaluations के लिए संक्षिप्त — के साथ कौशल का परीक्षण करना यह है कि आप किसी और को ऐसा करने से पहले उन ठोकरों को कैसे पकड़ते हैं। शब्द से डरने न दें। एक eval सिर्फ एक परीक्षण है: एक यथार्थवादी अनुरोध अंदर जाता है, आप देखते हैं कि क्या बाहर आता है, और आप Claude को बताते हैं कि क्या ठीक करना है। कोई कोड नहीं, कोई परीक्षण स्क्रिप्ट नहीं — बस आपका निर्णय कि क्या परिणाम आपका नाम लगाने के लिए काफी अच्छा है।

eval सिस्टम कैसे काम करता है

जब आप skill-creator के साथ कौशल बनाते हैं — Claude का कौशल बनाने के लिए built-in सहायक — यह प्रक्रिया के भाग के रूप में आपको evals के माध्यम से चलाता है। यह वास्तव में कैसा दिखता है।

Skill-creator दो या अधिक यथार्थवादी prompts के साथ आता है जो कोई आपके कौशल के साथ उपयोग कर सकता है। प्रत्येक prompt के लिए, यह आउटपुट की एक जोड़ी तैयार करता है:

• एक जहां Claude आपके कौशल का उपयोग करता है
• एक जहां Claude एक ही prompt का उत्तर देता है बिना आपके कौशल के

वह दूसरा तुलना बिंदु है। यह वहां है ताकि आप देख सकें, side by side, आपका कौशल वास्तव में क्या अंतर बना रहा है — सिर्फ "क्या यह आउटपुट ठीक है," नहीं बल्कि "क्या यह आउटपुट Claude द्वारा अपने आप किए गए से बेहतर है।"

प्रत्येक जोड़ी की समीक्षा करें और समीक्षा पृष्ठ पर सीधे सादे अंग्रेजी में प्रतिक्रिया दें। जब आप प्रत्येक जोड़ी को पढ़ते हैं, तो आप वास्तव में सिर्फ दो प्रश्नों का उत्तर दे रहे हैं:

• क्या कौशल संस्करण वह है जिसका मैं उपयोग करूंगा? यदि हां, तो बहुत अच्छा — नोट करें कि क्या इसे बेहतर बनाया गया ताकि कौशल ऐसा करता रहे।
• यदि नहीं, तो क्या गायब है या गलत है? विशिष्ट रहें। "टोन बहुत औपचारिक है" या "इसने कार्यकारी सारांश को छोड़ दिया" Claude को कार्य करने के लिए कुछ देता है; "यह बिल्कुल सही नहीं है" नहीं।

एक बार जब आप अपनी प्रतिक्रिया जमा करते हैं, तो Claude आपने जो कहा है उसके आधार पर कौशल को संशोधित करता है।

कौशल पर पुनरावृत्ति करें

आपकी प्रतिक्रिया ही सुधार है। एक बार जब आप इसे जमा करते हैं, तो Claude कौशल को अपडेट करता है — निर्देशों को फिर से लिखता है, उदाहरणों को समायोजित करता है, यह कसता है कि यह क्या पूछता है — और आप यह देखने के लिए एक ही prompts को फिर से चला सकते हैं कि क्या परिवर्तन चिपक गया।

एक बार में एक चीज़ बदलें। यदि पहले दौर में दिखाया गया कि कौशल बहुत शब्दबहुल और एक अनुभाग गायब था, तो वह चुनें जो अधिक महत्वपूर्ण है, इसे ठीक करें, फिर से चलाएं, फिर एक और समीक्षा के लिए वापस आएं। आप बता सकेंगे कि वास्तव में क्या सुई को हिलाया। यदि संशोधन के बाद आप अभी भी आउटपुट से खुश नहीं हैं, तो इसे फिर से चलाएं — यह एक gate नहीं, एक loop है। अधिकांश कौशल एक या दो दौर के बाद तैयार होते हैं। कौशल को शिप करने के लिए bar — अपने आप को, एक टीम के सदस्य को — perfect evals नहीं है। यह है कि आप जिन cases की परवाह करते हैं वे baseline से meaningfully बेहतर pass करते हैं, और आपने उन cases को नाम दिया है जिन्हें आप अभी तक handle नहीं करते हैं।

और यदि आउटपुट पहले ही पहले pass पर बहुत अच्छे दिख रहे हैं? आप हो गए। Evals एक hoop नहीं हैं जिससे आपको कूदना है — वे वहां हैं जब आपको आत्मविश्वास की जरूरत है, ceremony की नहीं।

अभी कोशिश करें

नीचे एक mock eval समीक्षा के माध्यम से step करें — तीन prompts, प्रत्येक with-skill और without-skill आउटपुट side by side के साथ।

एक eval पढ़ें

एक eval सिर्फ दो आउटपुट side by side हैं, कुछ नियमों के साथ कि "अच्छा" क्या दिखता है। आपका काम यह चुनना है कि आप वास्तव में कौन सा भेजेंगे — और Claude को बताएं कि क्या बदलना है।

1 of 3

विशिष्ट case

एक नियमित टीम sync को recap करें

Prompt

आज के product sync के लिए recap लिखें। नोट्स notes/2026-05-01-product-sync. md में हैं।

With skill ✓✓✓✓ 4/4

Product sync — recap

निर्णय

• सोमवार से शुरू करके नए sign-ups के 10% को नया onboarding flow ship करें।
• Launch के बाद तक in-app tour redesign को pause करें।

Action items

• Maya — Fri May 9 तक rollout plan को finalize करें।
• Devon — Wed May 7 तक नए flow के लिए activation rate को instrument करें।
• Priya — Mon May 12 तक announcement post को draft करें।

खुले प्रश्न

• क्या हमें 10% से पहले नई copy पर legal sign-off की जरूरत है?

House rules

• ✓ निर्णयों के साथ शुरू होता है
• ✓ हर action item के पास एक owner और एक date है
• ✓ खुले प्रश्न called out हैं
• ✓ 150 शब्दों के तहत

Without skill ×××✓ 1/4

Product sync recap

टीम के पास आज सुबह नए onboarding flow के बारे में एक productive discussion था। नवीनतम mockups की समीक्षा करने के बाद, समूह ने अगले सोमवार से शुरू करके 10% rollout के साथ आगे बढ़ने का निर्णय लिया। In-app tour redesign सामने आया लेकिन consensus यह था कि launch के बाद इसे फिर से देखा जाए।

Maya ने rollout plan को finalize करने की पेशकश की और Devon ने उल्लेख किया कि वह instrumentation को देखेंगे। Priya announcement के लिए कुछ draft करने वाली है। यह भी कुछ back and forth था कि क्या legal को नई copy पर weigh in करने की जरूरत है — टीम को इस पर कोई निष्कर्ष नहीं मिला।

Overall एक productive meeting with clear next steps।

House rules

• × निर्णयों के साथ शुरू होता है
• × हर action item के पास एक owner और एक date है
• × खुले प्रश्न called out हैं
• ✓ 150 शब्दों के तहत

कौन सा आप भेजेंगे?

मैं यह भेजूंगा मैं यह भेजूंगा

एक चीज़ जो आप Claude को बदलने के लिए कहेंगे

Messy input

rough, partly pasted-in नोट्स से एक stand-up को recap करें

Prompt

Marketing stand-up को recap करें — नोट्स काफी rough हैं, आधा सिर्फ pasted Slack messages हैं।

With skill ✓✓✓× 3/4

Marketing stand-up — recap

निर्णय

• Webinar को May 14 से May 21 तक move करें ताकि customer-conference overlap से बचा जा सके।

Action items

• Jordan — registration page को update करें और Mon May 5 तक invites को re-send करें।
• _(owner unclear — Priya के साथ confirm करें? )_ — Wed May 7 तक नई date के चारों ओर email cadence को rework करें।

खुले प्रश्न

• क्या हमें partners को notify करने की जरूरत है जिन्होंने original date को promote किया?
• Rescheduled day-of logistics के लिए कौन point पर है?

House rules

• ✓ निर्णयों के साथ शुरू होता है
• ✓ हर action item के पास एक owner और एक date है (या flagged)
• ✓ खुले प्रश्न called out हैं
• × 150 शब्दों के तहत (164)

Without skill ✓××✓ 2/4

Marketing stand-up

टीम ने webinar को May 14 से May 21 तक push करने के लिए सहमति दी क्योंकि customer conference उसी सप्ताह है। Jordan landing page को update करेंगे और invites को re-send करेंगे।

Priya नई date के चारों ओर email cadence को rework करेंगे। टीम ने यह भी चर्चा की कि partners को कैसे handle करना है जिन्होंने पहले से ही original date को promote किया है और नई date के लिए day-of logistics।

Good progress — सभी move पर aligned हैं।

House rules

• ✓ निर्णयों के साथ शुरू होता है
• × हर action item के पास एक owner और एक date है (एक owner को invent किया)
• × खुले प्रश्न called out हैं (prose में buried)
• ✓ 150 शब्दों के तहत

कौन सा आप भेजेंगे?

मैं यह भेजूंगा मैं यह भेजूंगा

एक चीज़ जो आप Claude को बदलने के लिए कहेंगे

Style vs. substance

Exec के लिए recap जो सिर्फ पहली तीन lines पढ़ता है

Prompt

Exec check-in के लिए recap — इसे brief रखें, वे सिर्फ पहली तीन lines पढ़ते हैं।

With skill ✓✓✓× 3/4

Exec check-in — recap

निर्णय

• Launch को May 28 से June 12 तक move करें ताकि QA delay को absorb किया जा सके।
• नई date lock होने तक customer-comms plan को hold करें।

Action items

• Sam — Mon May 5 तक revised launch plan को circulate करें।

खुले प्रश्न

• क्या नई date Q2 number को प्रभावित करती है जिसके लिए हमने commit किया?

House rules

• ✓ निर्णयों के साथ शुरू होता है
• ✓ हर action item के पास एक owner और एक date है
• ✓ खुले प्रश्न called out हैं
• × Headline पहली तीन lines में (date line 5 को push किया)

Without skill ✓✓×✓ 3/4

Exec check-in

Launch June 12 को move किया — QA को नए auth flow के लिए दो और सप्ताह की जरूरत है, और May 28 पर shipping हमें एक partial release के साथ land करेगी।

Customer comms hold पर हैं जब तक date lock न हो जाए। Sam Monday May 5 तक revised plan को circulate करेंगे।

_Open: क्या नई date Q2 commit को प्रभावित करती है? _ — finance को confirm करने के लिए flagged।

House rules

• ✓ निर्णयों के साथ शुरू होता है
• ✓ हर action item के पास एक owner और एक date है
• × खुले प्रश्न called out हैं (prose में buried)
• ✓ Headline पहली तीन lines में

कौन सा आप भेजेंगे?

मैं यह भेजूंगा मैं यह भेजूंगा

एक चीज़ जो आप Claude को बदलने के लिए कहेंगे

यह एक पूरा eval round है। जब यह आपका कौशल है, तो Claude आपकी picks और प्रतिक्रिया लेता है और इसे आपके लिए संशोधित करता है।

प्रत्येक जोड़ी के लिए: वह संस्करण चुनें जिसे आप वास्तव में भेजेंगे, और एक line की प्रतिक्रिया लिखें जो आप Claude को देंगे। यह पूरा loop है।

अगला क्या है

अगले पाठ में, आप "यह मेरे लिए काम करता है" से "यह टीम के लिए काम करता है" तक जाएंगे — वे patterns और choices जो personal workflows को shared infrastructure में बदलते हैं।

प्रतिक्रिया

जैसे ही आप course के माध्यम से आगे बढ़ते हैं, हम सुनना पसंद करेंगे कि आप इसमें से concepts को अपने काम में कैसे उपयोग कर रहे हैं, साथ ही कोई भी प्रतिक्रिया जो आपके पास हो सकती है। अपनी प्रतिक्रिया यहां साझा करें।

स्वीकृतियां और लाइसेंस

_Copyright 2026 Anthropic. सर्वाधिकार सुरक्षित।_