د ورکیدو تدریجي ستونزه یوه ننګونه ده چې د ژورو عصبي شبکو په روزنه کې رامینځته کیږي ، په ځانګړي توګه د تدریجي پراساس اصلاح کولو الګوریتمونو په شرایطو کې. دا د تدریجي کمیدو مسلې ته اشاره کوي ځکه چې دوی د زده کړې پروسې په جریان کې د ژورې شبکې پرتونو له لارې شاته تبلیغ کوي. دا پدیده کولی شي د شبکې د همغږۍ مخه ونیسي او د پیچلو نمونو او نمایندګیو زده کولو وړتیا مخه ونیسي.
د ورکېدونکي تدریجي ستونزې د پوهیدو لپاره، راځئ چې لومړی د بیک پروپیګیشن الګوریتم په اړه بحث وکړو، کوم چې معمولا د ژورو عصبي شبکو روزلو لپاره کارول کیږي. د فارورډ پاس په جریان کې، د ان پټ ډاټا د شبکې له لارې تغذیه کیږي، او فعالیتونه په هر پرت کې په پرله پسې توګه محاسبه کیږي. بیا پایله لرونکی محصول د مطلوب محصول سره پرتله کیږي ، او یوه تېروتنه محاسبه کیږي. په ورپسې شاته پاس کې، تېروتنه د پرتونو له لارې بیرته خپریږي، او تدریجي د شبکې پیرامیټونو ته په پام سره د حساب د سلسلې اصول په کارولو سره محاسبه کیږي.
ګریډینټونه د هغه بدلونونو سمت او اندازې استازیتوب کوي چې د غلطۍ کمولو لپاره د شبکې پیرامیټونو ته اړتیا لري. دوی د اصلاح کولو الګوریتم په کارولو سره د پیرامیټونو تازه کولو لپاره کارول کیږي لکه سټوچیسټیک ګریډینټ نزول (SGD). په هرصورت، په ژورو شبکو کې، ګریډینټونه خورا کوچني کیدی شي ځکه چې دوی د وزن په واسطه ضرب کیږي او د بیرته پروپاګیشن پروسې په جریان کې په هر پرت کې د فعال کولو فعالیتونو څخه تیریږي.
د ورکیدو تدریجي ستونزه هغه وخت رامینځته کیږي کله چې تدریجي خورا کوچني شي ، صفر ته نږدې شي ، ځکه چې دوی د شبکې له لارې شاته تبلیغ کوي. دا پیښیږي ځکه چې ګریډینټونه د هرې طبقې په وزن سره ضرب کیږي، او که چیرې دا وزن له یو څخه کم وي، تدریجي د هرې طبقې سره په چټکۍ سره کمیږي. په پایله کې، د پیرامیټونو تازه کول بې ارزښته کیږي، او شبکه د معنی نمایشونو زده کولو کې پاتې راځي.
د دې ستونزې د روښانه کولو لپاره، د ډیری پرتونو سره ژور عصبي شبکه په پام کې ونیسئ. لکه څنګه چې ګریډینټونه شاته تبلیغ کوي، دوی ممکن دومره کوچني شي چې مخکې له دې چې مخکینیو پرتونو ته ورسیږي په مؤثره توګه ورک شي. د پایلې په توګه، پخوانۍ پرتونه د غلطۍ په اړه لږ معلومات ترلاسه کوي، او د دوی پیرامیټونه په لویه کچه بدل شوي ندي. دا د شبکې وړتیا محدودوي ترڅو په ډیټا کې پیچلي انحصار او درجه بندي ونیسي.
د ورکیدو تدریجي ستونزه په ځانګړي ډول په ژورو عصبي شبکو کې د تکراري اړیکو سره ستونزه ده ، لکه تکراري عصبي شبکې (RNNs) یا اوږدې لنډې مودې حافظې (LSTM) شبکې. دا شبکې د فیډبیک اړیکې لري چې د وخت په تیریدو سره د معلوماتو ذخیره کولو او تبلیغ کولو ته اجازه ورکوي. په هرصورت، له منځه تلونکي درجې کولی شي شبکې د اوږدې مودې پورې تړلو زده کړې سره مبارزه وکړي، ځکه چې درجه بندي د وخت په ګامونو کې په چټکۍ سره کمیږي.
د ورکیدو تدریجي ستونزې کمولو لپاره ډیری تخنیکونه رامینځته شوي. یوه طریقه د فعالولو دندو کارول دي چې د سنتریت سره مخ نه وي، لکه د اصالح شوي خطي واحد (ReLU). ReLU د مثبتو معلوماتو لپاره دوامداره تدریجي لري، کوم چې د ورکېدونکي تدریجي ستونزې په کمولو کې مرسته کوي. بل تخنیک د skip اتصالونو کارول دي ، لکه په پاتې شبکو (ResNets) کې ، کوم چې تدریجي ته اجازه ورکوي چې ځینې پرتونه پریږدي او د شبکې له لارې په اسانۍ سره جریان وکړي.
برسېره پردې، د تدریجي کلپنګ کارول کیدی شي د ګردینټ د ډیر لوی یا ډیر کوچني کیدو مخه ونیسي. پدې کې د حد ترتیب کول او د ګریډینټ بیا اندازه کول شامل دي که چیرې دوی له دې حد څخه تیریږي. د تدریجي اندازې محدودولو سره، د تدریجي کلپ کول کولی شي د ورکېدونکي تدریجي ستونزې په کمولو کې مرسته وکړي.
د ورکیدو تدریجي ستونزه یوه ننګونه ده چې د ژورو عصبي شبکو په روزنه کې رامینځته کیږي. دا واقع کیږي کله چې تدریجي په چټکۍ سره کم شي ځکه چې دوی د شبکې د پرتونو له لارې شاته تبلیغ کوي، چې د پیچلو نمونو او نمایندګیو په زده کولو کې د سست یووالي او ستونزو لامل کیږي. مختلف تخنیکونه، لکه د غیر مشبوع فعالولو فعالیتونو کارول، د اړیکو پریښودل، او د تدریجي کلیپینګ، د دې ستونزې د کمولو لپاره کارول کیدی شي.
په اړه نورې وروستۍ پوښتنې او ځوابونه ژور عصبي شبکې او اټکلونکي:
- ایا ژوره زده کړه د ژور عصبي شبکې (DNN) پراساس د ماډل تعریف او روزنې په توګه تشریح کیدی شي؟
- ایا د ګوګل د TensorFlow چوکاټ د ماشین زده کړې ماډلونو په پراختیا کې د خلاصون کچه لوړه کوي (د مثال په توګه د ترتیب سره د کوډ کولو ځای په ځای کول)؟
- ایا دا سمه ده چې که ډیټاسیټ لوی وي یو لږ ارزونې ته اړتیا لري ، پدې معنی چې د ارزونې لپاره کارول شوي ډیټاسیټ برخه د ډیټاسیټ اندازې زیاتوالي سره کم کیدی شي؟
- ایا یو څوک کولی شي په اسانۍ سره د ژور عصبي شبکې (DNN) پټ دلیل په توګه چمتو شوي سرې بدلولو سره په انفرادي پرتونو کې د پرتونو او نوډونو شمیر (زیاتولو او لرې کولو) کنټرول کړي؟
- څنګه وپیژندل شي چې دا ماډل ډیر مناسب دی؟
- عصبي شبکې او ژورې عصبي شبکې څه دي؟
- ولې ژورې عصبي شبکې ژورې بلل کیږي؟
- DNN ته د نورو نوډونو اضافه کولو ګټې او زیانونه څه دي؟
- د خطي ماډلونو په پرتله د ژورو عصبي شبکو کارولو ځینې نیمګړتیاوې څه دي؟
- کوم اضافي پیرامیټونه د DNN کټګورۍ کې تنظیم کیدی شي، او دوی څنګه د ژور عصبي شبکې په ښه کولو کې مرسته کوي؟
نورې پوښتنې او ځوابونه په ژور عصبي شبکو او اټکل کونکو کې وګورئ