به هر حال اگر راستنمایی مزدوج نباشد، یا اگر مجموعه داده ­ها بزرگ و از بعد بالا برخوردار باشند، ممکن است محاسبه دشوار و پرهزینه­تری را در مقایسه با داشته باشد. در اینگونه موارد، نمونه­گیر گیبز باید ماتریس مشخصه را بر مبنای توزیع پسین آن یعنی ، نیز نمونه گیری کند.

۳-۱۲-۲- ساختار چسباندن-شکست­ها^[۶۳۸]
ساختار رستوران مستقیماً به نمونه گیری گیبز منجر می­ شود، اما به آسانی نمی­ توان آن را برای استنباط تغییر به کار گرفت. در این رساله برای رویکرد تغییر، ساختار آلترناتیو دیگر از فرایند IBP، یعنی ساختار چسباندن-شکست­ها (ته و همکاران^[۶۳۹]، ۲۰۰۷) را مد نظر قرار می­دهیم. ساختار چسباندن شکست­ها، مشخصه­ها را بر اساس محبوبیتشان رتبه ­بندی می­ کند. برای تولید یک ماتریس با بهره گرفتن از ساختار چسباندن-شکست، با اختصاص یک احتمال به هر ستون مشخصه شروع و هر را به عنوان یک متغیر تصادفی برنولی مستقل با پارامتر ، ، نمونه گیری می­کنیم. چون هر مشتری یک خوراک را مستقل از سایر مشتریان نمونه گیری می­ کند، این نمایش روشن می­سازد که رتبه ­بندی مشتریان اثری بر توزیع نخواهد داشت.

اما احتمالات مشخصه­ها ، به طور مستقل نمونه گیری نمی­شوند. در مقابل، نخست یک دنباله از متغیرهای تصادفی مستقل که هر کدام توزیع بتا دارند را ترسیم می­کنیم. برای دنباله مفروض ، احتمال برای یک مشخصه به صورت زیر محاسبه می­ شود
که یک دنباله نزولی از احتمالات را تولید می­ کند، . مقدار مورد انتظار برابر است. به خصوص اینکه، با مفروض بودن یک مجموعه متناهی از داده ­ها، برای مقادیر بزرگ ، احتمال آنکه هر کدام از مشاهده، مشمول آن مشخصه باشد به طور نمایی کاهش می­یابد. مقادیر بزرگ­تر به معنای آن است که انتظار داریم مشخصه­های بیشتری در داده ­ها مشاهده نماییم؛ به عبارت دیگر، برای مقادیر بزرگ ، آهسته­تر نزول می­ کند. بنابراین، مقادیر بزرگ­تر به معنای آن است که مشخصه­های بیشتری در داده ­ها حضور خواهند داشت.

۳-۱۲-۲-۱- استنباط تغییر برای فرایند IBP
اگر چه فرایند IBP مدلی جذاب به نظر می­رسد اما ماهیت ترکیبی^[۶۴۰] آن، استنباط را تا اندازه­ای با دشواری همراه ساخته است. در حقیقت وجود متغیرهای نهفته موجب وابستگی میان کلیه متغیرهای مشاهده نشده مدل شده است. حتی اگر خود را به مشخصه و شیء محدود نماییم، انتظار می­رود که به تعداد اختصاص برای مشخصه­ها (مالکیت) وجود داشته باشد. در این فضای ترکیبی، روش­های استنباط برای IBP که بر مبنای نمونه گیری^[۶۴۱] قرار دارند اغلب با زیان و ناکارایی همراه هستند… خصوصاً آن­ها می­توانند در چارچوب­های مقیاس بزرگ، چارچوب­های چندمتغیره و داده ­های همبسته بسیار آهسته عمل کنند. روش­های موجود
نمونه­گیرهایی را نتیجه می­ دهند که انعطاف­پذیری کمی در حرکت بین بهینه­ها دارند و ممکن است مدت زمان زیادی مورد نیاز باشد تا این نمونه­گیرها از بهینه کوچک خلاص شده و مناطقی را با توده احتمال بالا، بیابند. متأسفانه، تمامی روش­های استنباطی که تاکنون برای IBP وجود داشته اند همه بر مبنای نمونه گیری قرار دارند. این رویکردها شامل نمونه گیری گیبز (گرفیث و قهرمانی، ۲۰۰۵)، است که می­توانند با ابزارهای تجمیع-دو بخشی متروپولیس^[۶۴۲] (میدز و همکاران^[۶۴۳]، ۲۰۰۷)، یا با نمونه گیری قطعه­ای^[۶۴۴] (ته و همکاران، ۲۰۰۷) و فیلترینگ ذره­ای^[۶۴۵] (وود و گرفیث^[۶۴۶]، ۲۰۰۷)، تعمیم داده شود.
روش­های تغییر میدان میانگین^[۶۴۷] که پسین واقعی^[۶۴۸] را از طریق یک توزیع نمونه­گیر^[۶۴۹] در چارچوب­های ساده­تر تقریب تحلیلی^[۶۵۰] می­زنند، یک آلترناتیو معین را برای رویکردهای بر مبنای نمونه گیری، مانند روش­های
نمونه گیری مونتی-کارلو-بالأخص روش مونتی-کارلو زنجیره مارکوف^[۶۵۱] (MCMC) از قبیل روش نمونه گیری گیبز، فراهم می­ کنند.
با این حال، تاکنون کاربرد روش­های تغییر به مدل­های با بعد متناهی (یعنی پارامتریک) محدود شده است (ونرایت و جردن^[۶۵۲]، ۲۰۰۸). در چنین چارچوبی، برای یافتن یک تقریب خوب از پسین، استنباط با تکینک­های بهینه­سازی همراه می­باشد. تقریب میدان میانگین (دوشی ولز و همکاران^[۶۵۳]، ۲۰۰۹) برای فرایند تصادفی IBP، یک احتمال مجزا را برای هر اختصاص مشخصه به مشاهده، فراهم می­ کند. متأسفانه، بهین
ه­سازی این مقادیر احتمال، تعداد زیادی بهینه موضعی بدست می­دهد، اما استفاده از احتمالات به جای نمونه گیری اختصاص­ها، به روش تغییر انعطاف­پذیری خاصی می­دهد که نمونه­گیرها ندارند. در مراحل اولیه استنباط، این انعطاف­پذیری می ­تواند از رسیدن روش تغییر به بهینه موضعی جلوگیری کند.
تقریب­های تغییر برای سایر مدل­های بیزین ناپارامتریک نیز کاربرد دارد. این مدل­ها شامل، فرآیندهای دیریکله^[۶۵۴] (بلی و جردن، ۲۰۰۴؛ کریهارا و همکاران^[۶۵۵]، ۲۰۰۷a؛ کریهارا و همکاران، ۲۰۰۷b) و فرآیندهای گاوسین^[۶۵۶] (وینتر^[۶۵۷]، ۲۰۰۰؛ گیبز و مک کی^[۶۵۸]، ۲۰۰۰؛ و اسنلسون و قهرمانی^[۶۵۹]، ۲۰۰۶) می­باشند. در میان همه مدل­های بیزین ناپارامتریک که تاکنون مطالعه شده ­اند، فرایند تصادفی IBP ترکیبی­ترین است و از این رو بیشترین نیاز به یک الگوریتم استنباط کارا را می­طلبد که در فصل آینده بر این مهم مفصلاً پرداخته می­ شود.
فصل چهارم
توصیف و
تجزیه و تحلیل یافته­ ها
۴-۱- مقدمه
بعد از اینکه مدل مولد در فصل قبل تعریف گردید، می­توانیم از رویکرد استنباط بیزین برای استنباط ماتریس مشخصه­های نهفته از ماتریس مشاهدات ، استفاده نماییم. در اینصورت می­توانیم با بهره گرفتن از مشاهدات مربوط به جریان عایدی­های نقدی حاصل از اوراق بهادار MBS، تعداد ابعاد استانداردهای پذیره­نویسی که در زمان اعطای وام به متقاضیان توسط بانی وام­های رهنی اعمال شده است، بپردازیم.
به هر حال چون مخرج عبارت (۱) در فصل اول، یک مجموع غیرقابل بررسی و غیرقابل حل کردن است، یک الگوریتم استنباط تقریبی باید مورد استفاده قرار بگیرد. الگوریتم مورد استفاده در این رساله، الگوریتم استنباط تغییر برای یک مدل مشخصه نهفته با بعد نامتناهی، می­باشد.

۴-۲- الگوریتم استنباط
۴-۲-۱- نمادگذاری
در این قسمت نمادگذاری­هایی که در ادامه مورد استفاده قرار می­گیرند را معرفی می­نماییم.
اندیس ، به همه مؤلفه‌ها بجز مؤلفه اشاره می­ کند. اندیس به همه مؤلفه‌ها در یک بعد، اشاره می­ کند. برای مثال، کل ماتریس است بجز آرایه و کل امین ردیف از ماتریس است. سرانجام، وجود اندیس برای توزیع­های احتمال به پارامترهایی اشاره می­ کند که آن توزیع را تصریح می­ کنند. برای مثال، .
متغیرهایی که به طور مکرر در ادامه مورد استفاده قرار می­گیرند عبارتند از:

• • : مشاهدات در ماتریس ذخیره می­شوند که یک ماتریس با بعد می­باشد. تحت مدل گاوسین خطی داریم ، که یک ماتریس از عناصر مستقل است، هر عنصر دارای میانگین صفر و واریانس است.

• • آرایه در ماتریس : هر آرایه مشخص می­ کند که آیا مشخصه در مشاهده وجود دارد. از این رو، تعداد نقطه­داده ­ها و تعداد مشخصه­ها را می­شمارند. ماتریس اجتماعی از همه ها است و بعد آن می­باشد که تعداد متناهی مشخصه غیرصفر است. فرض می­ شود که سایر ها برای صفر هستند. همچنین پارامتر تمرکز فرایند IBP را مشخص می­ کند.

• • : طول شکست­ها^[۶۶۰] (احتمال­های وقوع مشخصه­ها) است.

• • : ها متغیرهای چسباندن-شکست هستند.

• • : اجتماعی است از متغیرهای مشخصه گاوسین و دارای بعد است. بر این اساس، هر مشخصه نهفته به صورت یک بردار بیان می­ شود. همچنین بر طبق مدل گاوسین-خطی مذکور، توزیع پیشین، عناصر ماتریس را مستقل و دارای میانگین صفر و واریانس در نظر می­گیرد.

۴-۳- بیز تغییر
در هر مدل احتمالی که چگونگی تولید داده ­های مشاهده شده را مشخص می­نماید، متغیرها به دو دسته متغیرهای مشاهده شده و متغیرهای پنهانی تقسیم می­شوند. برای انجام استنباط تنها محاسبه توزیع احتمال حاشیه­ای از متغیرهای قابل مشاهده مورد نیاز می­باشد. اما توزیع پسین حاصله از متغیرهای پنهانی، از اهمیت بیشتری برخوردار است. محاسبه توزیع حاشیه­ای و توزیع پسین، نیازمند انتگرال گرفتن حول متغیرهای نهفته از توزیع مشترک متغیرهای نهفته و متغیرهای قابل مشاهده، می­باشد.
در علوم مختلف، تجزیه و تحلیل­ها در مدل­های احتمالی همواره به تخمین و انجام استنباط پیرامون متغیرهای مشاهده نشده تصادفی متمرکز شده است. انجام تخمین و استنباط، بر مبنای چگالی پسین از متغیرهای مشاهده نشده، با مفروض بودن مشاهدات، قرار دارند. آنچه که در اینجا می ­تواند مشکل­ساز گردد، آن است که این عملیات به پیچیدگی ساختار یا پیچیدگی فرایند فاکتورگیری^[۶۶۱] از توزیع احتمال مشترک، بستگی دارد.
همانطور که در فصل گذشته اشاره شد، مدل­های ناپارامتریک بیزین، شامل فرآیندهای تصادفی (در این رساله فرایند تصادفی IBP) هستند که ابعاد نامتناهی دارند. بنابراین انتگرال­هایی که در یادگیری بیزین پدیدار می­شوند را نمی­ توان به فرم بسته حل نمود. به جای این، می­توان آن­ها را تقریب زد. یکی از روش­های استنباط تقریب^[۶۶۲] که در مقابل رویکرد استنباط دقیق^[۶۶۳] قرار دارند، روش­های تغییر است. روش­های تغییر اخیراً در
زمینه ­های استنباط شهرت زیادی یافته­اند: روش­های تغییر سابقه طولانی در یادگیری ماشین، فیزیک، آمار، تئوری کنترل و نیز اقتصاد دارند. اخیراً روش­های تغییر در زمینه ­های استنباط و تخمین تغییر نیز^[۶۶۴] به کار گرفته شده ­اند.
به طور کلی روش­های تغییر در چهار دسته انتشار باور^[۶۶۵]، الگوریتم جستجو^[۶۶۶]، روش­های نمونه گیری^[۶۶۷] و
روش­های تغییر^[۶۶۸] قرار می­گیرند. در این میان، در ادبیات از رویکرد بیز تغییر^[۶۶۹] (VB) برای ارزیابی چگالی­های پسین استفاده شده است. (جردن و همکاران، ۱۹۹۹)
در این رساله بر رویکرد بیز تغییر (VB) تمرکز شده است. در ادامه به توصیف تقریب بیزین تغییر
میدان-میانگین^[۶۷۰] جهت استنباط، با بهره گرفتن از واژه یادگیری ماشین^[۶۷۱] و نه مفهوم فیزیک آماری^[۶۷۲] می­پردازیم.

۴-۳-۱- رویکرد بیز تغییر میدان میانگین
رویکرد تغییر از تئوری یادگیری جمعی^[۶۷۳] در علم آمار وارد مباحث استنباط بیزین شده است؛ در تئوری، یادگیری جمعی یا چگالی تغییر (یعنی چگالی پسین تقریب زده شده)، با هدف ماکزیمم­سازی انرژی آزاد، بهینه می­ شود. روش بیزین تغییر به منظور تقریب انتگرال­های چند بعدی پیچیده که در یادگیری بیزین پدیدار
می­شوند و مشکل می­توان آن­ها را ارزیابی کرد یا از آن­ها نمونه گیری کرد، مورد استفاده قرار می­گیرد. نظر به اینکه تکنیک­های مونت-کارلو یک تقریب عددی را برای پسین دقیق^[۶۷۴] با بهره گرفتن از یک مجموعه از نمونه­ها فراهم می­ کنند، بیز تغییر یک تقریب تحلیلی^[۶۷۵] از چگالی پسین شرطی از متغیرهای مشاهده نشده تصادفی - با مفروض بودن داده ­های مشاهده شده - فراهم می­ کند.
بیز تغییر یک روش تغییر خاص در مدل­های احتمالی غیرقابل بررسی است که بر پایه فاکتورگیری از توزیع احتمال مشترک مشاهدات و متغیرهای نهفته، قرار دارد. برای یافتن یک جواب تغییر^[۶۷۶]، نیازمند انجام محاسبات در قالب مسئله بهینه­سازی هستیم. به عبارت دیگر، در استنباط تغییر هدف تقریب توزیع مشترک واقعی از متغیرهای نهفته می­باشد. این تقریب از طریق مینیمم­سازی معیار واگرایی-KL^[677]، (یا آنتروپی نسبی) بین توزیع واقعی، و توزیع تقریب زده شده، ، بدست می ­آید.
توجه شود که در ضمن اجرای چنین روشی، یک کران پایین برای راستنمایی حاشیه­ای (یا شواهد^[۶۷۸]) داده ­های مشاهده شده، استخراج می­گردد که تحت مفروضات صورت گرفته راجع به توزیع پیشین از پارامترها (مدل)، چگالی پسین را برای خود پارامترها (مدل) فراهم می­ کند. (پنی و همکاران^[۶۷۹]، ۲۰۰۴) به طور کلی، استدلال آن است که یک راستنمایی حاشیه­ای بالاتر (بلندتر) برای یک مدل مفروض، بر یک برازش بهتر آن مدل از داده ­ها، دلالت دارد و از این رو با یک احتمال بزرگ­تر مدل تحت بررسی مدلی خواهد بود که داده ­ها را تولید می­ کند.
در فیزیک آماری، برای ساده­سازی محاسبات، همواره استراتژی میدان-میانگین از رویکرد بیز تغییر (VB) (این ایده از فیزیک آماری و با کار پاریسی^[۶۸۰]، ۱۹۸۸ گرفته شده است) مورد استفاده قرار گرفته می­ شود؛ در این رویکرد، چگالی تغییر (پسین تقریب زده شده^[۶۸۱]) ، به فاکتورهای منفرد و مجزا، هر کدام نسبت به یک مجموعه از متغیرهای مشاهده نشده، فاکتورگیری می­ شود، . این فاکتورها هر کدام توزیع­های احتمال شناخته شده و مستقل شرطی از متغیرهای مشاهده نشده، مشروط بر داده ­های مشاهده شده، هستند. (یعنی در این توزیع تغییر هر مجموعه از متغیرهای مشاهده نشده ، از یکدیگر مستقل هستند). این فرمول، توزیع پسین واقعی را نمی­دهد بلکه یک تقریب از آن است؛ بویژه اینکه این فرمول به طور کلی در پایین­ترین گشتاورهای متغیرهای مشاهده نشده یعنی میانگین و واریانس، سازگاری بالایی دارد. در این رساله از معیار نامتقارن استفاده شده است تا انجام محاسبات ساده­تر گردد.