اقدامات واگرایی: مبانی ریاضی و برنامه های کاربردی در مشکلات نظری و آماری اطلاعات

علوم داده ، تئوری اطلاعات ، تئوری احتمال ، یادگیری آماری ، پردازش سیگنال آماری و سایر رشته های مرتبط از آن تا حد زیادی از اقدامات غیر منفی از عدم تمایز بین جفت اقدامات احتمال بهره می برد. اینها به عنوان اقدامات واگرایی شناخته می شوند ، و کاوش در مبانی ریاضی آنها و کاربردهای متنوع مورد توجه قابل توجهی است (به عنوان مثال ، [1،2،3،5،6،7،8،9،10] و منابع موجود در آن).

شماره ویژه فعلی ، با عنوان اقدامات واگرایی: مبانی ریاضی و برنامه های کاربردی در مشکلات نظری و آماری اطلاعات ، بر مطالعه خواص ریاضی و کاربردهای اقدامات واگرایی کلاسیک و عمومی از منظر اطلاعات نظری متمرکز است. این شامل هشت سهم اصلی در این زمینه است که عمدتاً با دو کلیت کلیدی آنتروپی نسبی سروکار دارد: یعنی واگرایی Rényi و کلاس مهم F- Divergences. واگرایی Rényi توسط Rényi به عنوان تعمیم آنتروپی نسبی معرفی شد (آنتروپی نسبی A. K. A است. واگرایی Kullbac k-Leibler [11]) ، و در تئوری اطلاعات ، آمار و سایر زمینه های مرتبط با آن کاربردهای بی شماری پیدا کرد [12،13]. مفهوم f-divergence ، که به طور مستقل توسط علی سیلوی [14] ، Csiszár [15،16،17] و Morimoto [18] معرفی شد ، تعمیم مفیدی از برخی اقدامات واگرایی مشهور است ، و برخی از آنها را حفظ می کند. خصوصیات اصلی آنها ، از جمله نابرابری های پردازش داده. لازم به ذکر است که ، اگرچه واگرایی Rényi از یک نظم دلخواه یک F-Divergence نیست ، اما یک تحول یک به یک از زیر کلاس F-Divergences است ، بنابراین برخی از خصوصیات اصلی F- Divergences را به ارث می برد. بشرما در ادامه هشت مشارکت در این شماره ویژه و ارتباط آنها با ادبیات را شرح می دهیم.

آنتروپی نسبی یک اندازه گیری نامتقارن و بی حد و مرز شناخته شده است [11] ، در حالی که واگرایی جنسن شانون [19،20] (a. k. a. تبعیض خازنی [21]) یک تقارن محدود از آنتروپی نسبی است ، که نیازی به این جفت ندارداقدامات احتمال برای داشتن پشتیبانی از تطبیق. این خاصیت دلپذیر است که ریشه مربع آن یک متریک از فاصله است و همچنین متعلق به کلاس f-divergences است. دومی به ویژه دلالت بر این دارد که واگرایی جنسن-شنون نابرابری های پردازش داده را برآورده می کند. اولین مقاله در این شماره ویژه [22] ، که توسط نیلسن تألیف شده است ، به مطالعات عمومی سازی جنس ن-شنون واگرایی و سنس ن-شنون سنتروئید مطالعه می شود. کار در [22] همچنین یک الگوریتم تکراری را برای محاسبه عددی سانتروئیدهای نوع جنسن-شنون برای مجموعه ای از تراکم های احتمال متعلق به یک خانواده مخلوط در هندسه اطلاعات نشان می دهد. این شامل مورد محاسبه سانتروئید Jense n-Shaon از مجموعه ای از توزیع های طبقه بندی شده یا هیستوگرام های عادی است.

بسیاری از اقدامات اطلاعاتی شانون به طور طبیعی در زمینه قمار اسب ظاهر می شوند ، هنگامی که عملکرد ابزار قمارباز ، سلامت ورود به سیستم است. مقاله دوم [23] ، که توسط Bleuler ، Lapidoth و Pfister به هم پیوسته است ، نشان می دهد که تحت یک خانواده عمومی تر از کارکردهای ابزار ، قمار همچنین زمینه ای را برای برخی از اقدامات اطلاعاتی Rényi فراهم می کند. با انگیزه یک مشکل شرط بندی اسب در تنظیماتی که قمارباز اطلاعات جانبی دارد ، واگرایی شرطی جدید Rényi در [23] معرفی می شود. این مقایسه با واگرایی های شرطی Rényi توسط Csiszár و Sibson مقایسه شده است ، و خواص هر سه توسط نویسندگان با تأکید بر رفتار این اقدامات واگرایی مشروط تحت پردازش داده ها به طور عمیق مورد مطالعه قرار می گیرد. به همان روشی که واگرایی های شرطی CSISZár و Sibson منجر به اقدامات وابستگی مربوطه می شوند ، بنابراین واگرایی مشروط جدید در [23] منجر به اطلاعات متقابل لاپیدوت می شود. نویسندگان همچنین نشان می دهند که اندازه گیری واگرایی مشروط جدید آنها نیز مربوط به آنتروپی شرطی Arimot o-Rényi و اندازه گیری وابستگی Arimoto است. در بخش دوم [23] ، مشکل شرط بندی اسب مورد تجزیه و تحلیل قرار می گیرد که در آن ، به جای معیار سلامت ورود به سیستم مورد انتظار کلی ، یک خانواده عمومی تر از عملکردهای ابزار متوسط در نظر گرفته می شود. نقش اصلی در تجزیه و تحلیل توسط Rényi Vivgence بازی می شود ، و تنظیم جایی که قمارباز به اطلاعات جانبی دسترسی دارد ، معنای عملیاتی را برای اطلاعات متقابل Lapidot h-Pfister فراهم می کند. سرانجام ، یک استراتژی جهانی برای نژادهای مستقل و یکسان توزیع شده در [23] ارائه شده است که بدون دانستن احتمالات برنده یا پارامتر عملکرد ابزار ، به صورت مجانبی عملکرد ابزار قمارباز را به حداکثر می رساند.

آنتروپی نسبی [11] و واگرایی مجذور کای [24] اقدامات واگرایی کلاسیک هستند که در تئوری اطلاعات ، یادگیری دستگاه آماری ، پردازش سیگنال ، آمار ، تئوری احتمال و بسیاری از شاخه های ریاضیات نقش اساسی دارند. این اقدامات واگرایی در مشکلات مربوط به کدگذاری منبع و کانال ، تئوری انحراف بزرگ ، آزمایش های خوب و استقلال در آمار اساسی است ، الگوریتم های تکرار شونده انتظار و حداکثر برای برآورد توزیع از داده های ناقص و انواع دیگر مشکلات. آنها همچنین متعلق به طبقه تعمیم یافته از f-divergences هستند. مقاله سوم [25] ، توسط نیشیاما و ساسون ، روابط یکپارچه بین آنتروپی نسبی و واگرایی مجذور کای ، پیامدهای این روابط ، کاربردهای اطلاعاتی-اطلاعاتی آنها و برخی از کلیات مربوط به کلاس غنی از f- divergencences را بررسی می کند. برنامه هایی که در [25] مورد مطالعه قرار گرفته اند شامل فشرده سازی بدون ضرر ، روش انواع و انحرافات بزرگ ، نابرابری های پردازش قوی ، محدودیت در ضرایب انقباض و همبستگی حداکثر و میزان همگرایی به ثابت بودن نوعی از زنجیره مارکوف زمان گسسته است. بشر

تعامل جالب بین نابرابری ها و نظریه اطلاعات دارای سابقه ای غنی است ، با نمونه های قابل توجه که شامل رابطه بین نابرابری Bru-Minkowski و نابرابری قدرت آنتروپی ، نابرابری های حمل و نقل و ارتباطات تنگ آنها با نظریه اطلاعات ، نابرابری های لگاریتمی و آنتروپی است. روش ، نابرابری برای ماتریس به دست آمده از عدم توجه به آنتروپی نسبی ، اتصالات بین نابرابری های اطلاعات و گروه های محدود ، ترکیبات و سایر زمینه های ریاضیات (به عنوان مثال ، [26،27،28،29،30]). مقاله چهارم توسط ریوز [31] برنامه های نابرابری دو لحظه برای انتگرال قدرت کسری یک تابع بین صفر و یک را در نظر می گیرد. اولین سهم این مقاله محدودیت بالایی در آنتروپی Rényi یک بردار تصادفی ، که از نظر دو لحظه مختلف بیان شده است. این همچنین برخی از نتایج قبلی را بر اساس حداکثر توزیع آنتروپی تحت یک محدودیت لحظه ای بازیابی می کند. سهم دوم در [31] روشی برای اطلاعات متقابل محدود از نظر انتگرال های خاص با توجه به واریانس چگالی شرطی است.

خصوصیات اساسی یک f- divergence عدم منفی بودن ، محدب بودن آن در جفت اقدامات احتمال و رضایت از نابرابری های پردازش داده در نتیجه محدب عملکرد f (و با الزامی است که F در 1 از بین می رود)بشراین خصوصیات منجر به نابرابری های F- divergence و برنامه های کاربردی نظری می شود (به عنوان مثال ، [4،10،32،33،34،35،36،37] را ببینید). علاوه بر این ، نابرابری های پردازش داده (قوی) برای F-Divergences مورد توجه اخیر بوده است (به عنوان مثال ، [38،39،40،41،42] مراجعه کنید). مقاله پنجم [43] ، که توسط ملبورن تألیف شده است ، بر مطالعه چگونگی افزایش خصوصیات محدب قوی تر عملکرد f به معنای بهبود نابرابری های کلاسیک f- است. این یک مطالعه سیستماتیک از واگرایی به شدت محدب را ارائه می دهد ، و چگونگی محدب بودن یک ژنراتور واگرایی F را بر رفتار F-divergence تأثیر می گذارد. این ثابت می کند که هر (به اصطلاح) واگرایی به شدت محدب بر مربع تنوع کل حاکم است ، که محدودیت کلاسیک ارائه شده توسط واگرایی مجذور کای را گسترش می دهد. تجزیه و تحلیل آن همچنین باعث بهبود نابرابری های خطرناک در معرض خطر بیز می شود و در نتیجه دستیابی به نابرابری پینکر را به دست می آورد.

واگرایی بین اقدامات احتمالی اغلب در آمار و علوم داده به منظور انجام استنباط تحت مدل های مختلف استفاده می شود. روشهای مربوطه الگوی احتمال را گسترش می دهد و استنباط در تنظیمات حداقل فاصله یا حداقل واگرایی را نشان می دهد ، در حالی که امکان تجارت بین کارآیی و استحکام را فراهم می کند. مقاله ششم [44] ، که توسط Broniatowski تألیف شده است ، یک زیر کلاس از F-Divergences را در نظر می گیرد ، که شامل بیشتر ابزارهای استنباطی کلاسیک است و توسط یک پارامتر مقیاس واحد فهرست بندی می شود. این کلاس متعلق به خانواده F-divergences است و معمولاً از آن به عنوان کلاس واگرایی قدرت یاد می شود که توسط Cressie در نظر گرفته شده و خوانده شده است [7،45]. کار در [44] بیان می کند که متداول ترین برآوردگرهای واگرایی حداقل برآوردگرهای حداکثر احتمال برای طرح های نمونه برداری از راه اندازی بوت که به طور کلی تعمیم یافته است ، هستند. همچنین بهینه از تست های مناسب و مناسب در چنین طرح های نمونه برداری در نظر گرفته می شود.

مقاله هفتم توسط Verdú [46] یک مقاله تحقیق و آموزش در مورد نمایندگان خطا و اطلاعات α-mutual است. به طور مشابه با [23] (مقاله دوم در این شماره ویژه) ، مربوط به تعمیم Rényi از آنتروپی نسبی و اطلاعات متقابل است. با توجه به مقاله برجسته توسط شانون [47] ، به خوبی شناخته شده است که تجزیه و تحلیل محدودیت های اساسی کانال های ارتباطی پر سر و صدا در رژیم احتمال از بین رفتن احتمال (با اجازه دادن به طول بلوک کد به بی نهایت) منجر به معرفی می شود. ظرفیت کانال به عنوان حداکثر نرخ که امکان دستیابی به ارتباطات قابل اعتماد را فراهم می کند. ظرفیت کانال از نظر یک اندازه گیری اطلاعات اساسی بیان شده است: اطلاعات متقابل ورودی و خروجی حداکثر در توزیع ورودی. علاوه بر این ، در رژیم احتمال خطای غیرزرو ثابت ، حد بنیادی بدون علامت تابعی از نه تنها ظرفیت کانال بلکه پراکندگی کانال است که از نظر یک اندازه گیری اطلاعات قابل بیان است: واریانس چگالی اطلاعات به دست آمده با ظرفیتدستیابی به توزیع [48]. در رژیم احتمال خطای کاهش نمایی ، با نرخ کد ثابت زیر ظرفیت ، تجزیه و تحلیل محدودیت های اساسی در سه مرحله مجزا طی شده است: (1) روزهای اولیه نظریه اطلاعات و تجزیه و تحلیل خطا در MIT.(2) عبارات مربوط به توابع خطا در ترکیب آنتروپی نسبی. و (3) تحقیق خطا با اقدامات اطلاعات Rényi. با تشکر از تحقق CSISZár از اهمیت اقدامات اطلاعاتی Rényi برای این مشکل [32] ، مرحله سوم راهی برای بیان توابع نماینده خطا به عنوان تابعی از اقدامات اطلاعات عمومی و همچنین حل مشکلات بهینه سازی مرتبط در یک سیستماتیک پیدا کرده است. مسیر. در حالی که در صورت عدم وجود محدودیت های هزینه ، مشکل در یافتن حداکثر اطلاعات α-mutual کاهش می یابد ، محدودیت های هزینه باعث می شود مشکل به طور قابل توجهی چالش برانگیز باشد. شکاف باقی مانده در روابط متقابل بین سه رویکرد ، در مورد کلی رمزگذاری با هزینه ، باعث ایجاد انگیزه در مطالعه حاضر در [46] شد. علاوه بر این ، تاکنون هیچ رویکرد سیستماتیک برای حل مشکلات بهینه سازی شرکت کننده با بهره برداری از ساختار خاص توابع اطلاعاتی پیشنهاد نشده است. کار Verdú در [46] این شکاف ها را می بندد ، در حالی که یک روش ساده برای به حداکثر رساندن اطلاعات متقابل آگوستی ن-Csiszár از سفارش α تحت محدودیت های هزینه [32،49] ، پیشنهاد می کند.

با استفاده از حداکثر رساندن اطلاعات α-mutual مشمول محدودیت متوسط نمایی.

در استنتاج آماری ، محدودیت های عملکرد نظری اطلاعات اغلب می تواند از نظر یک اندازه گیری واگرایی آماری بین مدلهای آماری اساسی بیان شود (به عنوان مثال ، [50] و منابع موجود در آن مراجعه کنید). با افزایش ابعاد داده ، محاسبه آمار درگیر در تصمیم گیری و محدودیت عملکرد شرکت کننده (اقدامات واگرایی) با چالش های پیچیدگی و پایداری روبرو است. کاهش ابعاد به دلیل از دست دادن اطلاعات ، این چالش ها را با هزینه به خطر انداختن عملکرد می پردازد. مقاله هشتم و آخر در شماره ویژه فعلی [51] کاهش بعد خطی را در نظر می گیرد ، به گونه ای که واگرایی بین مدل ها حداکثر حفظ می شود. به طور خاص ، این کار بر روی مدلهای گاوسی متمرکز شده است که در آن تجزیه و تحلیل تبعیض آمیز تحت چندین اقدامات F در نظر گرفته شده است. طراحی بهینه از تحول خطی داده ها بر روی یک فضای زیرزمینی پایین تر برای مدلهای گاوسی با میانگین صفر مشخص می شود و از الگوریتم های عددی برای یافتن طرح برای مدل های عمومی گاوسی با وسایل غیر صفر استفاده می شود.

امید ما این است که خواننده به هشت سهم اصلی این شماره ویژه علاقه مند شود و این آثار باعث تحریک تحقیقات بیشتر در مطالعه بنیادهای ریاضی و کاربردهای اقدامات واگرایی شود.

تصدیق

ویراستار مهمان از همه نویسندگان بخاطر مشارکت خود در این شماره ویژه ، به بررسی کنندگان همسالان ناشناس بخاطر گزارش های به موقع و بازخورد سازنده خود ، سپاسگزار است.

تضاد علاقه

نویسنده اعلام کرد هیچ تضادی در منافع نیست.

1. منابع
2. Basseville ، M. اقدامات واگرایی برای پردازش داده های آماری - کتابشناسی حاشیه نویسی. روند سیگنال. 2013 ، 93 ، 621-633.[Google Scholar] [CrossRef]
3. Broniatowski ، م. ؛Stummer ، W. برخی از بینش های جهانی در مورد واگرایی برای آمار ، یادگیری ماشین و هوش مصنوعی. در ساختارهای هندسی اطلاعات ؛نیلسن ، اف. ، ویرایش ؛اسپرینگر: برلین/هایدلبرگ ، آلمان ، 2019 ؛صص 149-2211.[Google Scholar] [CrossRef]
4. Csiszár ، I. ؛Shields ، P. C. نظریه و آمار اطلاعات: یک آموزش. پیدا شدهCommun Communinf. تئوری 2004 ، 1 ، 417-528.[Google Scholar] [CrossRef] [نسخه سبز]
5. Esposito ، A. R. ؛گاستپار ، م. ؛ISSA ، I. مرزهای خطای عمومی از طریق Rényi- ، F- Divergences و حداکثر نشت. IEEE ترانس. inf. نظریه 2021 ، 67 ، 4986-5004.[Google Scholar] [CrossRef]
6. liese ، f. ؛Vajda ، I. مسافت آماری محدب ؛Teubner-Texte Zur Mathematik: لایپزیگ ، آلمان ، 1987 ؛جلد 95. [Google Scholar]
7. liese ، f. ؛Vajda ، I. در مورد واگرایی و اطلاعات در آمار و نظریه اطلاعات. IEEE ترانس. inf. تئوری 2006 ، 52 ، 4394-4412.[Google Scholar] [CrossRef]
8. PARDO ، L. استنباط آماری بر اساس اقدامات واگرایی. چاپمن و هال/CRC: Boca Raton ، FL ، USA ، 2006. [Google Scholar]
9. استیمر ، دبلیو. ؛Vajda ، I. در مورد واگرایی از اقدامات محدود و کاربرد آنها در آمار و نظریه اطلاعات. آمار 2010 ، 44 ، 169-187.[Google Scholar] [CrossRef]
10. Vajda ، I. نظریه استنباط آماری و اطلاعات ؛ناشران دانشگاهی Kluwer: Dordrecht ، The Helmrands ، 1989. [Google Scholar]
11. زکای ، م. ؛Ziv ، J. تعمیم نظریه و برنامه های کاربردی نرخ فاصله. در تئوری اطلاعات - روندهای جدید و مشکلات باز ؛Longo ، G. ، ed. ؛اسپرینگر: برلین/هایدلبرگ ، آلمان ، 1975 ؛صص 87 123.[Google Scholar] [CrossRef]
12. Kullback ، S. ؛Leibler ، R. A. در مورد اطلاعات و کفایت. آن راریاضی. آمار1951 ، 22 ، 79-86.[Google Scholar] [CrossRef]
13. Rényi ، A. در مورد اقدامات آنتروپی و اطلاعات. در مجموعه مقالات چهارمین سمپوزیوم برکلی در مورد آمار ریاضی و احتمال ، جلد 1: کمک به تئوری آمار. انتشارات دانشگاه کالیفرنیا: برکلی ، کالیفرنیا ، ایالات متحده ، 1961 ؛صص 547-561. در دسترس آنلاین: https://digitalassets. lib. berkeley. edu/math/ucb/text/math_s4_v1_article-27. pdf (دسترسی به 12 مه 2022).
14. ون اروین ، ت. ؛Harremoës ، P. Rényi Divergence و Kullbac k-Leibler واگرایی. IEEE ترانس. inf. تئوری 2014 ، 60 ، 3797-3820.[Google Scholar] [CrossRef] [نسخه سبز]
15. علی ، S. M. ؛Silvey ، S. D. یک کلاس کلی از ضرایب واگرایی یک توزیع از دیگری. J. R. Stat. SOC. 1966 ، 28 ، 131-142.[Google Scholar] [CrossRef]
16. Csiszár ، I. EntorationsTheoretische ungleichung und ihre anwendung auf den bewis der ergodizität von markhoffschen ketten. انتشاراتریاضی. InstآویزانACADعلمی1963 ، 8 ، 85-108.[Google Scholar]
17. Csiszár ، I. اقدامات نوع اطلاعات از تفاوت توزیع احتمال و مشاهدات غیرمستقیم. گل میخعلمیریاضی. آویزان1967 ، 2 ، 299-318.[Google Scholar]
18. Csiszár ، I. در مورد خواص توپولوژیکی F-Divergences. گل میخعلمیریاضی. آویزان1967 ، 2 ، 329-339.[Google Scholar]
19. فرآیندهای Morimoto ، T. Markov و Teorem H. J. Phys. SOC. JPN1963 ، 18 ، 328-331.[Google Scholar] [CrossRef]
20. لین ، J. اقدامات واگرایی بر اساس آنتروپی شانون. IEEE ترانس. inf. تئوری 1991 ، 37 ، 145-151.[Google Scholar] [CrossRef] [نسخه سبز]
21. Menéndez ، M. L. ؛Pardo ، J. A. ؛پردو ، ل. ؛Pardo ، M. C. واگرایی جنسن - شنون. J. Frankl. Inst1997 ، 334 ، 307-318.[Google Scholar] [CrossRef]
22. Topsøe ، F. برخی از نابرابری ها برای واگرایی اطلاعات و اقدامات مربوط به تبعیض. IEEE ترانس. inf. تئوری 2000 ، 46 ، 1602-1609.[Google Scholar] [CrossRef] [نسخه سبز]
23. Nielsen ، F. در مورد تعمیم واگرایی جنس ن-شاننون و سنس ن-شنون سانتروئید. آنتروپی 2020 ، 22 ، 221. [Google Scholar] [CrossRef] [نسخه سبز]
24. Bleuler ، C. ؛لاپیدوت ، ا. ؛Pfister ، C. Divergences مشروط Rényi و شرط بندی اسب. آنتروپی 2020 ، 22 ، 316. [Google Scholar] [CrossRef] [نسخه سبز]
25. پیرسون ، K. در مورد معیار این که یک سیستم خاص انحراف از احتمال در مورد یک سیستم همبسته از متغیرها به گونه ای است که می توان از آن به طور منطقی از نمونه گیری تصادفی بوجود آمد. لند. ادینبدوبلین فلسفی. مگسJ. Sci. 1900 ، 50 ، 157-175.[Google Scholar] [CrossRef] [نسخه سبز]
26. نیشیاما ، ت. ؛Sason ، I. در مورد روابط بین آنتروپی نسبی و χ 2-divergence ، تعمیم ها و برنامه ها. آنتروپی 2020 ، 22 ، 563. [Google Scholar] [CrossRef]
27. دمبو ، ا. پوشش ، T. M. ؛توماس ، J. A. نابرابری های نظری اطلاعات. IEEE ترانس. inf. تئوری 1991 ، 37 ، 1501-1518.[Google Scholar] [CrossRef] [نسخه سبز]
28. مادیمان ، م. ؛Mellboue ، J. ؛Xeng ، P. نابرابری های قدرت آنتروپی رو به جلو و معکوس در هندسه محدب. در محدب و غلظت ؛Carlen ، E. ، Madiman ، M. ، Weer ، E. M. ، eds. ؛حجم IMA در ریاضیات و کاربردهای آن ؛اسپرینگر: برلین/هایدلبرگ ، آلمان ، 2017 ؛دوره 161. [Google Scholar] [CrossRef] [نسخه سبز]
29. مارتون ، K. نابرابری های واگرایی از راه دور. IEEE INF. تئوری SOC. Newsl2014 ، 64 ، 9-13.[Google Scholar]
30. Boucheron ، S. ؛لوگوسی ، ج. ؛Massart ، P. نابرابری های غلظت - یک تئوری غیر متعارف استقلال. انتشارات دانشگاه آکسفورد: آکسفورد ، انگلیس ، 2013. [Google Scholar]
31. راگینسکی ، م. ؛Sason ، I. غلظت نابرابری های اندازه گیری در نظریه اطلاعات ، ارتباطات و برنامه نویسی ، چاپ سوم ؛اکنون ناشران: دلفت ، هلند ، 2018. [Google Scholar] [CrossRef]
32. Reeves ، G. یک نابرابری دو لحظه با برنامه های کاربردی به آنتروپی Rényi و اطلاعات متقابل. آنتروپی 2020 ، 22 ، 1244. [Google Scholar] [CrossRef] [PubMed]
33. Csiszár ، I. کلاس از اقدامات اطلاع رسانی کانال های مشاهده. دوره زمانی. تشکآویزان1972 ، 2 ، 191-213.[Google Scholar] [CrossRef]
34. Guntuboyina ، A. ؛Saha ، S. ؛Schiebinger ، G. نابرابری های شارپ برای F-Divergences. IEEE ترانس. inf. تئوری 2014 ، 60 ، 104 121.[Google Scholar] [CrossRef] [نسخه سبز]
35. Harremoës ، ص. ؛Vajda ، I. در مورد جفت های f-divergences و دامنه مشترک آنها. IEEE ترانس. inf. تئوری 2011 ، 57 ، 3230-3235.[Google Scholar] [CrossRef]
36. Merhav ، N. قضایای پردازش داده ها و قانون دوم ترمودینامیک. IEEE ترانس. inf. تئوری 2011 ، 57 ، 4926-4939.[Google Scholar] [CrossRef] [نسخه سبز]
37. ساسون ، من ؛نابرابری های Verdú ، S. F-Divergence. IEEE ترانس. inf. تئوری 2016 ، 62 ، 5973-6006.[Google Scholar] [CrossRef]
38. Sason ، I. در مورد f-divergences: بازنمودهای انتگرال ، رفتار محلی و نابرابری ها. آنتروپی 2018 ، 20 ، 383. [Google Scholar] [CrossRef] [نسخه سبز]
39. Calmon ، F. P. ؛Polyanskiy ، Y. ؛نابرابری های پردازش داده های قوی برای کانال های نویز افزودنی محدود ورودی. IEEE ترانس. inf. تئوری 2018 ، 64 ، 1879-1892.[Google Scholar] [CrossRef]
40. Raginsky ، M. نابرابری های پردازش داده های قوی و نابرابری های φ-poolev برای کانال های گسسته. IEEE ترانس. inf. تئوری 2016 ، 62 ، 3355-3389.[Google Scholar] [CrossRef] [نسخه سبز]
41. Polyanskiy ، Y. ؛Wu ، Y. نابرابری های پردازش داده های قوی برای کانال ها و شبکه های بیزی. در محدب و غلظت ؛Carlen ، E. ، Madiman ، M. ، Weer ، E. M. ، eds. ؛اسپرینگر: برلین/هایدلبرگ ، آلمان ، 2017 ؛دوره 161 ، صص 211 249.[Google Scholar] [CrossRef] [نسخه سبز]
42. ماکور ، ا. Zheng ، L. مرزهای خطی بین ضرایب انقباض برای F-Divergences. PROBLinf. انتقال. 2020 ، 56 ، 103-156.[Google Scholar] [CrossRef]
43. Sason ، I. در مورد پردازش داده ها و نابرابری های عمده برای F-divergences با برنامه ها. آنتروپی 2019 ، 21 ، 1022. [Google Scholar] [CrossRef] [نسخه سبز]
44. ملبورن ، J. به شدت محدب واگرایی. آنتروپی 2020 ، 22 ، 1327. [Google Scholar] [CrossRef] [PubMed]
45. Broniatowski ، M. حداقل برآوردگرهای واگرایی ، حداکثر احتمال و بوت استرپ عمومی. آنتروپی 2021 ، 23 ، 185. [Google Scholar] [CrossRef] [PubMed]
46. Cressie ، N. ؛بخوانید ، T. R. C. تست های خوب و مناسب. J. R. Stat. SOC. سر.(Methodol.) 1984 ، 46 ، 440-464.[Google Scholar] [CrossRef]
47. Verdú ، S. Exponents Error و اطلاعات α-mutual. آنتروپی 2021 ، 23 ، 199. [Google Scholar] [CrossRef]
48. شانون ، C. E. یک تئوری ریاضی ارتباطات. Bell Syst. فناوری. J. 1948 ، 27 ، 379-423 ، 623-656.[Google Scholar] [CrossRef] [نسخه سبز]
49. Polyanskiy ، Y. ؛فقیر ، H. V. ؛Verdú ، S. میزان برنامه نویسی کانال در رژیم محدود طول بلوک. IEEE ترانس. inf. تئوری 2010 ، 56 ، 2307 2359.[Google Scholar] [CrossRef]
50. آگوستین ، کانالهای پر سر و صدا. دکتریپایان نامه ، Universität Erlangen-Nüberg ، Erlangen ، آلمان ، 1978. در دسترس آنلاین: http://libgen. rs/book/index. php؟md5=4431004a794657a85a356f111aa52fe (دسترسی به 12 مه 2022).
51. ساسون ، من ؛Verdú ، S. Arimoto-Rényi آنتروپی شرطی و آزمایش فرضیه M-Ary Bayesian. IEEE ترانس. inf. تئوری 2018 ، 64 ، 4-25.[Google Scholar] [CrossRef]

Dwivedi ، A. ؛وانگ ، س. ؛Tajer ، A. تجزیه و تحلیل تبعیض آمیز تحت اقدامات F- Divergence. آنتروپی 2022 ، 24 ، 188. [Google Scholar] [CrossRef]

یادداشت ناشر: MDPI با توجه به ادعاهای حوزه قضایی در نقشه های منتشر شده و وابستگی های نهادی خنثی می ماند.

به اشتراک گذاشتن و استناد

سبک MDPI و ACS

Sason ، I. اقدامات واگرایی: مبانی ریاضی و برنامه های کاربردی در مشکلات نظری و آماری اطلاعات. آنتروپی 2022 ، 24 ، 712. https://doi. org/10. 3390/E24050712

سبک AMA

اقدامات واگرایی Sason I.: مبانی ریاضی و برنامه های کاربردی در مشکلات نظری و آماری اطلاعات. آنتروپی. 2022 ؛24 (5): 712. https://doi. org/10. 3390/E24050712

شیکاگو/سبک تورابی

ساسون ، ایگال. 2022. "اقدامات واگرایی: مبانی ریاضی و برنامه های کاربردی در مشکلات نظری و آماری اطلاعات" آنتروپی 24 ، شماره. 5: 712. https://doi. org/10. 3390/E24050712

سبک های دیگر را پیدا کنید