توضیحات
Data-driven experimental analysis has become the main evaluation tool of Natural Language Processing (NLP) algorithms. In fact, in the last decade, it has become rare to see an NLP paper, particularly one that proposes a new algorithm, that does not include extensive experimental analysis, and the number of involved tasks, datasets, domains, and languages is constantly growing. This emphasis on empirical results highlights the role of statistical significance testing in NLP research: If we, as a community, rely on empirical evaluation to validate our hypotheses and reveal the correct language processing mechanisms, we better be sure that our results are not coincidental.
The goal of this book is to discuss the main aspects of statistical significance testing in NLP. Our guiding assumption throughout the book is that the basic question NLP researchers and engineers deal with is whether or not one algorithm can be considered better than another one. This question drives the field forward as it allows the constant progress of developing better technology for language processing challenges. In practice, researchers and engineers would like to draw the right conclusion from a limited set of experiments, and this conclusion should hold for other experiments with datasets they do not have at their disposal or that they cannot perform due to limited time and resources. The book hence discusses the opportunities and challenges in using statistical significance testing in NLP, from the point of view of experimental comparison between two algorithms. We cover topics such as choosing an appropriate significance test for the major NLP tasks, dealing with the unique aspects of significance testing for non-convex deep neural networks, accounting for a large number of comparisons between two NLP algorithms in a statistically valid manner (multiple hypothesis testing), and, finally, the unique challenges yielded by the nature of the data and practices of the field.
————————————————————–
ترجمه ماشینی :
تجزیه و تحلیل تجربی مبتنی بر داده به ابزار اصلی ارزیابی الگوریتم های پردازش زبان طبیعی (NLP) تبدیل شده است. در واقع، در دهه گذشته، دیدن یک مقاله NLP، به ویژه مقاله ای که الگوریتم جدیدی را پیشنهاد می کند، که شامل تجزیه و تحلیل تجربی گسترده نیست، نادر شده است و تعداد وظایف درگیر، مجموعه داده ها، دامنه ها و زبان ها دائما در حال افزایش است. . این تأکید بر نتایج تجربی، نقش آزمون معناداری آماری را در تحقیقات NLP برجسته میکند: اگر ما به عنوان یک جامعه، برای تأیید فرضیههای خود و آشکارسازی مکانیسمهای پردازش زبان صحیح به ارزیابی تجربی تکیه کنیم، بهتر است مطمئن باشیم که نتایج ما تصادفی نیستند. هدف این کتاب بحث در مورد جنبه های اصلی آزمون معناداری آماری در NLP است. فرضیه راهنمای ما در سراسر کتاب این است که سوال اساسی محققان و مهندسان NLP این است که آیا می توان یک الگوریتم را بهتر از الگوریتم دیگری در نظر گرفت یا خیر. این سوال زمینه را به جلو می راند زیرا امکان پیشرفت مداوم توسعه فناوری بهتر برای چالش های پردازش زبان را فراهم می کند. در عمل، محققان و مهندسان مایلند از مجموعه محدودی از آزمایشها نتیجهگیری درستی بگیرند و این نتیجهگیری باید برای آزمایشهای دیگر با مجموعه دادههایی که در اختیار ندارند یا به دلیل زمان و منابع محدود نمیتوانند انجام دهند، صادق باشد. از این رو این کتاب فرصت ها و چالش های استفاده از آزمون معناداری آماری در NLP را از نقطه نظر مقایسه تجربی بین دو الگوریتم مورد بحث قرار می دهد. ما موضوعاتی مانند انتخاب یک آزمون معنیداری مناسب برای وظایف اصلی NLP، پرداختن به جنبههای منحصربهفرد تست معناداری برای شبکههای عصبی عمیق غیرمحدب، محاسبه تعداد زیادی مقایسه بین دو الگوریتم NLP به روشی معتبر آماری را پوشش میدهیم. آزمون فرضیه)، و در نهایت، چالشهای منحصربهفرد ناشی از ماهیت دادهها و شیوههای این حوزه.
tag : دانلود کتاب آزمون اهمیت آماری برای پردازش زبان طبیعی , Download آزمون اهمیت آماری برای پردازش زبان طبیعی , دانلود آزمون اهمیت آماری برای پردازش زبان طبیعی , Download Statistical Significance Testing for Natural Language Processing Book , آزمون اهمیت آماری برای پردازش زبان طبیعی دانلود , buy آزمون اهمیت آماری برای پردازش زبان طبیعی , خرید کتاب آزمون اهمیت آماری برای پردازش زبان طبیعی , دانلود کتاب Statistical Significance Testing for Natural Language Processing , کتاب Statistical Significance Testing for Natural Language Processing , دانلود Statistical Significance Testing for Natural Language Processing , خرید Statistical Significance Testing for Natural Language Processing , خرید کتاب Statistical Significance Testing for Natural Language Processing ,
نقد و بررسیها
هنوز بررسیای ثبت نشده است.