پروژه B: طبقه بندی احساسات از بررسی متن

این یک پروژه چهار هفته ای است که دارای بسیاری از برنامه نویسی باز است. بلافاصله شروع کنید!

تشکیل تیمی

در این پروژه می توانید در تیم های 2 نفره یا (در صورت ترجیح) به صورت جداگانه کار کنید. تیم های انفرادی هنوز هم باید تمام قسمت های زیر را تکمیل کنند. ما می خواهیم شما را تحریک کنیم تا به صورت جفت کار کنیم.

اگر به یافتن هم تیمی ها نیاز دارید ، لطفاً به پست "پیدا کردن شریک زندگی برای پروژه B" ما در پیازا ارسال کنید.

با شروع هفته دوم (تا پایان روز دوشنبه 11/02) ، باید شریک زندگی خود را شناسایی کرده و در اینجا ثبت نام کنید:

• فرم تشکیل تیم ProjectB
• • حتی اگر تصمیم دارید به تنهایی کار کنید ، باید این فرم را با تصدیق آن پر کنید.

  کار برای تکمیل

  به عنوان یک تیم ، شما روی دو مشکل نیمه ساختار یافته و در عین حال باز و سپس یک مشکل کاملاً باز کار خواهید کرد. این 3 مشکل برای یک کار مشترک به بازنمودهای مختلف متن نگاه می کنند.

  • مشکل 1 به استفاده از بازنمایی ویژگی های کیف دستی نگاه می کند
  • مشکل 2 با استفاده از "دستکش" به نمایش های ویژگی تعبیه شده کلمه نگاه می کند
  • مشکل 3 یک مشکل باز است ، که در آن هرگونه نمایندگی مجاز است

  در طول مشکلات 1 ، 2 و 3 ، چرخه توسعه یک پزشک ML را تمرین خواهید کرد:

  • • یک خط لوله ML معقول (استخراج ویژگی + طبقه بندی کننده) پیشنهاد دهید
    • آن را ارزیابی کرده و نتایج را با دقت تجزیه و تحلیل کنید
    • خط لوله را تجدید نظر کرده و تکرار کنید

    برای هر 3 مشکل ، ما یک تابلوی رهبری را در Gradescope حفظ خواهیم کرد. شما باید به صورت دوره ای پیش بینی های بهترین مدل خود را در مجموعه آزمون ارسال کنید (ما از قبل برچسب ها را برای شما آزاد نمی کنیم).

    چه چیزی را روشن کنیم

    1. هر تیم یک گزارش PDF را که شامل هر 3 مشکل زیر است ، تهیه می کند.
    2. یک گزارش PDF کوتاه (بیش از 7 صفحه) تهیه کنید.
    3. این سند مطابق با موضوع ما به صورت دستی درجه بندی می شود
    4. می توانید از ابزار نوشتن گزارش مورد علاقه خود (Word یا G Docs یا Latex یا.) استفاده کنید.
    5. باید قابل خواندن انسانی باشد. کد را شامل نمی شود. فقط یک نوت بوک Jupyter را به PDF صادر نکنید.
    6. باید هر زیرزمینی را از طریق ابزار حاشیه نویسی GradEscope در مرورگر مشخص کند)
    7. هر تیم یک فایل زیپ پیش بینی های مجموعه آزمایش را به عنوان ارسال تابلوی رهبری برای مشکل 1 ، مشکل 2 و مشکل آماده می کند. این پرونده ZIP فقط یک پرونده را شامل می شود:
    8. yproba1_test. txt: فایل متنی ساده
    9. • هر خط حاوی احتمال شناور است که نمونه مربوطه باید با توجه به ویژگی های آن به عنوان یک نمونه مثبت طبقه بندی شود
    10. • باید از طریق این قطعه به عنوان یک آرایه 1D قابل بارگیری باشد: np. loadtxt ('yproba1_test. txt')
    11. • برای تولید برچسب های پیش بینی شده باینری سخت در 0. 5 آستانه آستانه می شود (یا 0 یا 1)
    12. هر فرد به فرم بازتاب (پس از تکمیل گزارش) تبدیل می شود.
    13. پیوند: https://forms. gle/ekwe8fyvntkqts196

    مجموعه داده ها ، کد استارت و محدودیت کد

    برای کلیه داده ها و کد های مورد نیاز ، به پوشه ProjectB از repo تکالیف عمومی برای این کلاس مراجعه کنید:

    repo کد استارت ما چند اسکریپت را در اختیار شما قرار می دهد تا داده ها را برای هر مشکل بارگیری کنید ، اما در غیر این صورت کد دیگری ارائه نمی دهد. این به معنای شبیه سازی کمبود کدی است که در "دنیای واقعی" دارید و سعی می کنید با استفاده از مهارت های یادگیری ماشین خود ، طبقه بندی کننده احساسات متنی را از ابتدا بسازید.

    برای این تکلیف ، می توانید از هر بسته Python که دوست دارید استفاده کنید (Sklea ، NLTK و غیره). شما از مشورت با وب سایت اسناد Sklea یا سایر منابع وب خارجی برای قطعه های کد برای راهنمایی استفاده خود از طبقه بندی های مختلف استقبال می کنید. با این حال ، شما باید هر خط از کدی را که استفاده می کنید درک کنید و نه به سادگی از چسباندن کپی کنید بدون اینکه با دقت فکر کنید.

    به یاد داشته باشید که سیاست همکاری دوره را در خاطر داشته باشید: کار خود را انجام دهید!

    زمینه

    ما یک مجموعه داده از چندین هزار بررسی تک عنوان جمع آوری شده از سه دامنه به شما داده ایم: IMDB. com ، Amazon. com ، yelp. com. هر بررسی شامل یک جمله و یک برچسب باینری است که نشانگر احساسات عاطفی جمله است (1 برای بررسی هایی که احساسات مثبت را بیان می کند ؛ 0 برای بررسی هایی که احساسات منفی را بیان می کنند). تمام بررسی های ارائه شده در مجموعه آموزش و آزمایش از وب سایت هایی که مخاطب فرض شده در درجه اول انگلیسی انگلیسی است ، منتشر شد ، اما مطمئناً ممکن است حاوی زبان عامیانه ، غلط ، برخی از شخصیت های خارجی و بسیاری از خصوصیات دیگر باشد که کار با داده های زبان طبیعی را به چالش می کشد (و سرگرم کننده است.!)

    هدف شما تهیه یک طبقه بندی باینری است که می تواند به درستی احساسات یک جمله جدید را مشخص کند.

    در اینجا چندین جمله مثبت وجود دارد:

    IMDB در نویسندگان بود "در" وت I فکر در بهترین بازیگران وت بازیگر زن بود a جایزه to در نشان دادن.اینها شخصیت ها بود so واقعی. IMDB در آهنگ ها بود در بهترین وت در مگس بود So خنده دار.

    زرد غذا بود so گودال. زرد I میتوانست خوردن آنها برسکتا همه روز it is بی ارزش بودن. 

    در اینجا چندین جمله منفی وجود دارد:

    وابسته به آمازون It همیشه برش خارج وت باعث می شود a بوق بوق بوق صدا سپس می گوید علامت ناموفق. وابسته به آمازون در فقط بسیار ناامید کننده چیز بود آنجا بود NO بلندگو. 

    زرد It مطمئن میکند ضرب و شتم در چیپس ذرت at در فیلم ها ولی I می خواست انتظار a مقدار کمی بیت بیشتر آینده از جانب a رستوران. زرد I'من مطمئن نیستم که چه مدت در آنجا ایستادیم اما به اندازه کافی طولانی بود که من احساس بی نظیری از مکان را شروع کنم. 

    تصدیق مجموعه داده ها

    این مجموعه داده از کار تحقیقاتی توسط D. Kotzias ، M. Denil ، N. de Freitas و P. Smyth در مقاله KDD 2015 "از گروه به برچسب های فردی با استفاده از ویژگی های عمیق" شرح داده شده است. ما از این نویسندگان سپاسگزاریم که مجموعه داده ها را در دسترس قرار داد.

    داده های ارائه شده

    به شما داده ها در قالب پرونده CSV ، با 2400 ورودی ، جفت خروجی در مجموعه آموزش و 600 ورودی در مجموعه آزمون داده می شود.

    مجموعه آموزش 2400 مثال

    • x_train. csv: داده های ورودی
    • • ستون 1: 'Webs_Name': یکی از ['IMDB' ، 'Amazon' ، 'Yelp']
      • ستون 2: "متن": جمله رشته ای که نشان دهنده بررسی خام است
      • ستون 1: 'is_positive_sentiment': 1 = احساسات مثبت ، 0 = منفی

      مجموعه آزمون 600 نمونه

      • x_test. csv: داده های ورودی

      روش پیشنهادی برای بارگیری داده ها به پایتون

      ما پیشنهاد می کنیم داده های جمله را با استفاده از روش read_csv در پاندا بارگیری کنید:

      x_train_df = pd.read_csv('x_train. csv') tr_list_of_sentences = x_train_df["متن"].ارزش های.به لیست() 

      ما اغلب به هر بررسی یا جمله به عنوان یک "سند" واحد اشاره خواهیم کرد. هدف ما طبقه بندی هر سند در برچسب های مثبت یا منفی است.

      پیش پردازش

      ما پیشنهاد می کنیم که تمام نگارشی ها را حذف کرده و مورد بزرگ را برای هر مثال به مورد پایین تبدیل کنید.

      همانطور که در کلاس مورد بحث قرار می گیرد ، بسیاری از رویکردهای ممکن برای نمایش ویژگی ها وجود دارد ، روند تبدیل هر سند ممکن در زبان طبیعی (که اغلب به عنوان یک لیست سفارش داده شده از کلمات که می تواند از طول متغیر باشد) به یک بردار ویژگی (x_n ) از aطول استاندارد

      در این پروژه ، ما دو رویکرد را کشف خواهیم کرد: بردارهای کیسه ای (که در مشکل 1 کاوش شده است) و بردارهای جاسازی شده (مشکل 2). بعداً ، به شما اجازه می دهید هر روش بازنمایی ویژگی مورد نظر خود را امتحان کنید (مشکل 3).

      مشکل 1: نمایندگی از ویژگی های کلمه

      پس زمینه در بازنمایی کیف های کلمه

      همانطور که در سخنرانی مورد بحث قرار گرفت ، نمایندگی "کیف های کلمه" (کمان) فرض می کند که یک واژگان با اندازه محدود و محدود از کلمات ممکن از قبل شناخته شده است ، با یک دستور شاخص تعریف شده (به عنوان مثال اولین کلمه "stegosaurus" است. کلمه دوم "دایناسور" و غیره است).

      هر سند به عنوان یک بردار شمارش از طول V نشان داده شده است ، جایی که ورود در فهرست V تعداد دفعاتی را نشان می دهد که کلمه واژگان با فهرست V در سند ظاهر می شود.

      شما تصمیم طراحی زیادی دارید که هنگام استفاده از نمایندگی کمان تصمیم بگیرید:

      • واژگان شما چقدر بزرگ است؟
      • آیا کلمات نادر را حذف می کنید (به عنوان مثال در کمتر از 10 سند ظاهر می شوید)؟
      • آیا کلمات مشترک را حذف می کنید (مانند "" یا "A" یا در بیش از 50 ٪ از اسناد ظاهر می شوید)؟
      • آیا فقط از کلمات منفرد ("unigrams") استفاده می کنید؟یا باید برخی از bigrams (به عنوان مثال "نیویورک" یا "بد") را در نظر بگیرید؟
      • آیا مقادیر شمارش را نگه می دارید ، یا فقط مقادیر باینری موجود/غایب را ذخیره می کنید؟
      • آیا از تکنیک های مجدد وزنه برداری هوشمند مانند فرکانس اصطلاح/فرکانس معکوس استفاده می کنید؟

      محدودیت اصلی با بازنمودهای کمان این است که هر ویژگی ورودی باید به راحتی در یک واژگان محدود به یک unigram ، bigram یا n-gram قابل خواندن انسان باشد.

      شما باید احساس راحتی کنید تا از بسیاری از ابزارهایی که Sklea در رابطه با بازنمایی های تعظیم ارائه می دهد استفاده کنید:

      • راهنمای کاربر برای کیف ابزارهای کلمات در sklea. feature_extraction. text
      • sklea. feature_extraction. text. CountVectorizer
      • sklea. feature_extraction. text. tfidfveectorizer

      اهداف و وظایف برای مشکل 1

      برای مشکل 1 ، شما یک خط لوله طبقه بندی کننده باینری را به همراه خط لوله طبقه بندی باینری ایجاد می کنید ، که همیشه با هدف تولید بالاترین دقت متعادل در داده های نگهدارنده انجام می شود.

      شما باید با چندین روش ممکن برای انجام پیش پردازش کمان و همچنین دو طبقه بندی کننده ممکن آزمایش کنید. شما باید از بهترین روشها در تکنیک های انتخاب HyperParameter استفاده کنید تا از بیش از حد و تعمیم داده های جدید خودداری کنید. در انتخاب HyperParameter خود ، باید از اعتبار سنجی متقاطع در برابر چندین برابر استفاده کنید تا دامنه اعداد عملکرد احتمالی را که ممکن است در داده های جدید مشاهده شود ، ارزیابی کنید.

      گزارش شما باید شامل بخش های زیر باشد:

      1A: توضیحات تصمیم گیری در مورد طراحی کیف

      پاراگراف خوب نوشته شده که خط لوله نمایندگی ویژگی کمان شما را توصیف می کند ، با جزئیات کافی که دانش آموز دیگری در این کلاس می تواند آن را بازتولید کند. شما به استفاده از نثر انگلیسی ساده تشویق می شوید ، اما اگر فکر می کنید مفید است ، ممکن است یک بلوک شبه کوتاه کوتاه و نوشته شده را درج کنید.

      شما باید تمام تصمیمات مهم مانند:

      • چگونه داده ها را "تمیز" و "استاندارد" کردید؟(نگارشی ، بالا در مقابل مورد پایین و غیره)
      • چگونه مجموعه واژگان نهایی را تعیین کردید؟آیا کلمات را حذف کردید ، و اگر چنین است چگونه؟
      • اندازه واژگان نهایی شما (یا اندازه (های) بالگرد) چه بود ، اگر اندازه در برابر تاشو متفاوت باشد زیرا به مجموعه آموزش بستگی دارد)؟
      • آیا از unigrams یا bigrams استفاده کرده اید؟
      • آیا از شمارش یا مقادیر باینری یا چیز دیگری استفاده کرده اید؟
      • چگونه کلمات خارج از فوکول را در مجموعه آزمون کنترل کردید؟

      1B: اعتبار سنجی متقاطع و توضیحات طراحی HyperParameter

      پاراگراف به خوبی نوشته شده است که نحوه استفاده از اعتبارسنجی متقاطع و انتخاب فراپارامتر را برای ارزیابی و اصلاح هر خط لوله طبقه بندی کننده ای که در 1C و 1D در زیر ایجاد می کنید، توضیح می دهد.

      شما باید تمام تصمیمات مهم مانند:

      • جستجوی شما چه معیار عملکردی را بر اساس داده های نگهداری شده بهینه می کند؟
      • از چه استراتژی جستجوی فراپارامتری استفاده خواهید کرد؟
      • منبع داده های نگهداری شده شما برای برآوردهای عملکرد چیست؟(چند تا است؟ بزرگی هر چین چقدر است؟ چگونه چین ها را تقسیم می کنید؟).
      • با توجه به یک پیکربندی فراپارامتر انتخاب شده ایجاد شده با استفاده از CV توسط مدل های آموزشی در چندین تا، چگونه یک مدل «نهایی» برای اعمال در مجموعه آزمایشی ایجاد می کنید؟

      1C: شکل انتخاب فراپارامتر برای طبقه بندی کننده شماره 1 (باید یک طبقه بندی مبتنی بر درخت باشد)

      با استفاده از پیش پردازش BoW خود به همراه هر طبقه بندی کننده مبتنی بر درخت (درخت تصمیم یا جنگل تصادفی یا طبقه بندی کننده تقویت)، هدف شما آموزش مدلی است که بهترین عملکرد را در داده های نگهدارنده داشته باشد.

      برای جلوگیری از برازش بیش از حد، باید حداقل از اعتبارسنجی متقاطع 3 برابری برای انجام جستجوی فراپارامتر بر روی حداقل 5 پیکربندی ممکن استفاده کنید. لطفاً روبریک انتخاب هایپرپارامتر را دنبال کنید.

      گزارش شما باید شامل یک شکل و پاراگراف خلاصه کننده این جستجو باشد.

      1D: شکل انتخاب فراپارامتر برای طبقه بندی کننده شماره 2 (هر طبقه بندی کننده)

      با استفاده از پیش پردازش BoW به همراه هر طبقه بندی کننده دلخواه (رگرسیون لجستیک، MLP، نزدیک ترین همسایه و غیره)، هدف شما آموزش مدلی است که بهترین عملکرد را در داده های نگهداری شده به دست آورد.

      برای جلوگیری از برازش بیش از حد، باید حداقل از اعتبارسنجی متقاطع 3 برابری برای انجام جستجوی فراپارامتر بر روی حداقل 5 پیکربندی ممکن استفاده کنید. لطفاً روبریک انتخاب هایپرپارامتر را دنبال کنید.

      گزارش شما باید شامل یک شکل و پاراگراف خلاصه کننده این جستجو باشد.

      1E: تعیین بهترین خط لوله طبقه بندی کننده

      خلاصه کنید که کدام طبقه بندی کننده از بین دو طبقه بندی 1C و 1D در بالا بر اساس آزمایش هایتان بهترین عملکرد را در داده های نگه داشته شده دارد، و سعی کنید توضیح شفاهی در مورد چرایی آن ارائه دهید (مرزهای تصمیم گیری انعطاف پذیرتر؟ در اجتناب از تطابق بیش از حد بهتر است؟ برای این ویژگی ها مناسب تر است؟). اگر یکی به وضوح بهتر از دیگری نیست، سعی کنید دلیل آن را توضیح دهید.

      به غیر از عملکرد نگهداری، آیا دلیل محکمی برای ترجیح یک طبقه بندی بر دیگری وجود دارد (مثلاً هزینه زمان اجرا یا پیچیدگی پیاده سازی)؟

      مطمئن شوید که مشخص است کدام طبقه بندی کننده را برای چند مرحله بعدی انتخاب می کنید، و آنچه آزمایش های شما نشان می دهد محدوده معقولی برای عملکرد آن در داده های ذخیره شده است.

      1F: تجزیه و تحلیل پیش بینی ها برای بهترین طبقه بندی کننده

      در یک جدول یا شکل ، برخی از نمونه های نماینده مثبت کاذب و منفی های دروغین را برای بهترین طبقه بندی کننده خود نشان دهید. در صورت امکان ، سعی کنید توصیف کنید که چه نوع اشتباهاتی را انجام می دهد.

      برای مثال های خاص ، می توانید به هر یک از این سؤالات نگاه کنید:

      • آیا در جملات طولانی تر یا جملات کوتاه تر بهتر است؟
      • آیا در نوع خاصی از بررسی (آمازون یا IMDB) بهتر عمل می کند؟
      • آیا در جملات بدون کلمات نفی بهتر عمل می کند ("نه" ، "نه" ، "نباید" و غیره)؟

      آیا در مورد این جملات که می توانید برای بهبود عملکرد استفاده کنید ، متوجه چیزی هستید؟(می توانید بعداً این ایده ها را در مشکل 3 اعمال کنید).

      1G: عملکرد را در مجموعه تست از طریق رهبری گزارش دهید

      بهترین طبقه بندی کمان خود را از 1E به جملات تست در x_test. csv اعمال کنید. پیش بینی های احتمالی خود را در یک پرونده متن ساده تک ستونی yproba1_test. txt ذخیره کنید (به یاد داشته باشید ، ما از آستانه 0. 5 برای تبدیل این موارد به تصمیمات باینری هنگام محاسبه معیارهای عملکرد استفاده خواهیم کرد). این پرونده را در صفحه اصلی کیف های ما بارگذاری کنید.

      در گزارش خود ، یک پاراگراف خلاصه را بیان کنید که عملکرد مجموعه آزمایش نهایی خود را بیان می کند ، آن را با برآوردهای قبلی خود از عملکرد نگهدارنده از اعتبار سنجی مقایسه کنید و در مورد هرگونه تفاوت تأمل کنید.

      مشکل 2: نمایش ویژگی تعبیه شده کلمه

      زمینه در مورد بازنمایی های تعبیه شده

      ایده اصلی تعبیه کلمه این است که هر کلمه واژگان ممکن ، مانند "" یا "خوب" یا "stegosaurus" ، دارای یک بردار مرتبط خاص با اندازه ثابت (به عنوان مثال 5 بعد) است.

      برای برخی از زمینه های تعبیه Word ، ممکن است این مقالات را مفید بدانید:

      • با تعبیه Word مشغول شوید: مقدمه ای از شین لین
      • تعبیه کلمات چیست؟توسط جیسون براونلی

      در repo کد استارت ProjectB ، ما یک پرونده بزرگ از بردارهای تعبیه شده از قبل آموزش داده شده برای تقریباً 100000 کلمه واژگان ممکن را در دسترس قرار داده ایم ، با استفاده از یک روش خاص تعبیه شده به نام "دستکش" (کوتاه برای وکتور گلوبل). برای این مشکل ، repo شامل:

      • یک پرونده بزرگ . zip از تعبیه ها: pretrained_embeddings/دستکش . 6b. 50d. txt. zip
      • یک اسکریپت برای بارگذاری تعبیه ها در یک فرهنگ لغت پایتون: load_word_embeddings. py

      با توجه به مجموعه ای از بردارهای تعبیه شده پیش ساخته ، می توانیم با میانگین یا جمع بندی بردارهای کلمات موجود در جمله ، یک جمله را بیان کنیم.

      تصمیمات اصلی طراحی در اینجا عبارتند از:

      • چگونه بردارهای جمع آوری برای هر کلمه را برای تولید یک وکتور برای یک جمله جمع می کنید؟میانگین؟جمع؟یک چیز دیگر؟
      • از چه اندازه بردار استفاده می کنید؟
      • آیا همه کلمات را درج می کنید؟یا می توانید کلماتی مانند "The" را بدون محتوای معنایی پیش بینی شده نادیده بگیرید؟

      لازم نیست ، اما اگر کنجکاو هستید:: می توانید اطلاعات بیشتر در مورد روش دستکش (و سایر پرونده های . zip از بردارهای پیش ساخته با ابعاد بالاتر) را در این پیوندها بخوانید:

      • وب سایت پروژه دستکش
      • مقاله تحقیق دستکش PDF

      اهداف و وظایف برای مشکل 2

      برای مشکل 2 ، شما یک کلمه مؤثر تعبیه شده به علاوه خط لوله طبقه بندی باینری را ایجاد خواهید کرد ، که همیشه با هدف تولید بالاترین دقت متعادل در داده های نگهدارنده انجام می شود.

      شما باید با روشهای احتمالی انجام پیش پردازش در کلمه و همچنین دو طبقه بندی کننده ممکن آزمایش کنید. شما باید از بهترین روشها در تکنیک های انتخاب HyperParameter استفاده کنید تا از بیش از حد و تعمیم داده های جدید خودداری کنید. در انتخاب HyperParameter خود ، باید از اعتبار سنجی متقاطع در برابر چندین برابر استفاده کنید تا دامنه اعداد عملکرد احتمالی را که ممکن است در داده های جدید مشاهده شود ، ارزیابی کنید.

      گزارش شما باید شامل بخش های زیر باشد:

      2a: توصیف پیش پردازش کلمه تعبیه شده

      پاراگراف خوب نوشته شده که خط لوله انتخاب شده کلمه شما را به زبان انگلیسی ساده توصیف می کند ، با جزئیات کافی که دانش آموز دیگری در این کلاس می تواند آن را بازتولید کند.

      شما باید تمام تصمیمات مهم مانند:

      • چگونه داده ها را "تمیز" و "استاندارد" کردید؟(نگارشی ، بالا در مقابل مورد پایین و غیره)
      • چگونه مجموعه واژگان نهایی را تعیین کردید؟آیا کلمات را حذف کردید ، و اگر چنین است چگونه؟
      • اندازه واژگان نهایی شما (تقریباً) چقدر است؟
      • چگونه هر کلمه واژگان به عنوان یک بردار تعبیه شده نشان داده شد؟
      • چگونه بردارهای تعبیه شده را برای هر کلمه در یک جمله ترکیب کردید تا یک نمایشگر برای جمله خود یک بازنمایی بردار تولید کند؟بردار ویژگی هر جمله چقدر بزرگ است؟
      • چگونه از کلمات واژگان در مجموعه آزمون خارج شدید؟

      2B: اعتبار سنجی متقابل و طراحی انتخاب HyperParameter توضیحات

      چه چیزی (در هر صورت) از استراتژی های انتخابی Hyperparameter قبلی شما در 1B تغییر کرده است.

      2C: شکل و پاراگراف انتخاب HyperParameter برای طبقه بندی شماره 1 (انتخاب شما)

      با استفاده از کلمه تعبیه شده از پیش پردازش به علاوه هر طبقه بندی کننده مورد نظر خود ، هدف شما آموزش مدلی است که به بهترین عملکرد در داده های نگهدارنده دست یابد.

      برای جلوگیری از برازش بیش از حد، باید حداقل از اعتبارسنجی متقاطع 3 برابری برای انجام جستجوی فراپارامتر بر روی حداقل 5 پیکربندی ممکن استفاده کنید. لطفاً روبریک انتخاب هایپرپارامتر را دنبال کنید.

      گزارش شما باید شامل یک شکل و پاراگراف خلاصه کننده این جستجو باشد.

      2D: شکل و پاراگراف انتخاب HyperParameter برای طبقه بندی شماره 2 (انتخاب شما)

      با استفاده از کلمه تعبیه شده از پیش پردازش به علاوه هر طبقه بندی کننده مورد نظر خود (متمایز از 2C بالا) ، هدف شما آموزش مدلی است که به بهترین عملکرد در داده های نگهدارنده دست پیدا می کند.

      برای جلوگیری از برازش بیش از حد، باید حداقل از اعتبارسنجی متقاطع 3 برابری برای انجام جستجوی فراپارامتر بر روی حداقل 5 پیکربندی ممکن استفاده کنید. لطفاً روبریک انتخاب هایپرپارامتر را دنبال کنید.

      گزارش شما باید شامل یک شکل و پاراگراف خلاصه کننده این جستجو باشد.

      2E: تعیین بهترین خط لوله طبقه بندی کننده

      خلاصه کنید که کدام طبقه بندی در بین دو در 2C و 2D در بالا با توجه به آزمایشات خود بهترین عملکرد را در داده های نگهدارنده انجام می دهد ، و سعی کنید توضیحات کلامی در مورد دلیل (مرزهای تصمیم گیری انعطاف پذیر تر؟ بهتر است در جلوگیری از بیش از حد مناسب باشد؟ بهتر است؟). اگر کسی به وضوح بهتر از دیگری نیست ، سعی کنید توضیح دهید که چرا.

      به غیر از عملکرد نگهدارنده ، آیا دلیل جدی برای ترجیح یک طبقه بندی بر دیگری (به عنوان مثال هزینه زمان اجرا یا پیچیدگی اجرای یا تضمین در مورد کیفیت راه حل) وجود دارد؟

      مطمئن شوید که مشخص است کدام طبقه بندی کننده را برای چند مرحله بعدی انتخاب می کنید، و آنچه آزمایش های شما نشان می دهد محدوده معقولی برای عملکرد آن در داده های ذخیره شده است.

      2F: تجزیه و تحلیل پیش بینی ها برای بهترین طبقه بندی کننده

      در یک جدول یا شکل ، برخی از نمونه های نماینده مثبت کاذب و منفی های دروغین را برای بهترین طبقه بندی کننده خود نشان دهید. در صورت امکان ، سعی کنید توصیف کنید که چه نوع اشتباهاتی را انجام می دهد.

      برای مثال های خاص ، می توانید به هر یک از این سؤالات نگاه کنید:

      • آیا در جملات طولانی تر یا جملات کوتاه تر بهتر است؟
      • آیا در نوع خاصی از بررسی (آمازون یا IMDB) بهتر عمل می کند؟
      • آیا در جملات بدون کلمات نفی بهتر عمل می کند ("نه" ، "نه" ، "نباید" و غیره)؟

      آیا در مورد این جملات که می توانید برای بهبود عملکرد استفاده کنید ، متوجه چیزی هستید؟(می توانید بعداً این ایده ها را در مشکل 3 اعمال کنید).

      بهترین تمرین: اگر مجموعه ای از نمونه های موجود در اینجا در 2F با نمونه های 1F همپوشانی داشته باشد ، ایده آل است.

      2G: عملکرد را در مجموعه تست از طریق رهبری گزارش دهید

      بهترین طبقه بندی کننده کلمه تعبیه شده خود را از 2E به جملات تست در x_test. csv اعمال کنید. پیش بینی های احتمالی خود را در یک پرونده متن ساده تک ستونی yproba1_test. txt ذخیره کنید (به یاد داشته باشید ، ما از آستانه 0. 5 برای تبدیل این موارد به تصمیمات باینری هنگام محاسبه معیارهای عملکرد استفاده خواهیم کرد). این فایل را در کلمه ما را بارگذاری کنید.

      در گزارش خود ، یک پاراگراف خلاصه را بیان کنید که عملکرد مجموعه آزمایش نهایی خود را بیان می کند ، آن را با برآوردهای قبلی خود از عملکرد نگهدارنده از اعتبار سنجی مقایسه کنید و در مورد هرگونه تفاوت تأمل کنید. بحث کنید که آیا عملکرد شما در مورد تعبیه Word در مشکل 2 بهتر یا بدتر از مشکل 1 است ، و چرا فکر می کنید ممکن است باشد.

      مشکل 3: چالش باز

      اهداف و وظایف مسئله 3

      برای این مشکل ، هدف شما بدست آوردن بهترین دقت متعادل در داده های نگهدارنده ، با استفاده از هرگونه نمایش ویژگی مورد نظر ، هر طبقه بندی کننده ای که می خواهید و هر روش انتخاب HyperParameter را می خواهید.

      در اینجا چند نمونه مشخص از روش ها/ایده هایی که می توانید امتحان کنید آورده شده است:

      • آیا می توانید بازنمایی های کمان و دستکش را برای بهبود عملکرد ترکیب کنید؟شاید فقط دو بردار ویژگی را با هم جمع کنید؟
      • آیا این امر به ساخت ویژگی های نیمه اول و نیمه دوم جملات کمک می کند؟
      • آیا این امر به ساخت طبقه بندی های جداگانه برای بررسی های آمازون ، IMDB و Yelp کمک می کند؟
      • آیا می توانید یک هسته را که به طور خاص برای مقایسه هیستوگرام های کمان مانند هسته تقاطع هیستوگرام طراحی شده است ، امتحان کنید (به اسلاید 18 مراجعه کنید)؟

      3a: توضیحات روش ها

      گزارش شما باید شامل خلاصه ای مختصر و خوب از آنچه شما امتحان کرده اید و چرا ، این پوشش را شامل می شود:

      • چگونه یک نمایندگی را بدست می آورید
      • کدام طبقه بندی را انتخاب کرده اید و چگونه آن را آموزش می دهید
      • کدام یک از پیچیدگی های مدل HyperParameters را انتخاب کرده اید و چگونه آنها را انتخاب کردید

      ما فقط می خواهیم یک یا دو پاراگراف خوب نوشته شده ، مانند موارد موجود در 2A (برای انتخاب هایپرپارامتر) و 2D (برای طبقه بندی کننده) را ببینیم.

      در صورت تمایل می توانید ارقام یا جداول را درج کنید ، اما نیازی به آن ندارید.

      3B: عملکرد را در مجموعه تست از طریق رهبری گزارش دهید

      بهترین خط لوله خود را از 3A به احکام آزمایش در x_test. csv اعمال کنید. پیش بینی های احتمالی خود را در یک پرونده متن ساده تک ستونی yproba1_test. txt ذخیره کنید (به یاد داشته باشید ، ما از آستانه 0. 5 برای تبدیل این موارد به تصمیمات باینری هنگام محاسبه معیارهای عملکرد استفاده خواهیم کرد). این فایل را در تابلوی آزاد ما بارگذاری کنید.

      در گزارش خود ، یک پاراگراف خلاصه را بیان کنید که عملکرد مجموعه آزمایش نهایی خود را بیان می کند. بحث کنید اگر عملکرد شما بهتر یا بدتر از مشکلات قبلی است ، و چرا فکر می کنید ممکن است باشد.

      RUCRIC برای عملکرد کلی

      ما با میانگین شماره نهایی برای این پروژه دریافت خواهیم کرد:

      • 85 ٪: عملکرد گزارش شما ، با استفاده از موضوع زیر
      • 10 ٪: ارسال های تابلوی شما ، با استفاده از Rubric زیر
      • 5 ٪: تکمیل تأمل خود در پروژه

      RUCRIC برای ارزیابی ارسال های تابلوی

      شما 3 مجموعه پیش بینی را به تابلوی ما ارسال خواهید کرد (یکی برای هر یک از مشکلات 1 ، 2 و 3)

      برای هر یک ، ما یک نمره بین 0. 0 تا 1. 0 به شما می دهیم:

      • 90 ٪ از امتیازها در صورت دستیابی
      • 10 ٪ از امتیازات اعطا شده در صورت تحمل 5 ارسالی برتر در این کلاس (اعتبار جزئی ممکن است ، خطی بین نمره "معقول" و نمره "برتر").

      موضوع برای ارزیابی گزارش PDF

      کسب اعتبار کامل در مورد این تکلیف به گزارشی خوب فکر می کند که نشان می دهد شما تصمیمات طراحی معقول را برای پیش پردازش ویژگی ها و طبقه بندی کنندگان گرفته اید و بهترین روشهای یادگیری ماشین را در کل ، به ویژه برای انتخاب هایپرپارامتر انجام می دهید. دستیابی به امتیازات برتر در تابلوی رهبر بسیار مهمتر از درک این موضوع است که چرا برخی از روش ها و انتخاب ها از دیگران بهتر عمل می کنند.

      امتیازات در قسمتهای مختلف به شرح زیر اختصاص می یابد:

      • 30 ٪: تصمیمات طراحی نمایندگی در 1A و 2A
      • 15 ٪: اعتبار سنجی متقاطع و تصمیم گیری در مورد انتخاب Hyperparameter در 1B و 2B
      • 25 ٪: آموزش و انتخاب برای طبقه بندی های فردی در 1C ، 1D ، 2C ، 2D
      • 10 ٪: تجزیه و تحلیل اشتباهات طبقه بندی کننده در 1E و 2E
      • 10 ٪: تأمل در عملکرد نگهدارنده در 1F و 2F
      • 10 ٪: تجزیه و تحلیل خط لوله باز در 3A و 3B

      رویه انتخاب بیش از حد پارامتری

      الزامات شکل:

      شکل شما باید عملکرد نگهدارنده را نشان دهد ، حداقل 5 مقادیر هیپرپارامتر احتمالی را کنترل می کند که پیچیدگی مدل را کنترل می کند که هم زیرنویس و هم بیش از حد را پوشش می دهد. این بدان معناست که اگر اصلاً ممکن باشد ، حداقل یک مقدار نامزد باید زیرنویس مشخصی را نشان دهد و حداقل باید بیش از حد واضح را نشان دهد.

      شکل شما باید:

      • هر دو مجموعه آموزشی و تنظیم اعتبار سنجی را در همان طرح نشان دهید
      • عملکرد معمولی را در هر هیپرپارامتر از طریق میانگین بیش از چندین برابر CV نشان دهید
      • عدم اطمینان در اطراف این مقدار معمولی ، با قرار دادن تغییرات در چین های مختلف CV
      • • یک روش ساده برای نشان دادن عدم اطمینان ، نشان دادن دامنه تجربی در همه چین ها یا انحراف استاندارد تجربی است
        • یک روش بهتر برای انجام این کار نشان دادن یک نقطه جداگانه برای عملکرد مستقیم هر برابر (بنابراین 5 نقطه برای 5 برابر).

        ایده بزرگ در اینجا این است که شکل شما باید به خواننده کمک کند تا درک کند که آیا یک هیپرپارامتر قطعاً بهتر از دیگری است (مثلاً عملکرد در اکثر یا همه برابر بهتر است) یا اگر تفاوت زیادی وجود ندارد.

        الزامات بند:

        در هر پاراگراف که شما آموزش یک طبقه بندی کننده و انتخاب هایپرپارامترهای آن را برای جلوگیری از بیش از حد توصیف می کنید ، باید شامل شوید

        • 1-2 جمله: مزایای بالقوه طبقه بندی کننده انتخاب شده را برای کار مورد نظر توصیف کنید.
        • 1-3 جملات: هرگونه جزئیات لازم را در مورد فرایند آموزش توصیف کنید (به عنوان مثال آیا مشکلات همگرایی وجود دارد؟ مسائل مربوط به انتخاب اندازه؟ نیاز به توقف زودرس؟)
        • 1-2 جملات: توصیف کنید که کدام پیچیدگی مدل هایپرپارامتر (ها) مورد بررسی قرار گرفته است ، چگونه این مقادیر پیچیدگی مدل را کنترل می کنند ، و اینکه چرا شبکه های ارزش نامزد انتخاب شده (یا توزیع های تصادفی) برای کشف انتقال بین زیر و بیش از حد منطقی هستند و پیدا می کنند "نقطه شیرین "بین.
        • 1-2 جملات: نتایج آزمایش را شرح دهید: کدام ابرپارامتر ترجیح داده می شود؟آیا شواهد تعیین کننده است یا نامشخص است؟