بهترین روش برای Fine-tuning مدلهای زبان بزرگ (LLM) روی دیتاست سفارشی چیست؟
سلام دوستان. من یک دیتاست تخصصی در حوزه پزشکی دارم و میخوام یک مدل مثل Llama 3 رو روی این دیتاست فاین-تیون کنم تا بتونه به سوالات پزشکی با دقت بیشتری پاسخ بده. با روشهایی مثل LoRA و QLoRA آشنا هستم اما نمیدونم کدوم یکی برای شروع بهتره و چه نکاتی رو باید در نظر بگیرم. مثلاً بهترین سایز دیتاست، تعداد epochها و learning rate چقدر باید باشه؟ آیا ابزار آمادهای مثل Hugging Face TRL برای این کار پیشنهاد میشه؟ ممنون میشم راهنمایی کنید.