شناسایی زبان (LID)
- نوع
- NLP text-classification task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
شناسایی زبان یک وظیفه پردازش زبان طبیعی است که به طور خودکار تشخیص میدهد یک قطعه متن به چه زبانی نوشته شده است. با تکیه بر ابزارهای آماده مانند langid.py (Lui & Baldwin, 2012) و طبقهبندهای کارآمد Joulin et al. (2017)، این روش به طور گستردهای برای پیشپردازش و فیلتر کردن مجموعه دادههای چندزبانه استفاده میشود.
شهود پشت روش
زبانهای مختلف اثرات انگشت مشخصی در الگوهای حروف و کلمات خود باقی میگذارند: دنبالههای کاراکترهایی که در ترکی ظاهر میشوند با آنچه در انگلیسی یا ژاپنی دیده میشود متفاوت است. به جای نیاز به یک انسان برای خواندن و تشخیص هر سند، شناسایی زبان این الگوهای آماری را یاد میگیرد و به هر متن یک برچسب زبان اختصاص میدهد، بنابراین یک مجموعه چندزبانه میتواند به طور خودکار بر اساس زبان مرتب شود.
تاریخ
شناسایی خودکار زبان به ابزارهای قابل اعتماد و آماده مانند langid.py (Lui & Baldwin, 2012)، یک ابزار مستقل که بسیاری از زبانها را پوشش میدهد، تبدیل شد. سپس Joulin et al. (2017) نشان دادند که مدلهای طبقهبندی متن ساده و کارآمد میتوانند این وظیفه را در مقیاس بسیار بزرگ انجام دهند، رویکردی که از طریق مدلهای شناسایی زبان fastText محبوب شد.
چه زمانی استفاده شود
هنگامی که دادههای متنی با زبان ناشناخته یا مختلط دارید و نیاز دارید قبل از تجزیه و تحلیل بیشتر، آن را بر اساس زبان مرتب یا فیلتر کنید، از شناسایی زبان استفاده کنید. هر سند باید به اندازه کافی طولانی باشد — حداقل حدود 20 کاراکتر — تا سیگنال قابل اعتمادی را حمل کند. این روش برای مجموعههای چندزبانه که باید بر اساس زبان پاکسازی یا مسیریابی شوند مناسب است؛ اگر تمام متن شما از قبل به یک زبان شناخته شده باشد، این مرحله غیرضروری است.
محدودیتها و ملاحظات
- متون بسیار کوتاه سیگنال کمی حمل میکنند؛ اسناد کوتاهتر از حدود 20 کاراکتر غیرقابل اعتماد هستند.
- کد-سوئیچینگ — ترکیب دو زبان در یک سند — واقعاً برچسبگذاری صحیح آن دشوار است.
- دقت میتواند برای زبانهای کممنبع و متونی که اسکریپتها را ترکیب میکنند، کاهش یابد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- ابزارهای آماده، استقرار سریع آن را بدون نیاز به دادههای برچسبگذاری شده خودتان ممکن میسازند.
- یک مجموعه چندزبانه نامرتب را به زیرمجموعههای تمیز و برچسبگذاری شده با زبان، آماده برای پردازش بعدی، تبدیل میکند.
- یک روش مقدماتی با دشواری کم که به مقیاس مجموعههای بزرگ میرسد.
کاربردها
- پیشپردازش مجموعه دادههای چندزبانه با برچسبگذاری هر سند با زبان آن.
- فیلتر کردن یک مجموعه متنی برای نگهداشتن فقط اسناد به زبان هدف قبل از تجزیه و تحلیل بیشتر.
- مسیریابی متن ورودی به خطوط لوله مخصوص زبان در تحقیقات علوم اجتماعی، انسانی و تجاری.
- پاکسازی مجموعههای جمعآوری شده از وب که زبانهای زیادی را با هم ترکیب میکنند.
چگونه کار میکند
چگونه کار میکند
متنی که باید تجزیه و تحلیل شود جمعآوری شده و از نظر طول قابل استفاده بررسی میشود. قطعات بسیار کوتاه سیگنال کمی حمل میکنند، بنابراین هر سند باید حداقل حدود 20 کاراکتر باشد تا بتواند به طور قابل اعتماد برچسبگذاری شود.
هر سند به سیگنال آماری تبدیل میشود که یک زبان را از زبان دیگر متمایز میکند — معمولاً الگوهای n-gram کاراکتری که نحوه تمایل حروف به دنبال کردن یکدیگر را در یک زبان خاص ثبت میکنند. این الگوها همان چیزی هستند که طبقهبند میخواند.
یک مدل آموزشدیده، محتملترین برچسب زبان را به هر سند اختصاص میدهد و از ابزارهای ساخته شده برای این کار مانند langid.py یا طبقهبندهای سبک fastText استفاده میکند. خروجی یک زبان پیشبینی شده برای هر متن است.
برچسبهای پیشبینی شده در مراحل بعدی استفاده میشوند: یک مجموعه چندزبانه بر اساس زبان مرتب میشود و اسناد به زبانهای ناخواسته قبل از پردازش بیشتر متن فیلتر میشوند. اینجاست که شناسایی زبان جایگاه خود را به عنوان یک مرحله پیشپردازش پیدا میکند.
دامهای رایج
- اجرای آن بر روی قطعات بسیار کوتاه و اعتماد به برچسب به هر حال — ابتدا حداقل طول را اعمال کنید.
- فرض کردن یک برچسب برای هر سند زمانی که متن بین زبانها کد-سوئیچ شده است؛ برچسب پیشبینی شده واحد گمراهکننده خواهد بود.
- در نظر گرفتن برچسب پیشبینی شده به عنوان حقیقت زمینی بدون بررسی میدانی، به ویژه برای زبانهای بسیار نزدیک.
پرسشهای متداول
چه مقدار متن برای شناسایی زبان لازم است؟
هر سند باید حداقل حدود 20 کاراکتر باشد. قطعات کوتاهتر سیگنال آماری کمی حمل میکنند و زبان پیشبینی شده غیرقابل اعتماد میشود.
چه اتفاقی برای متنی که دو زبان را با هم ترکیب میکند میافتد؟
کد-سوئیچینگ یک دشواری شناخته شده است: هنگامی که دو زبان در یک سند ظاهر میشوند، ابزاری که یک برچسب واحد برمیگرداند نمیتواند هر دو را نشان دهد و نتیجه اغلب گمراهکننده است. چنین متونی را به جای اعتماد به یک برچسب، قطعهبندی یا پرچمگذاری کنید.
آیا به دادههای آموزشی برچسبگذاری شده نیاز دارم؟
معمولاً نه. ابزارهای آماده مانند langid.py و طبقهبندهای سبک fastText با پیشبینی روی بسیاری از زبانها عرضه میشوند، بنابراین میتوانید زبان را بدون آمادهسازی مجموعه برچسبگذاری شده خودتان تشخیص دهید.
چرا قبل از سایر تجزیه و تحلیلهای متنی، زبان را شناسایی کنیم؟
بیشتر روشهای بعدی — توکنایزرها، واژگان، مدلهای زبان — یک زبان واحد و شناخته شده را فرض میکنند. شناسایی و فیلتر کردن بر اساس زبان ابتدا این فرض را معتبر نگه میدارد و از اعمال ابزارهای ساخته شده برای یک زبان بر روی زبان دیگر جلوگیری میکند.
روشهای مرتبط
منابع
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
باز کردن مرجع انتشارکپی شد.Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
باز کردن مرجع انتشارکپی شد.