ادعای دقت مطلق در شناسایی ماشین
شرکتهایی نظیر پانگرام (Pangram) و جیپیتی زیرو (GPTZero) اکنون مدعیاند میتوانند با دقت خیرهکنندهای نوشتههای انسانی را از محتوای تولیدشده توسط مدلهای زبانی تفکیک کنند. پانگرام ادعا میکند دقت ابزارش به ۹۹.۹۸ درصد میرسد و جیپیتی زیرو نیز عدد ۹۹ درصد را برای خود ثبت کرده است. این ابزارها حالا به سلاح اصلی دانشمندان، دانشگاهها و ناشران تبدیل شدهاند تا جلوی نفوذ متون ماشینی به فضای آکادمیک را بگیرند.
هوش مصنوعی در قلب مقالات علمی
نفوذ مدلهای زبانی بزرگ به پژوهشهای علمی بیش از آنچه تصور میشد گسترده است. بررسیها نشان میدهد حدود یک مقاله از هر هشت مقاله زیستپزشکی در سال گذشته، حاوی متونی بوده که توسط هوش مصنوعی تولید شدهاند. این موضوع باعث شده کنفرانسها و سازمانهای علمی سختگیرانهتر عمل کنند.
- کنفرانس NeurIPS پس از غربالگری متون با ابزار پانگرام، ۱۸ درصد از مقالات ارسالی را رد کرد.
- دانشگاهها و کنفرانسهای متعددی برای بررسی تکالیف دانشجویان و مقالات علمی به جیپیتی زیرو متکی شدهاند.
جنگ در اتاقهای داوری
استفاده از این ابزارها تنها به شناسایی مقالات محدود نمیشود، بلکه به لایههای نظارتی نیز رسیده است. دنیل اوانکو از انجمن آمریکایی تحقیقات سرطان، پانگرام را برای بررسی گزارشهای داوری همتا به کار میگیرد. او متوجه شد برخی پژوهشگران بدون اعلام رسمی، از هوش مصنوعی برای نوشتن نظرات داوری استفاده میکنند.
یکی از داوران پس از آنکه ابزار پانگرام ردپای هوش مصنوعی را در نوشتههایش پیدا کرد، اعتراف کرد که به دلیل کمبود وقت، بخشهایی از گزارش را به مدلهای زبانی سپرده بود.
تغییر رویکرد؛ از آمار تا تحلیل عمیق
نسل قدیمی ابزارهای تشخیص، عمدتاً بر ویژگیهای آماری متن و مفهومی به نام «پریپلکسیتی» (Perplexity) تکیه میکردند. این روشهای ساده آماری اغلب دچار خطا میشدند و بسیاری از متون انسانی را به اشتباه بهعنوان محصول هوش مصنوعی شناسایی میکردند. اما ابزارهای جدید با تحلیلهای پیچیدهتر سعی دارند این شکاف را پر کنند، هرچند بازنویسیهای هوشمندانه همچنان چالشی جدی برای آنهاست.