کاربرد ابزارهای شناسایی در پژوهشهای علمی
در سالهای اخیر، شرکتهایی نظیر پانگرام (Pangram) و جیپیتی زیرو (GPTZero) ابزارهایی را عرضه کردهاند که قادرند تفاوت میان متون نوشته شده توسط انسان و هوش مصنوعی را تشخیص دهند. این ابزارها اکنون توسط دانشگاهها، ناشران و کنفرانسهای علمی برای بررسی تکالیف دانشجویان، مقالات و گزارشهای داوری مورد استفاده قرار میگیرند.
به عنوان نمونه، دنیل اوانکو از انجمن آمریکایی تحقیقات سرطان از ابزار پانگرام برای بررسی گزارشهای داوری همتا استفاده میکند تا مواردی را که پژوهشگران بدون اعلام رسمی، از مدلهای زبانی بزرگ کمک گرفتهاند، شناسایی کند. در یکی از این موارد، یک داور پس از شناسایی توسط این ابزار، اعتراف کرد که به دلیل کمبود وقت از هوش مصنوعی استفاده کرده است.
آمارها و نرخ دقت ابزارهای تشخیص
شرکتهای سازنده این ابزارها ادعاهای متفاوتی درباره میزان دقت خود دارند:
- پانگرام: ادعای دقت ۹۹.۹۸ درصدی در شناسایی محتوای هوش مصنوعی دارد.
- جیپیتی زیرو: دقت این ابزار ۹۹ درصد اعلام شده است.
تاثیر این ابزارها در محیطهای علمی به شکل قابل توجهی مشاهده شده است؛ به طوری که کنفرانس NeurIPS اعلام کرده است پس از غربالگری با پانگرام، ۱۸ درصد از مقالات ارسالی را رد کرده است. همچنین مطالعات نشان میدهد که در سال گذشته، حدود یک مقاله از هر هشت مقاله زیستپزشکی شامل متونی تولید شده توسط هوش مصنوعی بوده است.
تکامل فناوری تشخیص: از روشهای آماری تا یادگیری ماشین
نسلهای قدیمیتر ابزارهای تشخیص هوش مصنوعی عمدتاً بر ویژگیهای آماری متن، مانند «پریپلکسیتی» (Perplexity) تکیه میکردند. این روشها به دلیل نرخ بالای خطای تشخیص (شناسایی اشتباه متون انسانی به عنوان هوش مصنوعی)، در برخی دانشگاهها محدود یا ممنوع شدند.
در مقابل، روش جدیدی که توسط پانگرام به کار گرفته شده، بر پایه یادگیری ماشین است. در این روش، مدلهای یادگیری ماشین با بررسی میلیونها متن انسانی و نسخههای مشابه تولید شده توسط هوش مصنوعی (با عنوان، طول و لحن یکسان)، آموزش دیدهاند تا تفاوتهای ظریف میان این دو نوع محتوا را تشخیص دهند.