Давня друкарська помилка інфікувала нейромережі: як це можливо

Wait 5 sec.

Як звичайна помилка заплутала вчених? Вчені виявили десятки рецензованих праць із повністю вигаданим терміном, якого не існує у науковому дискурсі. Він виник через помилки автоматичного розпізнавання тексту та машинного перекладу, а згодом потрапив до баз даних, з яких навчається ШІ.Про це інформує РБК-Україна з посиланням на Futura.Примарний термін: від друкарської помилки 1950-х до ІрануУсе почалося ще у 1950-х роках, коли оцифровували дві статті з журналу Bacteriological Reviews.Через помилку під час автоматичного розпізнавання тексту слово "vegetative" з однієї колонки випадково з’єдналося зі словом "electron" із сусідньої - так у базах даних з’явився вигаданий термін, якого насправді не існує.Десятиліттями фантом залишався непоміченим, поки у 2017 та 2019 роках не виринув у англомовних анотаціях іранських наукових публікацій.Причиною стала помилка перекладу: у перській мові (фарсі) слова "вегетативний" та "скануючий" відрізняються лише одним діакритичним знаком. Дрібна помилка запустила фразеологізм у міжнародний науковий обіг.Читайте більше: В Україні запустили власний ChatGPT: як працює чат-бот Lapathoniia"Інфікування" ШІ-моделейЗа даними Google Scholar, безглуздий термін опинився щонайменше у 22 наукових публікаціях.Науковці вирішили перевірити, чи засвоїли цей баг мовні моделі.Так, при тестуванні з фрагментами оригінальних статей GPT-3 автоматично доповнювала речення фразою "vegetative electron microscopy", тоді як старіші системи на кшталт GPT-2 чи BERT подібної схильності не мали.Свою стійкість аномалія демонструє й у новіших версіях - GPT-4o та Claude 3.5 від Anthropic.Головним джерелом "інфікування" став масивний відкритий архів веб-даних Common Crawl, на якому навчають більшість сучасних нейромереж.Більше цікавого: ШІ-галюцинації знищили важливе дослідження: фейки потрапили у ChatGPT і GeminiЧому "цифрові скам'янілості" небезпечні для науки?Випадок показує, наскільки вразливими є ШІ-алгоритми до систематичних помилок минулого.Автоматичні інструменти перевірки тексту тепер маркують фразу "vegetative electron microscopy" як маркер згенерованого ШІ-контенту.З усім тим, подібні системи здатні фіксувати лише ті помилки, які вже виявлені людиною.Для збереження чистоти наукових доробків фахівці закликають розробників ШІ відкрити навчальні датасети, а наукові видавництва - посилити рецензування, щоб запобігти самовідтворенню та укоріненню фейкових даних у цифровому просторі.Ще більше цікавого:ChatGPT може запам'ятати брехню: вчені знайшли небезпечну вразливістьОдин копіпаст із ChatGPT може закрити доступ до науки: що вирішив arXiv