Пошук моделлю і межі для ботів

Пошук моделлю і межі для ботів

1. Людина питає асистента про свіже: судову практику за останні пів року, зміну в законі, вчорашню новину. На екрані зʼявляється напис «шукаю в інтернеті», і за пів хвилини приходить відповідь із посиланнями. Фільм показує, що відбувається за ці пів хвилини: хто саме шукає, які сторінки асистент читає і яких не бачить зовсім. Знаючи це, легше вирішити, що у відповіді перевірити самому.

2. Відповідь асистента складає мовна модель. Вона знає лише те, що було в текстах, на яких її навчали, і ці знання закінчуються датою навчання. Постанов, ухвалених пізніше, у ній немає, тож на питання про практику Верховного Суду за останні пів року вона сама відповісти не може. Усе новіше асистент бере ззовні, і відповідь залежить від того, що йому вдасться знайти.

3. Ззовні модель сама нічого не дістане: до інтернету вона не підключена, вона лише приймає текст і повертає текст. У щоденній роботі цього майже не видно, бо асистентові дають інструменти, тобто окремі програми, які він може викликати: пошук, відкриття сторінки за адресою, читання файла. Коли асистент «шукає», працює інструмент, а модель отримує від нього готовий текст.

4. Інструмент пошуку - це, по суті, звичайна пошукова система, тільки запити в неї вводить не людина, а асистент. З питання він складає кілька запитів і отримує список посилань, до кожного уривок на один-два рядки. Самих сторінок модель на цьому кроці ще не читала. Про зміст вона судить за адресою й уривком і за ними вирішує, що відкривати.

5. Із пʼяти посилань асистент відкриває три: другий інструмент завантажує ці сторінки і кладе їхній текст у контекстне вікно, тобто в робочу памʼять моделі на час розмови. Модель складає відповідь із цього тексту, а номери в дужках показують, з якої сторінки вона взяла твердження. Сторінки, які до вікна не потрапили, на відповідь не впливають, хоч би що в них було написано.

6. Проте відкрити вдається не кожну сторінку. Інструмент заходить на сайт як відвідувач без облікового запису, тож усе, що видно лише після входу, для нього закрите: пошта, банківський кабінет, робочий диск, закрита група. Платні видання і журнали зазвичай показують йому заголовок і перший абзац. Реєстри, де результат зʼявляється після запиту у формі, здебільшого теж його не пропускають.

7. Що саме сайт закриває, залежить від того, чим він дорожить. Банки й лікарні бережуть персональні дані клієнтів і пацієнтів, бо цього вимагає закон. Видавці й платні бази бережуть текст, бо продають доступ до нього. Соцмережі й маркетплейси здебільшого обмежують автоматичне читання, щоб їхній вміст не копіювали масово. Державні реєстри часто ставлять перевірку «я не робот», щоб витримати навантаження.

8. Засобів для цього кілька. У файлі robots.txt власник сайту пише, куди програмам заходити не слід; це прохання, а не замок. Ліміт запитів зупиняє того, хто звертається надто часто, а CAPTCHA, перевірка «я не робот», відрізняє людину від програми. Є ще умови використання, які забороняють автоматичний збір, і платний доступ. Тому ту саму адресу людина в браузері відкриває, а інструмент отримує відмову.

9. Про все, чого інструмент не відкрив, відповідь зазвичай мовчить. У ній є посилання і впевнений тон, тому вона здається повною. Проте модель склала її лише з кількох сторінок, які вдалося прочитати, а закриті сторінки, платні тексти, реєстри й зовсім нові публікації в неї не потрапили. За самою відповіддю цього не видно: переліку того, що лишилося поза пошуком, асистент зазвичай не наводить.

10. До закритих даних асистент дістається лише тоді, коли йому дають окремий вхід. Пошту, диск або базу даних підключають через API, тобто вхід, зроблений не для людей, а для програм. Підключення дозволяєте ви самі, і відтоді асистент читає від вашого імені та бачить рівно те, що дозволено вашому обліковому запису. Без такого підключення цих даних для нього не існує.

11. У роботі ці засоби поєднують. Модель допомагає скласти план і чернетку, але може помилитися. Пошук знаходить відкриті джерела, хоча й не всі. Підключена база або реєстр дає точні записи, проте без висновків. Останній крок лишається за людиною: джерело, на яке спирається висновок, вона відкриває і читає сама, а про закриті джерела памʼятає, що асистент їх не бачив.