Які бувають дані і як до них дістатись

Які бувають дані і як до них дістатись

1. Дані, потрібні для роботи, лежать у різних місцях: на відкритому сайті, у вашій пошті, у системі компанії, а дещо взагалі ніде не опубліковане. Шлях до кожного місця свій, і пошукова система веде лише до невеликої частини. Мапа розкладає ці місця на вісім шарів, від найвідкритішого до найзакритішого. Наприкінці про будь-які дані можна буде сказати, у якому шарі вони лежать і як до них дістатися.

2. Верхній шар - відкрита мережа: сайти компаній і установ, новини, блоги, форуми, енциклопедії. Пошукова система заздалегідь обходить такі сторінки за посиланнями і заносить їх до індексу, тобто до свого покажчика слів і сторінок. Тому сюди веде звичайний запит словами. Це єдиний шар, який пошукова система бачить майже повністю, і через це здається, ніби в ній є все.

3. Другий шар теж відкритий, але лежить не сторінками, а наборами: державні дані, статистика, погода, карти. Набір завантажують файлом-таблицею або беруть через API, тобто окремий вхід, яким по дані приходять програми, а не люди. Пошукова система зазвичай бачить сторінку з описом набору, проте не рядки у файлі. Тому окремий запис через неї не знайти: набір спершу завантажують і шукають уже в ньому.

4. Третій шар лежить уже нижче межі, до якої дістає пошукова система. Це бази, що відповідають лише на запит у власній формі: реєстри компаній і судових рішень, розклади, каталоги бібліотек, патенти. Сторінка з результатом виникає в момент запиту, тож заздалегідь обійти її неможливо. Окремі записи трапляються у видачі, але пошук через пошукову систему тут неповний. Шукають у формі самої бази або через її API.

5. Четвертий шар відкривається за гроші: наукові журнали, платна преса, галузеві й ринкові бази. Назву й короткий опис статті часто видно всім, а повний текст відкривається лише після входу в обліковий запис із чинною підпискою. Пошукова система й асистент без такого входу бачать тільки цю вітрину. Підписку нерідко вже має організація чи бібліотека, тож перед оплатою варто спитати там.

6. Пʼятий шар складають ваші власні облікові записи: пошта, месенджери, хмарний диск, банк, медична картка. Ці дані стосуються вас, і відкриває їх ваш вхід: пароль і, зазвичай, другий крок підтвердження. Ззовні їх не бачить ніхто, зокрема й асистент. Він працює з ними лише тоді, коли ви самі підключите обліковий запис або передасте потрібний файл.

7. Шостий шар належить не вам, а організації, де ви працюєте: облік клієнтів, бухгалтерія, робочі чати, спільні диски, внутрішня база знань. Доступ тут визначає роль: бухгалтер бачить рахунки, менеджер бачить своїх клієнтів, і кожен рівно стільки, скільки дала організація. Зовнішній пошук сюди не заходить, тож шукають власним пошуком кожної системи. Через це один документ нерідко доводиться шукати в кількох місцях по черзі.

8. Сьомий шар закриває вже не пароль, а закон: чужі персональні й медичні дані, банківська таємниця, матеріали слідства. Пошук і підписка тут нічого не дають, бо такий доступ не продається. Потрібна правова підстава: згода самої людини, рішення суду або запит, який закон прямо дозволяє певній установі чи фахівцеві. Без такої підстави отримати ці дані законно неможливо.

9. Останній шар складають дані, які орган влади чи компанія має, але ніде не опублікував. Шукати їх марно, їх треба запитати. В органу влади просять запитом на публічну інформацію, і закон дає на відповідь пʼять робочих днів, а для великого обсягу до двадцяти. Якщо ж компанія тримає дані про вас самих, подають запит на власні дані: право отримати їх дає закон про захист персональних даних.

10. Вісім шарів дають вісім різних шляхів: запит словами, завантаження файла, форма бази, підписка, власний вхід, роль в організації, правова підстава, запит до того, хто дані тримає. Пошукова система бачить верхній шар і частину другого, решта для неї закрита. Тому спершу визначають, у якому шарі лежать потрібні дані, і вже потім обирають шлях. Коли пошук нічого не знайшов, дані можуть лежати шаром нижче.