Швидка індексація сторінок через Google Indexing API

Google Indexing API – це інструмент, який дає змогу миттєво повідомляти пошукову систему про нові або оновлені сторінки. На відміну від традиційних методів індексації, API працює швидше й ефективніше, що особливо корисно для сайтів із динамічним контентом. У цій статті розберемо, кому і коли він потрібен, як його налаштувати і які переваги він дає.

Коли Google дозволяє примусово індексувати по одній сторінці в Search Console, SEO-фахівці шукають різні способи масового надсилання URL в індекс. У цьому нам допоможе використання Google Index API для переіндексації. З його допомогою ви навчитеся робити це швидко і без будь-яких зусиль, відправляючи потрібні URL на базі Indexing API. Він допоможе масово сканувати та відправляти сторінки в індекс. 

Google Indexing API потрібен насамперед тим, хто хоче максимально швидко відправляти сторінки сайту на індексацію в Google. 

SEO-фахівцям:

• дає змогу оперативно додавати в індекс свіжий контент (новини, статті, товари);
• допомагає швидше прибрати з видачі видалені або змінені сторінки;
• покращує виявлення сторінок із важливим контентом, особливо якщо Google їх не індексує автоматично.

Власникам сайтів:

• незамінний для новинних порталів, інтернет-магазинів, агрегаторів вакансій та інших сайтів із частим оновленням контенту;
• прискорює появу нових сторінок у пошуку та оновлення інформації у видачі.

Розробникам:

• автоматизує процес надсилання сторінок на індексацію через API;
• дає змогу інтегрувати індексацію в систему управління контентом (CMS);
• корисний для сайтів, що працюють на JavaScript (Single Page Applications), оскільки такі сторінки можуть індексуватися повільніше.

Індексування Google використовують для прискорення індексації різних типів контенту.

Що ми будемо використовувати для підключення Indexing API: 

• підключення Indexing API до Search Console;
• отримання JSON-ключа;
• встановлення та налаштування Node.js.

Налаштовуєте ви один раз, а надалі просто редагуєте файл з URL і запускаєте скрипт.

1. Підключення Indexing API до панелі Google Search Console: створення сервісного акаунта і JSON-ключа 

Перш ніж почати використовувати Google Indexing API, нам потрібно правильно налаштувати доступ і створити новий сервісний акаунт. Без цього Google просто не дасть вам надсилати запити на індексацію сторінок.

Якщо ви вперше стикаєтеся з цим процесом, то може здатися, що все виглядає складно і заплутано. Але, дотримуючись інструкцій, ви всього за кілька кроків створите сервісний акаунт, отримаєте JSON-ключ і під'єднаєте Indexing API до вашого сайту в Google Search Console.

Цей етап – фундамент для всієї роботи з API. Без нього не вийде запустити скрипт і автоматично індексувати сайт у Гуглі. 

Насамперед налаштуємо доступ у консолі Indexing API. Переходимо на Google Cloud Platform і створюємо проєкт. Прописуємо назву вашого проєкту (наприклад, назву сайту). Місцеперебування можна не вказувати.

Далі переходимо в розділ «IAM і адміністрування» в підрозділ «Сервісні акаунти».

Після того як проєкт буде створено і ви перейдете в підрозділ, побачите перед собою вікно. Тут потрібно створити сервісний акаунт.

У першому рядку вказуєте назву вашого проєкту латиницею (наприклад, назву сайту). У другому рядку дані підтягнуться завдяки тому, що ви введете в першому. Третій рядок заповнюєте за бажанням.

Натискаєте «Create» і вибираєте роль «Власник».

Натискаєте «Продовжити». Побачите вікно, в якому нічого не потрібно вказувати, просто натиснути кнопку «Готово».

Далі у вікні, що спливає, створюємо Google Indexing API key у стовпчику «Дії».

Вибираєте тип ключа JSON.

Ваш ключ Google API автоматично завантажено на комп'ютер, і він матиме ось такий вигляд.

Пізніше ключ буде застосовуватися для запуску скрипта.

2. Налаштування скрипта

Щоб зв'язати ваш сайт з Google Indexing API та прискорити індексацію сторінок, потрібно спочатку налаштувати спеціальний скрипт. Цей процес включає кілька простих кроків: звантаження архіву, його розпакування і заміну ключів доступу.

На цьому етапі налаштування Google Indexing API ми не будемо занурюватися в тонкощі – просто підготуємо все необхідне, щоб скрипт міг коректно працювати з Google. Вам знадобиться лише трохи уваги та кілька хвилин часу.

Завантажуємо скрипт

Відкриваємо скачаний скрипт і розархівуємо його, після цього зберігаємо в зручній для вас папці (можна вибрати будь-яку). Саме з нею ми будемо працювати.

Потрібно відкрити папку і файл service_account.

Замінюємо вміст усередині файлу на скачаний JSON ключ.

Тепер скрипт готовий і його потрібно пов'язати з Google Search Console.

3. Як налаштовувати зв'язок скрипта з GSC?

Ми вже наполовину завершили налаштування Google Indexing API. Тепер потрібно зробити передостанній і дуже важливий крок – зв'язати ваш скрипт із Google Search Console (GSC). Без цього з'єднання Google просто не захоче додати сторінку в індекс.

Суть процесу в тому, щоб додати створений раніше сервісний акаунт до списку власників вашого сайту в GSC. Це дасть скрипту необхідні права для надсилання запитів на індексацію сайту в Google. Не лякайтеся безлічі кнопок і налаштувань – ми розберемо все покроково і покажемо, куди натискати. 

Заходимо в Google Search Console у наш проєкт. Переходимо в розділ «Налаштування» і натискаємо «Додати користувача».

Ви побачите таке вікно.

У першому рядку потрібно додати електронну адресу з Google Cloud Platform, яку ми створили на попередніх етапах, а в другому – «Повний доступ».

За підсумком, у вас буде ось таке вікно, але нам не підходить «Повний доступ». Тому дивимося, де в нас є «Власник», натискаємо три крапки та «Управління власниками ресурсу». На функції «Додати власника» вставляємо ту саму електронну адресу з Google Cloud Platform, яку ми створили на попередніх етапах.

У вас має вийти так, як показано на скриншоті нижче – з правами «Власник».

Тепер потрібно ввімкнути Index API в нашому проєкті. Переходимо за посиланням і 

вибираємо сервісний акаунт, включно з API.

4. Запускаємо скрипт індексації сторінок Google

Ви вже виконали велику роботу: налаштували сервісний обліковий запис, зв'язали його з Google Search Console і тепер готові перейти до найважливішого етапу – запуску skript API. На цьому кроці ми завантажимо потрібні URL-адреси, підготуємо командний рядок і запустимо сам процес індексації. 

Усе, що вам знадобиться, – це трохи уважності та точне виконання команд. У результаті ви отримаєте готовий робочий інструмент, що дає змогу швидко додати сайт в індекс Гугла.

Заходимо в скачану папку на комп'ютері та знаходимо файл «urls». Вставляємо туди url, які потрібно проіндексувати, і зберігаємо. За добу можна надіслати до 200 сторінок, тому формуємо 2 пакети по 100 url.

Для наступних кроків нам потрібно знайти та завантажити вихідний код Node.js за посиланням. Далі викликаємо командний рядок і заходимо в папку google-indexing-api-bulk-master, завантажену раніше. У нас ця папка лежить за шляхом Desktop – Roots – google-indexing-api-bulk-master.

Заходимо в кореневу папку 'cd Desktop'. У новому рядку потрібно додати «cd Roots» і натиснути Enter. Далі в новому рядку додаємо «cd google-indexing-api-bulk-master» (папка, в якій знаходяться наші файли), натискаємо Enter. Після того як ми зайшли в папку, необхідно завантажити потрібні файли бібліотеки туди ж. Робиться це за допомогою певних команд. 

У кожному новому рядку додаємо значення, які показані нижче, і при цьому потрібно трохи почекати, поки не завантажаться дані:

• C:\Users\user\Desktop\Roots\google-indexing-api-bulk-master>npm install requests
• C:\Users\user\Desktop\Roots\google-indexing-api-bulk-master>npm audit fix
• C:\Users\user\Desktop\Roots\google-indexing-api-bulk-master>npm audit fix --force

Після того як усі файли бібліотеки встановлені, запускаємо останню команду node index.js, щоб відправити сторінку на індексацію в Гугл. За підсумком ви повинні будете побачити таку фінальну картину. Якщо замість цього скриншота ви побачили щось інше, значить поверніться на початок статті та уважно перевірте кожен пункт.

Коли надалі вам потрібно буде індексувати нові сторінки на цьому проєкті, у файлі urls видаляєте старі URL-адреси та міняєте на нові. У командному рядку C:\Users\user\Desktop\Roots\google-indexing-api-bulk-master> додаєте node index.js і натискаєте Enter. Для нових проєктів вам необхідно створювати все заново.

Щоб перевірити, що сторінки проіндексовані саме через Google Indexing API, можна використовувати такі методи.

Google Search Console (GSC):

1. Перейдіть у Google Search Console.
2. Відкрийте Інструмент перевірки URL (у верхньому меню).
3. Введіть URL сторінки та натисніть Enter.
4. Якщо статус «Сторінка проіндексована», значить Google додав її в індекс. Однак цей метод не вказує, чи використовувався API.

Перевірка через оператор «site»:

1. Введіть у Google

2. Якщо сторінка з'являється у видачі – вона вже в індексі. Якщо ні, Google її ще не обробив або видалив.

Перевірка через Google Indexing API (Get Status API Call):

• якщо ви відправляли сторінки через Indexing API, можна зробити зворотний запит;
• використовуйте метод Get Status в API;
• у відповіді Google ви отримаєте статус індексації (наприклад, «URL is indexed» або «URL is not indexed»).

Аналіз логів сервера:

• перевірте логи сервера на наявність запитів від Googlebot після надсилання URL через API;
• якщо Googlebot відвідував сторінку незабаром після запиту, це ознака успішного спрацьовування API.

Моніторинг через Google Analytics:

• можна відстежувати, чи заходив Googlebot на сторінку після запиту в API;
• якщо бот відвідав сторінку, висока ймовірність її швидкої індексації.

Якщо після запиту через Google API сторінка довго не індексується, перевірте:

• чи немає помилок в API-запитах;
• чи немає заборон у robots.txt або метатезі noindex;
• якість контенту (Google не індексує дублі або непотрібні сторінки).

Використовуючи ці методи, можна відстежити, чи проіндексована сторінка після надсилання через Google Indexing API.