Документация
Включение контентного движка: сканирование сайта и предложение
Включите контентный движок, и он просканирует ваши карты сайта, данные Search Console и страницы, а затем предложит языки, типы контента, формат и правила подбора тем.
Когда вы включаете контентный движок для ресурса, запускается полное сканирование сайта. Сканер читает robots.txt, все карты сайта, данные Search Console за три месяца и сами страницы, а затем предлагает, как должны выглядеть ваши статьи: языки, типы контента, формат статьи и правила подбора тем. Пока первое сканирование не завершится, ни одна тема не выбирается, и ничто из предложенного не применяется, пока вы не поставите галочку.
Перед включением
- Search Console подключена к ресурсу (Подключение Search Console). Без неё сканер всё равно прочитает карты сайта и страницы, но данные о трафике по страницам будут недоступны, а темы из Search Console не появятся.
- У вас есть полный доступ к ресурсу. Пользователи с правами просмотра могут открыть страницу Content, но не могут включить или изменить движок.
- В аккаунте есть активный тариф или пробный период (тарифы). Если тариф истёк, опубликованные статьи остаются на месте, а новые не запускаются.
- AutoPSEO-Bot может читать сайт (см. ниже).
- Property Context заполнен, чтобы автор знал, чем занимается бизнес, и ничего не додумывал. Напомнит об этом чек-лист «Готово к написанию».
Включение движка
- В боковом меню ресурса откройте Content (в группе Research).
- Выберите Turn on the content engine.
- AutoPSEO сохранит настройки по умолчанию и откроет страницу Your site с сообщением «The engine is on. Your site is being scanned now.»
| Настройка на странице Content | Значение по умолчанию |
|---|---|
| Новых статей в неделю | 2 |
| Согласование каждой статьи перед публикацией | Включено |
| Кто пишет темы в очереди | AutoPSEO, в указанном выше темпе |
| Язык, на котором пишутся статьи | Английский |
| Где публикуются статьи | Хостинг AutoPSEO по адресу <name>.autopseo.com, пока вы не подключите собственный сайт |
Любую из них можно изменить в разделе Settings на странице Content. Чтобы отправлять статьи на свой сайт, а не на адрес AutoPSEO, настройте вебхук доставки.
Что читает сканер
Панель Scan показывает каждый этап по ходу работы:
| Этап | Что происходит |
|---|---|
| Чтение карт сайта | Сначала robots.txt, затем все указанные в нём карты сайта и /sitemap.xml; обрабатываются индексные карты и gzip-файлы, только на вашем собственном хосте |
| Чтение Search Console | Запросы по каждой странице за три месяца |
| Перенос статей вашего сайта | Только если вебхук вашего сайта умеет передавать его статьи (доставка) |
| Чтение страниц | Каждая страница загружается и разбирается, начиная с самых посещаемых |
| Подготовка предложения | До 60 статей на раздел, всего до 400, плюс главная страница, с измерением параметров |
| Планирование тем | Кандидаты из Search Console попадают в бэклог (темы) |
| Изучение оформления вашего сайта | Только пока статьи размещает AutoPSEO (хостинг) |
| Ограничение | Значение |
|---|---|
| Файлов карты сайта за одно сканирование | 400 |
| Адресов, сохраняемых за одно сканирование | 60,000 |
| Записей в одном файле карты сайта | 50,000 и 50 МБ |
| Страниц, читаемых при полном сканировании | 5,000 |
| Страниц, читаемых при еженедельном обновлении | 1,000: те, что ещё не читались, и те, у которых изменился lastmod в карте сайта |
| Страниц, читаемых одновременно | 6 |
| На одну страницу | 15 секунд и первые 2 МБ |
| Строк Search Console | 25,000 за три месяца |
Страница, существующая на нескольких языках, считается один раз. Первый сегмент пути, например /de/, воспринимается как язык, если об этом говорят аннотации hreflang в вашей карте сайта либо если его используют не менее трёх адресов и не менее 30% из них существуют также без префикса или под другим языковым кодом.
Само сканирование не расходует исследовательские кредиты. Только шаги для типизированных страниц запрашивают объём поиска, и они списывают исследовательские кредиты.
Разрешите AutoPSEO-Bot читать ваш сайт
User agent сканера начинается с AutoPSEO-Bot/1.0.
- Применяются правила robots.txt для
User-agent: AutoPSEO-Bot, а при их отсутствии — для группы*. Страницы, закрытые этими правилами, не читаются. Сайт без robots.txt читается полностью. - Читается только ваш собственный хост. Редирект, который лишь добавляет завершающий слеш или переключает на https, выполняется; любой другой редирект фиксируется, но не выполняется.
- Ответы 404 и 410 помечают страницу как удалённую. Ответы 401, 403, 429 и 503 помечают её как заблокированную, причём для 429 и 503 выполняется ещё одна попытка через три секунды. Страницы проверки на бота («Just a moment» и подобные) тоже считаются заблокированными.
Если ваш файрвол или защита от ботов проверяет незнакомых краулеров, разрешите AutoPSEO-Bot. Синтаксис групп описан в документации Google по robots.txt, если вы хотите задать правила только для этого краулера.
Сканер сообщает, что помешало его работе:
| Примечание | Значение |
|---|---|
| The site has no robots.txt. | Было разрешено всё |
| robots.txt blocks AutoPSEO-Bot; pages it disallows are not read. | Ваши правила закрывают краулеру доступ к некоторым страницам |
| No sitemap was found; pages came from Search Console only. | Добавьте карту сайта, чтобы новые страницы находились (карты сайта) |
| The sitemaps list more addresses than one scan keeps; the first ones were kept. | Больше 60,000 адресов |
| The site has more pages than one scan reads; the most visited were read first and the next scans read more. | Превышен лимит страниц на одно сканирование |
| Most pages refused AutoPSEO-Bot. | Заблокировано более половины страниц: проверьте файрвол |
| More than a fifth of the pages could not be read. | Сбои или блокировки составляют более 20% |
| Fewer than three pages read as articles, so the format was not proposed from them. | Задайте формат вручную |
Предложение
В блоке What the scan proposes перечислены четыре части, у каждой есть флажок: Languages, Content types (с пометкой New или Changes), Article format (shared by every content type) и Topic rules. Снимите галочки с того, что не подходит, и нажмите Apply what is ticked. Применённые части исчезают из списка; если ничто не отличается от ваших настроек, показывается сообщение «Everything the scan found matches the settings already.»
Если вебхук вашего сайта экспортирует профиль, то заявленное в нём важнее того, что определил сканер (доставка).
Языки
Основным считается язык, на котором написаны адреса без префикса (по hreflang), иначе значение lang главной страницы, иначе язык с наибольшим числом страниц. Другой язык предлагается, если у него не менее трёх страниц и не менее пятой части от числа страниц основного языка. Движок пишет на 27 языках; остальные указываются как не поддерживаемые для написания. При применении список языков заменяется. См. перевод.
Типы контента
Разделы сайта, в которых не менее пяти страниц (не более восьми разделов), каждый с теми видами запросов, которые видны по их slug: вопросы, инструкции, определения, сравнения, альтернативы и подборки лучших. Вид засчитывается, если его признаки есть не менее чем у четверти slug раздела. При применении создаются новые типы, а правила и счётчики существующих обновляются; путь типа никогда не меняется. Позже кнопка Find the sections your site already has на странице Content предложит разделы в качестве типов.
Формат статьи
Измеряется не менее чем по трём страницам, распознанным как статьи:
| Поле | На чём основано предложение |
|---|---|
| Окончание заголовка | Окончание, общее не менее чем для 60% заголовков |
| Ширина заголовка | 90-й перцентиль ширины заголовков, округлённый вверх до 5, в пределах от 50 до 70 |
| Разделы | От 10-го до 90-го перцентиля числа разделов |
| FAQ, ключевые выводы | Тот же диапазон, если они есть не менее чем в 30% статей; иначе не используются |
| Прямой ответ | 90-й перцентиль его длины в словах, если не менее половины статей начинаются с него |
| Meta description | От 10-го до 90-го перцентиля длины, при выборке не менее трёх |
| Источники | Диапазон, если не менее 40% статей ссылаются на источники |
| Поле вопроса | Включено, если не менее 60% заголовков H1 сформулированы как вопросы |
| Название бренда | Название вашего сайта, если оно упоминается не менее чем в 60% статей |
| Категории | Две или более общих категории, охватывающие половину статей, если один раздел содержит 80% из них |
| Белый список ссылок | Страницы, не являющиеся статьями, на которые ссылаются не менее 20% статей, до 30 |
При применении эти значения объединяются с вашим форматом. Сами поля описаны в разделе написание и проверка.
Правила подбора тем
Брендовые термины (название вашего домена и название сайта) и шумовые слова (слова, встречающиеся не менее чем в 40% ваших заголовков и в 30% ваших 200 лучших запросов, не более 10). При применении правила только дополняются, но ничего не удаляется. См. темы.
После применения любой части все темы, ожидающие в бэклоге, заново проверяются по новым языкам, типам и правилам.
Готово к написанию
Чек-лист Ready to write на странице Your site показывает, чего движку ещё не хватает:
- Сайт просканирован
- Типы контента соответствуют разделам сайта
- Формат статьи задан
- Языки сайта заданы
- Брендовые термины заданы, поэтому запросы по бренду никогда не становятся темами
- В контексте ресурса указано, чем занимается бизнес
- Статьям есть куда уходить: хостинг AutoPSEO или вебхук вашего сайта
- Автор готов: AutoPSEO или ваш собственный ИИ, подключённый через MCP
- Темы ожидают в очереди или в бэклоге
- Движок включён (статей в неделю больше нуля)
Последующие сканирования
Ежедневный запуск в 03:17 UTC начинает сканирование-обновление для ресурсов, у которых последнее завершённое сканирование было более семи дней назад. На странице Your site также можно выбрать Look for changes (обновление) или Scan the whole site again (полное сканирование), а запущенное сканирование — остановить кнопкой Stop; то, что оно успело найти, сохраняется. Только полное сканирование, прочитавшее все карты сайта, помечает исчезнувшие страницы как удалённые. Сканирование, которое всё ещё идёт спустя шесть часов, помечается как неудачное.
В списке Pages on your site перечислены все найденные сканером страницы, начиная с самых посещаемых, а в Earlier scans хранится история. Далее: откуда берутся темы.