Open Sitemap Builder - Sitemap xml

Свободная программа для создания sitemap.xml карты сайта без ограничений по количеству страниц. Поддерживается формат карты в виде HTML, XML, CSV и простого списка. Полностью на русском языке.

Карта сайта Sitemap

Sitemap (Site - сайт, Map - карта) является неким подобием содержания книги, с той лишь разницей, что это содержание составляется для сайта. Без содержания множество разделов книги было бы крайне трудно найти, и с картой сайта также, только она нужна не для людей, а для поисковых роботов. Карта сайта в формате sitemap xml сильно упрощает им поиск неизвестных страниц.

Без такого содержания для сайта поисковым роботам пришлось бы обходить весь сайт для того, чтобы найти одну новую страницу. И если ссылка на эту страницу указана не на главной странице и не на часто посещаемой странице, тогда вручную поисковые роботы могут обнаружить её очень не скоро. Поэтому такое содержание играет очень важную роль для любого сайта, так как посмотрев его, поисковые роботы обнаружат неизвестные веб-страницы без просмотра непосещаемых страниц, на которых упоминаются неизвестные.

Sitemap XML против HTML

Начинающие веб-мастера могут задаться вопросом, почему в приоритет ставится именно xml sitemap? Почему многое оборудование в мире имеет схожие элементы и компоненты? Болтики, крепления, элементы питания? Ответ прост - Стандартизация! Достаточно представить, если бы производители ноутбуков делали каждый свои болтики, и без специальных отверток их не разобрать. Сервисным центрам пришлось бы иметь количество отверток, равное количеству производителей, и помнить, какая для какой фирмы. Помимо этого, везде были бы свои тонкости, которые тоже нужно знать. Одним словом, это бы сильно усложнило и без того сложный процесс ремонта. С едиными стандартами ремонт значительно проще. С картами сайта такая же ситуация, оптимизировать поисковых роботов под 150 вариаций sitemap, будь то xml или html, или еще что-то, было бы крайне сложно. К тому же, HTML карта сайта в большинстве случаев является не голым маркированным списком li и ul, а целой HTML страницей с множеством тегов, каскадных таблиц стилей, оформления, скриптов. Из этого всего нужно будет изъять список веб-страниц. Поисковые роботы умеют выискивать контент из мусорного количества HTML тегов, но стоит подумать, насколько это не оптимально и сколько лишних ресурсов и процессорного времени съедает? Сколько миллионов sitemap в формате xml и html им нужно обойти за несколько часов или за весь день? Естественно в случае с HTML процессорного времени будет потрачено значительно больше, так как в формате xml точно будет голый список веб-страниц.

Изначально, HTML карты сайта создавались для посетителей. Это было в те времена, когда сайты были значительно меньше по количеству веб-страниц. В них указывались все страницы сайта, если он был очень маленький или исключительно разделы сайта.

Формат XML для Sitemap рекомендуют сами поисковые системы (Google, Яндекс).

Создание Sitemap

Для начала процесса сбора всех ссылок, которые программа сможет найти на указанном сайте, естественно, необходимо указать URL-адрес сайта в поле "Адрес сайта:". Адрес следует указывать именно так, как он отображается в браузере. Иными словами, если стоит переадресация с www на без www, а в поле "Адрес сайта:" будет указано с www, имеется вероятность, что программа обнаружит 0 ссылок. Поэтому адрес лучше копировать прямиком из адресной строки браузера.

Чтобы начать процесс поиска ссылок после того, как уже указали адрес сайта, следует нажать кнопку "Начать", которая и запустит этот процесс. Появится всплывающее окошко с просьбой подождать завершения выполнения задачи, которое будет также отображать изменяющееся по мере обхода сайта количество обнаруженных ссылок.

Для сохранения sitemap в формате xml необходимо после завершения процесса поиска ссылок открыть вкладку "XML" и нажать кнопку "Сохранить". Для сохранения в формат HTML, CSV или список достаточно открыть соответствующую вкладку и нажать кнопку "Сохранить".

Кнопка "Копировать" копирует в буфер обмена содержимое открытой вкладки (HTML, XML, CSV или список).

Кнопка "Очистить" очищает содержимое вкладок.

История указанных в поле "Адрес сайта:" URL-адресов очищается отдельно, для этого необходимо перейти в настройки программы (шестеренка возле кнопки "О программе") и поставить галочку в пункт "Очистить историю".

Open Sitemap Builder умеет собирать и формировать в готовый xml sitemap файл сайты с доменами в punycode и кириллицей в URL-адресах, иными словами, умеет работать с сайтами, адреса которых написаны русскими буквами.

Карту сайта следует расположить в корне сайта, так, чтобы она была доступна по адресу АДРЕС_САЙТА.РУ/sitemap.xml

Также наличие карты следует упомянуть в файле robots.txt. Правильным синтаксисом считается:

Sitemap: https://xn--90abhbolvbbfgb9aje4m.xn--p1ai/sitemap.xml

Вместо xn--90abhbolvbbfgb9aje4m.xn--p1ai указывается адрес сайта. В случае доменов из зоны рф (домен пишется русскими буквами), адрес следует указывать в Punycode.

На сайте обязательно должна присутствовать ссылка на карту сайта, желательно, в нижней части сайта, например, в "footer".

Скорость создания карты сайта

Sitemap для сайта, состоящего из 5-10 страниц может составлять около 15-20 секунд. Соответственно, если на сайте количество веб-страниц около тысячи, карта сайта может составляться не менее получаса.

Также следует учесть, что скорость отклика хостинга и скорость формирования веб-страницы тоже влияют на скорость поиска веб-страниц внутри сайта.

К примеру, программа Open Sitemap Builder создавала карту сайта для КонтинентСвободы.рф около 15-20 минут.

Характеристики генератора Sitemap в формате xml

• неограниченное количество веб-страниц для sitemap.xml;
• интерфейс на русском языке;
• открытый исходный код;
• сохранить карту сайта возможно в HTML, XML, CSV или как обычный список в формате TXT;
• собранный и подготовленный в нужном формате список веб-страниц можно скопировать в буфер обмена;
• очистка результатов предыдущего поиска веб-страниц;
• поддержка punycode доменов и кириллицы в URL-адресах;
• поддержка протокола HTTPS;
• портативность (нет необходимости устанавливать генератор карты сайта);
• в настройках можно изменить UserAgent;
• возможность изменения шрифта в программе;
• список расширений, которые следует игнорировать;
• дата и время для lastmod возвращается сервером, иначе используется текущая дата;
• разработана на языке программирования Object Pascal в компиляторе FreePascal при помощи среды разработки Lazarus.

Возможные ошибки

После завершения процесса сбора ссылок и формирования вывода в форматах HTML, XML, CSV необходимо проверить, что количество указанных в карте сайта веб-страниц приблизительно соответствует реальному.

Может получиться ситуация, когда количество обнаруженных ссылок составляет 1500, а в списке веб-страниц упомянуто лишь 300. В такой ситуации следует попробовать очистить историю в настройках программы либо переместить исполняемый файл программы Open Sitemap Builder в другую папку и запустить процесс заново. При сборе могли возникнуть обрывы интернет-соединения, и программа решила, что больше ссылок нет.

Если был указан сайт и запущен процесс, но количество обнаруженных ссылок соответствует нулю, значит, был неправильно указан адрес сайта или протокол. Как говорилось в тексте выше, адрес рекомендуется копировать из адресной строки браузера, так как программа не умеет работать с перенаправлениями с www на без www и наоборот. Перенаправления с HTTP на HTTPS программа должна уметь обрабатывать, но лучше указывать именно так, как написано в браузере.