Основная функция скрипта- определение основных показателей сайта:
-определить Тиц сайта
-определить PageRank главной страницы
-определить проиндексированные страницы по Яндексу
-определить внутренние ссылки (локальные ссылки с главной страницы)
-определить внешние ссылки (ссылки на другие сайты с главной страницы)
-извлечь метаданные (Title,Description,Keywords)
-анализ контента по ключевым словам (только главной страницы)
-определить рубрику ЯК
-определить уровень оптимизации (подсчет оценки)
-анализ robots.txt (вывести текстом как в отчете)