Опубликовано 14 сентября 2011, 20:28 под God Is An Astronaut - Sunny Banks Of Sweet Deliverance

Исторически сложилось так, что на thelogin.ru есть несколько тестовых поддоменов для разработки и демонстрации приложений заказчикам. Паролем закрывать их глупо — ничего секретного там нет, зато будет создавать определённые неудобства. Из-за подобного раздолбайства периодически возникают проблемы: то копия сайта проиндексируется яндексом и окажется в выдаче первее оригинала (ВОВА СРОЧНО СДЕЛАЙ РЕДИРЕКТ), то тестовый форум заспамят сотней-другой тысяч сообщений, и он тоже окажется в выдаче. Сегодня Coherenz (ДОБРОСОВЕСТНЫЙ ЗАКАЗЧИК) предложил хорошее решение: запретить индексацию тестовых поддоменов в robots.txt. «В лоб» это не очень удобно делать: ну положим мы везде robots.txt, а потом я буду удалять сданные проекты методом Ctrl+A, Shift+Delete, и все усилия насмарку. Так что сначала я забил, но потом подумал: а что, если файлы не класть, а robots.txt сделать средствами апача?

В /srv/apache/cgi-bin/ я положил robots_txt_deny_all.pl:

#!/usr/bin/env perl
print "Content-type: text/plain\n\n";
print "User-Agent: *\n";
print "Disallow: /\n";

И ещё создал /srv/apache/conf/extra/httpd-robots_txt_deny_all.conf:

<Location /robots.txt>
    SetHandler robots_txt_deny_all
    Action robots_txt_deny_all /cgi-bin/robots_txt_deny_all.pl virtual
</Location>

Теперь достаточно во все VirtualHost прописать:

Include conf/extra/httpd-robots_txt_deny_all.conf

И проблема решена.

Комментарии (2)
themylogin
14 сентября 2011, 20:31
S Q #1
ServerName test3.thelogin.ru
ServerAlias usa.mega-avto.com
Вспомнил ту осень
<source>ServerName test3.thelogin.ru ServerAlias usa.mega-avto.com</source>Вспомнил <i>ту</i> осень :'(
anonymous
15 сентября 2011, 20:30
S Q #2
накатал бы псто про софт, который используешь
накатал бы псто про софт, который используешь ;-)
Добавить комментарий
Войдите через  Доступные тэги: <b>, <i>, <s>, <u>, <a href="">, <img src="" /> (загрузить), <pre>, <quote>
Теги
1nsk Alternative E-Business Embedded GNU/GPL-софт HTML/CSS ICQ KDE last.fm Linux Linuxnsk Live Lyceum game Microsoft Motivator MySQL New Age P2P Party Photoshop PHP Python Qt4/C++ SEO Sibnet thelogin.ru Timelapse Web 2.0 Webdev Webstream Windows Wireless А я говорил! Авто Админ Алексеев Аниме Атмосфера Безобразие Бесплатный Wi-Fi Блоги Большой бизнес Боты Бред Бухать Бытовуха Велосипед Весна Вечер Взлом Винил Винтаж Вконтакте Вода Воспоминания Гетто Гламур Гопота Горский Графити Грузовик Дача Двор Девушки Девченки!!! Деньги Дизайн Дом Домофоны Драка Драки Еда Железо Животные Заведения общественного отдыха Задроты Затулинка Зима Игрушки Игры Идея Интересно Интернет Исследование История Казань Карикатура Квартира Класс Компьютеры Коромшук Коты КПК Кран Красиво Криминал Крыша Курение Лето Литература Лицей Лицей НГТУ Лохи Магнитофоны Маркса Мат Математика Машинный перевод Мегафон Менты Метро Мечты Мифы Мне стыдно Мобайл Можга МТС Музыка Мультикасса Мультики Мы помним Надписи Наука НГТУ Недвижимость Непоняятно Новосибирск Носители Ноутбуки Ночь Обидно Обман Образование Общественный транспорт Омск Опечатки Орфография Осень Парк Периферия Пиратство Плохо Погода Поезд Помойка Праздники Презрение Природа Провайдеры Программирование Протест Радиотехника Растения Реклама Религия и вера Ретро Рисунок Руины Рэп Салют Сервер Серверы Сервис Сериалы Скринкаст Скриншоты Смешно СМИ Снег Собаки Совет Софт Спам Спасём Россию Спецтранспорт Стоп-ляп Стройка Студяга Танцы ТВ Типа страх Трамваи Транс Транспорт Уважаю Ужас Умный дом Утро Филдрепорты Философия Форум ФПМИ Хикки Хостинг Цитатник Школа Школа 208 ЭГ Эксперимент Юго-Западный
Twitter 14-09-2011
themylogin Sergey Mordvinov
@Koxville у тебя охуенные твиты про еду, от их чтения сразу наступает какое-то умиротворение
themylogin Sergey Mordvinov
@o_Ohmy в одном ряду с марти рей и виноградным днём!
themylogin Sergey Mordvinov
У нас с @osdohtem появился ещё один заказчик с кодовым названием "бмв", теперь у меня два заказчика бмв
themylogin Sergey Mordvinov
@werehuman я видел, мне не понравилось
themylogin Sergey Mordvinov
@werehuman не то слово!
themylogin Sergey Mordvinov
Интересный эффект: приложите банку колы к губам и попробуйте сильно вдохнуть из дырочки!
themylogin Sergey Mordvinov
в течение вот уже двух месяцев выработало условный рефлекс: теперь кола для меня горькая, отдаёт чипсами и жжёт желудок.
themylogin Sergey Mordvinov
Отсутствие @tsdiman, с которым мы постоянно пили колу просто так и присутствие компьютера, с которым мы пьём колу с сами знаете чем
themylogin Sergey Mordvinov
припарковаться в более укромном месте, но как-то всё не удавалось. Я не знаю что думать по этому поводу. Господь наверное.
themylogin Sergey Mordvinov
поставил его в менее видном месте, то так бы и ушёл, забыв, что у меня вообще есть какой-либо велосипед. Да, оба раза был соблазн