Разработайте прокси-сервер для проксирования веб-страниц. Приложите скрины, демонстрирующие работу прокси-сервера.
Запустите свой прокси-сервер из командной строки, а затем запросите веб-страницу с помощью вашего браузера. Направьте запросы на прокси-сервер, используя свой IP-адрес и номер порта. Например, http://localhost:8888/www.google.com
(*) Вы должны заменить стоящий здесь 8888 на номер порта в серверном коде, то есть тот, на котором прокси-сервер слушает запросы.
Вы можете также настроить непосредственно веб-браузер на использование вашего прокси сервера. В настройках браузера вам нужно будет указать адрес прокси-сервера и номер порта, который вы использовали при запуске прокси-сервера (опционально).
- Разработайте свой прокси-сервер для проксирования http GET запросов от клиента веб-серверу с журналированием проксируемых HTTP-запросов. В файле журнала сохраняется краткая информация о проксируемых запросах (URL и код ответа). Кеширование в этом задании не требуется. (2 балла)
- Добавьте в ваш прокси-сервер обработку ошибок. Отсутствие обработчика ошибок может вызвать проблемы. Особенно, когда клиент запрашивает объект, который не доступен, так как ответ 404 Not Found, как правило, не имеет тела, а прокси-сервер предполагает, что тело есть и пытается прочитать его. (1 балл)
- Простой прокси-сервер поддерживает только метод GET протокола HTTP. Добавьте поддержку метода POST. В запросах теперь будет использоваться также тело запроса (body). Для вызова POST запросов вы можете использовать Postman. (1 балл)
Приложите скрины или логи работы сервера.
todo
Когда прокси-сервер получает запрос, он проверяет, есть ли запрашиваемый объект в кэше, и, если да, то возвращает объект из кэша без соединения с веб-сервером. Если объекта в кэше нет, прокси-сервер извлекает его с веб-сервера обычным GET запросом, возвращает клиенту и кэширует копию для будущих запросов.
Для проверки того, прокис объект в кеше или нет, необходимо использовать условный GET запрос. В таком случае вам необходимо указывать в заголовке запроса значение для If-Modified-Since и If-None-Match. Подробности можно найти тут.
Будем считать, что кеш-память прокси-сервера хранится на его жестком диске. Ваш прокси-сервер должен уметь записывать ответы в кеш и извлекать данные из кеша (т.е. с диска) в случае попадания в кэш при запросе. Для этого необходимо реализовать некоторую внутреннюю структуру данных, чтобы отслеживать, какие объекты закешированы.
Приложите скрины или логи, из которых понятно, что ответ на повторный запрос был взят из кэша.
todo
Прокси-сервер отслеживает страницы и не пускает на те, которые попадают в черный список. Вместо этого прокси-сервер отправляет предупреждение, что страница заблокирована. Список доменов и/или URL-адресов для блокировки по черному списку задается в конфигурационном файле.
Приложите скрины или логи запроса из черного списка.
todo
Для каждого задания в этой секции приложите скрин с подтверждением ваших ответов.
- Выполните nslookup, чтобы получить IP-адрес какого-либо веб-сервера в Азии
- Выполните nslookup, чтобы определить авторитетные DNS-серверы для какого-либо университета в Европе
- Используя nslookup, найдите веб-сервер, имеющий несколько IP-адресов. Сколько IP-адресов имеет веб-сервер вашего учебного заведения?
Б. DNS-трассировка www.ietf.org (3 балла)
- Используйте ipconfig для очистки кэша DNS на вашем компьютере.
- Откройте браузер и очистите его кэш (для Chrome можете использовать сочетание клавиш CTRL+Shift+Del).
- Запустите Wireshark и введите
ip.addr == ваш_IP_адрес
в строке фильтра, где значение ваш_IP_адрес вы можете получить, используя утилиту ipconfig. Данный фильтр позволит нам отбросить все пакеты, не относящиеся к вашему хосту. Запустите процесс захвата пакетов в Wireshark. - Зайдите на страницу www.ietf.org в браузере.
- Остановите захват пакетов.
- Найдите DNS-запрос и ответ на него. С использованием какого транспортного протокола
они отправлены?
- Какой порт назначения у запроса DNS?
- На какой IP-адрес отправлен DNS-запрос? Используйте ipconfig для определения IP-адреса
вашего локального DNS-сервера. Одинаковы ли эти два адреса?
- Проанализируйте сообщение-запрос DNS. Запись какого типа запрашивается? Содержатся
ли в запросе какие-нибудь «ответы»?
- Проанализируйте ответное сообщение DNS. Сколько в нем «ответов»? Что содержится в
каждом?
- Посмотрите на последующий TCP-пакет с флагом SYN, отправленный вашим компьютером.
Соответствует ли IP-адрес назначения пакета с SYN одному из адресов, приведенных в
ответном сообщении DNS?
- Веб-страница содержит изображения. Выполняет ли хост новые запросы DNS перед
загрузкой этих изображений?
В. DNS-трассировка www.spbu.ru (2 балла)
- Запустите захват пакетов с тем же фильтром
ip.addr == ваш_IP_адрес
- Выполните команду nslookup для сервера www.spbu.ru
- Остановите захват
- Вы увидите несколько пар запрос-ответ DNS. Найдите последнюю пару, все вопросы будут относиться к ней
- Каков порт назначения в запросе DNS? Какой порт источника в DNS-ответе?
- На какой IP-адрес отправлен DNS-запрос? Совпадает ли он с адресом локального DNS-сервера, установленного по умолчанию?
- Проанализируйте сообщение-запрос DNS. Запись какого типа запрашивается? Содержатся
ли в запросе какие-нибудь «ответы»?
- Проанализируйте ответное сообщение DNS. Сколько в нем «ответов»? Что содержится в каждом?
Повторите все шаги по предварительной подготовке из Задания B, но теперь для команды nslookup –type=NS spbu.ru
- На какой IP-адрес отправлен DNS-запрос? Совпадает ли он с адресом локального DNS-сервера, установленного по умолчанию?
- Проанализируйте сообщение-запрос DNS. Запись какого типа запрашивается? Содержатся ли в запросе какие-нибудь «ответы»?
- Проанализируйте ответное сообщение DNS. Имена каких DNS-серверов университета в
нем содержатся? А есть ли их адреса в этом ответе?
Д. DNS-трассировка nslookup www.spbu.ru ns2.pu.ru (1 балл)
Снова повторите все шаги по предварительной подготовке из Задания B, но теперь для команды nslookup www.spbu.ru ns2.pu.ru
.
Запись nslookup host_name dns_server
означает, что запрос на разрешение доменного имени host_name
пойдёт к dns_server
.
Если параметр dns_server
не задан, то запрос идёт к DNS-серверу по умолчанию (например, к локальному).
- На какой IP-адрес отправлен DNS-запрос? Совпадает ли он с адресом локального DNS-сервера, установленного по умолчанию?
Если нет, то какому хосту он принадлежит?
- Проанализируйте сообщение-запрос DNS. Запись какого типа запрашивается? Содержатся
ли в запросе какие-нибудь «ответы»?
- Проанализируйте ответное сообщение DNS. Сколько в нем «ответов»? Что содержится в
каждом?
- Что такое база данных whois?
- Используя различные сервисы whois в Интернете, получите имена любых двух DNS-серверов.
Какие сервисы вы при этом использовали?
- Используйте команду nslookup на локальном хосте, чтобы послать запросы трем конкретным
серверам DNS (по аналогии с Заданием Д): вашему локальному серверу DNS и двум DNS-серверам,
найденным в предыдущей части.