Как получить сотни уникальных статей из веб архива

How to download all page changes from a web archive

If you are not interested in the whole site, but a specific page, but you need to track all the changes on it, then use the Waybackpack program.

To install Waybackpack on Kali Linux

sudo apt install python3-pip
sudo pip3 install waybackpack

To install Waybackpack on BlackArch

sudo pacman -S waybackpack

Usage:

waybackpack   (-d DIR | --list)       
                     
                   url

Options:

positional arguments:
  url                   The URL of the resource you want to download.

optional arguments:
  -h, --help            show this help message and exit
  --version             show program's version number and exit
  -d DIR, --dir DIR     Directory to save the files. Will create this directory if it doesn't already exist.
  --list                Instead of downloading the files, only print the list of snapshots.
  --raw                 Fetch file in its original state, without any processing by the Wayback Machine or waybackpack.
  --root ROOT           The root URL from which to serve snapshotted resources. Default: 'https://web.archive.org'
  --from-date FROM_DATE
                        Timestamp-string indicating the earliest snapshot to download. Should take the format YYYYMMDDhhss, though you can omit as many of the trailing digits as you like.
                        E.g., '201501' is valid.
  --to-date TO_DATE     Timestamp-string indicating the latest snapshot to download. Should take the format YYYYMMDDhhss, though you can omit as many of the trailing digits as you like.
                        E.g., '201604' is valid.
  --user-agent USER_AGENT
                        The User-Agent header to send along with your requests to the Wayback Machine. If possible, please include the phrase 'waybackpack' and your email address. That
                        way, if you're battering their servers, they know who to contact. Default: 'waybackpack'.
  --follow-redirects    Follow redirects.
  --uniques-only        Download only the first version of duplicate files.
  --collapse COLLAPSE   An archive.org `collapse` parameter. Cf.: https://github.com/internetarchive/wayback/blob/master/wayback-cdx-server/README.md#collapsing
  --ignore-errors       Don't crash on non-HTTP errors e.g., the requests library's ChunkedEncodingError. Instead, log error and continue. Cf.
                        https://github.com/jsvine/waybackpack/issues/19
  --quiet               Don't log progress to stderr.

For example, to download all copies of the main page of the suip.biz website, starting from the date (—to-date 2017), these pages should be placed in the folder (-d /home/mial/test), while the program must follow HTTP redirects (—follow-redirects):

waybackpack suip.biz -d ./suip.biz-copy --to-date 2017 --follow-redirects

Directory structure:

To display a list of all available copies in the Internet archive (—list) for the specified site (hackware.ru):

waybackpack hackware.ru --list

Как скачать все изменения страницы из веб-архива

Если вас интересует не весь сайт, а определённая страница, но при этом вам нужно проследить все изменения на ней, то в этом случае используйте программу Waybackpack.

К примеру для скачивания всех копий главной страницы сайта suip.biz, начиная с даты (—to-date 2017), эти страницы должны быть помещены в папку (-d /home/mial/test), при этом программа должна следовать HTTP редиректам (—follow-redirects):

waybackpack suip.biz -d ./suip.biz-copy --to-date 2017 --follow-redirects

Структура директорий:

Чтобы для указанного сайта (hackware.ru) вывести список всех доступных копий в веб-архиве (—list):

waybackpack hackware.ru --list

История создания Internet Archive

В 1996 году Брюстер Кайл, американский программист, создал Архив Интернета, где он начал собирать копии веб-сайтов, со всей находящейся в них информацией. Это были полностью сохраненные в реальном виде страницы, как если бы вы открыли необходимый сайт в браузере.

Данными веб-архива может воспользоваться каждый желающий совершенно бесплатно. Создавая его, у Брюстера Кайла была основная цель – сохранить культурно-исторические ценности интернет-пространства и создать обширную электронную библиотеку.

В 2001 году был создан основной сервис Internet Archive Wayback Machine, который и сегодня можно найти по адресу https://archive.org. Именно здесь находятся копии всех веб-сервисов в свободном доступе для просмотра.

Чтобы не ограничиваться коллекцией сайтов, в 1999 году начали архивировать тексты, изображения, звукозаписи, видео и программные обеспечения.

В марте 2010 года, на ежегодной премии Free Software Awards, Архив Интернета был удостоен звания победителя в номинации Project of Social Benefit.

С каждым годом библиотека разрастается, и уже в августе 2016 года объем Webarchive составил 502 миллиарда копий веб-страниц. Все они хранятся на очень больших серверах в Сан-Франциско, Новой Александрии и Амстердаме.

web.archive.org

This web archive service is also known as the Wayback Machine. It has various additional functions, most often used by tools to restore sites and information.

To save the page to the archive, go to https://archive.org/web/ enter the address of the page you are interested in and click the ‘SAVE PAGE’ button.

To view the available saved versions of the web page, go to https://archive.org/web/, enter the address of the page you are interested in or the domain of the website and click ‘BROWSE HISTORY’:

At the very top it says how many total snapshots of the page have been taken, the date of the first and last snapshot.

Then there is a time scale on which you can select the year of interest, when choosing a year, the calendar will be updated.

Please note that the calendar does not show the number of changes on the site, but the number of times the page was archived.

Dots on the calendar mean different events, different colors have different meanings about web capture. Blue means that when archiving the page from the web server, a 2nn response code was received (everything is fine); green means that the crawler has received the status 3nn (redirection); orange means that the status is 4nn (error on the client side, for example, the page was not found), and red means that the archiving received a 5nn error (server problems). Most likely, you should be interested in blue and green dots and links.

When you click on the selected time, a link will be opened, for example, http://web.archive.org/web/20160803222240/https://hackware.ru/ and you will be shown how the page looked at that time:

Using these icons, you can go to the next page snapshot, or jump to the desired date:

The best way to see all the files that have been archived for a particular site is to open a link like http://web.archive.org/*/www.yoursite.com/*, for example, http://web.archive.org/*/hackware.ru

In addition to the calendar, the following pages are available:

• Collections. Available as additional features for registered users and by subscription.
• Changes
• Summary
• Site map

Changes

‘Changes’ is a tool that you can use to identify and display changes to the contents of archived URLs.

You can start by selecting two different days of a URL. To do this, click on the appropriate points:

And click the Compare button. As a result, two page options will be shown. Yellow indicates deleted content, and blue indicates added content.

In this tab, statistics on the number of changes of MIME types.

Site map

As the name implies, a site map diagram is shown here, using which you can go to the archive of the page you are interested in.

If instead of the page address you enter something else, a search will be performed on the archived sites:

Display page for a specific date

In addition to using the calendar to go to the desired date, you can view the page for the desired date using the following link: http://web.archive.org/web/YYYYMMDDHHMMSS/PAGE_ADDRESS/

Please note that in the line YYYYMMDDHHMMSS you can skip any numbers of trailing digits.

If no archive copy is found on the required date, the version for the closest available date will be displayed.

Проекты

Wayback Machine

Логотип Wayback Machine

Wayback Machine — веб-сервис Архива. Содержание веб-страниц время от времени фиксируется c помощью бота или при ручном указании посетителем сайта адреса страницы для фиксации. Таким образом, можно посмотреть, как выглядела та или иная страница раньше, даже если она больше не существует.

Легальность

На сервис не раз подавались судебные иски в связи с тем, что публикация контента может быть нелегальной. По этой причине сервис удаляет материалы из публичного доступа по требованию их правообладателей или, если доступ к страницам сайтов не разрешён в файле robots.txt владельцами этих сайтов.

Книга, изготовленная в течение 20 минут в рамках проекта Book-on-demand, на основе электронной книги из Архива

В 2002 году часть архивных копий веб-страниц, содержащих критику саентологии, была удалена из архива с пояснением, что это было сделано по «просьбе владельцев сайта». В дальнейшем выяснилось, что этого потребовали юристы Церкви саентологии, тогда как настоящие владельцы сайта не желали удаления своих материалов. Некоторые пользователи сочли это проявлением интернет-цензуры.

Сервис веб-архива может использоваться в качестве меры борьбы с блокировками доступа к сайтам: как и сервис кэшированных копий страниц от поисковых систем, Архив Интернета позволяет ознакомиться с более ранними копиями популярных страниц. Однако использование Архива и кэшей в таких целях требует специальных усилий от пользователя и позволяет получить доступ не ко всем сайтам.

Open Library

Книжный сканер Архива

Open Library — общественный проект по сканированию всех книг в мире, к которому приступила Internet Archive в октябре 2005 года. На февраль 2010 года библиотека содержит в открытом доступе 1 миллион 165 тысяч книг, в каталог библиотеки занесено больше 22 млн изданий. По данным на 2008 год, Архиву принадлежат 13 центров оцифровки в крупных библиотеках. По оценке Internet Archive на ноябрь 2008 года, коллекция составила более 0,5 петабайта, включая изображения и документы в формате PDF. Коллекция постоянно растёт, так как библиотека сканирует около 1000 книг в день.

Scan-on-demand — бесплатная оцифровка желаемых публикаций из фондов Бостонской общественной библиотеки, относится к проекту «Открытая библиотека».

Собрание фильмов, аудио, текстов и программного обеспечения, которые являются общественным достоянием или распространяются под лицензией Creative Commons.

Поиск сайтов в Wayback Machine

Wayback Machine

На странице «Internet Archive Wayback Machine» введите в поле поиска URL адрес сайта, а затем нажмите на кнопку «BROWSE HISTORY».

Под полем поиска находится информация об общем количестве созданных архивов для данного сайта за определенный период времени. На шкале времени по годам отображено количество сделанных архивов сайта (снимков сайта может быть много, или, наоборот, мало).

Выделите год, в центральной части страницы находится календарь, в котором выделены голубым цветом даты, когда создавались архивы сайта. Далее нажмите на нужную дату.

Вам также может быть интересно:

• Советские фильмы онлайн в интернете
• Яндекс Дзен — лента персональных рекомендаций

Обратите внимание на то, что при подведении курсора мыши отобразится время создания снимка. Если снимков несколько, вы можете открыть любой из архивов

Сайт будет открыт в том состоянии, которое у него было на момент создания архива.

За время существования моего сайта, у него было только два шаблона (темы оформления). На этом изображении вы можете увидеть, как выглядел мой сайт в первой теме оформления.

На этом изображении вы видите сайт моего знакомого, Алема из Казахстана. Данного сайта уже давно нет в интернете, поисковые системы не обнаруживают этот сайт, но благодаря архиву интернета все желающие могут получить доступ к содержимому удаленного сайта.

Why Donate?

For donations of 50 or more items, the Archive can create a collection to both honor the donor and make their donation accessible all in one place. “The ability to access all of their media in one place really reassures our donors that they will still have access to their items even once they’re no longer in their physical possession,” said Rosenberg. Some stories behind major contributions are covered by the Archive in its blog.

Better World Books, a socially responsible bookstore that has a longstanding relationship with the Internet Archive, regularly donates books for preservation and digitization. It receives many of its books from library partners around the world. The Archive accepts many materials that BWB will not.

Internet Archive team members having fun with the task of packing & shipping an entire library collection from Bay State College.

“We love more than anything to get large collections—entire intellectual units, such as a reference collection that is curated,” said Chris Freeland, a librarian who works at the Archive. “It helps us round out our collection, and helps our patrons. If someone has a collection that no longer fits their collection development priorities, think of Better World Book or the Internet Archive for those materials.”

The Archive is open to over-sized items, such as maps, and books that do not have to have an ISBN number. What about loose periodicals? The Archive does not want a few scattered issues but does have interest in long runs of a magazine.

Once digitized, patrons with print disabilities can access the materials and some are selected to be accessible via Controlled Digital Lending and for machine learning research. Together, we can achieve long term preservation and access to our collective cultural legacy.

What if the deleted page is not saved in any of the archives?

Internet archives save pages only if some user requested this action – they do not have crawler functions and don’t look for new pages and links. For this reason, it is possible that the page you are interested in may have been deleted before it was saved in any Internet archive.

Nevertheless, you can use the services of search engines that are actively looking for new links and quickly save new pages. To display a page from the Google cache, you need to enter in Google search

cache:URL

For example:

cache:https://hackware.ru/?p=6045

If you enter a similar query into a Google search, the page from the cache will immediately open.

To view the text version, you can use the link of the form:

http://webcache.googleusercontent.com/search?q=cache:URL&strip=1&vwsrc=0

To view the source code of a web page from the Google cache, use the link of the form:

http://webcache.googleusercontent.com/search?q=cache:URL&strip=0&vwsrc=1

For example, a text view:

http://webcache.googleusercontent.com/search?q=cache:https://hackware.ru/?p=6045&strip=1&vwsrc=0

Source HTML code:

http://webcache.googleusercontent.com/search?q=cache:https://hackware.ru/?p=6045&strip=0&vwsrc=1

r-tools.org

Первое, что бросается в глаза дизайн сайта стороват. Ребята, пора обновлять!

Плюсы:

• Подходит для парсинга сайтов у которых мало html страниц и много ресурсов другого типа. Потомучто они рассчитывают цену по html страницам
• возможность отказаться от сайта, если качество не устроило. После того как система скачала сайт, вы можете сделать предпросмотр и отказаться если качество не устроило, но только если еще не заказали генерацию архива. (Не проверял эту функцию лично, и не могу сказать на сколько хорошо реализован предпросмотр, но в теории это плюс)
• Внедрена быстрая интеграция сайта с биржей SAPE
• Интерфейс на русском языке

Минусы:

• Есть демо-доступ — это плюс, но я попробовал сделать 4 задания и не получил никакого результата.
• Высокие цены. Парсинг 25000 стр. обойдется в 2475 руб. , а например на Архивариксе 17$. Нужно учесть, что r-tools считает html страницы, архиварикс файлы. Но даже если из всех файлов за 17$ только половина html страницы, все равно у r-tools выходит дороже. (нужно оговориться, что считал при $=70руб. И возможна ситуация, когда r-tools будет выгоден написал про это в плюсах)

Проекты, предоставляющие историю сайта

Peeep.us в действии

Сегодня существует несколько проектов, которые предоставляют сервисные услуги по отысканию сохраненных копий. Вот некоторые из них:

1. Самым популярным и востребованным у пользователей является web.archive.org. Представленный сайт считается наиболее старым на просторах интернета, создание датируется 1996 годом. Сервис проводит автоматический и ручной сбор данных, а вся информация размещается на огромных заграничных серверах.
2. Вторым по популярности сайтом считается peeep.us. Ресурс весьма интересен, ведь его можно использовать для сохранения копии информационного потока, который доступен только вам. Заметим, что проект работает со всеми доменными именами и расширяет границы использования веб-архивов. Что касается полноты информации, то представленный сайт не сохраняет картинки и фреймы. С 2015 года также внесен в список запрещенных на территории России.
3. Аналогичным проектом, который описывали выше, является archive.is. К отличиям можно отнести полноту сбора информации, а также возможности сохранения страниц из социальных сетей. Поэтому если вы утеряли пост или интересную информацию, можно выполнить поиск через веб-архив.

References

Books

• Borghoff, Uwe M. Long-Term Preservation of Digital Documents: Principles and Practices. Berlin: Springer, 2006. ISBN 3540336397
• Brügger, Niels. Archiving Websites: General Considerations and Strategies. Århus, Denmark: Centre for Internet Research, 2005. ISBN 8799050706
• Masanès, Julien. Web Archiving. Berlin: Springer, 2006. ISBN 9783540233381

Articles and websites

• Bahr, Martin. The Wayback Machine und Google Cache — eine Verletzung deutschen Urheberrechts?(German lawyer about the Wayback Machine in a law paper) (German), JurPC Web-Dok. 29/2002, Abs. 1 — 18. Retrieved June 15, 2008.
• Green, Heather. A Library as Big as the World, BusinessWeek, February 28, 2002. Retrieved July 29 2007.
• The Open Library Makes Its Online Debut, The Wired Campus,Chronicle of Higher Education, July 19, 2007. Retrieved July 29 2007.
• , FAQs, Internet Archive Wayback Machine. Retrieved June 15, 2008.
• , Internet Archive. Retrieved June 15, 2008.
• Internet Archive and Suzanne Shell Settle Lawsuit, Internet Archive, April 25, 2007. Retrieved June 15, 2008.
• Babcock, Lewis T. Internet Archive v. Shell (PDF), Civil Action, February 13 2007. No. 06cv01726LTBCBS. Retrieved June 15, 2008.
• Bangeman, Eric. Internet Archive Settles Suit Over Wayback Machine, ars technical, August 31 2006. Retrieved November 29 2007.
• Bibliotheca Alexandrina. The Internet Archive at the New Library of Alexandria, International School of Information Science (ISIS). Retrieved June 15, 2008.
• Broache, Anne. FBI rescinds secret order for Internet Archive records, CNet. Retrieved June 15, 2008.
• Dye, Jessica. “Website Sued for Controversial Trip into Internet Past,” EContent 28 (11) (2005): 9
• Gelman, Lauren. Internet Archive’s Web Page Snapshots Held Admissible as Evidence, Packets 2(3) (November 17 2004). Retrieved January 4 2007.
• Internet Archive. Internet Archive officially a library», Anouncements, May 2, 2007. Retrieved June 15, 2008.
• Internet Archive. exclusions from the Wayback Machine, Wayback Machine Forum, 23 September 2002. Retrieved June 15 2008.
• Kahle, Brewster and Matt Vernon Good News and an Apology: GD on the Internet Archive, Live Music Archive Forum, Internet Archive, December 1 2005. Retrieved Janury 5 2007.
• Kanellos, Michael. Big storage on the cheap, CNET News.com, July 29, 2005. Retrieved July 29 2007.
• Khale, Brewster. «Books Scanning to be Publicly Funded», Internet Archive, May 23, 2008. Retrieved June 15, 2008.
• Leeds, Jeff and Jesse Fox Mayshark. Wrath of Deadheads stalls a Web crackdown, International Herald Tribune. An article from New York Times. December 1, 2005. Retrieved January 4 2007.
• Lesh, Phil. An Announcement from Phil Lesh, Hotline, November 30 2005. Retrieved January 5 2007.
• Microsoft. «Book search winding down», Live Search Blog. Official announcement from Microsoft. Retrieved May 23, 2008.
• Miller, Ernest. Sherman, Set the Wayback Machine for Scientology, LawMeme (blog) September 24 2007, Yale Law School. Retrieved January 4 2007.
• Nakashima, Ellen, «FBI Backs Off From Secret Order for Data After Lawsuit», Washington Post, May 8, 2008. Retrieved June 15, 2008.
• Olsen, Stefanie. An open-source rival to Google’s book project, CNET News.com, October 26, 2005. Retrieved July 29 2007.
• Olsen, Stefanie. «Preserving the Web one group at a time», CNet News.com, May 1, 2006. Retrieved June 15, 2008.
• Samson, Martin. Internet Archive v. Suzanne Shell. via Phillips Nizer LLP. Retrieved June 15, 2008.

Юридические проблемы с архивным контентом

Некоторые дела были возбуждены против Internet Archive специально за его усилия по архивированию Wayback Machine.

Саентология

В конце 2002 года Интернет-архив удалил из Wayback Machine различные сайты, критикующие Саентологию . В сообщении об ошибке говорилось, что это было ответом на «запрос владельца сайта». Позже выяснилось, что юристы Церкви Саентологии требовали удаления, а владельцы сайта не хотели, чтобы их материалы были удалены.

Healthcare Advocates, Inc.

В 2003 году компания Harding Earley Follmer & Frailey защитила клиента от спора о товарном знаке с помощью Archive’s Wayback Machine. Адвокаты смогли продемонстрировать недействительность требований истца на основании содержания их веб-сайтов за несколько лет до этого. Истец, Healthcare Advocates, затем внес поправки в свою жалобу, включив в нее Интернет-архив, обвинив организацию в нарушении авторских прав, а также в нарушениях Закона США » Об авторском праве в цифровую эпоху» и Закона о компьютерном мошенничестве и злоупотреблениях . Healthcare Advocates утверждали, что, поскольку они установили файл robots.txt на своем веб-сайте, даже если после подачи первоначального иска Архив должен был удалить все предыдущие копии веб-сайта истца с Wayback Machine, однако некоторые материалы продолжали оставаться быть общедоступным на Wayback. Иск был урегулирован во внесудебном порядке после того, как Wayback устранил проблему.

Сюзанна Шелл

Активист Suzanne Shell подал иск в декабре 2005 года, потребовав Internet Archive платить 100000 $ HER США для архивирования ее сайта profane-justice.org в период между 1999 и 2004 Internet Archive подал декларативное суждение иска в окружном суде Соединенных Штатов для северного округа Калифорнии на 20 января 2006 г., добиваясь судебного определения, что Internet Archive не нарушает авторские права Shell . Shell ответила и подала встречный иск против Internet Archive за архивирование ее сайта, что, как она утверждает, нарушает ее условия обслуживания . 13 февраля 2007 г. судья Окружного суда США округа Колорадо отклонил все встречные иски, за исключением нарушения контракта . Интернет-архив не стал отклонять иски Shell о нарушении авторских прав, связанные с ее копировальной деятельностью, которая также будет продолжена.

25 апреля 2007 г. Internet Archive и Сюзанна Шелл совместно объявили об урегулировании своего иска. Интернет-архив заявил, что «… не заинтересован во включении в Wayback Machine материалов лиц, которые не желают архивировать свой веб-контент. Мы признаем, что у г-жи Шелл есть действующие и подлежащие исполнению авторские права на свой веб-сайт, и мы сожалею, что включение ее веб-сайта в Wayback Machine привело к судебному разбирательству «. Шелл сказал: «Я уважаю историческую ценность цели Internet Archive. Я никогда не намеревался мешать достижению этой цели или причинять ей какой-либо вред».

Даниил Давыдюк

В период с 2013 по 2016 год порнографический актер по имени Даниэль Давыдюк пытался удалить свои заархивированные изображения из архива Wayback Machine, сначала отправив несколько запросов DMCA в архив, а затем обратившись в Федеральный суд Канады .

Примечания

1.  (англ.). Alexa Internet. — Глобальный рейтинг сайта archive.org. Дата обращения: 20 июня 2020.

2. .
3. .
4.  (англ.). archive.org. Дата обращения: 28 марта 2019.
5. . Internet Archive (7 мая 2007). Дата обращения: 31 августа 2016.
6.  (недоступная ссылка). Wayback Machine (6 июня 2000). Дата обращения: 1 сентября 2016.
7. Jeff. (Blog). Wayback Machine Forum. Internet Archive (23 сентября 2002). Дата обращения: 4 января 2007. Author and Date indicate initiation of forum thread
8. Miller, Ernest (Blog). LawMeme. Yale Law School (24 сентября). Дата обращения: 4 января 2007. The posting is billed as a ‘feature’ and lacks an associated year designation; comments by other contributors appear after the ‘feature’
9. Maximillian Dornseif.  (англ.). preprint cs/0404005 16. arXiv (2004). Дата обращения: 26 ноября 2017.
10. .
11. .
12.  (недоступная ссылка). Дата обращения: 17 сентября 2017.
13. . Роскомнадзор (24 октября 2014).
14. ↑

Archive-It

Users who want to archive material permanently and immediately cite an archived version can use the Archive-It system, a for-fee subscription service, instead. Data collected with Archive-It is periodically indexed into the general Wayback Machine. As of December 2007, Archive-It had created over 230 million URLs for 466 public collections, including government bodies, universities, and cultural institutions. Some of the organizations participating in Archive-It include the Electronic Literature Organization, the State Archives of North Carolina, the Texas State Library and Archives Commission, Stanford University, the National Library of Australia, the Research Libraries Group (RLG), and many others.