Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиПоискОблакоComboВсе проекты

Оптимизация, архивация, удаление: что представляет собой цифровой мусор и почему стоит от него избавляться

В среднем каждую секунду человек производит 1,7 МБ данных, а это свыше 7600 ТБ информации в рамках всего интернет-общества. Все это добро необходимо хранить, с чем пока еще справляются дата-центры.

Ежегодно количество пользователей Интернета и социальных сетей увеличивается на несколько сотен миллионов человек. Сейчас более 60% всего населения Земли находится в сети, и все эти 4,5 миллиарда человек беспрерывно генерируют новый контент. Фотографии, видеоролики, документы и даже банальная переписка с друзьями в соцсетях занимает немало места в цифровом пространстве.

Фото: Depositphotos

Значительная часть генерируемых данных является ничем иным, как «цифровым мусором». Забытые в облаке данные, многочисленные копии файлов, кэш приложений и т.п. Объем цифрового мусора постоянно растет, причем не только за счет новых пользователей, но и ввиду утяжеления самой информации. Самый простой пример: 20 лет назад фото весили около 1 МБ, сейчас же средний показатель равняется 3,5 МБ. Рост блогерского сообщества, улучшение качества фото- и видеоконтента, бесконечное копирование одного и того же текстового материала, переписки, сториз и т.д. — рано или поздно хранилища переполнятся.

Закон Мура не работает — прогресс стоит на месте

Данные растут, а объем накопителей практически нет. Закон Мура, сформулированный в 1968 году, гласящий о ежегодном двукратном приросте объема памяти, перестал работать в 2007 году. Сейчас HDD диск на 20 ТБ является пределом для потребителей, а стоимость такого накопителя в российских реалиях превышает 50 000 рублей. Планы Seagate и Western Digital выпустить 50 ТБ жесткие диски не ранее 2026 года еще раз подтверждают несостоятельность закона Мура. С SSD ситуация не лучше — эти накопители хоть и могут конкурировать с HDD, предлагая до 100 ТБ места, но стоимость их просто космическая (например, SSD на 12,8 ТБ стоит от 270 000 рублей).

Естественно, что ученые разрабатывают и более емкие носители информации, о которых мы рассказывали ранее. Например, усовершенствованные магнитные ленты или кварцевое стекло, но эти разработки появятся в широком доступе не ранее, чем через 5-10 лет. О накопителях на основе ДНК, способных вмещать свыше 500 млн ТБ информации, в обозримом будущем не приходится говорить и вовсе. Такое чудо если и появится, то явно не в 21 столетии.

Проблема облачных хранилищ

Все больше информации переходит с домашнего хранения в облако. Вес данных растет, а значит неизбежен коллапс дата-центров, если не принять меры. Ведь построить новый центр обработки данных (ЦОД) — это не одного дня дело, да и подобные мероприятия не дешевые, а в некоторых местах и вовсе стоят заоблачных денег.

Фото: Depositphotos

Ярким примером служит Гонконг. На территории в 1100 кв. км проживает более 7 млн человек. Из-за этого земельные участки там сверхдорогие, а недвижимое имущество постоянно находится в топе мировых рейтингов по стоимости. Строить ЦОД в Гонконге крайне затратно, поэтому там активно разрабатываются проекты по развертке хранилищ под землей — в пещерах. Гонконгцы не одни такие — власти Норвегии также продвигали аналогичное решение. Но вот незадача — последние упоминания о постройке дата-центров в пещерах датируются 2013 годом. Оно и не удивительно, поскольку такие проекты стоят намного дороже, чем классические наземные. Поэтому решать проблему переполнения дата-центров нужно иначе, и на этот счет есть несколько мыслей.

Первые шаги избавления от цифрового мусора

Раз мы говорим о цифровой индустрии, то здесь применимы как хардверные, так и софтверные решения проблемы. Вместо возведения новых ЦОД куда проще разработать новые алгоритмы сжатия данных. В этом направлении активно работает Google, Apple и другие IT-гиганты, оптимизируя и создавая новые алгоритмы кодирования файлов для снижения их веса.

Алгоритмы и кодеки

Тот же сервис потокового видео YouTube решил отойти от политики доступа к старым видео в низком разрешении. Если новые видеоролики сразу доступны во всех разрешениях, начиная от 144p, то старые хранятся на сервисе только в оригинале. Но если появится запрос на выведение картинки устаревших роликов в отличном от оригинала разрешении, алгоритмы сервиса моментально предоставят такую возможность (затем сжатое видео вновь удаляется). Также внедряются новые кодеки, и если лет 5 назад доминировал H.264, то сейчас на YouTube главенствует VP, в 5 раз более эффективный по сжатию относительно предшественника.

Дедупликация

Это процесс, позволяющий устранить копии информации, тем самым снижая расходы на ее хранение. Существует несколько методов дедупликации: на уровне блоков, файлов или байтов. Осуществляется процесс на мощностях клиента, сервера или в комбинированном режиме клиент-сервер. Тянет на отдельную статью, но важна суть, а заключается она в снижении количества ненужных копий в хранилищах — в теории объем лишних данных может снизиться до 20 раз! Если коротко и очень примитивно о принципе работы, то дедупликация сродни ярлыку на рабочем столе, который лишь ссылается на оригинальный файл.

Фото: Depositphotos

Активные и пассивные хранилища

Система выглядит ровно так же, как это реализовано во множестве современных компьютеров пользователей: система и программы на SSD, а все остальное на жестком диске. Так же и в ЦОДах: часто используемые данные хранятся на быстрых SSD-дисках, а редко запрашиваемые переводятся на хранение на HDD.

Платная подписка

Халява и вседоступность всегда порождает транжирство. Так, если раньше на пленочных фотоаппаратах берегли каждый кадр, фотографируя только самые ценные моменты, то сейчас один поход в уборную у некоторых особей сопровождается тремя сотнями снимков.

Поэтому регулирование потока информации можно осуществить платной подпиской. Платное хранилище файлов сразу заставит человека подумать, что для него ценно, а что стоит без сожаления стереть. Подобная практика не нова: Dropbox, iCloud, Mega, диски Google/Яндекс и другие платные облачные хранилища существуют давно.

Стоит отметить, что Google до сих пор предоставляет безлимитное пространство для пользовательских фото и видео с применением минимального сжатия контента. Однако с 1 июня 2021 года политика компании изменится и любая загрузка станет лимитироваться бесплатными 15 ГБ, доступными для всех сервисов сразу: Диск, Gmail, Фото. Загрузка данных сверх лимита потребует оформления платного тарифа.

Цифровой мусор — вид с пользовательского ракурса

Захламленность Интернета имеет как положительные, так и отрицательные стороны для обычных юзеров. Главный минус — на поиск нужной информации уходит больше времени, так как одни и те же данные множатся на десятках сайтов в виде рерайта или копипаста без указания источника.

Из положительного — упрощается поиск графических элементов, особенно фото, за счет увеличения информационной базы. Поиск картинки по url-адресу и множественная выдача похожих изображений как раз заслуга цифрового мусора.

Мусор в Интернете негативно влияет не только на цифровое пространство, но и на физическое. Недавнее исследование Университета Бристоля в сфере электронных услуг говорит о том, что только загрузка видео на YouTube увеличивает выбросы CO2 до 300 тысяч тонн в год. Примерно такой же углеродный след генерирует 30 тысяч домов в Великобритании.

Как мы можем уменьшить количество цифрового мусора? Все до банальности просто.

  • удаление ненужных файлов без откладывания в долгий ящик. Например, спам, чеки мелочных покупок, неудачные фото или видео;
  • регулярная чистка старых, неактуальных диалогов в социальных сетях, удаление ненужных файлов, приложений и своевременное освобождение корзины электронных почт;
  • упорядоченность в цифровом пространстве: структуризация и каталогизация файлов. Хватит уже лень и расхлябанность прикрывать знаменитой цитатой А. Эйнштейна про властвование над хаосом;
  • уменьшение потребления контента, устраивая дни отдыха от Интернета и социальных сетей.
Порядок потребен лишь глупцу, гений властвует над хаосом
Альберт Эйнштейн

Любые ресурсы конечны, помните это, поэтому давайте максимально отдалим тот час, когда точка невозврата будет пройдена.

Это тоже интересно:

Во время загрузки произошла ошибка.
Поделись с друзьями — нажми на одну из кнопок ниже!
Обзоры новинок
Подробности о главных премьерах
Комментарии
5
Tiger.63
В ответ на комментарий от Сергей
Сергей
Кому нужны тысячи фотографий и видео на дисках и в облаках? Все равно их никто не смотрит. Так что смело можно 99,99% удалять без сожаления.
СсылкаПожаловаться
Да !
СсылкаПожаловаться
Сергей
Кому нужны тысячи фотографий и видео на дисках и в облаках? Все равно их никто не смотрит. Так что смело можно 99,99% удалять без сожаления.
СсылкаПожаловаться
Александр Владимирович
99.9% информации, хранящейся в дата-центрах - мусор
СсылкаПожаловаться
Станислав Мишуткин
Есть еще один положительный аспект который автор не упомянул. А именно тотальная слежка за гражданами. Чем больше мусора, тем сложнее следить за гражданами, придется тратиться на фильтрацию, плюс фильтрация несовершенна, может проскользнуть что-то важное для властьпридержащих.
СсылкаПожаловаться
Сергей
Дно у Мыло всё таки пробило,расходимся,нас на*бали)))
СсылкаПожаловаться
Чтобы оставить комментарий, вам нужно авторизоваться.
Вы не ввели текст комментария
Вы не ввели текст комментария
Обнаружили ошибку? Выделите ее и нажмите Ctrl+Enter.
Подпишитесь на нас