В ноябре Google сообщил, что в 2021 облачное хранилище «Фото» станет платным. В фотосервисе хранится больше 4 трлн фотографий, каждую неделю туда загружается 28 млрд файлов. И это число только растет. О будущей цене цифрового пространства и ограничениях для пользователей рассказывает Денис Хоружий, технический директор iD EAST.
Цифровой мусор: досье
Каждый день мы получаем и отправляем гигабайты информации: рабочая почта, диалоги с друзьями, заметки, фото и комментарии в социальных сетях. К 2023 году ежедневное число отправленных и полученных e-mail сообщений вырастет до 347 млрд. Цифровое пространство заполняется с невероятной скоростью: каждый пользователь в интернете генерирует около 1,7 МБ информации в секунду — это примерно одна страница сайта. Часть данных активно используется, но другая — пылится на «полках» облачных хранилищ и жестких дисков устройств.
«Цифровой мусор» — это ненужные и забытые данные, размноженные копии файлов; вся неструктурированная информация в облачных хранилищах, памяти устройств, мессенджерах, фото- и видеосервисах. Последние составляют большую часть цифрового мусора. Согласно исследованию Mail.ru, 74% пользователей выходят в интернет для просмотра видео, а 47% сами регулярно загружают фото и видео в соцсети. Вместе с количеством растет и размер: в 2000 году среднее фото весило 1 МБ, сейчас — 3,5 МБ.
Такой объем легко объяснить: снять фото и видео может каждый, в отличие от текста. Для сравнения: Лев Толстой написал за всю жизнь 10 МБ текста — это 2–3 фотографии на iPhone 12.
Истоки проблемы: разрушение закона Мура
Проблема не возникала раньше, только потому что объем хранилищ постоянно рос.
Еще в 1968 году был сформулирован закон Мура, согласно которому объем памяти устройств удваивается каждые два года. Но каждое последующее поколение жестких дисков теперь мало чем отличается от предыдущего: никакого роста в десятки раз по скорости и объему не наблюдается, мы уперлись в технологические пределы. Жесткий диск на 18 ТБ — это максимум, который сейчас можно найти в магазинах, но таких моделей единицы, а их стоимость доходит до 50 тыс. рублей.
Ситуацию осложняет и то, что мы постепенно отходим от использования жестких дисков (HDD) и переходим на твердотельные накопители (SSD): упор делается на скорость, в ущерб объемам. Если на дисках HDD скорость передачи данных достигает 200–300 МБ/с, то на SSD — 600–700 МБ/с. А вот по объемам мы отступили назад. 4 ТБ для HDD — это норма, а SSD такого объема найти гораздо сложнее.
Проблемы больших компаний
Объем информации постоянно растет, а замедлить его или снизить количество уже хранимых данных сложно. Даже если почтовый ящик пользователя ломится от сообщений, сервис не может самостоятельно очистить его: сервисы исходят из логики, что письмо пятилетней давности может понадобиться в любой момент. И именно из-за объема данных Google и Яндекс автоматически удаляют письма, если они находятся в папке «Спам» или «Корзина» более 30 дней.
Облачные хранилища используют зеркальное резервное копирование, чтобы файлы пользователей обновлялись синхронно на всех устройствах и при сбое в работе их можно было легко восстановить. Но для этого данные должны физически храниться в избыточном количестве: как минимум в двух экземплярах на двух физически разных дисках. Соответственно, необходимо постоянно увеличивать количество жестких дисков для хранения этой информации и с каждым новым файлом затраты увеличиваются минимум в два раза.
Но сейчас стало понятно, что невозможно постоянно увеличивать объемы пространства и поэтому облачные сервисы принимают первые меры по контролю цифрового мусора:
1. Сжатие и удаление неиспользуемых версий файлов. Google улучшает алгоритмы сжатия и использует более современные технологии: с их помощью уже загруженные фотографии занимают меньше места. Но это эволюционный процесс — необходимо, чтобы браузеры поддерживали новые форматы.
Этим способом пользуется YouTube. С течением времени меняется качество, с которым сохраняются ролики. Как это работает: пользователь загружает оригинал видео, одновременно оно перекодируется в несколько других форматов для телефона — 144р и 360р. У старых видео эти сгенерированные дополнительные видеопотоки удаляются, остается только оригинал. Даже если кто-то запросит это видео, оно быстро и легко восстановится. К тому же форматы, на которые перекодируется ролик, могут использовать более эффективные алгоритмы. Например, пять лет назад видео перекодировалось в H.264, а сейчас в VP — формат займет раз в пять меньше места при том же уровне качества.
2. Дедупликация. Все компании, которые так или иначе хранят массовые данные, используют этот метод: копии одного и того же файла хранятся на носителях в одном экземпляре. Если уже загруженный файл пересылается другому пользователю, он не будет повторно физически занимать место: вместо этого он ссылается на оригинал. Дедупликация помогает избавляться от избыточных данных: объем хранилища может уменьшаться в 20 раз. Этот способ в частности использует Telegram.
3. Разделение на «горячее» и «холодное» хранилище. Это наиболее частый способ хранения данных. Используемые файлы хранятся в более дорогой и быстрой системе — на SSD-дисках. Со временем, когда файлами перестают пользоваться, они переходят на более дешевые и медленные хранилища — на HDD-дисках и серверах.
За примером снова обратимся к YouTube. Ролик, который находится «в тренде», видеосервис будет хранить во многих экземплярах на разных серверах — для его максимально быстрой загрузки. Но по мере того, как популярность видео будет спадать, эти экземпляры будут исчезать из «горячих» хранилищ и начнут переходить в «холодные».
4. Платные тарифы. Самый простой способ регулирования потока информации от пользователей, которым пользуются Google, Dropbox, iCloud и другие. Изначально Диск от Google предоставлял для документов, таблиц, PDF-файлов лимитированное хранилище, а фото- и видеоконтент можно было загружать в неограниченном количестве. Сейчас компания меняет политику: с 1 июня 2021 года любые новые фото и видео будут учитываться в рамках бесплатных 15 ГБ для всех сервисов — Gmail, Диск и Фото. Если пользователь выходит за эти рамки, необходимо оформлять платную подписку.
Следующий кандидат на введение платной подписки — Telegram. Сейчас мессенджер никак не ограничивает пользователя — ни в объемах хранения данных, ни в вопросах правообладания. Telegram называют «главным распространителем нелегального видео» в Рунете, хранение которого стоит денег. Но что произойдет, когда серверы мессенджера перестанут справляться с таким потоком информации? Скорее всего, появятся платные тарифы или будут введены ограничения. Например, фотографии будут храниться полгода бесплатно, а для запроса более старых файлов придется оплачивать подписку или PRO-версию.
Как цифровой мусор усложняет и упрощает жизнь пользователя
Для пользователей проблема цифрового мусора — это тоже новые сложности. Помимо того, что в будущем придется платить за возможность хранить файлы в облачных сервисах, объем контента сильно влияет на поиск. На сайтах, форумах и в соцсетях стало слишком много текста: одно и то же содержание множится на разных площадках. На поиск нужной информации пользователь тратит примерно 26 минут в день.
С другой стороны, поиск по фотографии стал лучше за счет увеличения информационной базы. Фотосервисы от Google и Яндекса индексируют информацию, которая находится на изображении — текст, люди, предметы, и может выдать информацию об объекте, найти похожие картинки. То есть чем больше файлов загружается на сервисы, тем умнее становится алгоритм: лучше распознает объекты на фото и находит больше изображений.
Последствия роста объемов цифрового мусора ощущает не только цифровое, но и физическое пространство. Согласно исследованию Университета Бристоля, любая загрузка контента способствует росту углеродного следа. Хранение информации, в том числе ненужной, также требует энергии. Например, загрузка видео на YouTube обходится в среднем в 300 тыс. метрических тонн углекислого газа в год. Примерно то же количество парниковых газов производят 30 тыс. домов в Великобритании ежегодно.
Как сократить количество цифрового мусора:
1. Сразу удалять файлы, которые точно не понадобятся снова. Например, электронные чеки или сообщения об акциях.
2. Регулярно проводить «уборку» всех хранилищ — удалять неиспользуемые файлы, приложения, неактивные диалоги в мессенджерах. Для этого можно использовать специальные программы. Например, для компьютера подойдет CCleaner.
3. Структурировать и каталогизировать файлы. Этим тоже не придется заниматься вручную. Приложения сортируют файлы по датам, геометкам, можно ввести свои категории и папки. Это умеют Adobe Bridge, FastStone Image Viewer и Фото для macOS). Также будут полезны приложения, которые удаляют дубликаты файлов — AllDup, FirmTools Duplicate Photo Finder и снова CCleaner.
4. Периодически устраивать digital-детокс — дни, в которые пользователь ограничит потребление и производство любого цифрового контента. Специализированные программы и приложения не понадобятся — достаточно отключить все гаджеты.
ИТ-компании и в этом случае стараются оказать влияние: убеждают аудиторию меньше пользоваться гаджетами и различными сервисами. Так, Apple и YouTube добавили возможность отслеживать время, проведенное в смартфоне, и ставить напоминания о перерывах. В 2018 году Google представил проект Digital Wellbeing, который поможет в борьбе с зависимостью от гаджетов.
Прогнозы
С одной стороны, проблема постепенно решается за счет снижения стоимости одного гигабайта — хотя и медленно. В 1981 году 1 ГБ пространства на HDD стоил $500 000. Сейчас его цена — всего $0,025.
В любом случае индустрия справится с проблемой цифрового мусора. Вопросы только — как и когда? Основная тенденция временного решения проблемы — переход бесплатных сервисов к платным тарифам. По пути продажи пространства все равно пойдут все компании, которые занимаются хранением данных мультимедиа. Но облачным хранилищам вроде Dropbox и iCloud справиться с проблемой проще — они изначально предлагали платные тарифы на свои услуги, не обещая неограниченные возможности по загрузке файлов.
Возможно, Вас заинтересует новость — Google делает панорамы в Google Maps ещё лучше и удобнее.
Поэтому все новые сервисы, так или иначе связанные с цифровым пространством, сразу переходят на платные тарифы. Запущенный в 2020 году СберДиск также сразу сообщил о платных услугах — на бесплатном тарифе пользователю доступны только 15 ГБ.
Источник: роботы с сайта hightech.fm
