Tachyon: распределённая и устойчивая к сбоям файловая система

Тахион — гипотетическая частица, движущаяся со скоростью, превышающей скорость света в вакууме. В отличие от тахиона, новый проект Tachyon (github) — вовсе не выдумка, а вполне реальная файловая система, распределённая по разным носителям. Она отлично подходит для фреймворков в кластере, таких как Spark и MapReduce.

Распределённая файловая система (ФС) гарантирует сохранность информации в случае аппаратного сбоя. Выход из строя одного носителя в кластере не влияет на производительность системы и сохранность данных. Носитель можно быстро заменить.

В отличие от других распределённых файловых систем, Tachyon обеспечивает не только надёжность, но и высокую скорость. Для сравнения, она показывает в 300 более высокую пропускную способность, чем HDFS (Hadoop Distributed File System), за счёт специфической оптимизации и агрессивного использования памяти. Tachyon кэширует в памяти рабочие файлы и позволяет разным процессам получать доступ к ним: за счёт этого и достигается высокая производительность. Подобная архитектура отлично подходит, например, для стриминга медиаконтента: кодирование, рендеринг и трансляция осуществляются непосредственно из памяти сервера, ни разу не обратившись к жёсткому диску.

Файловую систему разработали в Беркли (лаборатория UC Berkeley AMP Lab). Система Tachyon идёт в комплекте с программными интерфейсами File API, которые по синтаксису похожи на Java.

Новую файловую систему можно поставить на кластер Hadoop без каких-либо модификаций.