本ページでは、E-MapReduce クラスターでのデータおよびサービスのディザスタリカバリについて説明します。

データ

HDFS では各ファイルのデータがブロックに格納され、各ブロックには複数のコピーがあります (デフォルトでは 3 個)。 HDFS では、これらのコピーが異なるフレームワークに格納されます。 多くの場合、HDFS では最初のコピーはローカルフレームワークに格納されます。2 番目のコピーは最初のコピーと同じフレームワークに保存されますが、ノードが異なります。最後のコピーは異なるフレームワークに保存されます。

HDFS では、データのコピーが定期的にスキャンされます。 データのコピーが失われていた場合は、HDFS では別のデータのコピーが作成され、コピーの数が維持されます。 コピーが格納されていたノードが失われた場合は、HDFS で他のノードが作成され、作成されたノードに、失われたノードのデータが復元されます。 Alibaba Cloud では、クラウドディスクを使用する場合、各クラウドディスクにはバックエンドに 3 個のデータのコピーがあります。 いずれかのコピーに問題がある場合は、コピーによってデータが交換および復元され、信頼性が保証されます。

HDFS は大量のデータが格納される高信頼性ファイルストレージシステムです。 Alibaba Cloud の機能に基づいて、HDFS では OSSに格納されるデータのバックアップも作成され、さらなるデータの信頼性が提供されます。

サービス

HDFS のコアコンポーネントは、YARN、HDFS、HiveServer、Hive Meta などの、互いにバックアップしあうためのノードが少なくとも 2 つあることによって、 高可用性が保証されます。 このようにして、ノードに問題が発生するとすぐに、そのノードによってデータが交換および復元され、サービスに影響がないことが保証されます。