我正在开发一个rest应用程序，可以作为大文件的数据上传服务。我创建文件块并上传每个块。我想有多个服务运行这个服务（负载平衡）。我希望我的rest服务是一个无状态系统（没有关于每个存储块的信息）。这将帮助我避免服务器关联。如果我允许服务器关联，我可以为每个上传请求设置一个服务器，这些块可以存储在磁盘中的临时文件中，并且可以在上传完成后移动到其他地方。
理想情况下，我会使用一个中心位置来存储数据。我希望避免这种情况，因为这是一个单点故障（在分布式系统中很糟糕）。所以我在考虑使用分布式文件系统，比如说hdfs，但是附加到文件不是很有效，所以这不是一个选择。
是否可以使用某种缓存来存储数据？由于数据的大小相当大（2-3 gb文件），因此不能使用memcache之类的传统缓存解决方案。
有没有别的办法来解决这个问题。我不是在看什么特别的方向吗？
任何帮助都将不胜感激。