关闭。这个问题需要更加突出重点。它目前不接受答案。
**想改进这个问题吗？**通过编辑这篇文章更新这个问题，使它只关注一个问题。

6年前关门了。
改进这个问题
我想知道更多关于这些搜索引擎脚本（比如inoutscripts的inout spider）是如何实现可伸缩性的。
是因为他们使用的技术。你认为这是因为hadoop和hypertable相结合的技术吗。