kafka代理启动内存问题

7uhlpewt  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(442)

我是Kafka和hadoop技术的新手。我尝试在aws ec2 vm示例上安装并运行我的第一个单节点、单代理群集,我完成了:
1) java安装
2) 更新 ~/.bashrc and ~/.nash_profile 包含java相关条目的文件
3) 能够运行内部zookeeper示例,但是
4) 当我尝试启动kafka broker时,它会向我抛出以下错误消息:

$ bin/kafka-server-start.sh config/server.properties
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0130000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)

There is insufficient memory for the Java Runtime Environment to continue.
Native memory allocation (malloc) failed to allocate 986513408 bytes for committing reserved memory.
An error report file with more information is saved as:
/usr/local/kafka/hs_err_pid2549.log

我不知道我做错了什么。这个aws ec2 vm示例是一个新创建的ubuntu-t2.micro示例,具有8gb通用ssd卷。

vybvopom

vybvopom1#

如果需要对合流的Kafka做同样的改变。对于centos,修改/usr/lib/systemd/system/confluent-kafka.service文件并传递 "KAFKA_HEAP_OPTS=-Xmx512M -Xms512M" 文件中的值。这样可以防止环境升级。然后systemctl守护进程重新加载。通过服务上的运行状态检查新Kafka的值 systemctl status confluent-kafka .

bqujaahr

bqujaahr2#

是记忆问题。我将kafka-server-startup.sh和zookeeper-server-start.sh中的最小和最大内存分配值更新为 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" 启动zookeeper和kafka服务器都运行良好。谢谢

7gs2gvoe

7gs2gvoe3#

所以我相信你的错误是关于ram内存,而不是ssd内存。
我在google上快速搜索了一下,似乎t2.micro帐户只有1gb内存?对吗?从错误和堆栈溢出的答案来看,似乎您没有足够的ram。它说malloc请求986mb或内存,基本上是1gb,而你的机器上只有1gb。

相关问题