上传文本文件到HDFS时遇到 WARN hdfs.DFSClient: DataStreamer Exception报错

本人萌新小白,遇到这个错误后看了csdn上相关的几乎全部文章,仍然没有解决,最后将错误日志复制给了deepseek后得到了解决。来分享下解决办法。

问题诊断与分析
根据错误日志,Hadoop客户端(DFSClient)在尝试写入文件时失败,核心原因为:

There are 0 datanode(s) running and no node(!

即 HDFS集群中没有活跃的DataNode节点,导致文件无法按最小副本数(minReplication=1 ) 存储。

可能原因之一:

datanode服务未运行。

解决办法:
通过

jps | grep DataNode  

指令检查发现没有输出,说明datanode未运行
 

hadoop-daemon.sh start datanode

指令手动启动datanode以后再次检查这次发现有输出了。

再进行上传文本文件的时候,终于不报错

如果以上方法不能解决,请参考其他大佬的方法。
 

版权声明

   站内部分内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供网络资源分享服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请 联系我们 一经核实,立即删除。并对发布账号进行永久封禁处理。在为用户提供最好的产品同时,保证优秀的服务质量。


本站仅提供信息存储空间,不拥有所有权,不承担相关法律责任。

给TA打赏
共{{data.count}}人
人已打赏
大数据

2025年计算机毕业设计springboot 的高校医务室管理系统

2025-2-25 15:19:33

大数据

如何构建基于 Elasticsearch + FAISS 的向量搜索系统?

2025-2-25 15:19:36

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索