Hadoop出现DataXceiver error processing WRITE_BLOCK operation
  TEZNKK3IfmPf 2023年11月12日 19 0

Hadoop出现DataXceiver error processing WRITE_BLOCK operation

字面理解为文件操作超租期，实际上就是data stream操作过程中文件被删掉了。以前也遇到过，通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。

​修改
1、datanode所在的linux服务器提高文件句柄参数；

2、增加DataNode句柄参数：dfs.datanode.max.transfer.threads

修改hdfs-site.xml

<property>
        <name>dfs.datanode.max.transfer.threads</name>           
        <value>8192</value>
    </property>

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载，内容版权归原作者所有。本网站的目的在于传递更多信息，不拥有版权，亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@moduyun.com
  1. 分享：
最后一次编辑于 2023年11月12日 0

暂无评论

推荐阅读
  TEZNKK3IfmPf   2024年05月31日   37   0   0 linux服务器
  TEZNKK3IfmPf   19天前   32   0   0 UDPlinux网络
  TEZNKK3IfmPf   19天前   32   0   0 linuxssh
  TEZNKK3IfmPf   2024年05月31日   37   0   0 linux运维
  TEZNKK3IfmPf   2024年05月31日   44   0   0 linuxjavacentos
  TEZNKK3IfmPf   19天前   38   0   0 linux服务器
  TEZNKK3IfmPf   2024年05月31日   51   0   0 linux服务器
  TEZNKK3IfmPf   2024年05月31日   40   0   0 linux服务器
  TEZNKK3IfmPf   2024年05月31日   29   0   0 linux服务器centos
  TEZNKK3IfmPf   2024年05月31日   25   0   0 linux网络
  TEZNKK3IfmPf   2024年05月31日   32   0   0 linux服务器ubuntu
  TEZNKK3IfmPf   2024年05月17日   63   0   0 linuxshell
  TEZNKK3IfmPf   19天前   31   0   0 linux运维php
  TEZNKK3IfmPf   19天前   31   0   0 linux服务器tomcat
  TEZNKK3IfmPf   19天前   32   0   0 linux数据库mysql
  TEZNKK3IfmPf   2024年05月31日   29   0   0 linuxbind
  TEZNKK3IfmPf   19天前   29   0   0 linux服务器运维
  TEZNKK3IfmPf   19天前   29   0   0 linuxpython
  TEZNKK3IfmPf   2024年05月31日   39   0   0 linuxshell
  TEZNKK3IfmPf   2024年05月17日   59   0   0 linuxshell
TEZNKK3IfmPf
TEZNKK3IfmPf
作者其他文章 更多
使用代码获得所有适用于创建的transaction type

2024-06-14

C/C++ realloc()函数解析

2024-06-14

生成一个文件 保存在指定的文件夹中 思路 python

2024-06-14

Windows 10封装中出现“无法验证你的Windows安装”错误解决方法

2024-06-14

109-修改返回体的内容RestControllerAdvice

2024-06-14

C/C++ 判断进程是否存在

2024-06-14

使用面向对象重构之-使用接口完成行为抽象

2024-06-14

使用面向对象重构之-把抽象控制在一处：提高内聚性

2024-06-14

重操旧业障碍多

2024-06-14

关于关闭自动装配

2024-06-14

最新推荐 更多
使用代码获得所有适用于创建的transaction type

2024-06-14

C/C++ realloc()函数解析

2024-06-14

生成一个文件 保存在指定的文件夹中 思路 python

2024-06-14

Windows 10封装中出现“无法验证你的Windows安装”错误解决方法

2024-06-14

109-修改返回体的内容RestControllerAdvice

2024-06-14

C/C++ 判断进程是否存在

2024-06-14

使用面向对象重构之-使用接口完成行为抽象

2024-06-14

使用面向对象重构之-把抽象控制在一处：提高内聚性

2024-06-14

重操旧业障碍多

2024-06-14

关于关闭自动装配

2024-06-14

使用面向对象重构之-从过程式设计到面向对象

2024-06-14

nodejs部署神器pm2的使用体验

2024-06-14

java虚拟机启动过程解析

2024-06-14

mysql-忘记密码时重置操作

2024-06-14

Callable和runnable的区别

2024-06-14

python的粘包和分包

2024-06-14

tftp文件服务（udp端口：69）

2024-06-14

C语言反汇编 - 流程控制与循环结构

2024-06-14

python-列表包字典-根据字典的某一个键的值来进行排序

2024-06-14

使用面向对象重构之-使用接口抽象完成不同维度的扩展

2024-06-14

常用标签
数据数据数据数据javalinuxlinuxpythonCentOSredisJavapython区块链技术区块链信息系统字符串MySQL资讯项目管理mysql教程MySQL