Tunnel上传遇到字符[NUL]问题

  • 时间:
  • 浏览:0
  • 来源:万人牛牛棋牌_万人牛牛棋牌官网

源数据在windows平台上Notepad++打开情况报告如下

使用最好的办法: 还能不能 切换到Hex模式,输入00,再切换回来。

避免思路:

模拟生产环境下数据格式,再现异常情景:

201207092314,,rubbyhao

源数据在Linux Centos6.5平台上vim打开情况报告如下:

补充另有另两个 知识点:

可能性是可能性生产环境下业务必须,无效数据打上NUL字符或^@标记

字符在Linux平台上用vim编辑器打开后显示^@,用sed命令将^@替去掉 空

其中\x00表示二位十六进制

在使用Tunnel将生产环境下的文本数据上传到ODPS表过程中,可能性源数据其他字段为NUL或^@,报错无法正确读取,异常是:导入数据列与目标表中列不匹配(not match).

(使用notepad++打开16进制文件,或者单击菜单栏的‘H’按钮,即可转换,可能性想转回来,再按一次‘H’按钮)

问题图片是因为:

在一行中若有另有另两个 逗号,表明在后边有另有另两个 缺失值,test.txt文本测试数据如下:

可能性后后备份直接替换去掉 参数-i

问题图片描述:

find . -type f -name 文件名 -exec ./changerepository.sh {} /;

想最好的办法把源数据中存在NUL或^@过滤或替去掉 空值。