微笑如一
首页 网络收藏 分解查字

浏览:804
内容:
channel
通道

type
hdfs

path
写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/

filePrefix
默认值:FlumeData

fileSuffix
写入hdfs的文件名后缀,比如:.lzo .log等。

inUsePrefix
临时文件的文件名前缀,hdfs sink会先往目标目录中写临时文件,再根据相关规则重命名成最终目标文件;

inUseSuffix
默认值:.tmp

rollInterval
默认值:30

rollSize
默认值:1024

rollCount
默认值:10

idleTimeout
默认值:0

batchSize
默认值:100

codeC
文件压缩格式,包括:gzip, bzip2, lzo, lzop, snappy

fileType
默认值:SequenceFile

maxOpenFiles
默认值:5000

minBlockReplicas
默认值:HDFS副本数

writeFormat
写sequence文件的格式。包含:Text, Writable(默认)

callTimeout
默认值:10000

threadsPoolSize
默认值:10

rollTimerPoolSize
默认值:1

kerberosPrincipal
HDFS安全认证kerberos配置;

kerberosKeytab
HDFS安全认证kerberos配置;

proxyUser
代理用户

round
默认值:false

roundValue
默认值:1

roundUnit
默认值:seconds

timeZone
默认值:Local Time

useLocalTimeStamp
默认值:flase

closeTries
默认值:0

retryInterval
默认值:180(秒)

serializer
默认值:TEXT
联系: web@xiaoruyi.cn