Hangout output plugin : Clickhouse

Author: rickyHuo
Homepage: https://github.com/RickyHuo/hangout-output-clickhouse
Version: 0.0.8

Description

使用Hangout将数据清洗写入ClickHouse，兼容hangout-dist-0.3.0-release， 0.4.0版本hangout兼容性未知。

如果线上有现成的Spark环境，可以使用Waterdrop接入数据，支持Kafka、HDFS、Hive等。

Options

name	type	required	default value
bulk_size	int	no	1000
database	string	yes	-
fields	list	yes	-
format	string	no	TabSeparated
host	string	yes	-
table	string	yes	-
password	string	yes	-
username	string	yes	-

bulk_size [number]

批次写入量，默认为1000，当且仅当数据条数达到bulk_size时，才会触发写入操作。

dev版本正在开发时间触发器，敬请期待...

database [string]

ClickHouse database.

fields [list]

期望写入ClickHouse的数据字段。

format [string]

数据插入格式ClickHouse Format Introduction

当前支持JSONEachRow以及TabSeparated。

JDBC Format Performance TEST

host [string]

ClickHouse集群地址，多个以逗号","隔开。

table [string]

ClickHouse table name.

username [string]

ClickHouse withCredit username.

password [string]

ClickHouse withCredit password.

Examples

outputs:
    - com.sina.bip.hangout.outputs.Clickhouse:
        host: localhost:8123
        username: user
        password: passwd
        database: apm
        table: apm_netdiagno
        fields: ['_device_id', '_ping_small', '_domain', '_traceroute', '_ping_big', 'date', 'ts', '_snet']
        bulk_size: 500

使用Tabseparated(default)将fields中对应的字段写入ClickHouse。

outputs:
    - com.sina.bip.hangout.outputs.Clickhouse:
        host: localhost:8123
        username: user
        password: passwd
        database: apm
        format: JSONEachRow
        table: apm_netdiagno
        bulk_size: 500

使用JSONEachRow将数据写入ClickHouse，使用时务必保证清洗后的数据没有多余的字段且与表结构对应。使用JSONEachRow则不需要配置fields参数。

Tips

在写入ClickHouse之前，Date和DateTime类型的字段需要转换为指定格式。

Date

yyyy-MM-dd
DateTime
- yyyy-MM-dd HH:mm:ss
- UNIX 例如：1533535518

Supported data types

UInt8, UInt16, UInt32, UInt64, Int8, Int16, Int32, Int64
Float32, Float64
Date
DateTime
Array(String)
LowCardinality(T)

RickyHuo/hangout-output-clickhouse

ErrorLooks like something went wrong!

About

Topics

Resources

Uh oh!

Stars

Watchers

Forks

Releases 9

Packages 0

Uh oh!

Contributors 2

Languages

Error
Looks like something went wrong!

Packages