Elastic.Ingest.Elasticsearch.CommonSchema 8.11.1

Elastic.Ingest.Elasticsearch.CommonSchema

Elastic.Ingest.Elasticsearch 的一个专业化版本，提供了两种通道实现，便于编写 ECS 格式的数据以及使用 ECS 映射和设置引导目标数据流/索引。

EcsDataStreamChannel<TEvent>

一个将数据写入带时间戳的 Elasticsearch 数据流的通道。

可以创建通道以将数据推送到 logs-dotnet-default 数据流。

var dataStream = new DataStreamName("logs", "dotnet");
var bufferOptions = new BufferOptions { }
var options = new DataStreamChannelOptions<EcsDocument>(transport)
{
  DataStream = dataStream,
  BufferOptions = bufferOptions
};
var channel = new EcsDataStreamChannel<EcsDocument>(options);

注意：在此处了解更多有关 Elastic 数据流命名约定的内容： https://elastic.ac.cn/blog/an-introduction-to-the-elastic-data-stream-naming-scheme

现在可以使用 EcsDataStreamChannel 将数据推送到 Elasticsearch

var doc = new EcsDocument 
{ 
    Timestamp = DateTimeOffset.Now, 
    Message = "Hello World!", 
}
channel.TryWrite(doc);

EcsIndexChannel<TEvent>

一个专门用于将目录数据写入Elastic索引的频道。

我们可以创建一个EcsIndexChannel<>来推送EcsDocument（或其子类）实例。

var options = new IndexChannelOptions<EcsDocument>(transport)
{
    IndexFormat = "catalog-data-{0:yyyy.MM.dd}",
    // BulkOperationIdLookup = c => null,
    TimestampLookup = c => c.Timestamp,
};
var channel = new EcsIndexChannel<CatalogDocument>(options);

现在我们可以使用以下方式推送数据

var doc = new CatalogDocument 
{ 
    Created = date, 
    Title = "Hello World!", 
    Id = "hello-world" 
}
channel.TryWrite(doc);

这将把数据推送到catalog-data-2023.01.1，因为TimestampLookup将Timestamp传递给IndexFormat。

IndexFormat也可以简单地是一个固定字符串，用于写入Elasticsearch别名/索引。

BulkOperationIdLookup确定文档是否应该使用create或index操作推送到Elasticsearch。

初始化目标Datastream或Index

可选地，可以使用以下方式初始化目标数据流或索引。

await channel.BootstrapElasticsearchAsync(BootstrapMethod.Failure, "7-days-default"); 

这将初始化

• 设置所有ECS字段集的组件模板
  • 参考：https://elastic.ac.cn/guide/en/ecs/master/ecs-field-reference.html
  • 模板：https://github.com/elastic/ecs/tree/main/generated/elasticsearch/composable/component
• 为数据流/索引创建一个特殊的*-settings组件模板，用于设置ILM。
• 为目标数据流或索引设置索引模板。

如果索引模板已经存在，则不会发生进一步的初始化。

与Elastic.Ingest.Elasticsearch一样，该频道意识到logs和metrics有默认的组件模板，并确保新的索引模板引用了它们。