问题描述

在使用Application Insights来收集日志中,发现Function App的执行记录中缺少了日志。但这个Function确确实实的执行了。

那么,会是什么情况导致了Applicaiton Insights中收集日志信息不完善呢?

问题解答

根本原因是Application Insights默认启用了采样率(Sampling功能,在Function App中,默认每一秒最多采集20项日志数据。

Application Insights 具有采样功能,可以防止在峰值负载时为已完成的执行生成过多的遥测数据。

当传入执行的速率超过指定的阈值时,Application Insights 开始随机忽略某些传入执行。

每秒执行的最大次数的默认设置为 20

( 参考文档:https://docs.azure.cn/zh-cn/azure-functions/configure-monitoring?tabs=v2#configure-sampling )

image

当知道有采样率功能后,那么:

  • 如何来判断真实的情况呢?
  • 是否真的是采样率导致了日志数据的不完整呢?

具体的检查方法是:在Application Insights 的门户上,进入Logs 页面,执行如下语句来查看采样百分比:

union requests,dependencies,pageViews,browserTimings,exceptions,traces
| where timestamp > ago(1d)
| summarize RetainedPercentage = 100/avg(itemCount) by bin(timestamp, 1h), itemType

(RetainedPercentage < 100 则表示该类型的数据在统计周期中,执行了采样,日志数据收集并不完整)

实际效果图

image

RetainedPercentage 的解释:

RetainedPercentage 含义
= 100 未采样,数据完整
< 100 该时间窗口内发生了采样,数据不完整。比如第一个红圈中, Trace只收集了50%的数据, Exception 只收集了68.72%的数据

itemCount 的解释:

  • 采样(Sampling):SDK 在客户端按比例随机丢弃部分遥测数据,仅上报代表性的样本。

  • itemCount:每一条上报的遥测记录都会带这个字段,表示「这条样本背后实际代表了多少条原始记录」。

    • itemCount == 1:未采样,1 条记录就是 1 次真实调用;
    • itemCount == 10:采样了,这一条记录其实代表了 10 次原始调用(其余 9 次被丢弃)。
  • 聚合统计时(如 count()sum())需要按 itemCount 加权,否则数字会偏低。

解决方法

是的,可以避免采样情况的发生。

对于Request和Exception等关键的日志数据,需要100%收集,就可以修改Function App的 host.json 配置来实现。

{ "version": "2.0", 
"logging": 
{ "applicationInsights": 
{ "samplingSettings": 
{ 
"isEnabled": true, 
"maxTelemetryItemsPerSecond": 20, 
"excludedTypes": "Request;Exception" 
} 
} 
} 
}

要点说明:

  • isEnabled: true 保留对 traces / dependencies 等高频数据的采样,控制成本;
  • excludedTypes 用分号分隔,可选值包括 Request / Exception / Trace / Dependency / PageView / Event
  • 也可以通过 maxTelemetryItemsPerSecond 调整阈值,而不是一刀切关掉。 

操作截图:

image

参考资料

配置采样 : https://docs.azure.cn/zh-cn/azure-functions/configure-monitoring?tabs=v2#configure-sampling

了解采样是否正在进行中 : https://learn.microsoft.com/zh-cn/previous-versions/azure/azure-monitor/app/sampling-classic-api#knowing-whether-sampling-is-in-operation

itemCount 属性值介绍:https://learn.microsoft.com/zh-cn/previous-versions/azure/azure-monitor/app/classic-api?tabs=dotnet%2Cnet#requests-in-log-analytics


当在复杂的环境中面临问题,格物之道需:浊而静之徐清,安以动之徐生。 云中,恰是如此!

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐