github半导体良品率第三个代码块学习--debug--跑通项目踩坑记录-统计缺失值数据
今天学习第2大部分,数据集总览
下面这段代码是获取数据集整体统计信息,并格式化打印出来,
其中第一行代码较难理解,不理解summary的意思,summary在src文件中data中data_lodar.py文件中,summary相当于直接一串代码调用了需要显示的内容,在summary一系列代码中可以直接读取传感器等传出的数据,在summary代码中load_data负责读数据,get_data_summary负责“统计数据”,将缺失值统计出来。
代码中summary['n_pass']是字典取值,【以为是python 的语言】
后面单独运行这个板块时出现了报错,loader没有定义,按照AI给的建议并为修改成功,后面发现从前面的三个模块均进行运行了一下就可以正常跑代码了,

#Get comprehensive summary
summary = loader.get_data_summary()
#调用loader里面的get_data_summary()函数,得到一个数据统计结果
#summary一般是一个字典:
print("="*80)#打印80个=
print("DATASET SUMMARY")#打印标题
print("="*80)
#打印总样本数
#summary['n_samples']表示样本数量,:,表示千位分隔符显示,比如1567,显示为1,567
print(f"Total Samples: {summary['n_samples']:,}")
#打印总特征数
#summary['n_features']表示特征数量,也就是传感器变量数量
print(f"Total Features: {summary['n_features']:,}")
print(f"\nClass Distribution:")#\n表示先换一行
#打印Pass类别的数量和比例
#Class 0 表示Pass
#summary['n_pass']/summary['n_samples']表示Pass占总样本比例
#:.1% 表示百分比显示并保留1位小数
print(f" Pass (Class 0): {summary['n_pass']:,} ({summary['n_pass']/summary['n_samples']:.1%})")
#打印Fail类别的数量和比例
#Class 1表示Fail
#summary['n_fail']/summary['n_sample']表示Fail占总样品比例
print(f" Fail (Class 1): {summary['n_fail']:,} ({summary['n_fail']/summary['n_samples']:.1%})")
#打印类别不平衡比例
#summary['n_pass']/summary['n_fail']表示数量是Fail数量的多少倍
#:.1f表示保留1位小数
print(f" Imbalance Ratio: 1:{summary['n_pass']/summary['n_fail']:.1f} (Pass:Fail)")
#换行打印缺失值标题
print(f"\nMissing Values:")
#打印整体缺失率
#;.2%表示百分比形式,保留两位小数
print(f" Overall Missing Rate: {summary['missing_value_rate']:.2%}")
#打印有缺失值的特征数量和比例
#features_with_Missing:表示存在缺失值的特征数量
print(f" Features with Missing: {summary['features_with_missing']:,} ({summary['features_with_missing']/summary['n_features']:.1%})")
#打印由缺失值的样本数量和比例
#samples_with_missing 表示至少有一个缺失值的样本数量
print(f" Samples with Missing: {summary['samples_with_missing']:,} ({summary['samples_with_missing']/summary['n_samples']:.1%})")
print("="*80)
将上面的代码后面进解释说明
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)