登录社区云,与社区用户共同成长
邀请您加入社区
本文基于RFM模型对电商用户进行价值分层分析,通过订单数据计算用户最近消费时间(R)、消费频次(F)和消费金额(M)三个核心指标,将用户划分为8类群体:重要价值客户、重要流失客户、重要挽留客户、重要唤回客户、一般活跃客户、一般流失客户、一般挽留客户和低价值客户。分析结果显示不同分层用户在消费特征上存在显著差异,并针对每类用户提出了差异化运营策略,如为核心价值客户提供专属权益、对高价值流失用户进行定
个人总结:这一周主要就是实现了resnet34的一个模型识别x光肺炎,主要学到了一个就是残差块的构建,并且以及对于resnt模型的直接调用冻结微调等操作。后续也是借助ai写了一下resnt34的代码。基本上可以手动实现。
🚨 **项目简介**:本项目是一套完整设计并实现的多模态轻量化暴力行为识别系统,专为解决城市公共场所暴力事件频发、传统安防体系响应滞后等痛点打造。采用“云-边-端”分层协同架构,技术栈前沿,代码规范,非常适合算法工程师、AI开发者、安防从业者作为实战练手、企业级项目参考或二次开发。🛠️ **核心功能模块**:1. **多模态数据融合**:融合视频流、音频信号与上下文情景信息,构建了覆盖12类典
矩阵分析中的算法(稀疏矩阵压缩存储与高效运算算法)7.12 稀疏矩阵分解在推荐系统中的应用总结这个完整的稀疏矩阵分解推荐系统实现提供了:多种推荐算法:矩阵分解(MF)SVD++(考虑隐式反馈)时间感知推荐神经矩阵分解(NeuMF)混合推荐系统完整的数据处理:合成数据生成数据集分割MovieLens数据集支持全面的评估工具:评分预测指标(RMSE、MAE)Top-N推荐指标(Precision@K、
本文介绍了scikit-learn中Pipeline的核心设计理念和应用场景。Pipeline通过统一fit/transform/predict接口,将数据预处理和模型训练封装为一个整体,有效防止测试集信息泄漏导致的交叉验证分数虚高问题。文章重点讲解了: Pipeline基础用法:自动在交叉验证中正确应用fit_transform ColumnTransformer:一站式处理数值、类别和文本等混
Claude Code 提供了多达 25 个生命周期钩子(Lifecycle Hooks)。在你的配置中绑定钩子,可以让 Claude 每次自动改完代码后,在后台悄悄自动触发"hooks": {如果说传统的 IDE AI 助手是停留在画布上的精美素描,那么就是直接开进代码库底层的装甲挖掘机。它依托于 Unix 哲学的极简主义,用最轻量的状态机制换取了最极致的推理自由度。通过精心维护的CLAUDE.
要用好 Codex,首先需要理解它与传统 AI 聊天工具在底层架构上的本质区别。传统的对话大模型是“单次触发式”的,而 Codex 是一个基于状态机的全自动循环系统。全新 Codex 引擎的本质并不是一个简单的代码生成器,而是一个能够自主调用工具、自主搜集上下文、并在人类设定的规则边界内不断迭代解决问题的数字雇员。从 Suggest 模式的谨慎尝试,到 Auto Edit 模式的日常相伴,再到 F
上面前三个比较全都是True,第四个比较是False,因为前三个都至少有一个数出现在了整个二维数组里,第一个有4和9,第二个有4和2和9,第三个有9,第四个什么都没有,因此是False。一开始认为是按列比较,因为[4, 2, 9] in data得到的是True,4在这个二维数组的第一列出现了,2在第二列,9在第三列,都有出现。太神秘了,想检测二维数组中的一项是否在另一个二维数组中,于是对nump
年龄估计是人脸属性分析中的重要一环,在智能营销、安全合规、社交推荐等场景有广泛应用。本文基于 IJCAI 2018 提出的 SSR-Net(Soft Stagewise Regression Network),详细介绍年龄估计模型的训练全流程。内容涵盖:SSR-Net 双流多阶段架构原理及其在年龄识别中的核心优势、YOLO 人脸检测 + 扩展裁剪的数据预处理方案、训练超参数配置与 MSE/MAE
ImportError: DLL load failed while importing _multiarray_umath: 找不到指定的模块。可以在虚拟环境中使用pip uninstall numpy 进行移除。再重新安装conda install numpy。
个人总结:学习了vgg模型,学会如何加载预训练模型,以及进行微调等操作。
本文主要讲解了python数据分析中numpy,dataframe和matplotlib的使用。
title: Ai大模型技术之NumPy与Pandas 完整笔记date: 2026-06-05categories:版本:V0.9.1Anaconda官网地址:https://www.anaconda.com/简单来说,Anaconda = Python + 包和环境管理器(Conda)+ 常用库 + 集成工具。它适合那些需要快速搭建数据科学或机器学习开发环境的用户。Anaconda和Pytho
量化交易的基本流程:信号捕捉然后交易(建仓或者平仓),策略信号就是量化买入卖出的特征。比如上图示例,买入为0卖出为1,那信号拟合过后就像是脉冲的图像。多因子策略:找到某些和收益率最相关的指标,并根据该指标,建一个股票组合,期望该组合在未来的一段时间内跑赢或跑输大盘指数。交易模型:有各种量化策略,统称为交易模型。基于现代多学科众多理论,以及多种金融分析技术理论,可盈利可量化可执行的交易系统。比如网格
在机器学习中,我们有两个常用的运算库(TensorFlow 和 Numpy),由于库的开发与发展历史的种种原因,他们有着不同的数据形式。用一个外层中括号表示数组,内层的中括号表示数据,每一个内层中括号表示一个数据,而内层中括号中数字的个数表示了数据维度的大小。再者就是数据维度的变换了,在数据训练的过程中,我们常见到对数据维度的变换。所以,当我们去处理数据的时候需要使用 Numpy ,而在模型训练的
信用卡欺诈是典型的类别极不平衡的分类问题:正常交易(负样本)远多于欺诈交易(正样本)。如果直接用原始数据训练模型,模型会倾向于把所有样本都预测为“正常”,导致召回率极低。本文使用下采样(Undersampling)平衡正负样本,并用逻辑回归建模,最后通过调整分类阈值提升欺诈交易的召回率。本文通过一个完整的代码实例,展示了信用卡欺诈检测的完整流程:数据标准化与清洗—>下采样处理类别不平衡—>交叉验证
NumPy(Numerical Python 的简称)是 Python 的一个开源扩展库,主要用于支持大量的维度数组与矩阵运算。NumPy 为我们提供了一个特殊的数组对象,我们可以用它表示普通的一维数组、二维矩阵,以及任意维度的数据。它可以对数组中的数据进行非常高效的运算,广泛应用于数据统计、图像处理、线性代数等领域。很多初学者会问:“Python 已经有列表(List)了,为什么还要用 NumP
本文系统介绍了NumPy的多项式拟合与插值方法,主要内容包括: 基础多项式拟合:使用polyfit/poly1d进行数据拟合,展示不同阶数拟合效果对比 多项式运算:包括加减乘除、求导、积分等操作 过拟合与欠拟合分析:通过可视化对比不同复杂度模型的表现 加权拟合:处理异方差数据的权重分配策略 插值方法:介绍Lagrange插值和样条插值的适用场景 通过温度数据建模等实战案例,帮助理解多项式拟合作为基
摘要 本教程深入讲解NumPy的高级线性代数功能,重点涵盖7个核心模块: 特征值分解:解析特征值与特征向量的几何意义及其应用 SVD奇异值分解:详解矩阵分解原理与降维应用 最小二乘法:演示数据拟合的三种实现方式 矩阵分解:介绍QR和Cholesky分解方法 矩阵性质分析:包括行列式、秩和条件数计算 线性方程组求解:比较逆矩阵与solve方法 PCA实现:基于SVD手写主成分分析算法 教程通过代码实
NumPy 作为 Python 科学计算生态系统的基石,其数组抽象与向量化运算范式深刻影响了后续每一代数值计算框架的设计。随着 AI 训练与推理负载逐步从 CPU 向 NPU 迁移,如何在保持 NumPy 编程语义的同时,将底层数据零拷贝地映射到昇腾 NPU 的异构内存体系,成为连接传统科学计算与新一代 AI 加速芯片的关键工程问题。
AI:用计算机模拟人脑,让计算机能够像人类一样理性的思考和行动ML:基于经验找规律;先训练(根据训练集找规律,找公式),再预测,最后评估DL:基于自己构建出来的知识库AI:给出一张图片,判断是否为西瓜ML:结合大量有关西瓜的资料(图片,音频,文本等等),总结出规律,如何挑选一个好西瓜DL:基于西瓜的各种资料(价格,产地,口感),搭建自己的知识库。
本文介绍了如何直接使用CANN的ACL运行时API在NPU上调用算子,绕过深度学习框架构建轻量级推理引擎。ACL提供设备管理、内存分配、算子调用等核心功能,适用于嵌入式设备等低开销场景。文章详细讲解了ACL编程模型,包括矩阵相加示例、内存管理策略(普通分配与大页内存)、Host与NPU数据传输方法,以及多流并发和事件同步机制。通过显式控制内存生命周期和流管理,开发者可以构建高效的自研推理引擎,特别
本文深入解析了CANN的图引擎(GE)如何将Python计算图编译为NPU可执行指令的全流程。GE作为连接深度学习框架与NPU硬件的核心引擎,主要完成四大关键任务:图构建、图优化、图切分和任务下发。其中重点介绍了GE的三大核心技术:算子融合(如将Conv2D+BatchNorm融合可减少50%延迟)、内存优化(通过生命周期分析和内存复用降低峰值内存)以及分布式场景下的图切分逻辑(自动插入通信算子)
NVIDIA Triton Inference Server通过GE Backend实现对昇腾NPU的支持,将Triton的调度能力与CANN的GE图执行引擎对接。GE Backend采用三层架构设计:Triton C API接口层负责通信,适配层完成Tensor格式转换,执行层调用CANN Runtime进行推理。部署时需先用ATC工具将ONNX模型转为.om格式,并配置Triton使用GE B
本文探讨了昇腾NPU专用数学算子库ops-math的设计理念与实现策略。针对NumPy在NPU硬件上的适配问题,ops-math采用模块化架构,将算子分为conversion(形态变换)、math(数学运算)和random(随机生成)三大类。其中,Cast算子通过分块搬运和向量指令实现高效类型转换;Exp算子采用范围缩减和多项式近似确保计算精度;随机数生成则针对NPU特性优化。这种分层设计解决了编
asnumpy是昇腾NPU原生的NumPy兼容库,核心价值是零修改加速——把换成,已有代码就能用上昇腾NPU的加速能力。使用场景数据预处理(reshape、matmul、归一化)模型输入格式化通用NumPy操作在昇腾上的加速性能收益matmul快100倍(4096×4096)transpose/reduce快20-30倍典型预处理流程快25倍昇腾NPU上跑应用,别让数据预处理成为瓶颈。换一行 im
NumPy广播机制与通用函数指南摘要 本文深入讲解了NumPy的两大核心特性:广播机制和通用函数(ufunc)。广播机制通过4条规则实现不同形状数组的运算:维度相同直接运算、一方为1则扩展、缺失维度补1扩展、否则报错。文章通过标量广播、行向量广播和外积模式等案例演示了广播规则的应用。 实际应用部分展示了广播在数据归一化(Z-Score标准化)和欧氏距离矩阵计算中的高效实现。通用函数部分涵盖了一元/
最近项目需要在昇腾NPU上跑一些数值计算,不是训练模型,就是纯算东西——矩阵分解、特征值、随机采样之类的。一开始我想,NumPy代码直接跑不就行了?不行。NumPy跑在CPU上,数据要从NPU搬回CPU才能算,算完再搬回去。一来一回,瓶颈全在数据搬运上,NPU在那干等。后来翻CANN开源社区,发现一个叫 asnumpy 的仓库。官方介绍是"NPU原生NumPy兼容接口",意思是你可以用类似NumP
如果你用 Python 做 AI 开发,大概率写过类似这样的代码:用 NumPy 预处理数据,把结果转成 PyTorch Tensor,推理完再转回 NumPy 做后处理。这个过程里数据在 CPU 和 NPU 之间来回拷贝了一次,拖慢了整体速度。CANN 的 asnumpy 仓库提供了直接在昇腾NPU 上运行的 NumPy 兼容接口。
本文是《动手学深度学习》系列的第一篇,重点讲解深度学习的数学基础与核心概念。文章从NumPy和PyTorch的张量操作入手,详细介绍了张量的创建、运算和广播机制,并深入解析了自动微分、计算图和反向传播的原理。通过代码示例演示了梯度下降的实现过程,帮助读者建立从数学理论到代码实践的完整认知框架。文章强调形状匹配的重要性,并对比了NumPy与PyTorch的实现差异,为后续深度学习模型的学习打下坚实基
本文系统介绍了NumPy数组的创建方法和高级索引技术。主要内容包括: 数组创建:详细讲解np.array()、zeros()、ones()、arange()等11种创建方式及其适用场景,强调dtype对内存的影响。 基础切片:解析[start:stop:step]语法规则,演示一维/二维数组切片操作,指出切片返回的是视图而非拷贝。 高级索引:涵盖花式索引(Fancy Indexing)和布尔掩码操
质谱蛋白质组学可生成表征生物样品中肽段/蛋白质组分的复杂数据,各类机器学习是串联质谱肽段鉴定及数据分析全流程的核心计算方法。随着深度学习成为数据建模与解析的强力机器学习手段,蛋白质组学计算研究者利用海量公开数据集训练机器学习模型,用于预测肽段碎裂谱与液相色谱保留时间。ProteomicsML等资源为这类学习任务提供了详尽的演示教程,缩小了蛋白质组学与机器学习领域的隔阂。但现有深度学习教学材料普遍缺
摘要:本文系统阐述了程序员如何构建"开挂级"技能树,从基础能力、工具效率、高阶思维到实战技巧四个维度展开。基础层强调语言范式、算法思维和计算机原理;工具层聚焦开发工具链、Git和自动化;思维层涵盖设计模式、系统设计和性能优化;实战层则关注代码可读性、调试技巧和系统容错性。文章指出,真正的"开挂"源于系统化学习和持续实践,建议通过开源项目分析、工具复用和跨界融
本文深入讲解NumPy在深度学习中的核心应用,重点剖析矩阵运算、广播机制和向量化编程。首先从ndarray内存布局入手,解释C顺序与Fortran顺序的区别及其对性能的影响。然后详细讲解广播规则及其在深度学习中的典型应用场景,如Transformer中的偏置加法。文章还介绍了向量化编程技巧和einsum表达式,最后通过手写Self-Attention前向传播的NumPy实现,展示如何将这些知识应用
本文介绍了循环神经网络(RNN)及其改进模型LSTM和GRU在序列数据处理中的应用。RNN通过隐藏状态传递时序信息,但存在梯度消失问题。LSTM通过门控机制解决了长距离依赖问题,GRU则简化了结构。文章以IMDB情感分类为例,展示了双向LSTM模型的实现过程,包括数据预处理、模型构建、训练评估等步骤。实验使用PyTorch框架,在5个epoch内达到约87%的测试准确率。此外还提及了LSTM在时间
本文针对蒙西电网次日实时电价预测与储能套利问题,构建了基于 LightGBM 与 GradientBoostingRegressor(GBR)的预测模型,并结合特征工程与超参数优化提升模型效果。实验发现,储能收益相比传统预测误差,更依赖于电价波动的相对排序与振幅,因此提出了动态振幅增强方法以扩大套利空间。最终模型在保持预测稳定性的同时,显著提升了储能收益与比赛成绩。
要打印模型内部的梯度流,可以通过注册PyTorch的**前向/反向钩子(hooks)**来捕获并记录各层在前向传播和反向传播过程中的梯度信息。核心原理是在模型的前向传播和反向传播路径上插入回调函数,用于提取和保存中间梯度数据。
摘要 在PyTorch模型导出ONNX时,"No Adapter To Version 17 for Resize"和".numpy() not supported"错误常见于包含Resize算子的模型。本文提供了一套完整的解决方案:首先升级ONNX及相关库至最新版本;其次明确指定opset_version=17以保留最新特性;然后通过将模型中的Parame
基于某在线零售平台全年交易数据,本研究运用RFM模型与K‑means聚类对客户进行分层分析。首先构建R、F、M指标,通过均值阈值初步划分客户类型,再经肘部法则确定K=3,将客户分为重要价值客户(簇2)、潜在价值客户(簇0)和一般挽留客户(簇1)。进一步拓展国家市场分析,利用气泡图与四象限法识别出潜力市场、现金牛市场及问题市场。退货行为分析显示,重要价值客户个体退货频率高,一般挽留客户退货金额占比最
用「下采样」替代之前的 SMOTE 过采样,解决信用卡欺诈检测的类别不平衡问题,并基于逻辑回归模型完成从数据预处理、参数调优到模型评估的全流程,整体逻辑围绕 “下采样平衡数据→交叉验证选最优参数→模型训练→多维度评估” 展开。
《智能重生:从垃圾堆到AI工程师》第五章摘要 本章聚焦神经网络核心实现与Python编程精髓,通过手写数字识别案例详解: 1️⃣ 技术栈:Python基础(变量/控制流/函数)、NumPy向量化运算、神经网络前向/反向传播 2️⃣ 关键设计:He初始化防止梯度消失、小批量训练平衡效率与稳定性、交叉熵损失优化 3️⃣ 编程范式:装饰器增强函数、生成器处理大数据、深拷贝保存模型参数 4️⃣ 性能对比:
文本生成任务是一种常见的自然语言处理任务,输入一个开始词能够预测出后面的词序列。本案例将会使用循环神经网络来实现周杰伦歌词生成任务。
摘要:Chrome浏览器从2008年诞生至今,通过开源策略、技术创新和标准推动,逐渐主导Web标准演进。其V8引擎和Blink内核大幅提升性能,率先实现ES6、PWA等新技术,深度参与W3C等标准组织制定。虽然带来市场垄断争议和碎片化问题,但Chrome显著推动Web统一化,降低开发成本,拓展网页应用边界。未来将继续引领AI、Web3等新标准发展,在创新与生态平衡中保持核心地位。
数据挖掘是从海量数据中提取有价值知识的关键技术。在信息过载时代,它能帮助企业和科研机构发现隐藏模式、获取竞争优势。其核心思想是通过自动化算法进行探索性分析,实现从数据到知识的转化。主要特征包括处理大规模数据集、多学科交叉融合、结果具有不确定性等。常见任务有分类、聚类、关联规则挖掘等。标准流程采用CRISP-DM模型,包含业务理解、数据准备、建模评估等步骤。实现方法涵盖统计分析(如回归分析)和机器学
NumPy是Python科学计算的核心库,为AI开发提供高效的矩阵运算能力。本文全面介绍NumPy的核心功能:1)数组创建与属性操作;2)索引切片技巧;3)形状变换方法;4)广播机制与向量化运算;5)线性代数操作;6)与PyTorch的互转。重点讲解了reshape、transpose等高频操作在AI场景的应用,以及float32/float16等数据类型对内存的影响。通过大量代码示例,展示了如何
AI工具链正重塑全栈开发模式,推动三大核心趋势:开发范式从"人主导编码"转向"AI协同决策";技术边界消融,实现多技术栈无缝适配;价值导向升级为"体验与效率双优"。企业可通过构建定制化AI工具链生态、推动开发流程智能化转型来建立竞争优势;开发者需掌握AI工具协同运用、夯实核心技术基础,聚焦业务创新。这一变革将全栈开发从技术堆砌转向智能协同
Numpy(Numerical Python)是一个开源的Python科学计算库,用于快速处理任意维度的数组。Numpy支持常见的数组和矩阵操作。对于同样的数值计算任务,使用Numpy比直接使用Python要简洁的多。Numpy使用ndarray对象来处理多维数组,该对象是一个快速而灵活的大数据容器。NumPy提供了一个N维数组类型ndarray,它描述了相同类型的“items”的集合。
模型内主要包含DC直流电压源、三相逆变器、感应(异步)电机、采样模块、SVPWM、Clark、Park、Ipark、采用一阶线性自抗扰控制器的速度环和电流环等模块,其中,SVPWM、Clark、Park、Ipark、线性自抗扰控制器模块采用Matlab funtion编写,其与C语言编程较为接近,容易进行实物移植。在转速环中,由于自抗扰控制器无积分环节,因此无积分饱和现象,无需抗积分饱和算法,转速