centos
NAND
课程设计
hbase
寒武纪笔试
#产品思维
springboot
健身私教预约系统
后台
特征向量中心性
文档管理
文档协作
树莓派
TFT图片提取
前端酒店管理系统
IO流的异常处理方式
水仙花
考博
免杀
VR购物
数据挖掘
2024/4/11 14:17:27
人类其实很脆弱，一个小小的条件变化，就能导致人没法享受元宇宙
封面新闻：目前关于“元宇宙”的讨论和关注度非常高。有很多不同的视角去阐述和理解。您本人对之如何理解？
徐英瑾：我理解的“元宇宙”跟现实帝国平行的一个网络虚拟王国国。在这个虚拟王国里，人可以像使用真金白银一样购买现实物…
数字化仅仅只是工具，智慧才是终局
数字化，是智能化的先导。这一点，正在成为越来越多的人的共识。无论是在零售行业，还是在制造行业，这一点都是适用的。尽管数字化可以让零售行业从传统的有形存在，变成一个无形的、数字化的存在，但是…
研究现实版帮助人类可能不符合人工智能自身的利益
当然，我们也拥有一个合理地应对高级人工智能的出现的积极方式，就是将其视为人类进化的下一个阶段。就像人类从“低等的”、不那么聪明的猿类进化而来那样，一个高级的人工智能，将以人类为基础进化出来。前面讨论的电影《人工智能》…
人工智能在技术发展和落地应用等方面都获得了诸多突破
信息技术的发展使得数据采集、存储、管理等成本下降，同时也给机器学习等人工智能方法提供了足够的训练样本，使大数据成为人工智能发展的三大重要基础（数据、算法和算力）。在近年来大数据技术发展的基础上，人工智能在技…
人工智能技术与音乐相结合听起来非常有趣
InfoQ：人工智能技术与音乐相结合听起来非常有趣，主要的结合点有哪些？您能整体介绍一下吗？ 谭旭：在回答这个问题前，我想先解答下可能大多数人心中的一个疑惑：音乐作为一门艺术，怎…
从词到曲这个创作过程用 AI 的方式来解 是典型的序列到序列学习任务
我们的整个研究主要围绕理解和生成两个方向进行。在音乐生成方向，商品化音乐的整个制作流程是非常长的，涉及很多技术链条。举个例子，创作一首音乐最基本的就是词曲创作，从词到曲这个创作过程用 AI 的方式来解，就是一个…
不希望演化成 AI 完全取代人类，这也是不太得体的一种方式
InfoQ：AI 音乐大概什么时候可以完全不需要人工参与呢？ 谭旭：关于这个问题，可以从两种角度进行回答。一种角度是，我们是不是真正期待 AI 音乐完全不需要人类？如果 AI 真正取代了人类，不需要任…
AI的神话假设我们将通过在狭义的应用上取得进展来实现AGI
深度学习的最新进展重燃了人们对可以像人类一样思考和行动的机器或通用人工智能（AGI, Artificial General Intelligence）的兴趣。 这种想法认为，沿着构建更大更好的神经网络的道路前进，我们将会向创造数字版的人类大脑不断迈进…
人工智能和溯因推理 AI的历史一直被演绎和归纳所主导
在20世纪80年代和90年代，溯因在溯因逻辑编程（Abductive Logic Programming）的尝试中走进了AI讨论，但这些努力都存在缺陷，后来被放弃了。拉森认为：“它们是对逻辑编程的重写，是演绎的一种变体。”…
打破数据围墙 加速金融创新
“ 2018百度云智峰会首站ABC Inspire智能金融峰会在上海成功举行，在本次峰会的金融大数据论坛上，来自百度金融、杰贝斯、大地保险、文思海辉等公司的多位金融领域专家分享了大数据在金融行业的应用趋势和实践经验，百度云重点分享了鲁班大数据…
CRM助力医药行业通路建设
CRM助力医药行业通路建设 为什么CRM 医药市场是一个非常大的市场，医药企业只有规范化、规模化发展才有出路。但是规模越大，管理成本就越高，对于地点分散的医药销售公司与连锁医药商店等更加明显。因此，企业之间的竞争将主要集…
数据挖掘在CRM中的运用
数据挖掘在CRM中的运用 来自：中国计算机 作者：江华 日期：2002年05月23日 浏览次数：1758 在客户关系管理（CRM）理论中有一个经典的2/8原则，即80%利润来自20%客户。那么，这20%的客户都…
数据挖掘的价值：寿险行业数据挖掘应用分析
数据挖掘的价值：寿险行业数据挖掘应用分析北京理工大学 刘勇 张丽平2003-12-9 14:47:04 寿险是保险行业的一个重要分支，具有巨大的市场发展空间，因此，随着寿险市场的开放、外资公司的介入，竞争逐步升级，群雄…
XML与Web数据挖掘技术
XML与Web数据挖掘技术 作者：fuyiping 日期：2004年08月22日 浏览次数：179 以XML为基础的新一代WWW环境是直接面对Web数据的，不仅可以很好地兼容原有的Web 应用，而且可以更好地实现Web中的信息共享与交换。XML可看作一种…
雷锋网开发者日第二期“相约斯凯”
5月19日，雷锋网#开发者日#第二期，我们将在美丽的西子湖畔，和杭州的开发者一起探讨移动互联网的发展。本次活动由雷锋网、斯凯、传媒梦工场联合举办，邀请长三角一带的开发者共同相约中国移动互联网先驱之一的斯凯网络科技公司做交流…
分布式应用程序架构和混合云使服务器之间所需的通信量成倍增加
早在拨号互联网时代之前，当病毒通过受感染的软盘传播时，网络安全就一直很重要。对手与 IT 专业人员之间的战斗不断升级。攻击者会创建新的和不同类型的恶意软件或攻击，IT 团队部署新的或改进的防御类型来保护他们不断增长的数据库存。 在…
人工智能通常是无实体的，如自然语言处理等机器学习
我们都知道大脑是控制身体的中枢，或者夸张点说，身体只是大脑的傀儡。然而事实果真如此吗？认知科学指出，人类并不总是“先知后行”，很多时候也会“先行后知”，身体在塑造精神方面也有着强大的能力。但是人工…
在真实世界里，需要机器人的场景往往都是异常复杂的
研究人员从每个环境中挑选出了10种表现最好的人工生命，并从头开始训练它们完成绕过障碍物、推球或者把箱子推上斜坡等全新的八个任务（见图6）。 图6. 人工生命需要完成的8种新任务，包括巡逻、越障、探索和逃离等。 结果是&…
回过头来再看人工智能，它看似新潮，其历史并不短
近年来，计算机科学领域人们谈论话题最多的就是人工智能，那么到底什么是人工智能呢？人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用…
人工智能进入生产生活的各个领域，将深刻改变方式和思维模式
随着我国经济发展达到一个新的阶段，科技创新日益成为经济建设的核心力量。 目前经济处于转型期和过渡期，新的代表未来先进生产力的新兴科技产业将逐步从孕育期走向成长期。以科技创新为代表的战略性新兴产业才是未来长线牛股的诞生方向。 新的科…
在想象着人工智能的未来图式时，迫使我们重新审视自己的智力
一直以来，人们都在想象着人工智能的未来图式时，迫使我们重新审视自己的智力。而当我们思考不同的智力水平时，我们通常会想象一只处于生物光谱低端的昆虫，然后逐渐看向哺乳动物（如老鼠、猴子）以及我们公认的…
使机器能够胜任一些通常需要人类智能才能完成的复杂工作
人工智能简称AI，它是计算机科学的一个分支，这项技术的最终目的是为了模拟、延伸和扩展人的智能，使机器能够胜任一些通常需要人类智能才能完成的复杂工作，从而帮助人类更好、更快地发展，让人类过上更加美好幸福的生活。…
利用人工智能进行自动决策，将为我们带来更加智慧的路
至于高级人工智能拥有自我意识后，还会听人类的使唤吗？人类该怎么办？真的很难给出答案。或许我们可以通过某种机制避免这样的事情发生，或者禁止创造拥有自我意识的智能机器。 人工智能的最终目的就是为了让人们的生活更美好&am…
pandas中索引重置set_index和reset_index的用法
1.set_index
DataFrame可以通过set_index方法，可以设置单索引和复合索引。 DataFrame.set_index(keys, dropTrue, appendFalse, inplaceFalse, verify_integrityFalse)
import pandas as pd import numpy as np df pd.DataFrame(columns[a,b]) #新建一个数据框…
chap1统计学习及监督学习
chap1.1统计学习
1、统计学习的特点 （1）概念 计算机 基于 数据 构建 概率统计模型，并运用模型对数据进行预测与分析的一门学科。 （2）特点 2、对象 （1）数据 （2）基本假设—…
数据科学导论——数学基础之优化
第1关：模型优化基础
任务描述 相关知识 什么是模型优化？ 常见的模型优化方法 编程要求 测试说明 任务描述 模型优化在一些复杂的训练模型中是不可避免的，本关主要是让大家对模型优化的方法有个基本的了解。
本关任务：根据相关知…
6 生成模型 机器学习基础理论入门
6 生成模型 机器学习基础理论入门
6.1 概率论基础快速回顾
概率的性质
减法性质：P(A-B)P(A)-P(AB) 加法性质：P(AB)P(A)P(B)-P(AB)
条件概率和概率的基本公式
条件概率 事件A发生的条件下，事件B发生的条件概率，记为P(B|A)&…
leetcode 65.斐波那契数列 python
leetcode 65.斐波那契数列 python
题目描述 大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项（从0开始，第0项为0，第1项是1）。 n<39 解法1
#动态规划
def fbnq_arr(n):if n…
电商API接口-电商OMS不可或缺的一块 调用代码展示
电商后台管理系统关键的一环就是实现电商平台数据的抓取，以及上下架商品、订单修改等功能的调用。这里就需要调用电商API接口。接入电商API接口后再根据自我的需求进行功能再开发，实现业务上的数字化管理。其中订单管理模板上需要用到如下API:seller_ord…
Python的5大就业方向，学会一个都是赚
Python语言是这几年比较火爆的编程语言，不少人都开始报名Python培训进行Python的学习，那学会Python语言就只可以使用爬虫吗？并不是的，那Python语言分为那几个方向？都可以做什么呢？跟着老师一起来看看吧&…
SQl刷题：第二高数据
如题 方法一：使用子查询和LIMIT语句(这种办法遇到NULL值处理不了)
使用不同的薪资降序排列，然后使用LIMIT子句获得第二高的薪资 SELECT DISTINCT Salary AS SecondHighestSalary FROM Employee ORDER BY Salary DESC LIMIT 1 OFFSET 1；
由于…
SQL刷题:超过经理收入的员工
如题 解析
第一种方法:使用WHERE语句过滤
这张表格里面含有每个雇员经理的信息,我们也需要从这个表里面获取两次信息 SELECT * FROM Employee AS a, Employee AS b;
从两个表里使用 Select 语句可能会导致产生 笛卡尔乘积 。在这种情况下，输出会产生 4*416 个记录…
SQL刷题:查找重复的电子邮箱
如题 方法一:使用GROUP BY和临时表
算法
重复的电子邮箱存在多次,要计算每一封电子邮件存在的次数,我们可以使用下面的代码:
SELECT Email, COUNT(Email) AS NUM FROM Person GROUP BY Email;
将上面的结果作为临时表存在,全部代码如下: SELECT Email FROM(SELECT Email, C…
python怎么和SQL连接上
一、安装方法：
因为我用的是anaconda集成环境，打开anaconda prompt:
二、使用操作
#!/usr/bin/env pytho
# -*- coding:utf-8 -*-
import pymysql# 创建连接
conn pymysql.connect(host127.0.0.1, port3306, userroot, passwd, dbtkq1, charsetutf8…
201222,成交量异动检测
当前资料为AI智能生成,不作任何投资建议,请自行判断自身风险承受能力 筛选规则说明
获取近3天成交量涨跌幅度获取均值，如果当天的值大于0.4，取均值和当天值的和取最大的30条数据
思进智能,系数10.945
股票代码:003025,净利润同比37.45%,营收同比:19.6…
201223,成交量异动检测
当前资料为AI智能生成,不作任何投资建议,请自行判断自身风险承受能力 筛选规则说明
获取近3天成交量涨跌幅度获取均值，如果当天的值大于0.4，取均值和当天值的和取最大的30条数据
思进智能,系数6.25
股票代码:003025,净利润同比37.45%,营收同比:19.6%,…
国机精工,上柴股份,共创草坪,成交量异动检测
当前资料为AI智能生成,不作任何投资建议,请自行判断自身风险承受能力 筛选规则说明
获取近3天成交量涨跌幅度获取均值，如果当天的值大于0.4，取均值和当天值的和取最大的30条数据
国机精工,系数2.687
股票代码:002046,净利润同比51.07%,营收同比:13.33…
AI教练员上岗，体育比赛会更公平吗？ | MixLab人工智能合集
!AI教练员上岗体育比赛会更公平吗？足球&AI实时分析球员，并由模型给出战术建议。Sports Technology Lab设计了一套足球比赛专用的追踪和机器学习算法，通过赛场上设置的摄像头矩阵，可实时对球员的运球技巧和速度进行分析。在判断…
人工智能生成舞蹈 | Mixlab交叉学科
NVIDIA最新深度学习模型：根据音乐自动编舞AI DancingFacebook ResearchFacebook AI研究人员开发了一种系统，该系统可使机器为任何输入的音乐生成舞蹈。它不仅仅是模仿人类的舞蹈动作，而是可以创建极富创意的舞蹈。研究人员认为，人…
当平面布局可被计算… ｜ Mixlab建筑智能
用图数据 & 贝叶斯推断生成建筑的平面布局Architecture as a Graph a computational approach作者通过500张平面图将房间之间的连接建模，提取出对应的矩阵，形成数据集，然后使用贝叶斯推断方法，来完成模型的训练。具体步骤评估…
AI 加速你的想法 | MixLab+AI 第39期
Knowledge/ def mix( ):本期收录新增13NO. 39设计流程的加速包#每周ai工具快速验证想法的工具——UIzard，基于图像识别，将线框图快速转化成高保真原型，帮助设计师能快速验证可行性/易用性，以加快工作流程提升效率。高保真原型生成…
救生员的AI助手 ｜ Mixlab人工智能
今天讨论的话题是#溺水检测# 根据世界卫生组织（WHO）的数据，溺水是造成意外死亡的第三大原因，全球每年估计有320,000人死亡。这种情况很大程度上可以用现有的技术来改善，以挽救更多的生命。溺水检测可以结合机器学习和计…
情感计算，最复杂的数据运算｜Mixlsb交叉学科
本期闪聊关键词：情感计算 情感触摸 社群所有成员在进群之前，就已经备注了各自的信息。活跃的自然能轻易获得社群流量和资源，但也有潜伏的。工作人员偶尔会翻看群成员们的资料，有些适合串联合作，有些适合分享ÿ…
幸好会设计人工智能，不然我差点失业
今年年初有一位设计领域的硕士朋友找我聊天，说自己现阶段特别迷茫，觉得自己属于毕业即失业的边缘。于是我找了shadow为她指导方向，目前她已经进了某大厂实习，现在做得也小有成就。就在前两天，她又找到我并提到了MixLab…
如果虾米APP是一枚流浪的虾球 | 跨模态感知专栏
上一期：哼！你凭什么说这是梵高？这一期我们一起来了解：音乐圈，正在上演着的一场逃离计划 —— 虾米APP关停。（给大家拜个早年呀！欢迎加入文末读者专栏，跟我联系）大家一定已…
南京公用,海得控制,上柴股份,成交量异动检测
当前资料为AI智能生成,不作任何投资建议,请自行判断自身风险承受能力 筛选规则说明
获取近3天成交量涨跌幅度获取均值，如果当天的值大于0.4，取均值和当天值的和取最大的30条数据
南京公用,系数3.139
股票代码:000421,净利润同比362.96%,营收同比:125.…
浙富控股,上柴股份,宁波热电,成交量异动检测
当前资料为AI智能生成,不作任何投资建议,请自行判断自身风险承受能力 筛选规则说明
获取近3天成交量涨跌幅度获取均值，如果当天的值大于0.4，取均值和当天值的和取最大的30条数据
浙富控股,系数2.597
股票代码:002266,净利润同比128.41%,营收同比:21.4…
210323,恒力石化,鑫铂股份,坚朗五金股价波动
当前资料为AI智能生成,不作任何投资建议,请自行判断自身风险承受能力 筛选规则说明
获取近5天的价格涨跌幅计算出标准差取最大的30条数据
闽发铝业,系数0.083
股票代码:002578,净利润同比57.39%,营收同比:10.57%,市盈率(动态):54.52,市净率:2.91,财务数据 微信小程序&#…
210326,天顺风能,粤 水 电,弘宇股份股价波动
当前资料为AI智能生成,不作任何投资建议,请自行判断自身风险承受能力 筛选规则说明
获取近5天的价格涨跌幅计算出标准差取最大的30条数据
天赐材料,系数0.076
股票代码:002709,净利润同比475.85%,营收同比:37.24%,市盈率(动态):84.55,市净率:13.31,财务数据 微信小程序&…
我用wxPython搭建GUI量化系统之Sizer布局管理与页面切换
GUI程序的开发中界面布局是很重要的一个部分，合理的页面布局能够给予用户良好使用体验。
虽然在GUI的控件和窗口布局上可以使用坐标，但更多且更方便的是用sizer来布局。
本文主要介绍wxPython的布局管理应用以及在此基础上实现的页面切换功能。
布局管…
我用wxPython搭建GUI量化系统之wx.html实现浏览器
随着Web技术的蓬勃发展，以网页形式在浏览器上显示图表已经逐渐成为一种主流的形式。
网页的实现是由HTML、CSS和Javascript三者相结合完成的，HTML负责网页的结构，CSS渲染网页元素的样式，而Javascript给网页增加了动态的行为&…
我用wxPython搭建GUI量化系统之多只股票走势对比界面
前言
股票分析过程中往往会查看一只股票的多个周期的走势，也会同时查看一个板块中多只股票的走势，量化分析的时候也会同时查看单只股票多个回测指标可视化结果……
所以在我们搭建的量化交易系统中，除了实现多子图之间的嵌套之外࿰…
《Python股票量化交易从入门到实践》随书赠送“回测框架”的使用帮助
点击:QTYX最新版本使用指南[文字版]
点击:QTYX最新版本使用指南[视频版]
点击: QTYX历史版本更新说明
赠送“回测框架”的目的
为了帮助读者再建立一座从书本知识到实战应用之间的“桥梁”，赠送一个回测小工具。
由书中知识点组合而成，实现了包括选…
传播动力学改变反映颞叶癫痫患者的认知功能障碍
目的：虽然颞叶癫痫(TLE)被认为是一种系统疾病，但从动态角度探究其病理变化的研究很少。通过利用量化连接之间信息流的计算模拟，我们测试了网络通信异常的假设，研究了疾病影响下海马和网络水平之间的相互作用，并评估了与…
一项观察性研究中的因果网络分析确定了影响血浆甘油三酯水平的代谢组学途径
一项观察性研究中的因果网络分析确定了影响血浆甘油三酯水平的代谢组学途径论文框架目标算法最终的网络因果图论文框架
目标
考虑“代谢组学粒度水平”上的因果关系。 更接近于识别新的赣榆店和途径，以降低血浆甘油三酯水平。
算法
GDAG算法 生成网络 最终从12…
《考试脑科学》读书笔记【图文详解】
《考试脑科学》读书笔记图文详解第一章：记忆究竟是什么1.1 能力只能通过考试来检测吗？1.2 ”神经元“创造出来的脑子1.3 记住与忘记插曲一 色彩心理学①1.4 认识海马体插曲二 色彩心理学②1.5 加油吧！海马体经验之谈一 选择高一时学过的科目对…
数据挖掘导论 复习一（介绍+数据预处理方法+定性归纳）
数据挖掘数据库机器学习
算法 经验 模型
机器学习任务：分类、回归、聚类（KMeans、DCSAN、层次聚类）、数据降维、数据预处理
常用分类器：KNN、贝叶斯、 逻辑回归 、决策树、随机森林
本书将介绍数据挖掘与数据库知识发现的基本…
高维数据PCA降维可视化(KNN分类)
在做机器学习的时候，经常会遇到三个特征以上的数据，这类数据通常被称为高维数据。数据做好类别分类后，通过二维图或者三维图进行可视化，对于高维数据可以通过PCA(Principal Component Analysis)，即主成分分析方法&…
数据挖掘note（赵老师语录）
（一）
数据挖掘一般分为机器学习和统计学习，大数据学的课程一般是关于机器学习，我们学的浅，主要关于统计学习，示意图如下所示： 这是一个大数据时代，但是数据挖掘的利用率不足0.5%&am…
麦克尼马尔检验(McNemar test)
麦克尼马尔检验(McNemar test)
前言
在统计学中，McNemar 检验是用于配对 名义数据的统计检验。它应用于具有二分特征的2 2列联表，具有匹配的主题对，以确定行和列的边际频率是否相等（即是否存在“边际同质性”）。它以…
数据挖掘-1.Matplotlib
文章目录1. Matplotlib学习目标1 什么是Matplotlib2 为什么要学习Matplotlib3 实现一个简单的Matplotlib画图 — 以折线图为例3.1 matplotlib.pyplot模块3.2 图形绘制流程：3.3 折线图绘制与显示4 认识Matplotlib图像结构(了解)5 小结2 基础绘图功能 — 以折线图为例…
数据挖掘-4.Pandas高级
文章目录pandas高级1 高级处理-缺失值处理学习目标1 如何处理nan2 电影数据的缺失值处理2.1 判断缺失值是否存在2.2 存在缺失值nan,并且是np.nan2.3 不是缺失值nan，有默认标记的3 小结2 高级处理-数据离散化学习目标1 为什么要离散化2 如何数据的离散化3 股票的涨跌…
数据挖掘——seaborn
import seaborn as sns
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt绘制单变量分布
# seaborn.distplot(a, binsNone, histTrue, kdeTrue, rugFalse, fitNone, colorNone)
# 上述函数中常用参数的含义如下：
# (1) a：表示要…
阿尔茨海默病的结构神经影像：脑白质高信号重要吗?
伴随年龄增长的定向脑功能障碍会对认知和智力能力产生严重影响，相当一部分老年人经历严重的认知下降，对功能性活动产生负面影响，这些人符合痴呆的临床诊断，通常归因于阿尔兹海默症（AD）。结构神经影像&#…
数据挖掘-基于贝叶斯算法及KNN算法的newsgroup18828文本分类器的JAVA实现（下）
本文接 数据挖掘-基于贝叶斯算法及KNN算法的newsgroup18828文档分类器的JAVA实现（上）
(update 2012.12.28 关于本项目下载及运行的常见问题 FAQ见 newsgroup18828文本分类器、文本聚类器、关联分析频繁模式挖掘算法的Java实现工程下载及运行FAQ )
上文中…
百数客户关系管理能力展示——客户关系维护
企业使用crm客户关系管理系统除了进行客户数据的管理以外，客户关系的维护也是非常重要的部分。日常的维护能够让客户对产品有稳定的信任与了解，从而降低客户营销的成本，带来正面的口碑效应。 企业不同的业务类型，意味着面向不同的…
一切为了并行：MS Axum语言教程 四
[b]数据流网编程[/b]在程序中，代理之间通过发送和接受消息彼此沟通，他们的沟通被程序的逻辑，程序的状态，从其他代理接受的数据等等所驱动。与这个控制流模型相提并论的是数据流模型，在此程序的执行只为进入数据流网的数…
python数据分析和数据挖掘之pandas模块
一、pandas模块
pandas（Python Data Analysis Library）是基于numpy的数据分析模块，提供了大量标准数据模型和高效操作大型数据集所需要的工具，可以说pandas是使得Python能够成为高效且强大的数据分析环境的重要因素之一。它最主要…
什么是水位？水文中常见的特征水位有哪些，各表达什么意思？
文章目录1 什么是水位2 起涨水位3 洪峰水位4 警戒水位5 保证水位1 什么是水位
答：河流或者其他水体的自由水面，离某一基面零点以上的高程称为水位。水位的单位是米，一般是要求小数点2位，0.01m。
2 起涨水位
一次洪水过程中&…
KNN算法实现knn完成iris数据集分类
最近邻规则分类KNN
例子 欧氏距离 K值选取 算法缺点 算法实现
import matplotlib.pyplot as plt
import numpy as np
import operator# 已知分类的数据
x1 np.array([3,2,1])
y1 np.array([104,100,81])
#上面是爱情片的坐标，下面是动作片的坐标
x2 np.a…
【读书笔记-＞数据分析】02 BDA数据分析准备
数据分析准备
介绍 章节内容 数据分析前关于数据的收集、存储以及预处理等准备工作 考试内容 数据收集 （1） ⼆⼿资料数据的收集 （2） 样本数据的收集 （3） ⼤数据的收集数据存储 （1） …
利用人类医生学习曲线 构建医学人工智能学习模式
2020年6月23日，林浩添教授和刘西洋教授及其团队面向媒体发布了这一重磅研发成果。 图像标注是所有人工智能算法感知世界的基础。但是，既往诊断算法常使用单一图片级二分类标注方法进行数据集构建，损失了大量有效解剖学信息。团队观察到&#…
全自动深度学习技术攻克了染色体生物学中的核心科学问题
项目团队用了5年时间潜心研究，最终采用端到端的全自动深度学习技术和图像处理技术，与染色体生物学有机结合，攻克了染色体生物学中的核心科学问题，通过运用计算机信息科学的最新理论知识和方法，为解决染色体生物学领域中…
数智化零售：决策智能赋能零售支撑业务增长
传统零售行业数字化转型的需求愈加迫切，在价值链渐趋细分化、线上线下消费者边界渐趋消弭的背景下，零售企业的差异化打法和消费者对产品和服务的个性化需求让决策智能有了用武之地。尽管领先零售商对于人工智能等技术有初步应用探索，但在如何…
人类发展人工智能的一个方向就是，让人工智能变得越来越聪明
封面新闻：相对于而言，很多人会认为人工智能是一个非常偏工科的课科学研究，而您研究哲学，为什么想到要用哲学来谈论人工智能呢？您是如何看待哲学和科学之间的关系的呢？你是怎么想到要将人工智能作为自己的哲…
天猫数据分析：2023年速食品（方便面）市场数据分析
我国的方便面市场是一个比较活跃的市场，其市场规模也比较庞大。近年来，随着中国经济的发展，消费者对方便面的需求量和要求也在不断变化，因此，我国方便面市场的规模和消费者的需求环境也正在不断改变。 根据鲸参谋电商数…
人工智能算法帮助艺术家从创建的数据库中提炼视觉精髓
初次看到您的作品《人造自然史》时，它使用了一种非常逼真的视觉语言，就像是来自18世纪的植物学或动物学的百科全书插画一样。所以古典的生物分类学吸引您的地方是什么? 吸引我的地方在于，它基本上准确地概括了我们在照相机出现以前&…
如果给后互联网的社交电商时代总结，可以称之为去库存时代
一场以产业深度变革为主导的新发展时代正在上演。早些时候，这样一场发展，还是以互联网为主体的，主打的是互联网的概念，我们可以将这样一个阶段看成是互联网的延续。这个阶段之后，产业的变革开始进入到以新技术为主导的…
互联网时代构建了产业互联网强大的数据和用户基础
可以说，互联网时代构建了产业互联网强大的数据和用户基础，新技术时代构建了产业互联网强大的技术基础，金融的数字化构建了产业互联网时代强大的金融基础……当有关产业互联网的基础设施开始逐渐完备之后，产业互联网才从一个虚无缥…
ttkefu在线客服即时通信的系统
随着互联网的不断发展,在当前电商平台时代背景下, 智能化管理模式是提升企业核心竞争力的重要手段。智能化的软件作为信息化的重要载体要得到充分的重视,选择一款合适的软件对于企业来说是很重要的。 从企业用户的角度来说,产品的丰富性使得企业在选择上的余地就大了很多&#…
大数据专业职业前景如何
大数据专业毕业生未来的岗位选择空间比较大，有三大类岗位可选择分别是大数据开发岗位、大数据分析岗位和大数据运维岗位，在不同的行业和技术体系结构下这些岗位也包含很多细分的岗位。
大数据开发岗位分为平台研发岗位和行业场景开发岗位两大类…
‘\‘,\n,\r,\t等的实际意思是什么
\是转义字符，也叫续航符（在行尾的时候）
’\”’是字符“
’\n’是换行
’\t’是到下一个制表单位，就是向后数第9位，即Tab，也叫横向制表符
\表示的是反斜杠符号
\a’响铃
\b’退格（Backspa…
数据挖掘-序列模式挖掘-基础知识和概念总结（sequential pattern mining）
一：基础概念介绍
序列模式挖掘：指挖掘相对时间或其他模式出现频率高的模式
序列模式挖掘的动机：大型连锁超市的交易数据有一系列的用户事物数据库。每一条记录包括用户的ID，事物发生的时间和事物涉及的项目。如果能够在其中挖掘…
Pandas数据分析教程-数据清洗-扩展数据类型
pandas-02-数据清洗&预处理 扩展数据类型1. 传统数据类型缺点2. 扩展的数据类型3. 如何转换类型文中用S代指Series，用Df代指DataFrame 数据清洗是处理大型复杂情况数据必不可少的步骤，这里总结一些数据清洗的常用方法：包括缺失值、重复值、异常值处理，数据类型统计，分…
天池比赛-02-用Apriori算法进行商品关联分析
这篇文章是对天池比赛里面的商品关联分析案例的介绍，采用 Apriori 算法发现频繁项集，确定关联关系。
1、基本概念
1.1 关联分析相关概念 频繁项集和关联规则是关联分析中的两个基本概念：频繁项集（frequent item sets）…
python网络爬虫自学笔录5_信息标记与提取
（1）信息标记的形式
标记后的信息可形成信息组织结构，增加了信息的维度 标记后的信息可用于通信、存储或展示
以HTML为例子展示何为信息标记 HTML的信息标记形式 目前市面上有三种信息标记的形式： 第一种：XML 可扩…
跟着聪明资金做交易！北上资金每天操作哪些股票一目了然
前言由于我国的外汇和资本市场仍然存在较为严格的管制，外国资金不能直接投资A股，需要进行一定的转换。于是国家就为它们提供了两条路。第一条路，成为QFII或者RFII，申请配额。第二条路，从香港证券交易所的沪深港通直接买…
昨天还在 for 循环里写加号拼接字符串的那个同事，今天已经不在了
点击上方“果汁简历”，选择“置顶公众号”引言都说 StringBuilder 在处理字符串拼接上效率要强于 String，但有时候我们的理解可能会存在一定的偏差。最近我在测试数据导入效率的时候就发现我以前对 StringBuilder 的部分理解是错误的。后来我通过实践测试…
MySQL Community Server 8.0.22安装教程
首先需要下载需要的包：
链接：https://dev.mysql.com/downloads/mysql/ 安装图的设置选择第一个download，第二个434m的有个测试包，不建议大家下载 下载好之后解压缩到准备安装的目录里面 然后再新建一个txt文件：复制…
精准决策、提高销售额的秘诀，早写在电商数据分析方案里了
从数据中挖掘信息，帮助电商企业了解市场和用户需求，优化运营和营销策略，提高销售额和客户满意度，早就成为共识。难就难在最终的落地执行上，很大程度上是因为长期以来由于缺乏一套有足够多经验做支撑的标准化电商数据分…
生态环境脆弱性评价模型构建、时空格局演变分析与RSEI 指数的生态质量评价及拓展
近年来，国内外学者在生态系统的敏感性、适应能力和潜在影响等方面开展了大量的生态脆弱性研究，他们普遍将生态脆弱性概念与农牧交错带、喀斯特地区、黄土高原区、流域、城市等相结合，评价不同类型研究区的生态脆弱特征，其研究内容…
对比Excel学习SQL（5）：分组和子查询
今天这篇文章是对比Excel学习SQL系列的第5篇文章，之前3篇的传送门在这里：《计算字段》、《对行和列的操作》、《库/表/记录的增查删改》、《写给小白的SQL学习文章》。本节内容要用到的数据表：成绩表（sc）,学生基本信息…
实验八 项目案例-电商数据分析
电商大数据离线计算第1关：统计用户流失情况任务描述相关知识数据文件格式说明用户流失情况编程要求测试说明代码实现第2关：统计所有商品点击量排行任务描述相关知识数据文件格式说明商品点击量排行cleanup()方法编程要求测试说明代码实现第3关࿱…
机器学习数据预处理之离群点、高杠杆点、强影响点
对于一组数据拟合模型时，我们希望保持拟合结果不要过度依赖于一个或几个观测，于是我们想知道这种点是否存在。离群点、高杠杆点、强影响点，都是数据观测中常见的异常数据形式，下面分别从概念，检测方法和处理方法三方面…
贝叶斯优化(Bayesian Optimization)只需要看这一篇就够了,算法到python实现
贝叶斯优化 （BayesianOptimization）
1 问题提出
神经网咯是有许多超参数决定的，例如网络深度，学习率，正则等等。如何寻找最好的超参数组合，是一个老人靠经验，新人靠运气的任务。
穷举搜索 Gr…
概率与分布密度 贝叶斯理论入门 数据挖掘基础入门
站主近期建立了一个自己的网站来发博文，文章已经搬运到了下面的地址：
【科普入门】概率与分布密度 贝叶斯理论入门 数据挖掘基础入门
公众号回复【下载】有精选的免费机器学习学习资料。 公众号每天会更新一个机器学习、深度学习的小知识，都…
Python里超级好用的字典模块：Addict 模块
Addit 是一个Python模块，除了提供标准的字典语法外，Addit 生成的字典的值既可以使用属性来获取，也可以使用属性进行设置。
这意味着你不用再写这样的字典了：
body {query: {filtered: {query: {match: {description: addictive…
Scrapy爬虫流程
参考：Scrapy框架实战（一）：Scrapy基础知识_Amo Xiang的博客-CSDN博客_scrapy框架
1. 主要流程
1. 创建项目
scrapy project xxx
2. 制作spider
scrapy genspider xxx "http://www.xxx.com"
3. 编写Item.py 明确需…
数据分析系列 之python中字符串内容介绍
1 python中单引号、双引号、三引号的用法总结 可以通过单引号或双引号创建字符串。例如：a‘abc’; b“123” 使用两种引号的好处是可以创建本身就包含引号的字符串，而不需要使用转义字符。 主要使用场景是：*本质上单引号和双引号都可以表示一…
数据分析系列 之python中便捷数据的获取(数据获取补充)
1 怎样读取/写入csv文件数据？
import pandas as pd
#读取
df pd.read_csv(c/test/test.csv)
#帮助信息
help(pd.read_csv)
#写入
df.to_csv(...)#excel同理
#读取
df pd.read_excel(c/test/test.xlsx, sheet_name scores)
#计算
df[sum] df[Python] df[Math]
…
educoder 数据挖掘算法原理与实践：k-均值
第1关：什么是质心
#encodingutf8
import numpy as np#计算样本间距离
def distance(x, y, p2):input:x(ndarray):第一个样本的坐标y(ndarray):第二个样本的坐标p(int):等于1时为曼哈顿距离，等于2时为欧氏距离output:distance(float):x到y的距离 #*…
educoder 数据挖掘算法原理与实践：线性回归（房价预测）
第1关：线性回归算法思想
1 BC第2关：动手实现线性回归
#encodingutf8
import numpy as np#mse
def mse_score(y_predict,y_test):#********* Begin *********#m len(y_predict)a y_test - y_predictmse np.dot(a,a)/m#********* End *********#retur…
educoder 数据挖掘算法原理与实践：k-近邻
第1关：knn算法概述
#encodingutf8
import numpy as npdef topK(i,k,x,y):input:i(int):第i个样本k(int):最近邻样本个数x(ndarray):数据特征y(ndarray):数据标签output:topK(list):样本i的最近k个样本标签#*********Begin*********##计算样本到所有样本的距离dis …
educoder SMO进行优化
第1关：SMO高效优化算法
import numpy as np
import random
def calcEk(oS, k):"""计算误差Parameters：oS - 数据结构k - 标号为k的数据Returns:Ek - 标号为k的数据误差"""fXk float(np.multiply(oS.alphas,oS.labelMat)…
基于Python——Kmeans聚类算法的实现
1、概述
本篇博文为数据挖掘算法系列的第一篇。现在对于Kmeans算法进行简单的介绍，Kmeans算法是属于无监督的学习的算法，并且是最基本、最简单的一种基于距离的聚类算法。
下面简单说一下Kmeans算法的步骤：
选随机选取K的簇中心࿰…
python网络爬虫自学笔录1_requests库
1.Requests库的
requests详细介绍 这里面包含了基本的安装下载知识以及使用的描述 Requests库的7个主要方法 关于requests.get()方法的参数设置： 我们一般是封装成自己的函数调用
（1）response对象 Response的对象一般是包含服务器返回的…
python网络爬虫自学笔录7_Scrapy库
（1）Scrapy库 Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架…
python_怎么取出列表元素的索引
第一种方法：
使用list.index() 这种方法要记住，输入的类型可以是数值或者字符串，如果有相同的元素，是默认取出第一个元素的索引
第二种方法：enumerate 这种方法比较是和在遍历过程种取出对应的值
python切片详细
Python切片索引方式 安装列表a为例：
正向切换检索 最后一个数字是控制正向取值还是反向取值的： 如果我只想取后面几个呢？
SQL数据库中主键和外键
主键和外键 主键 (Primary Key) 中的每一笔资料都是表格中的唯一值。换言之，它是用来独一无二地确认一个表格中的每一行资料。主键可以是原本资料内的一个栏位，或是一个人造栏位 (与原本资料没有关系的栏位)。主键可以包含一或多个栏位。当主键包含多个栏…
201216,价格波动检测
当前资料为AI智能生成,不作任何投资建议,请自行判断自身风险承受能力 筛选规则说明
获取近5天的价格涨跌幅计算出标准差取最大的30条数据
新洁能,系数0.073
股票代码:605111,净利润同比61.21%,营收同比:22.84%,市盈率(动态):158.65,市净率:19.04,财务数据
保龄宝,系数0.07…
ChatGPT在生态保护和可持续发展中的潜在作用如何？
ChatGPT在生态保护和可持续发展领域具有潜在的重要作用。生态保护和可持续发展是全球性的挑战，涉及到环境保护、资源管理、气候变化应对、生物多样性保护等多个方面。ChatGPT作为一种人工智能技术，可以在以下几个方面发挥积极作用：
**1. 数据…
Seaborn数据可视化（四）
目录 1.绘制箱线图
2.绘制小提琴图
3.绘制多面板图
4.绘制等高线图
5.绘制热力图 1.绘制箱线图
import seaborn as sns
import matplotlib.pyplot as plt
# 加载示例数据（例如，使用seaborn自带的数据集）
tips sns.load_dataset("t…
初学数据挖掘——数据探索（五）：数据特征分析之周期性分析
周期性分析：
周期性分析是探索某个变量是否随着时间的变化而呈现出某种周期变化趋势。
时间尺度：
较长：年度周期性趋势、季节性周期性趋势； 较短：月度周期性趋势、周度周期性趋势、天度周期性趋势、小时度周期性趋势…
典型关联分析（Canonical Correlation Analysis）
1. 问题 在线性回归中，我们使用直线来拟合样本点，寻找n维特征向量X和输出结果（或者叫做label）Y之间的线性关系。其中，。然而当Y也是多维时，或者说Y也有多个特征时，我们希望分析出X和Y的关系。 当…
非常好的协同过滤入门文章
“探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制，实现方法，其中还涉及一些基本的优化方法，例如聚类和分类的应用。同时在理论讲解的基础上，还会结合 Apache Mahout 介绍如何在大规模数据上实现各种推荐…
Nutch距离一个商业应用的搜索引擎还有多远
了解nutch的人基本上对这个开源的系统都是比较欣赏的，起码在国内是这样的，也很有多搜索网站是基于这个系统修改过来的，不过要做得好，做得真正是一个商业化的搜索，这个修改就不是一朝一夕的事情，也不是修修剪…
吉佳通达能源大数据网络爬虫管理工具 一款可视化的管理工具
什么是网络爬虫管理工具？
通俗的理解就是，网络爬虫工具可以对专门定制的爬虫脚本的管理工具。网络爬虫管理工具还可以实时的查看爬虫脚本的运行情况，并且知道脚本是否在运行，以及运行的情况，还可以控制脚本的执行。
…
Kaggle-Elo Merchant Category Recommendation案例1%解决方案（特征工程）
数据预处理流程 思路 1. 数据读取
import gc
import time
import numpy as np
import pandas as pd
from datetime import datetime train pd.read_csv("train.csv")
test pd.read_csv("test.csv")
merchants pd.read_csv("merchants.csv")
…
TypeError: Index(...) must be called with a collection of some kind, “ “ was passed
解决方法如下：
1. 如果你的数据只有一列，在指定 column（行） 时，需要加个中括号。
df pd.DataFrame(data,columns[result])
2. 利用列表生成 Series 时，需要给数据加中括号。
s1 pd.Series([1, "…
python网络爬虫自学笔录4_Beautiful Soup解析库
Beautiful Soup
简单来说，Beautiful Soup 是 python 的一个库，最主要的功能是从网页抓取数据。官方解释如下：
Beautiful Soup 提供一些简单的、python 式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文…
【ArcGIS微课1000例】0073：ArcGIS探索性回归分析案例
一、探索性回归工具简介
“探索性回归”工具会对输入的候选解释变量的所有可能组合进行评估，以便根据用户所指定的指标来查找能够最好地对因变量做出解释的 OLS 模型。
给定一组候选解释变量，找出正确指定的 OLS 模型：
用法：
工具还会生成一个可选表，该表包括所有满足…
第四章 Scrapy框架的简单使用 2021-10-25
爬虫系列总目录 Scrapy框架的简单使用爬虫系列总目录一、 常用命令1.1. 全局命令1.2 项目命令二、 创建项目文件2.1 创建项目2.2 创建爬虫文件三、 Scrapy核心架构3.1 按功能划分3.2 工作流程图3.3 按文件介绍四、 运行程序4.1 爬虫脚本编写4.2 基于管道的持久化4.3 修改Settin…
人工智能人才缺口很大，迫切需要推动人工智能教育体系健康发展
“双减”之后，育人质量如何提升，是很多家长关注的问题。 放学时间普遍从下午3点半调整为5点半，“学生们作业和课外培训压力减轻，时间被争取出来，就是要支持综合素质培养，这反过来就要求创新课堂形式和内…
【医疗人工智能】通过强化学习和分类的自适应对齐进行有效的症状查询和诊断
Article
文献题目：Efficient Symptom Inquiring and Diagnosis via Adaptive Alignment of Reinforcement Learning and Classification
摘要
医疗自动诊断系统旨在模拟人类医生在真实的诊断过程中。该任务被表述为具有症状查询和疾病诊断的顺序决策问题。近年来…
python数据分析（数据挖掘）的基本函数库简介
学完了基本的python语法后，我们对python语法有了较为深刻的理解。现在我将更新利用python进行数据分袖和数据挖掘的知识。关于python基础语法，请查看本人专栏python语言。下面我将介绍利用python进行数据分析和数据挖掘所需要的框架： 1、nump…
论文学习——基于XGBoost算法的多元水文时间序列趋势相似性挖掘
文章目录1 摘要2 研究背景2.1 单特征的一元时间序列相似性度量2.2 多元时间序列相似性度量2.3 小结3 （重点）本文之基于机器学习的多元水文时间序列数据挖掘3.1 一元时间序列相似性度量3.2 多元时间序列相似性度量4 （重点）基于相似…
【股票价格走势预测】数据挖掘实验一
I、项目任务要求
任务描述：由于直接的经济利益，股票价格预测一直吸引着有兴趣投资股票市场和股票交易所的人。它也是金融界的一个重要研究课题。然而股票市场收益预测是一个非常复杂的问题，取决于公司财务状况和国家政策等诸多因素。主要任务…
速卖通数据分析怎么看？速卖通数据分析工具有哪些？—站斧浏览器
速卖通数据分析怎么看？
1、关注销售指标：在进行速卖通数据分析时，卖家应特别关注销售指标，如销售额、订单量、转化率等。通过对这些指标的分析，卖家可以了解到自己店铺的销售状况以及变化趋势，进而采取相应…
云计算在大数据分析中的应用与优势
文章目录 云计算在大数据分析中的应用云计算在大数据分析中的优势云计算在大数据分析中的示例未来发展和拓展结论 🎉欢迎来到AIGC人工智能专栏~云计算在大数据分析中的应用与优势 ☆* o(≧▽≦)o *☆嗨~我是IT陈寒🍹✨博客主页：IT陈寒的博客&…
京东工业根据ID取商品详情 API 调用文档（参数说明、调用示例）
item_get-根据ID取商品详情 API测试工具
vipmro.item_get 公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_g…
30 数据分析（上）（业务略写可跳）|jupyter|matplotlib
文章目录 数据科学领域概述数据如何驱动运营给企业带来价值岗位关键词说明业务的商业模式 数据指标数据指标定义及常用数据指标如何选取指标分析角度计数流量导向的工具内容导向的工具用户导向的工具业务导向的工具 数据分析方法对比分析多维分析漏斗分析留存分析总结 用户画像…
机器学习实战（一）：KNN
转载自Python3《机器学习实战》学习笔记（一）：k-近邻算法(史诗级干货长文)
一.电影分类 # -*- coding: UTF-8 -*-
import operatorimport numpy as np"""
函数说明:创建数据集Parameters:无
Returns:group - 数据集labels - 分…
浅谈数据库设计技巧(上)
说到数据库，我认为不能不先谈数据结构。1996年，在我初入大学学习计算机编程时，当时的老师就告诉我们说：计算机程序＝数据结构＋算法。尽管现在的程序开发已由面向过程为主逐步过渡到面向对象为主，…
python学习之 Matplotlib基础绘图
Matplotlib基础绘图 因为某些不可抗力原因哈，被迫的要去学下python的基本绘图功能，将一份文件读取完毕后进行一系列的操作变成一张漂亮的二维图，当然也可以设置时间来进行动态的一个展示。 要是在学习这个之前呢，我们还得先学习pa…
Kylin在国产服务器上的应用
1、Kylin简述 （1）分布式分析引擎 （2）提供在基于hadoop/spark之上的sql查询接口和分析功能 （3）可以在秒级能查询数据量巨大的hive表数据 2、国产服务器 麒麟服务器操作系统v10：麒麟服务器操作系统…
20个有用的Excel数据分析函数(教程含案例)
Microsoft Excel 是一种简单而强大的数据分析工具。Excel 是当今行业中广泛使用的软件应用程序，用于生成报告和业务洞察。Excel 包含超过 450 个函数，并且每年都会添加更多函数。在这里，我们介绍了那些主要用于数据分析的功能。
MAX/MIN
MAX和MIN函数顾名思义。MAX将找到范…
数仓建模—主题域和主题
主题域和主题
前面在这个专题的第一篇，也就是数仓建模—数仓初识中我们就提到了一个概念—主题，这个概念其实在数仓的定义中也有提到 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 今天我们主要来探究一下，数仓的主题到底是…
Python数据分析案例28——西雅图交通事故预测（不平衡样本处理）
本次案例适合机器学习数据科学方向的同学。 引言(废话集)
交通事故是一个严重的公共安全问题，在全球范围内每年都有成千上万的人死于交通事故。随着交通运输的发展和城市化进程的加速，交通事故已成为制约城市发展和人民幸福的主要因素之一。因此&#x…
大数据处理之道(预处理方法）
一：为什么要预处理数据？（1）现实世界的数据是肮脏的（不完整，含噪声，不一致）（2）没有高质量的数据，就没有高质量的挖掘结果（高质量的决策…
当涉及到API接口数据分析时，主要可以从以下几个方面展开
当涉及到API接口数据分析时，主要可以从以下几个方面展开：
请求分析：可以统计每个API接口的请求次数、请求成功率、失败率等基础指标。这些指标可以帮助你了解API接口的使用情况，比如哪个API接口被调用的次数最多，哪个…
数据清洗与规范化详解
数据处理流程，也称数据处理管道，是将原始数据转化为有意义的信息和知识的一系列操作步骤。它包括数据采集、清洗、转换、分析和可视化等环节，旨在提供有用的见解和决策支持。在数据可视化中数据处理是可视化展示前非常重要的一步，…
100篇原创文章，可乐de数据分析之路
↑ 点击上方 “可乐的数据分析之路” 关注 星标 ~ 大概率每天早8点25更新 哈喽，大家好，我是可乐今天整理了一下一年多来写的这100篇原创文章，内容涵盖Excel、SQL、Python、统计学、数据分析思维方法、读书笔记、笔试面试等内容，…
BI 知识大全，值得收藏的干货
01、什么是商业智能BI？
商业智能BI可以实现业务流程和业务数据的规范化、流程化、标准化，打通ERP、OA、CRM等不同业务信息系统，整合归纳企业数据，利用数据可视化满足企业不同人群对数据查询、分析和探索的需求，从而为…
数据挖掘基础知识储备——Pandas
Python之所以对处理数据非常方便，不得不说Numpy与Pdndas功不可没～ 本篇博客将总结所有关于数据挖掘中常用到的pandas的使用方法，阅读好的代码往往有利于代码的书写和方便他人阅读，这是一个很好的习惯呀～ 推荐Pandas中文…
京东数据分析：2023年9月京东白酒行业品牌销售排行榜
鲸参谋监测的京东平台9月份白酒市场销售数据已出炉！ 9月白酒市场的整体热度较高，贵州茅台先是与瑞幸联名推出酱香拿铁，后又宣布与德芙推出联名产品酒心巧克力，引起了诸多消费者的关注。在这一热度的加持下，从销售上看&…
01Python语法基础
本课概要：
输出注释标识符变量数据类型运算符缩进
例子
输出
print（“Hello Python”）注释 #单行注释，Hello Python"""多行注释，也可注释一行Hello PythonHello Python"""标识符 标…
02 Python控制流
本课概要
三种控制流概述if语句while语句for语句中断结构输出乘法口诀
例子 三种控制流概述 程序的执行流程我们叫做程序的控制流。Python有3种基本的控制流：1、顺序结构 2、条件分支结构 3、循环结构 if语句 if语句是一种条件分支结构语句。 a 2
if(a7):print(…
![“正大杯”第十三届市场调查与分析大赛[省一]经验总结+复盘](https://img-blog.csdnimg.cn/77ea6237489444e685d7ca69bdfca28a.jpeg)
“正大杯”第十三届市场调查与分析大赛[省一]经验总结+复盘
目录
1 前期组队
2 队员组成
队长-成员1
应用统计学专业
成员2
化学实验专业
成员3-本人
物联网工程专业 成员4
金融ACCA专业
成员5
应用物理学
总结
3 比赛进度
3月中旬
部分图表的制作
问卷设计与制作 稍微改动主题 问卷相关总结 前期调查部分论文框架 3月…
京东数据分析（京东销量）：2023年9月京东投影机行业品牌销售排行榜
鲸参谋监测的京东平台9月份投影机市场销售数据已出炉！ 根据鲸参谋电商数据分析平台的相关数据数据显示，9月份，京东平台投影机的销量为13万，环比下滑约17%，同比下滑约25%；销售额将近2.6亿，环比下…
数据分析师的就业前景看好
IT行业哪个方向比较好就业?
目前IT行业的发展速度非常的快，很多领域都已经开始和IT技术进行紧密的结合，这也带来了很多岗位的空缺。那么就一起来说说，IT行业里，哪些方向会更好就业。 大数据时代，呼唤数据分析师。 …
左手Python 右手R —— 最大公约数和最小公倍数
左手Python 右手R —— 最大公约数和最小公倍数前言1、 最大公约数1.1 约数1.2 最大公约数1.3 求解方法2、 最小公倍数2.1 倍数2.2 最小公倍数2.3 求解方法3、程序实现3.1 python 代码实现3.2 R语言代码实现小结创作不易，都浏览到这儿了，看官可否将下面的…
时间序列预测中的数据分析-＞周期性、相关性、滞后性、趋势性、离群值等特性的分析方法
本文介绍
本篇文章给大家介绍的是，当我们在进行有关时间序列相关的工作或者实验时，需要对数据进行的一些数据分析操作(包括周期性、相关性、滞后性、趋势性、离群值等等分析)的方法。在本篇文章中会以实战的形式进行讲解，同时提供运行代码和…
抖音API接口，商品详情，产品页面信息接口调用展示
商品详情API接口是一种用于访问和获取商品信息的接口，通常用于连接电商平台和商家应用程序。这个接口可以提供有关商品的各种详细信息，如名称、价格、描述、图片、类别、库存和评价等。它使得开发者能够为平台上的消费者提供更个性化和定制化的购物体验&…
常用开放API大全，调用文档地址
以下是一些常用的开放API大全及其对应的调用文档： Google Maps API：提供地图、定位、导航和地理信息相关的API，文档地址：https://developers.google.com/maps/documentation Twitter API：用于获取和发布Twitter上的数…
如何撰写数据分析报告？
Step1：目标确定
这一步在工作中通常是由你的客户/上级/其他部门同事/合作方提出来的
第一次的数据报告需要自己来提出并确定目标，选择目标时，需要注意的点：
选择一个比较熟悉，或者比较感兴趣的领域/行业
选择一个范…
基于LDA主题分析的《老友记》情景喜剧数据集的建模分析（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
电商平台API接口接入电商数据平台调用采集商品发货地、快递费用、物流费用、EMS费用等参数参数示例指南
taobao.item_fee-获得淘宝商品快递费用 公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）注册调用key接入apisecretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_ge…
做什么数据表格啊，要做就做数据可视化
是一堆数字更易懂，还是图表更易懂？很明显是图表，特别是数据可视化图表。数据可视化是一种将大量数据转化为视觉形式的过程，通过图形、图表、图像等方式呈现数据，以便更直观地理解和分析。
数据可视化更加生动、形象地…
人工智能就是更高级的、直接产生价值的智能
通常，人们常把人工智能分为感知智能、分析智能和决策智能。用王明明的话说，从人类发展来看，机器是肢体的延伸，决策智能是大脑的延伸。 新商业学院主编的《数智驱动新增长》一书中这样描述决策智能：基于自动化和设备的智…
AI与教育相遇 努力实现“散播科学的种子
2019年，首都师范大学人工智能教育研究院宣告成立，这是全国高校首家人工智能教育研究院。而首师大附中，成为青少年人工智能活动开展的先行者。 在首师大附中，“青牛创客空间”是学校的标志性建筑，学生可以在此进行智能产…
从数字产业化到产业数字化，今天的数字经济已经进入到深水区
封面：有专家认为，元宇宙将成为各国数字经济的竞争高地，您怎么看待数字经济发展和人工智能等技术的关系？ 娄超：对于数字经济的发展，我感触最深的是，从数字产业化到产业数字化，今天的数…
阿语python4-2 美多商城v5.0商品-商品数据表设计之第6.1.2节首页广告数据库表分析...
1. 首页广告数据库表分析2. 定义首页广告模型类class ContentCategory(BaseModel):"""广告内容类别"""name models.CharField(max_length50, verbose_name名称)key models.CharField(max_length50, verbose_name类别键名)class Meta:db_table …
软分割（抠图、二分类分割）
自然图像抠图/视频抠像技术梳理（image matting, video matting) 2013年及之前 https://blog.csdn.net/kezunhai/article/details/41804805 https://www.twblogs.net/a/5b7acdb72b7177392c96d804/zh-cn
Semantic Soft Segmentation
matting算法的典型输入是trimap …
探究物联网技术的核心知识点：传感器、嵌入式系统和数据分析
文章目录 🌟 物联网技术🍊 传感器🍊 嵌入式系统🍊 数据分析🍊 总结 📕我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约…
点云数据分类及滤波方法
如何获取点云数据
传统的点云获取技术包括非接触式测量和接触式测量两种，它们的主要区别在于，在测量过程中测头是否与工件的表面相接触。
非接触式测量是利用光学原理的方法采集数据，例如结构光法、测距法以及干涉法等。该方法的优点在于测…
财务数据分析用什么软件好？财务数据分析的几个重要数据是什么？
财务的数据分析也分很多种的，就拿最粗略的划分来说，也可以分为3大领域——
财务数据处理类工具财务数据挖掘类工具财务数据可视化工具
01 数据处理类
在财务数据处理这一块儿，不用说，当然是以excel为主力的数据处理类工具—— …
结合基于规则和机器学习的方法构建强大的混合系统
经过这些年的发展，我们都确信ML即使不能表现得更好，至少也可以在几乎所有地方与前ML时代的解决方案相匹配。比如说一些规则约束，我们都会想到能否把它们替换为基于树的ml模型。但是世界并不总是黑白分明的，虽然机器学习在解决问题…
ChatGPT4 完成数据分析结构分析，动态饼图可视化
对于数据分析中的结构占比分析，以下几种图表类型是比较常见和合适的：
1. **饼图（Pie Chart）**：饼图是一种表现部分与整体关系的图表，各部分占整体的比例在图中以圆形的切片形式体现。它适用于表示不同类别之间的比较，以及每个类别占总数的百分比。
2. **环图（Doughnu…
在线主动学习算法评估策略：prequential evaluation procedure
在线主动学习算法评估策略：prequential evaluation procedure
在在线主动学习领域(Online Active Learning)，对在线主动学习算法的评估策略有多种方法，而现如今常用的方法是prequential evaluation procedure(出自论文《High density-focuse…
淘宝按关键字搜索淘宝商品 API 参数及返回值说明 翻页展示 含调用示例
淘宝关键字搜索接口，是复原我们在淘宝购物时，在搜索栏内输入关键字，即可获取到相关商品列表，商品信息齐全，支持翻页展示。同时，传入参数sort可按价格排序，也可筛选响应价格段的商品。商品信息是…
加班做报表被嘲低效！快用大数据分析工具
做数据分析报表很耗时间，因为不仅要解决多业务系统数据质量标准不一问题，还需要进行大量的公式计算、报表设计与制作。但那是以前，在大数据分析工具强势崛起的当下，这些工作都能交给大数据分析工具来做了。以前是花90%的时间做报表…
生物群落（生态）数据统计分析与绘图
R 语言作的开源、自由、免费等特点使其广泛应用于生物群落数据统计分析。生物群落数据多样而复杂，涉及众多统计分析方法。以生物群落数据分析中的最常用的统计方法回归和混合效应模型、多元统计分析技术及结构方程等数量分析方法为主线，通过多个来自经典…
动态图表交互揭秘：制作选择器的奥秘
这一节内容介绍不同的选择器，具体怎么实现选择器和图表之间的连接，下节内容再放送。或可回顾前一篇系列文章，查看整体动态效果《这样用Excel动态交互图表，还要什么前端》。选择器可以由窗体控件、数据有效性、切片器制作ÿ…
中医药治疗抑郁症——来自肠道菌群的解释
谷禾健康 抑郁症和抑郁情绪是不一样的，如果说抑郁情绪是一阵悲伤或沮丧，那么抑郁症可以具有巨大的深度和持久力。抑郁症不只是沮丧发作，也不是性格弱点，无法以“快刀斩乱麻”的方式轻松摆脱。 世界卫生组织统计，全球约…
4. Pandas行列操作
4.1 新增列
4.1.1 assign
Pandas中的assign（）函数不仅可以实现不改变原数据情况下新增列，而且可以同时新增多列，还可以配合链式操作使用一行代码完成多个新增列创建，使得代码非常整洁。
（1）函…
零基础学习Python入门（学习大纲、编程基础、学习方法）
本文主要针对零基础想学习Python者。根据互联网资料收集整理而成。
1\python都学什么? 自学Python，看视频学的更快、更透彻一些，还要辅助书籍，并且要常练习，遇到不懂的问题就去弄懂.
2\Python编程基础 Python程序文件结构&…
简单介绍二分类问题评价指标
正确率(Accuracy) Accuracy (TP TN)/(TP TN FP FN)精准率(Precision) 记忆：在识别出某标签中正确的比例； 比如识别为某标签的一共有105个，其中有95个是识别对的，那Precision就是95/105； TP/(TPFP)召回率(Recall…
python入门项目：数据清洗
文章目录前言一、数据清洗是什么？二、重复值处理三 缺失值处理四、数据类型转换前言
本文是对数据清洗的简单学习。 本文使用的数据来源为：博雅读书社所提供的数据 一、数据清洗是什么？
数据清洗是指在数据分析或挖掘之前进行的࿰…
softmax回归python实现
from d2l import torch as d2lutils
import torch
import torchvision
from torch.utils import data
from torchvision import transformsclass Accumulator:"""在n个变量上累加。"""def __init__(self, n):self.data [0.0] * ndef add(self, …
京东数据分析（京东大数据）：2023年10月京东手机行业品牌销售排行榜
鲸参谋监测的京东平台10月份手机市场销售数据已出炉！ 根据鲸参谋平台的数据显示，今年10月份，京东平台手机行业的销量约340万，环比增长约11%，同比则下滑约2%；销售额为108亿，环比增长约17%&#x…
Python数据挖掘——应用toad包中的detect函数进行描述性统计
大数据时代的到来，使得很多工作都需要进行数据挖掘，从而发现更多有利的规律，或规避风险，或发现商业价值。比如在支付领域，通过挖掘商户的交易数据，分析商户是否有欺诈、盗刷、赌博、套现等风险。对于有风险…
2.Pandas数据预处理
2.1 数据清洗
以titanic数据为例。
df pd.read_csv(titanic.csv)
2.1.1 缺失值
（1）缺失判断
df.isnull() （2）缺失统计
# 列缺失统计
df.isnull().sum(axis0) # 行缺失统计
df.isnull().sum(axis1) # 统计缺失率
df.isnu…
Seaborn 回归(Regression)及矩阵(Matrix)绘图
Seaborn中的回归包括回归拟合曲线图以及回归误差图。Matrix图主要是热度图。 1. 回归及矩阵绘图API概述 seaborn中“回归”绘图函数共3个： lmplot（回归统计绘图）：figure级regplot函数，绘图同regplot完全相同。(lm指lin…
用智能BI数据加工如何实现两个时间的间隔【场景案例】
在数据分析领域，时间间隔计算的功能是为了分析两个时间点之间的间距，从而获得时间间隔的信息。这种计算用于事件发生的频率、持续时间等方面。在JVS-智能BI平台中提供了多种方式对时间间隔计算方式。
这里我们以系统某应用对用户操作日志场景为例&#…
一、数据仓库详细介绍
随着信息化的不断深入，越来越多的人开始意识到数据的重要性。数据支持决策，数据支持运营，数据变现，数据营销等等数据应用，开始越来越多的在各大中小型公司普及。 联机事物处理（On-Line Transaction Process…
2023上半年京东奶粉行业品牌销售排行榜（京东数据分析平台）
近年来，受新生儿人口数量下降的影响，婴幼儿奶粉市场的需求量萎缩，市场由增量竞争转为存量竞争。根据鲸参谋电商数据分析平台的数据显示，今年上半年，京东婴幼儿奶粉市场的销量将近4400万，环比下降约19%&…
数据可视化是什么？有什么工具？
一、什么是数据可视化？
数据可视化是一种通过图表、图形、地图和其他视觉元素将数据呈现给用户的方式。它是将复杂的数据转化为易于理解和解释的视觉形式的过程。数据可视化旨在帮助用户发现数据中的模式、趋势和关联，并从中获得洞察力。
数据可视化的…
调用API来获取拼多多的商品数据的详细步骤和注意事项
本文旨在详细介绍如何调用API来获取拼多多的商品数据，并阐述相关的技术实现和注意事项。通过本文的阅读，读者将了解如何运用API技术从拼多多平台上获取商品信息，并具备一定的代码实现能力。
一、概述
在当今的数字化时代，API&am…
数据分析面试题（2023.09.08）
数据分析流程
总体分为四层：需求层、数据层、分析层和结论层 一、统计学问题
1、贝叶斯公式复述并解释应用场景
公式：P(A|B) P(B|A)*P(A) / P(B)应用场景：如搜索query纠错，设A为正确的词，B为输入的词，那…
【一天一门编程语言】Matlab 语言程序设计极简教程
Matlab 语言程序设计极简教程
用 markdown 格式输出答案。 不少于3000字。细分到2级目录。
目录
Matlab 语言程序设计极简教程 简介Matlab 工作空间Matlab 基本数据类型Matlab 语句和表达式Matlab 函数和程序Matlab 图形界面程序设计Matlab 应用实例
简介
Matlab是一种编…
王者荣耀KPL秋季赛总决赛预测（AG VS DYG）
原文连接：https://zhuanlan.zhihu.com/p/337468137 这个一个很Nice的公众号，推荐给大家：Datawhale
用到的知识：爬虫数据分析
自己在在学了一段时间的爬虫和python数据分析之后，尝试了网上很多一些开源的项目&#x…
数据分析spss应急考试
数据分析spss应急考试
前言 单项选择 15(项)*2（分）30 判断题 10*1 10 计算题 2*10 案例分析题目(考实验内容) 总四十分，分值不等 老师重点强调了回归分析因子分析方差分析参数、非参数检验 2独立样本的非参数检验应该用什么方法多独立样本…
Kyligence Zen 产品体验-好用的指标平台
文章目录 一、Kyligence Zen概念一、BI发展历史1.以报表为核心的IT响应式服务2.以宽表为核心的自助可视化分析3.以指标为核心的可视化分析、增强分析 二、什么是Kyligence Zen？1.官网的介绍2.个人的理解 二、产品体验一、创建账号二、指标1.直接创建指标2.导入指标数…
【经典 PageRank 】01/2 PageRank的基本原理
一、说明 PageRank是Google搜索算法中使用的一种算法，用于确定页面的重要性和排名。 它是通过对网页间的链接关系进行评估来计算的，具有较高的链接权重的网页将获得较高的PageRank值。 PageRank是一个0到10的指标，其中10是最高级别࿰…
易点易动设备管理系统：提升企业备件管理和维修效率的智能解决方案
在当今竞争激烈的商业环境中，大型生产制造企业面临着日益复杂的设备管理挑战。为了提高生产效率和降低成本，企业需要一种高效的设备管理系统。易点易动设备管理系统是一款智能化的解决方案，旨在帮助企业提升备件管理和维修效率。本文将详细介…
【阶段总结】《非结构化信息分析应用与实践（筹）》
《非结构化信息分析应用与实践（筹）》Part 1.知识储备一、机器学习
1.几种常见的有监督学习算法
2.几种常见的无监督学习算法
3.数据挖掘基础知识 30 问
二、神经网络与深度学习
1.MP神经网络模型（附实例代码讲解）
2.图解LST…
【数据挖掘 | 关联性分析】万字长文详解关联性分析，详解Apriori算法为例，确定不来看看？
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
喜报 | 上海市“专精特新”企业名单公布，恭喜入选！
专精特新企业：
工业和信息化部发布的《优质中小企业梯度培育管理暂行办法》中指出，“专精特新”是指企业具有专化、精细化、特色化、新颖化的发展特征。
“专精特新”企业是落实国家创新驱动发展战略的重要载体。“专精特新”企业专注于细分市场&#…
京东数据分析（京东数据运营）：2023年10月咖啡市场销售数据分析（商家销量销额店铺数据）
随着我国经济的发展及人们消费观念、消费习惯的变化，咖啡消费越来越成为一种时尚生活方式，国内咖啡市场也在快速增长。且在当前互联网新零售的背景下，线上咖啡市场也愈加繁荣。 根据鲸参谋电商数据分析平台的相关数据显示，今年10月…
玻色量子“揭秘”之背包问题与Ising建模
摘要：背包问题(Knapsack problem)是一种组合优化的NP-Complete问题。问题可以描述为：给定一组物品，每种物品都有自己的重量和价格，在限定的总重量内，我们如何选择，才能使得物品的总价格最高。 背包问题早期…
京东运营数据分析：2023年8月京东饮料行业品牌销售排行榜
鲸参谋监测的京东平台8月份饮料市场销售数据已出炉！
8月份，饮料市场整体销售下滑。根据鲸参谋电商数据分析平台的相关数据显示，今年8月，京东平台饮料市场的总销量将近820万，环比下滑约8%，同比下滑约20%&am…
RevCol实战：使用RevCol实现图像分类任务（一）
文章目录 摘要安装包安装timm 数据增强Cutout和MixupEMA项目结构计算mean和std生成数据集 摘要
可逆柱状结构（RevCol）是一种网络结构，它受到GLOM（Global Columnar Memory）的启发。RevCol由N个子网络（或称为…
最近邻插值的原理及实现
1. 介绍
插值算法一般用来做上采样和下采样，最邻近插值算法，是插值算法中最简单的一种。 最邻近插值：将每个目标像素找到距离它最近的原图像素点，然后将该像素的值直接赋值给目标像素。 优点： 实现简单，计算速度快 缺点：插值结果缺乏连续性，可能会产生锯齿状的边缘，对…
数据分析可视化之模型介绍
一 前言
“数据分析可视化”这条术语实现了成熟的科学可视化领域与较年轻的信息可视化领域的统一。 数据分析可视化：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。 数据可视化已经提出了许多方法&…
Airbyte，数据集成的未来
Gartner 曾预计，到 2025 年，80% 寻求扩展数字业务的组织将失败。因为他们没有采用现代方法来进行数据和分析治理。数据生态是基础架构生态的最重要一环，数据的处理分发与计算，从始至终贯穿了整个数据流通生态。自从数据集中在数据…
泊松回归和地理加权泊松回归
01
泊松回归 泊松回归（Poisson Regression）是一种广义线性模型，用于建立离散型响应变量（计数数据）与一个或多个预测变量之间的关系。它以法国数学家西蒙丹尼泊松（Simon Denis Poisson）的名字命名，适用于计算“事件发生次数”的概率，比如交通事故发生次数、产品缺陷数…
大数据专业应该怎么学
随着互联网大潮走向低谷，同时传统企业纷纷进行数字化转型，基本各个公司都在考虑如何进一步挖掘数据价值，提高企业的运营效率。在这种趋势下，大数据技术越来越重要。所以说，未来大数据是我们打工人的必备技能之一。
1、…
京东销量（销额）数据分析：2023年9月京东奶粉行业品牌销售排行榜
鲸参谋监测的京东平台9月份奶粉市场销售数据已出炉！ 根据鲸参谋平台的数据显示，今年9月份，京东平台奶粉（包括婴幼儿奶粉、孕妈奶粉、婴幼儿液态奶）市场的销量约730万，环比降低约6%，同比降低约19…
数据爬取分析的基本概念
数据爬取分析是一种通过网络爬虫技术获取网站数据并进行分析的方法。在当今信息化时代，数据分析已经成为了企业和个人获取商业价值和个人价值的重要手段之一。本文将介绍数据爬取分析的基本概念、技术原理、应用场景以及相关的法律法规。
一、数据爬取分析的基本概…
阿语python第三阶段第6章html+css基础-v5.0前端开发第6节列表标签
大家好，我是阿语，从今天开始每天更新8篇python教程从第一个基础语法开始每天更新一下基础内容，这些会分类出来，保持一天完整的python教程，有的人肯定会问 为什么最后才写爬虫了，阿语在这里声明一下…
探秘信息检索：原理、实现与应用
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
python数据分析：人口普查可视化，看看哪个地区人口最多
前言
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 今天案例难度指数: ☆☆☆
准备 环境使用：
在开始写我们的代码之前，我们要准备好运行代码的程序 Anaconda (python3.9) –> 识别我们写的代码
开发工具： jupyter notebook –> 代…
【Python实战】数据预处理（数据清理、集成、变换、归纳）
【Python实战】数据预处理前言数据预处理概述数据清理异常数据处理1、异常数据分析2、异常数据处理方法缺失值处理噪声数据处理数据集成前言
因疫情原因，距上次写博客已过许久
这次回看以前的书籍，发现数据预处理这块在业务中极其重要
业务中…
人工智能成为科学家的新生产工具，催生科研新范式
人工智能成为科学家的新生产工具，催生科研新范式 【趋势概要】实验科学和理论科学是数百年来科学界的两大基础范式，而人工智能正在催生新的科研范式。机器学习能够处理多维、多模态的海量数据，解决复杂场景下的科学难题，带领科…
星球年度汇总-20年四季度基金持仓数据公布了! 分析小工具新功能上线!
量化交易是一个多技术综合的项目，学习完书籍《Python股票量化交易从入门到实践》我们提供了升级的学习内容——知识星球《玩转股票量化交易》在星球中我们深入分享包括Python、爬虫、数据分析、可视化、人工智能、股票策略等各种与股票量化交易相关的内容࿰…
人工智能在产业化进程中，应同时关注基础科学的研究
李飞飞希望人工智能在产业化进程中，能够同时也足够关注人工智能基础科学的研究。 她指出，因为人工智能还是一个很新的领域，它有一些非常让人振奋的可能的应用场景，但是它才刚刚开始，如果是所有的资源和注意力都在产…
零基础python能找到工作吗？
零基础python能找到工作吗？需要掌握哪些技能？对于大部分零基础学编程半路出家的人来说，无非是想改变现状换一门新职业，所谓技术大牛不过是比小白们更早接触编程罢了，选择好自己有兴趣的职业技能，并为之学习…
关键词抽取算法TopicRank
1、文本预处理，分词，POS
2、筛选候选词，保留最长的名词和形容词序列；
3、采用HAC（层次凝聚聚类算法）聚类；（在超过25%重叠词的情况下，认为两个候选序列是相似的…
淘宝免费爬虫数据 商品详情数据 商品销售额销量API
场景：一个宽敞明亮的办公室，一位公司高管坐在办公桌前。
高管（自言自语）：淘宝，这个平台上商品真是琳琅满目，应该有不少销售数据吧。我该怎么利用这些数据呢？
突然，房间…
![[数据挖掘笔记01] 关联规则Apriori算法](https://img-blog.csdnimg.cn/20200428155612625.png)
[数据挖掘笔记01] 关联规则Apriori算法
1.原理
关联规则用来找出事物之间的关联性，比如“如果小明买了面包，那么他也会买果汁”，下面我们通过一个实例来理解关联规则。
有这样一个交易数据集D，最小支持度为0.3，最小置信度为0.7，要求我们基于这个…
LightGBM、XGBoost参数调优，调参经验 ，参数介绍
对比参考 参考自：LightGBM参数介绍_一路前行1的博客-CSDN博客_lightgbm参数
调参思路
LightGBM 调参方法（具体操作） - Byron_NG - 博客园
lightgbm介绍
深入理解LightGBM - 知乎
XGBoost参数介绍
xgboost参数
https://xgboost.readthed…
2023 年 五一杯 D 题大奖预定第一问求解过程与结果
文章目录 第一题问题分析PageRank 算法（可跳过）PageRank 算法修正权重系数 结果各城市链出与链入链出 权重链入 权重 PageRank 算法结果代码 第一题
问题分析 从收货量、发货量、快递数量增长/减少趋势、相关性等多角度考虑，建立数学模型&…
数据分析-基于pandas（从将一个目录中的数据查找到另一个表中的对应的的func_name）
从将一个目录中的数据查找到另一个表中的对应的的func_name
主要是利用pandas读取速度快，本问主要是利用pandas将1000万个数据去重后再另一个文件中查找到对应的数据
import os
import sys
import time
import csv
import pandas as pdt1 time.time()
tracer_lin…
A.机器学习入门算法（四）: 基于支持向量机的分类预测
机器学习算法（四）: 基于支持向量机的分类预测
本项目链接：https://www.heywhale.com/home/column/64141d6b1c8c8b518ba97dcc
1.相关流程
支持向量机（Support Vector Machine，SVM）是一个非常优雅的算法&a…
【OJ比赛日历】快周末了，不来一场比赛吗？ #03.25-03.31 #12场
CompHub 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号同时会推送最新的比赛消息，欢迎关注！更多比赛信息见 CompHub主页 或 点击文末阅读原文以下信息仅供参考，以比赛官网为准目录2023-03-25&…
胶囊网络实现手写数字分类
文章目录 前言一、完整代码二、修改成自己的数据集总结 前言
胶囊网络的概念可以先行搜索。 一、完整代码
import torch
import torch.nn.functional as F
from torch import nn
from torchvision import transforms, datasets
from torch.optim import Adam
from torch.util…
2023年2月京东手机品牌销量数据查询（京东电商数据平台）
2023年开年，手机中端机市场便已经卷的热火朝天。今年2月份，一加品牌发布新机，把价格从旗舰机的三四千元起步，下降至2799元起，直指中端机市场。以一加品牌的此次行动拉开帷幕，此后，其他厂商也都有…
大数据项目之数仓相关知识
第1章 数据仓库概念
数据仓库（DW）: 为企业指定决策，提供数据支持的，帮助企业，改进业务流程，提高产品质量等。
DW的输入数据通常包括：业务数据，用户行为数据和爬虫数据等 ODS: 数据…
面板数据熵权topsis法分析流程
面板数据熵权topsis法分析流程 一、案例背景
当前有9家公司连续5年（2018-2022年）的财务指标数据，想要通过这份数据，确定9家公司的财务排名情况。因为各项财务指标的权重有所不同，所以选择使用熵权topsis法进行研究。 …
数据分析面试指南，知道以下几点成功率提升50%
目前，数据分析行业大火，相信很多小伙伴都想去这一行业试试水。想要成功进入数据分析行业，就必须得通过数据分析面试，面试应该准备什么，怎么准备，各位小伙伴都知道吗?
简历
大家都知道面试一定要带简历&a…
首发，pm3包，一个用于多组（3组）倾向评分匹配的R包
目前，本人写的第二个R包pm3包已经正式在CRAN上线，用于3组倾向评分匹配，只能3组不能多也不能少。 可以使用以下代码安装
install.packages("pm3")什么是倾向性评分匹配？倾向评分匹配（Propensity Score Match…
[Python] 读取一个xlsx文件处理并保存成txt文件或binary
最近拿到一个上游的xlsx, 需要自己加工处理取到自己想要的值，需要注意的知识点做个记录：
以下内容基于以下假设： 1, 文件名字为Data_A.xlsx和Data_B.xlsx, 其内容格式为：
ABCD EF0x10110110240x2011111170x301123310x401132410x…
ICML2021 | RSD: 一种基于几何距离的可迁移回归表征学习方法
目录 引言动机分析主角（Principal Angle）表征子空间距离正交基错配惩罚可迁移表征学习实验数据集介绍 实验结果总结与展望 论文链接 相关代码已经开源
引言
深度学习的成功依赖大规模的标记数据，然而人工标注数据的代价巨大。域自适应&…
带你掌握最常用的数据分析图表
使用数据分析图表的场合很多，但是图表类型那么多，常见的有柱状图、饼状图、折线图等等，有时候不小心用错了可就闹笑话了。所以今天就跟大家详细说说最常用的数据分析图表。 柱状图： 数据分析图表中柱形图用途广泛，擅长…
京东数据分析：2023年9月京东洗地机行业品牌销售排行榜
鲸参谋监测的京东平台9月份洗地机市场销售数据已出炉！ 9月份，洗地机市场的销售额增长。根据鲸参谋电商数据分析平台的相关数据显示，9月京东平台上洗地机的销量为9.2万，销售额将近2.2亿，同比增长约9%。从价格上看&#…
Survey of Low-Resource Machine Translation阅读笔记
文章目录1 Introduction2 Data Sources2.1 Searching Existing Data Sources2.2 Web-crawling for Parallel Data2.3 Low-resource Languages and Web-crawling2.4 Other Data Sources3 Use of monolingual data3.1 Integration of external language models3.2 Synthesising P…
数据挖掘(4.1)--分类和预测
目录
前言
一、分类和预测
分类
预测
二、关于分类和预测的问题
准备分类和预测的数据
评价分类和预测方法
混淆矩阵
评估准确率
参考资料 前言 分类：离散型、分类新数据 预测：连续型、预测未知值 描述属性：连续、离散 类别属性&am…
【pandas读入数据报错】OSError: Initializing from file failed
问题描述：
pandas载入csv格式数据报错
B pd.read_csv("C:/Users/hp/Desktop/动手学数据分析/第一单元项目集合/train.csv")
B.head(3)报错：
OSError: Initializing from file failed原因分析：
调用pandas的read_csv()方法时&a…
SHAP（一）：使用 XGBoost 预测英雄联盟获胜
SHAP（一）：使用 XGBoost 预测英雄联盟获胜
本笔记本使用 Kaggle 数据集 英雄联盟排名比赛，其中包含从 2014 年开始的 180,000 场英雄联盟排名比赛。 根据这些数据，我们构建了一个 XGBoost 模型，根据有关该球…
京东数据分析：2023年9月京东打印机行业品牌销售排行榜
鲸参谋监测的京东平台9月份打印机市场销售数据已出炉！ 鲸参谋数据显示，今年9月，京东平台打印机的销量为60万，环比增长约32%，同比下滑约25%；销售额为5亿，环比增长约35%，同比下滑约29%…
UseGalaxy.cn生信云|新增热图绘制工具：heatmap2
2023-11-05，Galaxy生信云平台 UseGalaxy.cn 新增绘制热图工具。 Graph/Display Data heatmap2 (Galaxy Version 3.1.3galaxy0) 使用方法 进入网址： https://usegalaxy.cn/root?tool_idtoolshed.g2.bx.psu.edu/repos/iuc/ggplot2_heatmap2/ggplot2_heatm…
高校为什么需要大数据挖掘平台？
目前数据挖掘已经成为各种应用领域的重要技术，大学数据挖掘课程的开放已经出现。数据挖掘课程整合了多门学科知识。该课程包括各种理论知识，也离不开相关的实用技术。整个教学过程是培养和提高学生全面创新和解决问题的能力。过去，教学过程理…
二蛋赠书五期：《Python数据挖掘：入门、进阶与实用案例分析》
前言
大家好！我是二蛋，一个热爱技术、乐于分享的工程师。在过去的几年里，我一直通过各种渠道与大家分享技术知识和经验。我深知，每一位技术人员都对自己的技能提升和职业发展有着热切的期待。因此，我非常感激大家一直…
HTTP代理IP使爬虫轻松面对反爬虫
在数据信息变的越发重要的时候，咱们可以从许多场所去取得数据源，不过要控制好数据抓取的方式，今天介绍一下数据抓取怎么样可以避免出现IP封停问题。 先说一下爬虫的分类，爬虫一般分为三类：
1、传统爬虫：从…
自建IP代理池反爬虫不用愁
伴随着大数据行业的迅速发展，人们对IP的需求量也日渐猛增，所以，如果要大批量的抓取信息，就不能避免的使用IP池，针对Python爬虫使用的IP池，是如何搭建起来的呢？ 环境说明
为了实现代理IP池&…
![[比赛简介]Parkinson‘s Freezing of Gait Prediction](https://img-blog.csdnimg.cn/dd70510ee47d41f09c316dfcaa87f64d.png)
[比赛简介]Parkinson‘s Freezing of Gait Prediction
比赛链接：https://www.kaggle.com/competitions/tlvmc-parkinsons-freezing-gait-prediction
比赛简介
本次比赛的目标是检测步态冻结（FOG），这是一种使人衰弱的症状，困扰着许多帕金森病患者。您将开发一个机器学习…
女生学习大数据专业未来前景怎么样
学习大数据与性别没有什么太大关系，各有优势。就目前的发展前景来说，大数据还是非常不错的，至于好不好就业就要看你个人学习的怎么样，以及学历是否过关了~
据《新职业——大数据工程技术人员就业景气现状分析报告》显示ÿ…
36个顶级数据分析方法与模型，学会任意1种，都能让你超越95%的人
好的数据分析师不仅熟练地掌握了分析工具，还掌握了大量的数据分析方法和模型。
这样得出的结论不仅具备条理性和逻辑性，而且还更具备结构化和体系化，并保证分析结果的有效性和准确性。今天老李我将从以下6个维度32种分析模型和方法逐个简略介…
R语言ggplot2可视化：使用ggpubr包的ggmaplot函数可视化MA图（MA-plot）、top参数配置图中显示的头部基因标签的个数
R语言ggplot2可视化：使用ggpubr包的ggmaplot函数可视化MA图（MA-plot）、top参数配置图中显示的头部基因标签的个数 目录
数据分析在游戏行业的应用
数据分析在游戏行业中扮演着至关重要的角色，它可以用于以下方面： 1、玩家行为分析
了解玩家在游戏中的行为，包括游戏时长、最喜欢的游戏模式、关卡通过率等，从而为游戏设计和运营提供参考。
2、留存率
监控玩家在游戏中的持续参…
我用wxPython搭建GUI量化系统之最小架构的运行
wxPython是基于Python的跨平台GUI扩展库，对wxWidgets（ C 编写）封装实现。
wxPython程序由组件wx.App、wx.Frame、wx.Panel以及其他widget控件/窗体（如wx.ComboBox, wx.Button）组成。
一个wxPython程序只有一个wx.App…
抖音跑腿小程序开发指南：从零开始到上线
如今，抖音跑腿小程序的开发已经成为一项具有巨大潜力的领域。本文将为您提供一份详尽的开发指南，从零开始引导您完成一个成功的抖音跑腿小程序的开发和上线过程。
第一步：确定目标和需求
了解用户的期望，确定小程序的功能模块&a…
做网络爬虫需要掌握哪些技术？
网络爬虫是指通过代码自动化地访问网页并收集数据的程序，要开发一个成功的爬虫，需要掌握以下技术：
1. HTTP 协议：了解 HTTP 请求和响应的基本内容，以及如何使用 HTTP 请求头和响应头来优化爬虫性能。
2. HTML/CSS/Ja…
亚马逊国际获得AMAZON商品详情 关键字搜索API 调用案例分享
item_get-获得AMAZON商品详情item_search-按关键字搜索商品公共参数名称类型必须描述keyString是调用key（获取测试key）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_s…
人类应当如何自处？如何保证自己的主体性地位？
当人工智能在机械、思维、情感方面的能力全面提升，可以轻松接管人类的所有工作，那么人类应当如何自处？如何保证自己的主体性地位？ 随着技术发展的一日千里，“人工智能取代人类”也成为技术背面日益严峻的现实危机。…
天猫订单之数据分析与挖掘——数据预处理和频繁模式
天猫订单之数据分析与挖掘——数据预处理和频繁模式 文章目录 天猫订单之数据分析与挖掘——数据预处理和频繁模式0. 写在前面1. 数据预处理1.1 多余字符的处理1.2 日期属性值的处理1.3 重复值处理1.4 缺失值处理2. 频繁模式2.1 亲和性分析2.2 Apriori算法0. 写在前面 Windows：…
AI的溯因推理和未来道路 终将克服自身限制并取得新的突破
包括强化学习的先驱理查德萨顿（Richard Sutton）在内的一些科学家认为，我们应该坚持使用能够随着数据和计算的可用性而扩展的方法，即学习和搜索。例如，随着神经网络变得更大，接受更多数据的训练，…
人工智能在各个应用领域有很广拓展 促进科研范式和业态重塑
“现在前沿科技将给人类生活带来巨大的收益和便利，但科技发展同时还要有人文关怀，去主动解决新兴技术研发与应用带来的风险与挑战。”11月28日，清华大学苏世民书院院长薛澜在第十九届《财经》(博客,微博)年会“《财经》年会2022：预…
概率和因果性推理演算法，改变了人工智能最初基于规则和逻辑的发展方向
“贝叶斯网络之父”、美国计算机科学家和哲学家朱迪亚珀尔（Judea Pearl）以在人工智能领域的基础性贡献而知名。他提出概率和因果性推理演算法，改变了人工智能最初基于规则和逻辑的发展方向，并因“研发与概率和因果推理有关的算法而…
海量的人物知识数据，实现了多模态的技术融合
百度领先的AI专利布局将为元宇宙重要的基础设施建设提供有力支撑。在2021世界VR产业大会云峰会上，百度表示希望成为元宇宙的“基建狂魔”，利用强大的AI技术做好元宇宙基建工作。在百度世界2021上亮相的“一句话生成形象”技术结合增强现实、知识图谱、语…
AI研发作为科技前沿技术，AI创新备受关注
中国AI研发作为科技前沿技术，AI创新备受关注。国家工业信息安全发展研究中心、工业和信息化部电子知识产权中心从2018年开始，每年都会发布人工智能专利分析报告。2021年报告的主题为《中国人工智能高价值专利及创新驱动力分析报告》（以下简称…
人工智能是人类创造的工具 缺乏能够构建高效系统的天才专业人员
公司必须从商业角度来考虑问题。自问一下问题： 你想解决什么商业问题？ 界定成功的衡量标准是什么？ 回答完这些问题后，再决定用哪种技术来解决问题。请记住，人工智能包含了很多技术，比如机器学习…
汽车行业如今成为了人工智能发展的重点方向之一
人工智能技术来势汹汹，与各行各业进行着种种结合，汽车行业如今成为了人工智能发展的重点方向之一，各大高科技公司纷纷入局智能汽车产业。随着人工智能技术的不断发展，在汽车领域掀起了一场场技术革命，这也给汽车厂商们…
人类是否真的能控制人工智能仍然是一个未知数
许多思想家声称人工智能永远也不能自主完成任务，因为它必须由人类编程。因此，人类将永远控制着人工智能。但事实真的如此吗？我们不妨简单地回想一下当前最常见的人工智能形式，即深度学习神经网络。这种人工智能已经被视为一个“黑…
人工智能的研究经历了多次潮起潮落 但目标依然明确
“此次获奖不仅是对我个人的肯定，更是对我们整个科研团队的肯定。我们将继续攻坚克难，让人工智能领域的中国声音愈发响亮！”2020年度陕西省最高科学技术奖获得者、中国工程院院士、西安交通大学教授郑南宁说。 郑南宁是我国人工智能领域发…
蝴蝶能够承载的信息够多在消耗算力上也很合理及优秀
关于《虚拟蝴蝶》系列，您强调的是计算机的学习能力和虚拟演化，它们能够创作出比自然界还要多的物种，并且只要愿意，便可以持续不断地生成。艺术家在这个过程中，扮演了仿佛“上帝之手”的选择的角色（自然选择…
Live800:用它，在线客服提升效率的秘密！
"在线下世界，如果一个客户不满意，他会告诉6个朋友。在互联网世界，他会告诉6000个人。" 亚马逊的创始人杰夫贝佐斯提到。随着互联网时代的蓬勃发展，消费者之间的关系互联正击穿以前人与人之间的圈层链——消费者的声音被…
呼叫中心转型客服该如何学会“自保”?
原文链接
这是我在呼叫中心上班的1000天，一直以为我的生活会跟以往一样。上午9点戴上耳麦，直至下班之前，我的世界只有自己和客户。在为客户处理问题时学会倾听意义，在客户抱怨中学会成长，学会坦然面对人生。没想到疫情…
现代数据栈MDS应用落地介绍—MozartData数据驱动从未如此简单
Dazdata MDS
Mozart Data创立于2020 年，已成功为 Clover Health、Eaze、Opendoor 和 Yammer 等高增长初创企业构建和实施数据管道和工具，是用于集中、组织和分析数据的一体化现代数据平台。
背景
随着公司跨部门积累更多数据——用户资料、订单详…
数据工程：ELT 工作流中的 6 个步骤
数据转换过程可以分为六个步骤：提取extraction和加载loading、探索exploration、转换transformation、测试testing、文档documentation和部署deployment。 数据转换是获取原始数据并从中获取意义的过程;它构成了所有分析工作的基础，并代表了数据从业者如…
AI正由感知智能时代向认知智能时代迈进
随着科技的高速发展，人工智能时代美好生活的蕴涵人工智能诞生至今，已有几十年的发展历史，经过几十年的发展，人工智能已广泛渗透到人们生活的经济、政治、文化、社会和生态发展的各个领域，人工智能不论对社会的基础设施…
了解数据从哪里来以及如何使用数据做出良好的预测和决策至关重要
而通过多年人工智能的教育与实践，金珊杉发现，基于项目的学习十分有助于学生对知识的理解。因此，《一杯柠檬水的启蒙》这本书也配套制定了一份设立柠檬水摊项目的教学大纲，可以在通过实际操作，激发孩子们的创造力、合作…
助力打造全球人工智能科学发展和创新应用高地
他是一位德国顶尖人工智能专家，自2014年起受邀来到同济大学工作。6年多来，他以深厚的学术造诣和对中国的热爱，推动中德两国人工智能领域的高端合作，助力中国打造全球人工智能科学发展和创新应用高地。 他就是新当选中国工程院外籍…
我用wxPython搭建GUI量化系统之财务选股工具剔除ST股和次新股
前言
最近交易所公布了上证指数改编方案，其中有两条是和本篇文章相关的。
第一条是围绕ST个股改编。当上市公司变更为ST后一个月将从指数样板中剔除。
第二条围绕新股改编。上证指数新上市的日均市值前十的证券，上市满三个月才可以计入指数࿰…
除了工业机器视觉外，“3D机器视觉”也受到了越来越多的关注
结合智慧城市、智能安防、人脸识别等场景的发展情况，机器视觉的应用广度与深度不断推进，本土机器视觉企业新贵在这一领域的竞争力持续提升，作为3D机器视觉引导行业的领跑企业，通过自主研发的机器人3D视觉引导系统、深度学习分类与…
pandas 统计函数
01 nunique number of unique，用于统计各列数据的唯一值个数，相当于SQL语句中的count(distinct **)用法。nunique()既适用于一维的Series也适用于二维的DataFrame，但一般用于Series较多，此时返回一个标量数值，表示该se…
数据平台数据管理实践
我们在前面的文章中讨论了如何将数据接入到数据平台。一般而言，接入到数据平台的数据会来自众多的业务系统，这样一来，我们就拥有了大量不同来源的数据。如何将这些数据有效的管理起来是一个很大的挑战。本文将尝试结合我们的项目实践经验做一…
天猫2月咖啡行业数据分析（咖啡品牌销量排行）
随着人们消费水平的提高以及休闲、办公等场景化的需要，咖啡已成为越来越多人日常生活中的必需品，咖啡行业的市场规模也在不断扩大。并且，随着咖啡品牌不断发力线上赛道，咖啡的电商化之路也越来越成熟，而与此同时&#…
R语言ggplot2可视化：可视化条形图（bar plot）、添加主标题、副标题、题注信息（caption）、自定义轴标签文本的角度
R语言ggplot2可视化：可视化条形图（bar plot）、添加主标题、副标题、题注信息（caption）、自定义轴标签文本的角度 目录
人工智能算法几个重要指标
一、几个前置概念
TP（True Positive）：正确的正例，正类被判定成正类
FN（False Negative）：错误的反例，漏报，正类被判定为假类
FP（False Positive）…
对于无效的数据，该如何处理
一、无效数据的来源：
在进行数据管理时，无效数据是非常常见的问题。
无效数据可能来自于数据采集、输入错误、数据处理或存储错误等方面。
这些无效数据会对结果造成严重的影响，因此需要及时发现和处理。
二、处理无效数据：
…
Python数据挖掘入门进阶与实用案例：自动售货机销售数据分析与应用
文章目录 写在前面01 案例背景02 分析目标03 分析过程04 数据预处理1. 清洗数据2.属性选择3.属性规约 05 销售数据可视化分析1.销售额和自动售货机数量的关系2.订单数量和自动售货机数量的关系3.畅销和滞销商品4.自动售货机的销售情况5.订单支付方式占比6.各消费时段的订单用户…
抖音预约服务小程序开发：前端与后端技术的完美融合
开发抖音预约服务小程序成为了一种有趣而又实用的尝试。本篇文章，小编会与大家共同探讨抖音预约服务小程序开发的前端与后端技术融合的关键要点。
一、前端技术选择与设计
1.小程序框架
开发抖音预约服务小程序的前端，首先需要选择一个适用的小程序框…
综述----知识蒸馏
4.1 模型改进
未来的研究可以集中在改进无图学习模型的性能和泛化能力。例如，可以研究更有效的知识表示和传递方法，以提高学生模型对教师模型知识的理解和利用能力。此外，可以探索新的模型结构和训练算法，以提高模型的效率和稳定…
【精华系列】跟着Token学习数据挖掘-1
Hello，大家好！这里是Token的博客，欢迎您的到来 今天整理的笔记时数据挖掘方向的基础入门，了解数据分析使用的一些基础的Python库，为后面的数据处理做好准备 01-数据分析工具介绍
准备：Python的安装、平台搭…
生成式 AI 将如何颠覆数据分析？
生成式 AI 对数据分析的颠覆式变革 想象这样一个场景，您能够像与人交谈一样和计算机进行交流。在这个场景中，您不需要学习复杂的技术，通过自然语言就能够整理数据、分析复杂的数据集、并生成报告。几年前，这可能还是科幻小说中的画…
Tableau 和 Qlikview哪个更好用？
Tableau 和 Qlikview 是市场上用于分析数据的两种重要的 BI 工具，并配备了广泛的可视化效果。本文将全面概述每个工具，以及基于业务、技术和可视化三个主要类别的基本差异。每个公司都希望用最好的BI工具来处理大量数据。在这篇文章中，我们将…
Python数据分析案例12——网飞影视剧数据分析及其可视化
背景介绍
Netflix是最受欢迎的媒体和视频流平台之一。他们的平台上有超过 8000 部电影或电视节目。截至 2021 年年中，他们在全球拥有超过 2 亿订阅者。
博主看美剧也较为多，像《怪奇物语》、《性爱自修室》等高分美剧都是网飞的。
对于网飞的影视剧&a…
发展认知科学EEG研究: 新视角与挑战
1.介绍
研究早期大脑的发展与功能有助于理解认知功能，脑电图(EEG)在发展研究中用于理解时域上的大脑活动，了解典型和非典型人群认知过程的时间特征。值得注意的是，特定技术和方法下，EEG也可以提供婴儿、儿童头皮水平活动之下的神…
QMS-云质-质量软件-How to Handle Customer Complaints in Manufacturing Industry
-云质QMS原创文章，转载请注明来源- Why Customer Complains? No matter how great your products, you can’t please everyone. Customer complaints are a normal part of any business.
Customer complaints are inevitable, no matter how streamlined your b…
电商数据查询平台：母婴行业妈妈用品全网热销，头部品牌格局初现
以往，奶粉、纸尿裤这类产品基本就代表了整体母婴市场中的消费品。而如今，随着母婴行业的高速发展和消费升级，母婴商品的种类日益丰富，需求也不断深入。 在京东平台，母婴大品类中除了包含婴童相关的食品（奶粉…
浅谈ERP数据的重要性
影响一个ERP项目的因素有很多，数据无疑是其中很重要的一项,正所谓“正确的诊断源于准确的信息，准确的信息基于可靠的采集”，当我们抓住数据这个根基，大处着眼，小处着手的时候，我们距离ERP成功的日子就不会太…
如何用实在RPA快速调用AI能力？
前文:黛玉只就宝玉手中看了一看，便问道：“还是单送我一人的，还是别的姑娘们都有呢?”周瑞家的道：“各位都有了，这两支是姑娘的了。”
Al续写：黛玉却想道：“我如今是个孤女，他们送的…
星球年度汇总-基金持仓前十股票分析工具-更新1
量化交易是一个多技术综合的项目，学习完书籍《Python股票量化交易从入门到实践》我们提供了升级的学习内容——知识星球《玩转股票量化交易》在星球中我们深入分享包括Python、爬虫、数据分析、可视化、人工智能、股票策略等各种与股票量化交易相关的内容࿰…
生物信息学 | 借助 AI 更高效地开启研究
生物信息学 (Bioinformatics) 是指利用应用数学、信息学、统计学和计算机科学的方法，研究生物学问题。 随着计算机科学技术的发展，AI 在解决复杂又颇具挑战的生物学研究问题方面，显露出极大的优势，进一步加速了传统研究范式的转变…
学习数据挖掘的最佳路径是什么？
上一节中，我给你分享了数据分析的全景图，其中最关键的部分就是数据挖掘，那什么是数据挖掘呢？
想象一下，茫茫的大海上，孤零零地屹立着钻井，想要从大海中开采出宝贵的石油。
对于普通人来说&…
利用大数据分析，提升app广告变现的方法
在当今信息化时代，越来越多的APP开始将大数据技术应用于广告变现。通过利用大数据分析用户数据和行为，我们可以更好地了解用户的需求和兴趣，从而实现广告投放的精准化和高效性。
本文将从大数据驱动下APP广告变现的角度出发，深…
《可穿戴监测中的数据质量评估》阅读笔记
目录 一、论文摘要
二、论文十问
三、论文亮点与不足之处
四、与其他研究的比较
五、实际应用与影响
六、个人思考与启示
参考文献 一、论文摘要
从手腕捕获的神经生理信号的可穿戴记录为癫痫监测提供了巨大的潜力。然而，数据质量仍然是影响数据可靠性的最具…
Protein Cell：基于R语言的微生物组数据挖掘最佳流程（大众评审截止14号晚6点）...
Protein & Cell综述：基于R语言的微生物组数据挖掘的最佳流程 近日，中国农业科学院刘永鑫组联合南京农业大学袁军组在国际期刊 Protein & Cell (IF 15.3) 发表了题为”“The best practice for microbiome analysis using R”的综述论文…
我用wxPython搭建GUI量化系统之财务选股工具与股票行情界面切换
前言
当我们在选股小工具上一顿操作之后，依据财务指标选出了若干值心仪的股票，下一步是不是该观察下这几只股票的走势了！！！
我们已经分别制作了“多股票行情界面”和“财务指标选股界面”，于是我们通过wx…
python爬虫教程——科研向
引言
在科研中，有时需要爬取网站上的文本数据，用于统计分析，或是制作机器学习所用的数据集。
举个例子，假如我们需要在世界野生鸟类声音网XenoCanto中，爬取网站上的鸟类声音标签信息，如下图所示ÿ…
AI时代来临，如何把握住文档处理及数据分析的机遇
AI时代来临，如何把握住文档处理及数据分析的机遇前言一、生成式人工智能与元宇宙二、面向图像文档的复杂结构建模研究三、大型语言模型的关键技术和实现ChatGPT 介绍ChatGPT的三个关键技术四、ChatGPT与文档处理未来总结前言
在3月18日，由中国图象图形协…
Data Mining_聚类分析分类器关联规则回归分析 (Python)
Data mining
一种从大量数据中提取知识的过程，它涉及到统计学、机器学习和人工智能等多个领域。 它通常使用计算机程序来分析数据，发现潜在的关系或规则，并产生有用的信息。
常见技术
包括：
聚类分析、分类器、关联规则挖掘回…
数据科学家赚多少？数据全分析与可视化 ⛵
💡 作者：韩信子ShowMeAI 📘 数据分析实战系列：https://www.showmeai.tech/tutorials/40 📘 AI 岗位&攻略系列：https://www.showmeai.tech/tutorials/47 📘 本文地址：https://www…
R语言使用rpart包拟合随机森林回归模型：使用predict函数和训练好的模型进行预测推理、计算回归模型的评估指标MAE、MSE、RMSE
R语言使用rpart包拟合随机森林回归模型：使用predict函数和训练好的模型进行预测推理、计算回归模型的评估指标MAE、MSE、RMSE 目录
机器学习之SVM分类器介绍——核函数、SVM分类器的使用
系类文章目录
机器学习算法——KD树算法介绍以及案例介绍
机器学习的一些常见算法介绍【线性回归，岭回归，套索回归，弹性网络】
文章目录
一、SVM支持向量机介绍
1.1、SVM介绍
1.2、几种核函数简介
a、sigmoid核函数 b、非线性SVM与核函…
电商平台商品数据爬虫分析（test阶段可对接测试）
1.简单说明
京东，淘宝，天猫，，淘特，拼多多，阿里巴巴，1688，抖音，苏宁，亚马逊中国 ，lazada，速卖通等全球50多个知名平台抓取数据&#x…
干货分享 | 如何在业余时间学习数据分析？
从社会学背景的数分小白到独揽公司市场部的数据分析，和大家简单分享我的数据分析升级打怪之路。
简单说就是两点【培养数据分析思维】【提升数据分析技能】 思维的培养主要靠书籍和课程 以下是一些对我影响较大的书籍，按照【入门、进阶、高阶】简单做了…
电子厂房照明的设计与应用
摘 要：本文基于节能视角对工业厂房的照明设计特点、高效照明装置节能产品选用及电气优化设计进行了分析探讨，具有较强的指导性和价值性，供借鉴参考。
关键词：节能；工业厂房；照明设计；特点&…
我用wxPython搭建GUI量化系统之财务选股工具添加日历和排序
前言
上一期我们构建了一个GUI版上市公司财务数据选股工具。通过这个工具，我们可以根据换手率、量比、市盈率、市净率、市销率、股息率、总股本、流通股本、自由流通股本、总市值、流通市值等指标来筛选更有前景的股票。
上一期我们提示大家说表格中间有挺多NaN数…
描述统计 | 学习笔记 (全)
一.导论
统计学是通过收集，整理，分析，描述数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。其目的是探索数据的内在数量规律性，以达到对客观事物的科学认识
统计的本业是消化数据…
万字长文 - Nature 综述系列 - 给生物学家的机器学习指南 1
生物数据的规模不断扩大和固有复杂性促使越来越多的人在生物学中使用机器学习来构建相关生物过程的信息和预测模型。所有机器学习技术都是把数据拟合到模型，然而，具体方法千差万别，乍一看似乎令人困惑。在这篇综述中，我们旨在向读…
欧几里得度量和余弦度量的可取消生物识别方案
欧几里得度量和余弦度量的可取消生物识别方案 便捷的生物识别数据是一把双刃剑，在为生物识别认证系统的繁荣铺平道路的同时，也带来了个人隐私问题。为了缓解这种担忧，提出了各种生物特征模板保护方案来保护生物特征模板免于信息泄露。现有提案…
使用python实现葡萄酒威士忌风味特征分类
聚类威士忌
目的和描述：苏格兰威士忌因其复杂性和多样化的风味而备受推崇。据信，生产它的苏格兰地区具有独特的风味特征。在本案例研究中，我们将根据苏格兰威士忌的风味特征对其进行分类。我们将使用的数据集包含来自几个酿酒厂的精选苏格兰威士忌，我们将尝试将威士忌聚类…
数据挖掘，计算机网络、操作系统刷题笔记48
数据挖掘，计算机网络、操作系统刷题笔记48
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开 测开的话，你就得学数据库，sql，orac…
医学生考研考博太卷，一篇文章轻松助力上岸——生物信息学及R语言基础知识之向量的运算（二）
考研考博太卷了，卷不过，想没想过本科发一篇文章呢？
330分考研人淘汰390分考研人这个故事，大家应该都知道吧。
本专栏带你六个月内，搞定一篇文章，本科生发文章也很容易。
在卷考研的同时，再卷一篇SCI，你就是新一任卷王。 本专栏教你不用花钱发一篇生信文章，从三个方…
企业信息化战略与实施(五) 练习题
第一题
商业智能是指利用数据挖掘、知识发现等技术分析和挖掘结构化的、面向特定领域的存储与数据仓库信息。它可以帮助用户认清发展趋势、获取决策支持并得出结论。以下（1）活动，并不属于商业智能范畴。
（1）A. 某大型…
我用wxPython搭建GUI量化系统之Pandas特性的财务选股工具
前言
股票分析中选股是很重要的一个环节，对于大多数股民来说，除了根据股价走势来选股之外，也会加入一些基本面选股的条件，比如换手率、量比、市盈率、市净率、市销率、股息率、总股本、流通股本、自由流通股本、总市值、流通市值…
数据分析与SAS学习笔记5
DATALINES语句：
相当于CARS语句；
该语句必须是数据步的最后一条语句；
MISSOVER处理； DATA TEMP;
INFILE DATALINES MISSOVER;
INPUT X Y Z;
DATALINES;
1 10 100
2 20
3 30 300
;
PROC PRINT;
RUN; 代码说明：
1&am…
我用wxPython搭建GUI量化系统之wx.TextCtrl实现文本框
通常文本框是GUI中最常见的控件，不仅可以显示文本，还能收集用户使用键盘键入的文本内容。
在wxPython中文本框为wx.TextCtrl类，该类可以显示和编辑文本。 TextCtrl类的构造函数形式如下 ：
wx.TextCtrl(self, parentNone, idNone…
我用wxPython搭建GUI量化系统之wx.Toolbar实现工具栏
本文介绍下如何在量化小工具上添加wxPython的工具栏Toolbar。
工具栏包括文本文字说明或图标按钮的一个或多个水平条，通常被放置在MenuBar顶层帧的正下方。不同特征的工具按钮可以添加到工具栏。
wx.Toolbar类的创建如下所示：
wx.ToolBar(self, paren…
2023年 MCM美赛 C题 Wordle预测问题 求解！
目录2023年 MCM美赛 C题 Wordle预测问题 求解！问题一读取数据数据预处理数据分析数据变化趋势数据分布数据统计—— 均值、方差、极大极小值....数据相关性回归预测模型——XGBoost评价指标XGBoost 框架使用划分数据集，80% 训练数据和 20% 测试数据使用训…
SQL刷题:从不充钱的游戏玩家
如题 我们可以使用子查询和 NOT IN子句
如果我们有一份曾经订购过的客户名单，就很容易知道谁从未订购过，我们可以使用下面的代码来获得这样的列表：
SELECT customerid FROM orders;然后我们就可以使用NOT IN来查询不在这个列表的客户
SELE…
总结下python的print()格式输出
print（）函数的格式化输出 print(1) 1
print(“Hello World”) Hello World
a 1 b ‘runoob’ print(a,b) #默认是按照空格分割 1 runoob
print(“aaa”“bbb”)，如果输入的是字符串，就没有分隔符 aaabbb print(“aaa”,“bbb…
我用wxPython搭建GUI量化系统之wx.grid实现excel功能
在数据分析中少不了会使用到像excel一样的表格来显示和编辑数据。
本节我们介绍下wx.grid.Grid的使用。
首先我们跑一个关于wx.grid.Grid测试的例程，看看整体的显示效果。
class GridFrame(wx.Frame):def __init__(self, parent):wx.Frame.__init__(self, parent…
【数据挖掘实战】——家用电器用户行为分析及事件识别(BP神经网络)
项目地址：Datamining_project: 数据挖掘实战项目代码
目录
一、背景和挖掘目标
1、问题背景
2、原始数据
3、挖掘目标
二、分析方法与过程
1、初步分析
2、总体流程
第一步：数据抽取
第二步：探索分析
第三步：数据的预处…
数据仓库之建模理论以及仓库设计思想
1、数据仓库
1.1、数据仓库概述
数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数…
大学计算机专业 学习Python学习路线图（最新版）
这是我刚开始学习python时的一套学习路线，从入门到上手。（不敢说精通，哈哈~）
希望对大家有帮助哈~
大家需要高清得完整python学习路线可以
一、Python入门、环境搭建、变量、数据类型 二、数据库编程 三、Linux系统 四、网页编…
数据可视化 - 派可数据商业智能BI可视化分析平台
有一点可能很多人没有想到，实际上商业智能BI的相关概念已经有了数十年的发展历史。在这段发展过程中，商业智能BI形成了一套成熟的理论和产品体系，并且在现代的信息化、数字化加成下，成为了各行各业企业的成熟产品。
一、商业智能…
2023年京东618预售数据：传统滋补成预售黑马，预售额超27亿
这一期主要分享一下此次京东618预售期间的一个黑马行业——传统滋补。不管是从预售量和预售额来看，传统滋补品类的成绩都是此次大促中的佼佼者。 究其原因，近几年养生滋补也掀起了一股“国潮风”。在小红书、抖音等社交平台上，关于“健康养生…
读书笔记--数据治理之术
继延续上一篇文章，对数据治理之术进行学习思考，这部分内容是本书整体内容的核心细节，内容比较多比较杂，通读了好长时间才动手总结整理，因此更新的慢了一些。数据治理之术是操作层面的技术或方法，数据治理相…
数据分析应该怎么做？
一、常见的数据分析报告类型
数据分析报告通常可以分为三类：日常分析报告、专题型分析报告和综合性分析报告。前两者是以数据结论建议的格式去撰写，综合性分析报告则是：行业环境调研（竞品类产品数据分析）自身产品数据…
一个用于Allen脑图谱基因数据的工具箱|abagen详细使用教程-获取基于脑区的基因表达矩阵（脑区*gene）
艾伦人类脑图谱（Allen Human Brain Atlas）
艾伦人类脑图谱是一个由艾伦脑科学研究所(Allen Institute for Brain Science)开发的在线基因表达图谱数据库，旨在提供人类大脑各个区域的细胞类型和基因表达信息。这个数据库包含了人类全基因组微…
机器学习｜数学建模｜数据挖掘｜Data Mining｜无监督分类算法｜聚类分析
2022-12-20 14:43:58 什么是聚类分析？
聚类分析中的数据类型
主要聚类分析方法分类
划分方法(Partitioning Methods)
分层方法
基于密度的方法
基于表格的方法
基于模型的方法
异常分析
总结 目录
一、预备知识
二、聚…
通过API接口获取下来的数据需要怎样才能应用
获取到API接口下来的数据之后，为了能够在自己的项目或应用中进行应用开发，需要进行一些必要的数据处理和解析，主要包括以下几个方面：
数据格式解析：数据获取下来通常是以JSON或XML等格式进行返回的，需要对…
用Python做数据分析有哪些优势？
众所周知，可以用作数据分析的语言有很多，包含Python、R语言等，而且Python被誉为数据分析的一大利器，更是该领域的首选语言，那么用Python做数据分析有哪些优势呢?跟着蛋糕往下看。
第一、Python语言自身的优势
Pytho…
人工智能技术发展呈现高科技化和数字化发展 成为重要推动力
人工智能作为引领科技革命的重要驱动力，已经越来越成为国家战略规划和行业瞩目的热点，并且基于现代的科技发展，众多智能科技新兴产物应运而生，数字虚拟学生清华华智冰就是一个很好的例子，它的出色表现也成功的引起了众…
人工智能已被证明在破译古代人类语言方面非常有效 探索动物语言是合理的
你看过《忠犬八公的故事》吗？ 这部评分很高的电影，完美诠释了秋田犬小八和主人公帕克之间的情谊。小八每天都想方设法去车站等已故的主人，风雨无阻，一等就是十年。还有不少优秀的影视作品都反映了同一个主题：人和动物的…
易基因-MeRIP-seq揭示衰老和神经变性过程中m6A RNA甲基化修饰的保守下调机制
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。2023年02月22日，《美国国家科学院院刊》(Proc Natl Acad Sci USA)期刊发表了题为“Conserved reduction of m6A RNA modifications during aging and neurodegeneration is lin…
数据挖掘-3.Pandas基础
文章目录Pandas基础学习目标1Pandas介绍学习目标1 Pandas介绍2 为什么使用Pandas3 小结2 Pandas数据结构学习目标1.Series1.1 Series的创建1.2 Series的属性2.DataFrame2.1 DataFrame的创建2.2 DataFrame的属性2.3 DatatFrame索引的设置2.3.1 修改行列索引值2.3.2 重设索引2.3.…
数据挖掘-2.Numpy
文章目录1.Numpy优势学习目标1 Numpy介绍2 ndarray介绍3 ndarray与Python原生list运算效率对比4 ndarray的优势4.1 内存块风格4.2 ndarray支持并行化运算（向量化运算）4.3 效率远高于纯Python代码5 小结2 N维数组-ndarray学习目标1 ndarray的属性2 ndarra…
Class 09 - Data Frame和查看数据
Class 09 - Data Frame和查看数据 DataFrametibbleshead()str()colnames()mutate()创建 Dataframe DataFrame
在我们开始做数据清洗或者检查数据是否存在偏差之前，我们需要先将我们的数据转换成合适的格式方便我们做后续的处理。
这就要说到DataFrame了。因为他很…
ML@二分类中的评价指标@ROC@F-Score@调和均值
文章目录ROC曲线例混淆矩阵误差矩阵混淆表🎈Youdens J statisticF-scoreF1F_1F1FβF_βFβ score🎈调和平均数直观解释和例子ROC曲线
Receiver operating characteristic - Wikipedia 在信号检测理论中，接收者操作特征曲线，或…
【爬虫第三章】 Python基础
预计更新一、 爬虫技术概述 1.1 什么是爬虫技术 1.2 爬虫技术的应用领域 1.3 爬虫技术的工作原理
二、 网络协议和HTTP协议 2.1 网络协议概述 2.2 HTTP协议介绍 2.3 HTTP请求和响应
三、 Python基础 3.1 Python语言概述 3.2 Python的基本数据类型 3.3 Python的流程控制语句 3…
互联网数据挖掘与分析讲解
一、定义
数据挖掘（英语：Data mining），又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数…
【快手API】根据ID取商品详情 API 返回值说明
item_get-根据ID取商品详情
开发背景：
快手是一家中国领先的短视频社交平台，拥有亿级用户规模。为了提升快手平台的商业化能力，快手推出了“快手电商”服务，让商家可以在快手平台上开店、卖货，以及通过快手直播等方式…
数据挖掘-FINAL笔记
FINAL笔记
2023-06-27 10:25 缺失值填充：data = Imputer(missing_values=‘NaN’, strategy=‘mean’, axis=0) 或fillna
2023-06-27 10:48 散点图：plt.scatter(iris.data[iris.targetlabel,x_index],iris.data[iris.tar getlabel,y_index],label=iris.target_names[label]…
机器学习：图文详解层次聚类AGNES算法(附Python实现)
目录0 写在前面1 层次聚类2 簇间距离度量3 AGNES算法4 Python实现4.1 初始化4.2 合并最近的两个簇4.3 更新距离矩阵4.4 可视化0 写在前面
机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广…
数学建模-回归分析（Stata）
注意：代码文件仅供参考，一定不要直接用于自己的数模论文中国赛对于论文的查重要求非常严格，代码雷同也算作抄袭 如何修改代码避免查重的方法：https://www.bilibili.com/video/av59423231 //清风数学建模 一、基础知识
1.简介
…
数据挖掘 and 生物信息学之旅
目录 前言：
生物信息学历史
生物信息学主要应用
数据挖掘和生物信息学的关系 前言：
🎇我的生物信息学之旅始于一位导师的指引。在这之前，我对这门学科抱有很大的偏见，认为实验生物学才是正统，而生物信息…
基于蚁群算法的时间窗口路径优化
目录
背影 蚁群算法的原理及步骤 基本定义 编程思路 适应度函数 算法的规则 特点 主要参数 代码 结果分析 展望
背影
现代物流配送对时间要求更高，是否及时配送是配送是否成功的重要指标，本文对路径优化加时间窗口，实现基于蚁群算法的时间窗口路径优化，
蚁群算法
基本…
电视剧《狂飙》数据分析，正片有效播放市场占有率达65.7%
哈喽大家好，春节已经过去了，朋友们也都陆陆续续开工了，小编在这里祝大家开工大吉！春节期间，一大批电视剧和网剧上映播出，其中电视剧《狂飙》以不可阻挡之势成功成为“开年剧王”。这里小编整理了一些《狂飙…
我是如何转岗成为数据分析师？
Datawhale干货 作者：孟禹，数据分析师，Datawhale邀约作者笔者背景介绍：工作5年半，前4年在K12在线教育负责教研和用户转化，21年双减之后跳槽到一家新消费品牌公司做数据分析师，跨了行转了岗。现在…
数据挖掘：心脏病预测(测评指标；EDA)
目录
一、前期准备
二、实战演练
2.1分类指标评价计算示例 2.2数据探索性分析（EDA）
2.2.1 导入函数工具箱
2.2.2 查看数据信息等相关数据
判断数据缺失和异常
数字特征相互之间的关系可视化 类别特征分析（箱图，小提琴图&am…
人工智能不是毫无思想基础和理论基础便横空出世的技术领域
人工智能当然不是毫无思想基础和理论基础便横空出世的技术领域，它前承计算机、逻辑学、数学、信息论、控制论、神经网络、心理学等领域的研究成果，目标是让计算机完成人类心智（后来也包括自然生物）所能做的事情，致力于…
科学幻想其实是对科学研究的发展方向起到很好的引领作用
InfoQ：首先请王老师分享下您为什么会尤为关注科幻电影？ 王元卓：我相信很多的网友朋友们都非常喜欢看电影，尤其是一些画面宏大、故事情节吸引人、大开脑洞的场景，往往是这样的一些科幻电影特别能够吸引我们的关注&#…
数据分析项目-环境准备（jupyter notebook）
开发语言：Python
工具：anaconda
开头先介绍一下anaconda自带的一款工具jupyter notebook
用途：将代码、文档、可视化内容全都集中到一个文档中。常用于数据分析、机器学习领域。
支持的语言:python、Java、c、c、c#、go等。
使用&#x…
educoder 数据挖掘算法原理与实践：决策树
第1关：决策树算法思想
1 AB
2 B第2关：决策树算法原理
import numpy as npdef calcInfoGain(feature, label, index):计算信息增益:param feature:测试用例中字典里的feature，类型为ndarray:param label:测试用例中字典里的label，…
AI大模型相当于“超级大脑”，正成为人工智能“新高地”
AI大模型有望实现人工智能从感知到认知的跃迁，重新定义人工智能产业模式和产业标准，给部分产业带来重大变革。我国有较大的AI大模型应用市场，但发展过程中面临部分技术薄弱、人才稀缺、成本高昂等多重挑战，亟须对相关技术研发和产…
![[数据挖掘02] pandas的分配和聚合函数（1）](https://img-blog.csdnimg.cn/86d3e0a69b9a45018f7d0f34d72d0fe9.png)
[数据挖掘02] pandas的分配和聚合函数（1）
一 说明 窗口函数是什么？窗口函数是时间序列的局部属性处理函数，比如，一维卷积滤波、移动平均、指数平均本篇我们将针对pandas对象的窗口函数展开讨论，并以示例展示他们的概念实质。 二 窗口函数、分组函数（ GroupBy …
dsdgen命令 的用法，定义，命令参数详解，以及使用案例
当下随着数据量不断增长，数据仓库的性能和扩展性成为了关键的课题。为了解决这一问题，需要对数据仓库进行性能测试。TPC-DS(Test Performance Council Decision Support)是一款用于数据仓库基准测试的测试套件，包含了针对数据仓库的45种负载。…
复杂的HANASQL 多行并入一行
点击蓝字 关注我们 一 前言 基于HANA的内存数据库的强大性能, SAP建议把业务逻辑下沉到HANA中计算.以便减去应用服务器的负担,让程序性能更好一些. SAP本身的一些复杂的业务逻辑比如MRP运算(MD01)也有了新的事务 MD01N (MRP LIVE) 报表类的数据分析程序尤其适用. 动态报表强化了…
信息化给企业带来的好处
<iframe align"top" marginwidth"0" marginheight"0" src"http://www.zealware.com/46860.html" frameborder"0" width"468" scrolling"no" height"60"></iframe>原始手工方式记…
SQL刷题：查询返回符合条件的结果
如题 解答
方法一：使用WHERE子句和OR逻辑判断
根据定义，满足下面的其中一个条件： 条件1：面积超过300万 条件2：人口超过2500万 先使用下面语句获得满足条件1的大国家：
SELECT name, population, area FRO…
“对立论”主要着眼于人工智能技术与人类权利和福祉之间的对立冲突
国外在大力推动人工智能技术和产业发展的同时，高度重视人工智能的安全、健康发展，并将伦理治理纳入其人工智能战略，体现了发展与伦理安全并重的基本原则。 国家高度重视科技创新领域的法治建设问题，强调“要积极推进国家安全、…
人工智能指示未来方向 科学普及需要全民化
InfoQ：在科研的角度来看，目前电影里哪些场景实际已经实现了，而哪些场景可能会在未来现实生活中实现？ 王元卓：以《阿凡达》为例说一下，在电影中，我想大家还记得那棵灵魂树，它可以…
Salaf人工智能艺术作品解读，探索元宇宙数字内容创作技巧
知识库艺术家和科学家正在探索超人类主义、数字文化和身份…… 他们之间的技能正在互相融合……我们可以从#CVPR 2021 计算机视觉艺术画廊中看到这一趋势……Computer Vision Art Gallery今年收录了来自世界各地的 63 件作品，根据技术新颖性、美学价值或概念强度…
excel不行怎么办，大数据可视化分析还是这个行
大数据可视化分析怎么做。那肯定要用大数据可视化分析工具了。在大数据可视化分析中好用的工具有很多，譬如BI、R或者Python。
其中R和Python需要有一定的代码基础，因而不适合大多数人使用在此就不过多赘述。
同时还有人寻求excel的帮助：EXC…
数据运营是什么，怎么做，在哪做
数据运营也是在公司的常常被领导提到的词了，开个会就会提到我们要用数据驱动运营，但是真的工作执行起来该怎么做呢？那么今天就给跟大家谈谈说数据运营究竟是什么，怎么做，在哪做。 数据运营是什么
数据运营，…
最香的人工智能职业 是啥？| 附带入门 Tips
人工智能包含的内容很丰富，常见的学习内容包括数学、编程、计算机数据结构、算法、推荐系统、cv（计算机视觉）、nlp（自然语言处理）、数据分析、数据可视化等等...人工智能职业没有最香，只有更香，…
agg函数加入进度条
在panda之中，我们经常需要使用到agg函数来将pandas之中的某几列聚合起来
from tqdm import tqdm
import pandas as pd
import numpy as np
df pd.DataFrame({"A":[1.0, 2.0, 3.0, 1.0, 2.0, 3.0, 1.0, 2.0, 3.0], "B":[1.0, 1.0, 1.0, 2.0, 2…
商业智能中数据挖掘的应用
商业智能的发展，顺应了大数据时代高速发展的风口。商业智能在企业中的应用也越来越广泛，传统的企业竞争也从工艺转变成了信息的竞争。在这其中，数据挖掘起到了举足轻重的作用，数据挖掘的强弱，决定着企业掌握数据的多少…
转型、自助、移动—BI市场的应用盘点
近几年是数据应用快速增长而又动荡的一年。由于投资热带来的一波2B产业高潮，围绕数据业务的产品层出不穷，无论是通用型的可视化工具，还是带有业务属性的分析产品。 商业智能BI作为一个曾经先于大数据的企业数据解决方案，在经历了互…
educoder 决策树的构造
第1关：决策树简介
"""
Parameters:dataSet - 训练数据集labels - 分类属性标签featLabels - 存储选择的最优特征标签
Returns:myTree - 决策树
"""
# 函数说明:创建决策树
def createTree(dataSet, labels, featLabels):###########…
强人工智能指人可能会被人工智能取代或者会被人工智能威胁
而所谓强人工智能，指的是未来有一天我们的生活当中充斥着大量的人工智能，人可能会被人工智能取代或者会被人工智能威胁等。我觉得这些未来也许会出现，但可能不是我们现阶段作为科研工作者去考虑的。 InfoQ：在《钢铁侠》中…
【读书笔记-＞数据分析】01 BDA数据分析导论
数据分析导论
介绍 章节内容 数据的概念、分类、价值以及数据分析的方法、步骤与工具等方面 考试内容 数据及其分类 （1） 数据的基本概念 （2） 数据的分类数据的价值与获取 （1） 样本数据的价值与获取 &#…
【读书笔记-＞数据分析】BDA教材《数据分析》书籍介绍
BDA教材《数据分析》书籍介绍
BDA
BDA数据分析职业技能等级。
旨在培养基于数据分析理论、计算机技术以及行业案例应用“三维一体”的大数据分析人才。培养数据管理、数据分析、数据挖掘、数据洞察方面的复合型和应用型专业人才。
BDA数据分析师证书分为员级、初级、中级和…
目前人工智能处在什么阶段以及有哪些应用场景
第二个科幻电影是《阿凡达》。我们通过它来讲解脑机接口、异体控制、群体智能等科学知识； 第三个科幻电影是《头号玩家》。如果对科技关注很多朋友们会发现现在元宇宙在网上非常多的热评，什么是元宇宙？ 其实《头号玩家》中通过技术游戏化的手…
文艺产业在人工智能赋能之下，催生出了新的样貌
科技的飞速发展，影响着社会经济与文化事业的演进模式。文艺产业在人工智能赋能之下，催生出了新的样貌、新的业态、新的场域，“人工智能文化产业”的新格局已成雏形。网络文学、网络音乐、网络动漫、网络戏剧、网络影视、网络游戏、短视频、弹…
超大智能模型将成为人工智能发展战略基础设施
研发出我国首个万亿级参数的超大规模智能模型“悟道”，首次实现基于相变存储器的神经网络高速训练系统，运营汇集全球超10万AI科研及技术人员的学术社区……这些人工智能领域的瞩目成就，由一个成立仅三年的年轻研究院所创造，也折射…
区块链技术助力医学技术领域下一战略布局
本项研究成果有效解决了数据样本量小和数据浪费等问题，但仍对标注数量及质量有很高要求。为了建立可跨专科自动分割识别医学图像的结构化技术，有必要纳入更多疾病学科医学数据，从而实现医学人工智能“乐高”计划在其他疾病学科的推广应用。然…
educoder 数据挖掘算法原理与实践：数据预处理
第1关：标准化
# -*- coding: utf-8 -*-from sklearn.preprocessing import scale,MaxAbsScaler,MinMaxScaler#实现数据预处理方法
def Preprocessing(x,y):x(ndarray):处理 数据y(str):y等于z_score使用z_score方法y等于minmax使用MinMaxScaler方法y等于maxabs使用…
论文学习——时间序列的距离模式
文章目录1 摘要2 引言2.1 举个例子3 文章核心点4 时间序列的模式表示5 实验5.1 变换一下分段数6 结语写在前面：《时间序列的模式距离》；《浙江大学学报（工学版）； 2004年7月发表；》 1 摘要
基于时间序列的分…
【数据挖掘】时间序列模型处理指南（一）
一、说明 序模型是一组按时间排序的数据点，用于预测未来。以下是您需要了解的所有信息。
无论我们希望预测金融市场趋势还是电力消耗，时间都是我们的模型中必须考虑的重要因素。例如，预测电力消耗高峰的时间会很有趣。这对于调整电价或电力生产可能很有用。
二、什么是时序…
机器学习——房屋价格预测【回归问题】
机器学习——房屋价格预测【回归问题】
1. 导工具包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings(ignore) #过滤所有警告2. 读取数据
# 读取数据集
train pd.read_csv("…
初学数据挖掘——数据探索（七）：python中主要的数据探索函数之常用统计特征函数
前面已经提过：python中主要用于数据探索的库是pandas（数据分析）和matplotlib（数据可视化）。
了解详情可见：Python中的数据可视化工具与方法——常用的数据分析包numpy、pandas、statistics的理解实现和可视…
RFM分析-用户价值细分的精准运营方法
对用户群体进行价值细分，哪些是重要用户，哪些是要重点挽留的用户，对不同价值区的用户制定不同的营销方案，从而进行精准运营，这是进行RFM分析的意义。今天来聊一聊用Excel进行RFM分析的方法。一、RFM分析的定义01 定义R…
初学数据挖掘——数据探索（六）：数据特征分析之相关性分析
相关性分析即分析连续变量之间线性相关程度的强弱，并用合适的统计量或统计图表示出来的过程。
如现在想要分析得到不同菜品之间的相关关系，则可以通过分析这些菜品日销售量之间的相关性来得到。
代码如下：
#导入相关包
from __future__ im…
Live800：在线客服系统解决客服效率难题，让服务效率升级
互联网时代的到来给客服赋予了更多的职能，从简单的客户服务升级为集营销、市场、服务等多种角色，这种职能上的转变让客服部门由原来的附属部门变成核心部门，直接影响企业效益，提升客服工作效率刻不容缓。
俗话说"工欲善其事…
《斯坦福数据挖掘教程·第三版》读书笔记（英文版） Chapter 2 MapReduce and the New Software Stack
来源：《斯坦福数据挖掘教程第三版》对应的公开英文书和PPT
Chapter 2 MapReduce and the New Software Stack
Computing cluster means large collections of commodity hardware, including conventional processors (“compute nodes”) connected by Ethernet …
武汉人工智能计算中心可支持重大AI应用的模型训练及推理
正所谓“近水楼台先得月”，武汉人工智能计算中心除了为政企提供AI赋能外，还助力大学与科研机构完成重大国家级项目研究。比如武汉大学承担的“大规模遥感影像样本库构建及开源遥感深度网络框架模型研究”项目，基于武汉人工智能计算中心提供的…
2023天猫纸品数据：抽纸销额高达25亿，湿厕纸为重点增长类目
如今，纸巾早已成为人们日常生活的必需品。作为刚需物品，纸巾的产品形态呈现多元化、细分化趋势，其市场规模也比较庞大。 根据鲸参谋电商数据分析平台的相关数据显示，今年1月至4月，天猫平台上纸巾行业大盘的销量超过1.6…
阿语Python项目实操之美多后台管理-商品管理之SPU表管理第5.2.1节查询获取SPU表列表数据...
查询获取SPU表列表数据在获取sku数据时，我们在请求中包含了查询关键keyword，这时我么就需要对keyword进行判断，来返回不同的查询数据接口分析请求方式：GET /meiduo_admin/goods/?keyword<名称|副标题>&page<页码>…
怎么设置增加ttkefu的客户分类
我们在进行客户记录的时候会发现有的客户不符合之前的的分类，需要添加新的客户分类，ttkefu可以自己添加客户分类吗？这个当然是可以的。下面小编就来给您介绍一下如何增加客户分类。 首先需要您登录ttkefu电脑版，点击【小记】-【配…
为什么要进行数据决策？数据决策对企业而言有何重要意义？
“大数据”几乎已成为时下最时髦的词汇，不夸张地说，当今各行各业无不对大数据充满了向往，希望自己在新一轮的大数据营销中抢占先机。同时，从大数据中引申出的数据挖掘、数据分析、数据安全等数据运用技术也成为人们热捧的焦点。
…
python网络爬虫自学笔录3_requests实例
（1）淘宝页面源代码爬取 这是一个需要爬取的淘宝页面，使用下面代码
import requests
r requests.get(https://detail.tmall.com/item.htm?id627546383438&ali_refida3_430406_1007:1368730053:J:327892881_0_1410706680:8b2f96b85a2366…
星球年度汇总-爬虫获取基金持仓明细(附GUI可拿来就用}
量化交易是一个多技术综合的项目，学习完书籍《Python股票量化交易从入门到实践》我们提供了升级的学习内容——知识星球《玩转股票量化交易》在星球中我们深入分享包括Python、爬虫、数据分析、可视化、人工智能、股票策略等各种与股票量化交易相关的内容࿰…
全球范围内的数字化时代，挑战和价值有哪些？
近年来，数字经济的发展趋势越来越明显，尤其是随着疫情的影响，加速了传统产业向数字化、网络化和智能化产业的转型和升级。全球数字经济规模不断扩大，体量连年增长，根据中国信息通信研究院报告显示，2019年全…
无效数据处理攻略： 如何从源头开始预防无效数据带来的风险
数据处理在现代社会中变得越来越重要，而对于数据的可靠性和准确性，我们始终非常关注。然而，即使在对数据进行了精心管理的情况下，无效数据依然可能存在，并可能对数据分析和决策带来不良影响。因此，处理无效…
基于支持向量机SVM的风电场NWP数据预测，SVM的详细原理
目录
支持向量机SVM的详细原理 SVM的定义 SVM理论 Libsvm工具箱详解 简介 参数说明 易错及常见问题 SVM应用实例，基于SVM的风电场NWP预测 结果分析 展望
支持向量机SVM的详细原理
SVM的定义
支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定…
全国大学生数据统计与分析竞赛2021年【本科组】-B题：战胜市场: 应用基于熵权平衡的 CatBoost 二分类模型和改进 RFM 用户价值模型
目录
摘要
1 引言
1.1 问题描述
1.2 我们的思考
1.3 本文主要工作与创新点
2 模型假设
机器学习基础知识之预测性能评价指标
文章目录 预测性能评价思路1、均方误差（Mean Square Error，MSE）2、均方根误差（Root Mean Square Error，RMSE）3、平均绝对误差（Mean Absolute Error，MAE）4、平均绝对百分比…
书籍《Python股票量化交易从入门到实践》学习进阶路线
学习路线说明 量化交易是一个多技术综合的项目，以下是我们为读者打造的学习进阶路线！！！
书籍
购书读者赠送股票量化分析工具v1.0版。工具由书中知识点组合而成，实现了包括选股、行情、回测三个功能。额外使用wxPyth…
ARMA，ARIMA，SARIMA时序数据预测（附代码讲解）
1 背景
1.1 AR模型
AutoRegress,AR，自回归模型,描述当前值和历史数据的关系，利用历史数据进行预测。AR模型必须满足平稳性。p阶自回归方程的定义为： ytu∑i1priyt−iϵty_tu\sum_{i1}^{p}r_iy_{t-i}\epsilon_tytui1∑priyt−iϵt…
初学数据挖掘——数据探索（七）：python中主要的数据探索函数之拓展统计特征函数
pandas库中累积计算统计特征函数：
1、cumsum()
依次给出前1，2，…，n个数的和
2、cumprod()
依次给出前1，2，…，n个数的积
3、cummax()
依次给出前1，2，…，…
京东国际销售数据查询（京东国际行业/品牌数据分析）
根据京东平台官方数据显示，今年京东国际的贡献力度也高于以往。 京东618开门红5分钟，京东国际成交额已突破去年开门红前两小时的成交额，跨境酒水、跨境手机通讯、跨境箱包皮具等3个品类成交额同比增长超100%。，开门5分钟ÿ…
初学数据挖掘——数据探索（四）：数据特征分析之统计量分析
用统计指标对定量数据进行统计分析，常从集中趋势和离中趋势两个方面分析。
一、集中趋势度量
1、均值：所有数的平均数
2、中位数：将一组数据从小到大排序，位于中间的那个数 3、众数：数据集中出现最频繁的值
二、离…
如何从数据分析，实现真正的数据驱动？终于有人讲清楚了
导言
在当今数字化时代，数据已经成为企业发展和决策的重要资源。然而，仅仅拥有大量的数据并不足以推动企业取得成功。真正实现数据驱动需要更多的步骤和关注点。本文将深入探讨数据分析的核心要素，帮助读者理解如何从数据分析中实现真正的数…
Python爬取张家界风景美图
这里利用周末的时间复习了一下关于爬虫的一些基本知识，分别是requests, BeautifulSoup库的基本知识：
如果还有不会的可以去看看这些内容： 参考 requests库
requests实例
Beautiful Soup解析库
大学排行榜爬取
ok，废话不多说&…
初学数据挖掘——数据探索（二）：数据特征分析之分布分析
分布分析
分布分析能揭示数据的分布特征和分布类型。 对于定量数据：可以做出频率分布表、绘制频率分布直方图、绘制茎叶图进行直观分析； 对于定性分析：可以画出饼图和条形图直观的显示其分布情况。
1、定量数据的分布分析
一般步骤&#x…
FREQ 显示频率分布
PROC FREQ DATASASHELP.CLASS;/* 对sex进行频数统计 */TABLES Sex //* 包含缺失值 */MISSING/* 不输出:累积频数 */NOCUM;/* 以sex和age的维度进行频数统计 */TABLES Sex*Age //* 不输出百分比 */NOPERCENT/* 不输出:列百分比 (行百分比 NOROW 频数 NOFREQ) */NOCOL;/* 单变量分…
如何解决企业数字化焦虑？
数据是一种宝贵的战略资源，其潜在价值和增长速度正在改变着人类的工作、生活和思维方式。在未来，各行各业都会积极拥抱大数据，积极探索数据挖掘和分析的新技术、新方法，从而更好地利用大数据。海量的数据规模、快速的数据流转、动…
北京银行：首日上市定位预测(3)
www.eastmoney.com 2007-09-18 09:27 东方财富网资讯部 <script src"http://news2.eastmoney.com/mainjs/content_fun_1.js" type"text/javascript"></script> 【字体: 大 中 小】 【收藏】 【复制网址】 【打印】 中金国际…
初学数据挖掘——数据探索（一）：数据质量分析：缺失值分析、异常值分析（简单统计量、箱型图、）、一致性分析
数据质量分析是数据挖掘中数据准备过程很重要的一个阶段，是数据预处理的前提。
数据质量分析的主要任务是检查原数据中是否存在脏数据。
脏数据： 一般是指不符合要求的以及不能直接进行相应分析的数据。常见的脏数据：缺失值、异常值、不一致…
模式识别 5.聚类 2
就是说，一开始先选择几个初始聚类均值，然后拿样本一个一个比较，哪个聚类离自己近就选哪个，选完一轮后更新新均值，然后继续。 模糊c均值： 聚类检验： Dunn: D-B： 一个是聚类与聚类的距…
今天面字节啦~05.10
每次面试都感觉面试官好温和，每次面试也是对自己的一个检验，感觉自己有所长进，但更有所提升。面试除了紧张之外，还有长长的收获跟对未来的规划。 一、 Q&A
Q1：计网三次握手A1：老话术了——客户端发送请…
BeautifulSoup库的深入探究
使用python123的页面作为例子分析：
import requests
from bs4 import BeautifulSoup
url https://python123.io/ws/demo.html
r requests.get(url)
soup BeautifulSoup(r.text, html.parser)
print(soup.prettify)下面是这个网页标签的输出结果 下面的soup是前…
关于人工智能领域的概念的梳理
一图展示：
这里有做图像处理常用的数据集，当然其他地方也有很多。
机器学习与数据挖掘的关系： 数据挖掘：从海量的数据中找到有用的知识。 它利用机器学习界提供的技术来分析海量数据，利用数据库界提供的技术来管理海…
2023华中杯数学建模A题B题C题思路模型代码
占个位置吧，开始在本帖实时更新华中杯数学建模赛题思路代码，文章末尾获取！
持续为更新参考思路
赛题思路
会持续进行思路模型分析，下自行获取。
A题思路：
（比赛开始后第一时间更新）
B题思…
七分之一在线评论都有假，人工智能救一把？
据目测，评论区是中国文学大师密度比较高，骂人水平比较高和逗逼水准比较高的地方，A站B站还把评论玩成弹幕。 平台型APP因“评论”文化的迥异，体现出别样的审美与趣味，知乎体、爷青回，成为“时髦”的暗号。 在…
C++语言亚马逊国际获取AMAZON商品详情 API接口（
跨境电子商务是一种全新的互联网电商模式，运用电子化方式促成线上跨境交易，利用跨境物流运送商品，有利于打破传统的贸易格局，成为新的经济增长点。对我国来说，跨境电商平台正用一种全新的力量改变我国产业链的结构&…
Python的print函数怎么覆盖打印
覆盖打印就是让每一次的print之后，让光标回到本行行首
因为print函数是默认输出之后光标调到下一行 例子： 如果我不想让它调到下一行： 例子： 如果想覆盖打印，让光标回到行首 例子：
为什么我否决了90%的建模需求？
这是傅一平的第346篇原创【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘交流群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。正文开…
AI发现铜牌选手比拿银牌的更容易笑
程序员求职简历，项目经验怎么写？免费修改简历、提供模板并内部推荐2020东京奥运会圆满结束了，在疫情笼罩下的地球顺利完成了这样一个全球赛事就已经是一个成功了。AI也来凑了一下热闹，有个团队用AI软件，通过对67个国家…
小散量化炒股记｜股价如波浪起伏，教你用量化识别波段的极值点
前言相信大家都听说了量化交易这个东西了吧！量化交易是一种新兴的系统化金融投资方法。那么，什么才是普通股民所适合的量化交易打开方式呢？本文就用一个接地气的股票分析场景 —— 用量化方法识别股价波段的极值点 来和大家分享一下ÿ…
如果说数据是数字经济的新石油，那么人工智能（AI）就是蒸汽机
如果说数据是数字经济的新石油，那么人工智能（AI）就是蒸汽机。好似石油和蒸汽机为运输提供燃料，并推动工业革命一样，掌握数据与人工智能力量的公司同时也掌握着创新关键。 2022年，数据和人工智能为数字革…
人工智能不仅应当提高物质福利，而且应当满足人类的精神需求
然而，遵循阿西莫夫三定律而建造的人工智能或者机器人是奴隶般的，它们在社会上运行可以帮助人类整体，但它们奴隶般的地位是我们人类希望的吗？这是技术社会的理想形态吗？弗洛里迪说：“允许人类和智能陪伴做朋…
机器学习中的相关概念【监督，半监督，无监督，弱监督，自监督】
文章目录 监督和无监督自监督学习弱监督学习强化学习 机器学习中大体可以把任务分为监督学习，无监督学习。在我们的学习和资料查阅中会出现，半监督，自监督，弱监督这样的词汇，让人心生疑惑，在此进行一个梳理…
机器学习 复习五 关联
项集与规则
频繁集frequent itemsets
关联规则 association rules 序列模式 sequential patterns 实例：商品拜访
支持度与向量度 support（X）#X/n 条件概率 最小支持度 最小置信度 步骤： 找到所有频繁项 生成频繁项所有非空子…
自然语言处理——中英文分词
目录 英文分词
中文分词
机械分词法
正向最大匹配法
逆向最大匹配法
双向最大匹配法
统计分词法
语料统计法
序列标注法 英文分词
英文原文： it is a good day!分词结果： it , is , a , good , day , !
通过上面的英文分词例子，可以…
Pandas 基本语法(二)
Pandas 目录 1、Pandas 基本语法(一) 2、Pandas 基本语法(二) 3、持续更新中…
Pandas 的基本语法(二)
导入导出 read_excel(io[, sheetname, header, …]) 读取excel格式的数据 read_csv(filepath_or_buffer[, sep, …
python 打印文件名_Python | 打印文件内容以及文件名
python 打印文件名打印文件名 (Printing file name ) To print the filename, we use "file_object.name". 要打印文件名，我们使用“ file_object.name” 。 打印文件内容 (Printing files content) To print the content of a file, we use "read(…
机器学习基础(1)-首发
机器学习的认识 1.数据的‘形状’ 1.1数据的‘形状’之一，大数据：在实践中，不单单是记录数据多的就是大数据，通常大数据是指数据量和数据维度均很大，数据形式很官方，如数字、文本、图像、声音等。大数据往往…
初步认识--物联网数据分析与挖掘
数据预处理与知识发现
为什么要进行数据预处理？ 因为在现实生活中存在着大量的“脏”数据
数据不完整的性数据有噪音数据数据不一致性
技术主要四种：数据清理，数据集成，数据变换，数据归约
数据清洗：
主…
二、数据仓库和数据挖掘的OLAP技术
数据仓库和数据挖掘的OLAP技术 引言一、什么是数据仓库二、数据仓库的关键特征2.1、面向主题2.2、数据集成2.3、随时间而变化2.4、数据不易丢失三、数据仓库的构建和使用四、数据仓库与操作数据库系统五、多维数据模型引言 数据仓库中的数据清理和数据集成，是数据挖掘的重要数…
pandas读取大csv报错：TypeError: ufunc ‘isnan‘ not supported for the input types, and the inputs could not
使用pandas读取csv：
BPIC_2017_df pd.read_csv(./datasets_csv/BPI_Challenge_2017.csv, index_col0)
但是由于csv数据集太大了，读取报错：
---------------------------------------------------------------------------
TypeError …
RNA-seq Review：RNA-seq数据分析
文献：RNA-seq数据分析最佳实践调查本次阅读Genome Biology杂志2016年Online的RNA-seq数据分析方法的Review论文，题目为：A survey of best practices for RNA-seq data analysis本文翻译来自该文章。RNA是基因组和蛋白组的中间体，因…
Python编程师/数据科学家na Catho
Voc gosta de trabalhar com inteligncia aplicada?Vocgosta de trabalhar comintelignciaaplicada？ No tem medo de aprender novas tecnologias?Notem medo de aprender novas tecnologias？ Venha trabalhar conosco!Venha trabalhar conosco&#x…
python怎么绘制macd
首先，你需要准备数据。这通常包括股票的收盘价格数据。然后，你可以使用 Python 的 talib 库来计算 MACD 指标。这个库提供了一个名为 MACD 的函数，可以计算移动平均指数平滑异同平均值 (MACD) 以及其信号线。接下来，你可以使用 Py…
SAS® 针对制药行业的客户关系管理
SAS 针对制药行业的客户关系管理
通过全面的客户关系管理，帮助制药企业增加盈利。 焦点SAS处于CRM分析能力四象限中的领导者位置 今天，制药企业将面临维持历年盈利水平的挑战。渠道挑战、现有畅销药专利即将到期、严格的价格审查和激烈的竞争对制药…
CRM是呼叫中心的灵魂
CRM是呼叫中心的灵魂——中唐Zotn.CRM全面提升呼叫中心运营效果
赵晓辉 2002/01/30
一、CRM悄然兴起 CRM（Customer Relationship Management ）是指企业针对各方面信息（如客户信息、合作伙伴信息、供应商信息、竞争对手信息等等）…
DW amp; DM
数据仓库之路 http://www.dwway.com/数据挖掘研究院 http://218.22.25.142:8080/数据挖掘讨论组 http://www.dmgroup.org.cn/dmreview http://www.dmreview.com
保险业信息化的两大趋势：数据挖掘＋CRM
保险业信息化的两大趋势：数据挖掘＋CRM 来自：中国商业智能网 作者：xynet 日期：2004年07月02日 浏览次数：98 作为我国金融市场中成长最为迅速的行业，保险公司借助信息化手段提高竞争能力也成为关…
基于MySQL的DAT-A应用
基于MySQL的DAT-A应用 来自：http://www.dwreview.com 作者：张玉颖 日期：2004年03月22日 浏览次数：867 数据挖掘的发展经历了相对多变的过程，这更多地源于软件设计和架构上的限制，而不是技术上的限制。大多…
CIO调查：数据挖掘并不遥远
CIO调查：数据挖掘并不遥远 赛迪网让数据像人脑一样智慧，具有自动分析、判断和预测能力，这看似不可思议的应用，正是数据挖掘的功能。数据挖掘正吸引着越来越多的企业的眼球。近日，北京长城仪器厂、国…
【机器学习】【期末复习】有关机器学习的简答题可供期末复习参考
本文为学校课程《机器学习》中老师给出的一些有关机器学习的简答题的详细解答，可供复习参考，基本答案全是正确的。 目录 什么是判别式模型和生成式模型，并且举例说明各自包含哪些典型的机器学习模型？L1 和 L2 的正则化的区别数据归…
【数据挖掘】时间序列教程【六】
第4章 时间序列回归建模 时间序列回归建模的基本设置是，我们有一个观察到的结果或输出yt 以及输入或曝光xt 跟t=1,...,n .通常，我们想知道输入的变化如何xt 与输出中的更改相关联yt .例如，我们可能正在管理汽车或航天器等系统，我们想知道当我们施加力或增加输入时系统将如…
数据挖掘——第四章：数据仓库和OLAP
文章目录1. 数据仓库基本概念1.1 数据仓库的定义及特征1.2 数据仓库体系结构1.3 数据模型1.4 粒度2. 数据仓库设计2.1 概念模型设计4.2 逻辑模型设计2.3 物理模型设计3. 数据仓库实现4. 联机分析处理4.1 OLAP相关概念4.2 OLAP操作5. 元数据模型5.1 元数据库5.2 元数据类型5.3 元…
【PCL免配置保姆级入门教程】win10 PCL1.8.0 VS2015 x64 使用Kdtree加速的DBSCAN进行点云聚类
前不久看到了大佬基于PCL做的点云聚类 https://www.jianshu.com/p/ae5a53a51ca6 ，自己实现了一遍，发现借助大佬做好的工程还有CmakeList.txt可以快速配置好PCL，免去了繁琐易错的配置过程，比自己配置一遍rabbit.pcd的入门程序来的快…
为什么《DAMA数据管理知识体系》这么晦涩难懂？ by 傅一平
自己有近20年的数据管理实践，很早就接触DAMA，DMBOK，然后陆续学习DCMM、数据资产白皮书、工业数据治理等相关规范和书籍，也获得了很多启示，但其实有一个问题始终没解决，就是虽然这些规范和书籍都提出了一个框…
BI是什么意思？在企业应用中有哪些好处？
百度百科中的BI是指业务智能或智能业务（Business Intelligence的缩写），其用途是指使用现代数据仓库技术，在线分析处理技术，数据挖掘和数据展示技术进行数据分析以实现业务价值。老实说，解释很专业ÿ…
第2关：Pandas创建透视表和交叉表
任务描述 本关任务：使用Pandas加载tip.csv文件中的数据集，分别用透视表和交叉表统计顾客在每种用餐时间、每个星期下的小费总和情况。
相关知识 透视表 透视表是各种电子表格程序和其他数据分析软件中一种常见的数据汇总工具。它根据一个或多个键对数据…
爬虫抓图2022年全网最新方法，这一次终于是4k高清美图
我学爬虫一直有一个梦想，就是想真正达到可见即可爬的态度，所以我一直在尝试找一种方式去搞定它，从最开始的模拟接口去交接数据，但是我发现这行不通，然而条条大路通罗马，后浪又怎么能这么消逝在沙滩上&#…
谁说程序员不懂浪漫？用Python每天自动给女友免费发短信
今天的教程就是教大家怎么发送免费短信给女朋友。
发送短信接口，我知道的常见的有两个平台，一个是 twilio，可以免费发短信 500 条，可发任意信息，一个是腾讯云，可以免费发短信 100 条，需要申请短…
神技巧，在Python类初始化时进行四种暗箱操作
Python 的类中，所有以双下划线__包起来的方法，叫魔术方法，魔术方法在类或对象的某些事件发出后可以自动执行，让类具有神奇的魔力，比如常见的构造方法__new、初始化方法init、析构方法del，今天来聊一聊new__…
人工智能学习路线，限时送一份
大家好，我是金钱豹。作为一个开发者，不懂人工智能，竞争力将会在未来大幅度下降。
像我自己虽然前后端都略懂一点，但因为缺失了人工智能这块的知识，总觉得自己差了点什么，在跟 AI 方向的大佬交流时…
《python自动化办公》和《数据透视表大全》电子文档，限时下载
内容简介
《Python最强基础学习文档》和《数据透视表大全》是一个专门为数据分析爱好者准备的高质量学习文档，我的朋友黄同学 原创写的。这两个文档尤其深受广大数据分析爱好者的喜欢， 文档历史下载次数，高达几千次。 《Python最强基础学习文…
大数据分析师年薪几十万，学什么专业才能从事大数据？
近几年，大数据为各个领域带来了全新的变革，大数据的重要性越来越被企业和国家所看到，大数据工作者的需求再次被无限放大，他们的薪资和社会地位也在不断上涨。马云在演讲中就提到，未来的时代将不是IT时代，而…
DTI | Drug-target interaction | 基础知识
Drug Targets Interactions （DTI）基础概念文章转自微信公众号【机器学习炼丹术】作者：陈亦新（已授权）联系方式: 微信cyx645016617欢迎交流，共同进步 第一次接触蛋白质结构预测，记录一下笔记。
…
catBoost regression Python 简单实现
# coding:utf-8
import time
notebookstart time.time()
import pandas as pd
from sklearn import metrics
from catboost import CatBoostRegressor
from pylab import *
mpl.rcParams[font.sans-serif] [SimHei] #绘图正常显示中文"""
catboost 回归简单实…
模型融合之STACKING方法
本文参考了Kaggle机器学习之模型融合（stacking）心得 stacking是用于模型融合的一个大杀器，其基本思想是将多个模型的结果进行融合来提高预测率。，理论介绍有很多，实际的例子比较少，本文将其实例化ÿ…
论文学习——水文时间序列相似性查询的分析与研究
文章目录1 摘要2 引言3 问题描述4 理论方法5 基于特征点的分段线性表示5.1 分段线性表示5.2 特征点的定义6 时间序列的相似性度量6.1 动态模式匹配距离(DPM)6.2 算法步骤6.3 本文采用的模式距离7 实验分析7.1 数据预处理7.2 模式表示7.3 步骤描述8 小结写在前面：《水…
LCA（Lobe Component Analysis）：叶成分分析
前面提到的CCIPCA可以算作翁巨扬教授提出的第一个心智发育框架IHDR的核心算法，而LCA则是他现阶段提出的where-what-network框架的核心算法，也即是他提到的发育网络的“基因”组成。 CCIPCA对应于PCA（主成分分析）算法，是…
【每日论文】Journal of medical Internet research-期刊-数字校园社交网络方向
1.Park SH, Hong SH,Identification of Primary Medication Concerns Regarding Thyroid Hormone Replacement Therapy From Online Patient Medication Reviews: Text Mining of Social Network Data,J Med Internet Res 2018;20(10):e11085
类型：期刊/出版方&…
4大案例分析金融机构的大数据应用
就“大数据金融”思维利用而言，国外金融机构有着十足丰富的体现，已经将大数据技术在风险控制、运营管理、销售支持及商业模式创新等领域进行了全面的尝试。 案例一：汇丰银行-风险管理 汇丰银行在防范信用卡和借记卡欺诈的基础上，利…
基于AIC评价指标的向后回归法Python语言实现
常用评价指标简介 当前统计学以计算机科学作为支撑，机器于人工的优势是计算速度，但机器无法自行判断运算何时退出，因此需要定量指标作为运算退出的标志。对于预测类的统计模型来说，常见的指标有赤池信息准则（AIC&#…
学习数据挖掘需要的步骤，算法，及数学原理
1.数据挖掘的过程分成 6 个步骤。
1.商业理解：
从商业的角度理解项目需求，再对数据挖掘的目标进行定义。
2.数据理解：
收集部分数据，对数据进行数据描述、数据质量验证等。有利于对收集的数据有个初步的认知。
3.数据准备&am…
对比Excel学习SQL（4）：计算字段
今天这篇文章是对比Excel学习SQL系列的第4篇文章，之前3篇的传送门在这里：《对行和列的操作》、《库/表/记录的增查删改》、《写给小白的SQL学习文章》。计算字段的意思是通过原有字段的运算创建新的字段，本文主要从算术运算符计算字段、函数计…
从人文关怀到创作AI｜Mix+人工智能 No.51
Knowledge/ def mix( ):本期收录新增16NO. 51#看护系统# #智能家居#Cherry Home人工智能家居系统通过人脸、四肢的长度、衣服和头发的颜色以及步态或姿势的变化来分辨用户。在一个房间里进行三角定位，并绘制出周围环境的示意图，护理人员通过点击这些示意…
pandas函数没有进度条解决
对于pandas函数在运行的过程中，如果数值的数量过多，此时一些pandas自带的函数，比如merge，concat等函数，往往会由于运行时间过长，导致你不知道它会运行到哪里，会运行多长时间，此时我们…
每日一篇机器学习公众号D2-Bamboolib 做数据分析
一、复习 1、昨天看了基础的ANN、RNN、LSTM 2、有一张阐述深度学习和机器学习随着数据量变化，学习效果不同的图可以用 3、神经元配图很好 4、LSTM有三个门，之后需要的时候仔细看看。可以解决长期记忆和梯度消失的问题。 二、How neural networks work–视…
依据欧几里得距离实现简易推荐功能
笔记 闵可夫斯基距离： 其中： r 1 该公式即曼哈顿距离r 2 该公式即欧几里得距离r ∞ 极大距离*r值越大，单个维度的差值大小会对整体距离有更大的影响。 皮尔逊相关系数用于衡量两个变量之间的相关性 它的值在-1至1之间，1表示完全…
气流预测网站_数据科学的数据管道第4部分气流数据管道
气流预测网站Deploy Operators and DAGs to a AWS hosted Apache Airflow and execute your Data Pipelines with DAG and Data Lineage Visualisation.将操作员和DAG部署到AWS托管的Apache Airflow，并通过DAG和数据沿袭可视化执行数据管道。 是否想偶尔听到有关Ten…
aminer消歧疑问一：keras，这三行代码是有什么用处？
keras，这三行代码是有什么用处？
#import numpy as np
np.random.seed(1337)
from keras.models import Sequential
from keras.layers import Dense
#import matplotlib.pyplot as plt
论文学习——一种基于关键点的SAX改进算法
文章目录1 摘要2 引言2.1 SAX的缺点 举个例子分析2.2 分析问题原因2.3 本文的改进工作3 实验结果与分析3.1 关键点的选取规则3.2 本文定义的相似度距离计算公式3.3 开始做实验了3.4 结论4 总结写在前面：期刊《计算机研究与发展》； 1 摘要
【前人工作】S…
RNN(电影评论情感分析： RNN循环网络原理及自然语言处 理NLP应用)
数据源：imdb.com 预处理
分词 词的数字化表示方法与词嵌入 更合理的方案 http://word2vec.googlecode.com/svn/trunk/
https://nlp.stanford.edu/projects/glove/
https://nlp.stanford.edu/projects/glove/ IMDB数据集获取与处理（非TF集成模式&#…
PrefixSpan算法原理总结：求频繁序列
PrefixSpan算法原理总结 前面我们讲到频繁项集挖掘的关联算法Apriori和FP Tree。这两个算法都是挖掘频繁项集的。而今天我们要介绍的PrefixSpan算法也是关联算法，但是它是挖掘频繁序列模式的，因此要解决的问题目标稍有不同。
项集数据和序列数据…
零基础入门数据挖掘 - 二手车交易价格预测比赛记录
零基础入门数据挖掘 - 二手车交易价格预测
阿里和Datawhale举办的比赛，非常适合入坑。 平时，抽空打打，看不进论文就打比赛吧～ 目前top-5，希望咸鱼保持住，比赛完做一份数据挖掘的总结。 还有一周ÿ…
Cross-Validation: the right and the wrong ways
这一个月来都在忙着CCF的数据挖掘比赛， 一直深深困扰于线下10-fold交叉验证后的结果与线上的悬殊，下面链接的内容，完完全全，清清楚楚地解释了我的困惑，这是我比赛以来以及将来很长时间巨有价值的收获！ htt…
一图看懂《对比Excel，轻松学习Python数据分析》
（非广告，只是单纯的读后感，以后都会有技能类书籍读后感/知识图谱总结这类的文章，帮大家排坑。）《对比Excel，轻松学习Python数据分析》这本书很适合小白阅读，总阅读时长加书中代码练习大概在10个…
Excel预测工作表
目录：名词解释时间序列使用场景一、移动平均法二、用Excel进行时间序列分析——移动平均三、指数平滑法四、用Excel进行时间序列分析——指数平滑五、预测工作表名词解释时间序列：按时间顺序排列的一组数据序列。时间序列分析：发现这组数据的…
谁说菜鸟不会数据分析大框
目录 第 1 章：确定分析思路 数据方法论 常用的数据分析方法论 第 2 章：数据准备 理解数据 数据来源 第 3 章：数据处理 数据清洗 重复数据的处理 缺失数据处理 检查数据逻辑错误（使用if函数） 数据加工 第 4章ÿ…
《Process Analytics 过程分析》读书笔记 第一章 引言
第一章 引言
业务过程是公私企业运营的核心。对于大多数企业来说，成功与过程的执行效率和有效性密切相关。因此，业务过程分析一直是公司的一项重要的工作。实现这一目标的早期努力始于过程自动化，在过程自动化中，工作流和其他中间…
python抓取网站图片_使用python抓取网站
python抓取网站图片Website scraping refers to reading of any website’s structure to extract needed information through an automated system, usually a script. There is a thin line between legal and illegal website scraping. If a content is available without…
推荐：几款优秀的开源数据挖掘工具
IDMer说道：本文只对几种流行的开源数据挖掘平台进行了检视，比如Weka和R等。如果您想找寻更多的开源数据挖掘软件，可以到KDnuggets和Open Directory上查看。为了评测这些软件，我们用了UCI Machine Learning Repository上的心脏病诊…
Pandas与GUI界面的超强结合，爆赞
行文思路
有位粉丝提到了一个牛逼的库，它巧妙的将Pandas与GUI界面结合起来，使得我们可以借助GUI界面来分析DATaFrame数据框。
基于此，我觉得有必要写一篇文章，再为大家做一个学习分享。 pandasgui安装与简单使用
根据作者的介绍…
中药与复方数据库的数据挖掘
http://www.zhouluscu.org/tcmd 运用现代数学方法和计算机技术对于中药药性理论和复方配伍理论的基本规律的研究目前在国内外尚处于起步阶段。发挥计算机在大规模采集和处理中药数据上的优势，运用现代数学方法和计算机技术，对中药药性和中药复方相关的数…
面向Web的数据挖掘 技术分析
作者：徐振航、刘莉芹 Web上有海量的数据信息，怎样对这些数据进行复杂的应用成了现今数据库技术的研究热点。数据挖掘就是从大量的数据中发现隐含的规律性的内容，解决数据的应用质量问题。充分利用有用的数据，废弃虚伪…
这些行业已经开始用数据挖掘了，我们的前途光明
从数据中挖掘更多的业务信息、对未来的发展做出辅助分析，这就是数据挖掘的强大功能之一。那么，企业是否已经开始对数据挖掘感兴趣甚至开始运用了呢？近日，我们对国家统计局、中国地质调查局等单位的CIO进行了调查。 让数据像人脑…
SAS认证与数据挖掘、商业智能职业发展
SAS认证与数据挖掘、商业智能职业发展 何为数据挖掘和商业智能？ 与数据挖掘相关的词汇有例如数据仓库，数据装载(ETL)，数据挖掘(Data Mining)， 客户关系管理(CRM)，SAS，PeopleSoft, SAP等。到上个世纪…
5.19开发者日：朱成永谈通过数据挖掘找机会
5.19雷锋网开发者日活动第二位分享嘉宾是传媒梦工场的首席工程师朱成永，他分享的主题是数据产品的修炼之道。其分享的3个主要部分分别是：数据化运营，数据产品概况，数据产品经理。 之所以要数据化，是因为在用户数量达到…
社交网络数据挖掘公司乐荐推出“我好想网”：动真格的社交
陌生人交友似乎成了茶余饭后消磨时间之利器，几乎很少人纯洁的用这些产品来认识新朋友，约炮成为不管公关稿还是活跃用户的主要话题。Social Network如果改名为Sex Network会更加贴切，陌生人社交也越来越像陌生人射交。
各位应该还记得我们去年…
注意力论文解读(1) | Non-local Neural Network | CVPR2018 | 已复现
文章转自微信公众号：【机器学习炼丹术】 参考目录： 文章目录0 概述1 主要内容1.1 Non local的优势1.2 pytorch复现1.3 代码解读1.4 论文解读2 总结论文名称：“Non-local Neural Networks”论文地址：https://arxiv.org/abs/1711.07…
中文MNIST数据集的图像分类（准确度99.93%）
数据集
链接：
Chinese MNIST | KaggleChinese numbers handwritten characters imageshttps://www.kaggle.com/gpreda/chinese-mnist
简介：
中国版的 MNIST 数据集是在纽卡斯尔大学的一个项目框架中收集的数据。一百名中国公民参与了数据收集工作。 …
讲解 最大流问题+最小花费问题+python(ortool库)实现
文章目录基本概念图邻接矩阵最大流问题python解决最大流问题python解决最大流最小费用问题喜欢的话请关注我们的微信公众号~《
你好世界炼丹师》。公众号主要讲统计学，数据科学，机器学习，深度学习，以及一些参加Kaggle竞赛的经验。…
KS,KL,JS 如何判断两组数据是否同分布 python实现
文章目录KS(不需要两组数据相同shape)JS散度（需要两组数据同shape）喜欢的话请关注我们的微信公众号~《
你好世界炼丹师》。公众号主要讲统计学，数据科学，机器学习，深度学习，以及一些参加Kaggle竞赛的经验。…
数据仓库研究的目的与意义
数据仓库是一种用于存储和管理大量历史数据的系统。它旨在为企业和组织提供一个数据的集中存储和管理的平台，以便进行数据分析和报告。 数据仓库的目的是帮助企业和组织更好地管理和利用其历史数据，以提高决策效率并提升业务绩效。数据仓库可以支持多种不…
【数据挖掘】时间序列教程【四】
3.3 划分变体 我们可以对上述 的主模型采用方差分析方法，并将中的总变异分解为 为残差平方和和可归因于各种频率的变化。 第二行是可能的，因为平方的所有交叉项都等于零，即对于所有 ，
多重共线性如何影响显著性？（转载）
怎么“调整”显著性：理解多重共线性 - 知乎多重共线性，是我们学习计量几乎入门时就会接触的一个专业名词。对多重共线性的认识，仅限于在做回归时看一看相关性系数表（而且一般都不会有问题），再了不起的就是算…
论文学习——基于极值点特征的时间序列相似性查询方法
文章目录1 摘要2 引言3 研究现状3.1 全序列匹配和子序列匹配3.2 三种子序列匹配分段方式3.3 相似性度量函数的选取4 本文重点——多层级极值划分方法4.1 重要性标志算法（EIIR）4.2 极值点判断算法（JEP）4.3 多层次分段获取算法&…
基于聚类的推荐算法笔记——以豆瓣电影为例(四）（附源代码）
基于聚类的推荐算法笔记——以豆瓣电影为例(四）（附源代码）
第一章 聚类算法介绍 基于聚类的推荐算法笔记一
第二章 数据介绍 基于聚类的推荐算法笔记二
第三章 实现推荐算法 基于聚类的推荐算法笔记三
第四章 评价推荐算法 基于聚类的推荐…
利用Python进行数据分析——函数部分
文章目录1 基础知识1.1 命名空间1.2 返回多个值1.3 函数也是对象2 一些重要函数2.1 map() 函数2.2 匿名函数（lambda）2.3 list() 函数2.4 set() 函数2.5 sort() 方法1 基础知识
函数使用 def 关键字声明，用 return 关键字返回值。
def my_fu…
论文学习——多元时间序列相似性度量方法
文章目录1 摘要2 引言2.1 多元时间序列问题介绍2.2 相似性度量方法介绍3 多元时间序列特征提取4 多元时间序列相似性度量写在前面：《控制与决策》；中文核心
作者：李正欣、郭建胜 1 摘要
本文提出了一种实现方便、配置简单，并且能…
Python Scrapy 爬取 前程无忧招聘网
Python 爬虫目录 1、Python3 爬取前程无忧招聘网 lxmlxpath 2、Python3 Mysql保存爬取的数据 正则 3、Python3 用requests 库 和 bs4 库 最新爬豆瓣电影Top250 4、Python Scrapy 爬取 前程无忧招聘网 5、持续更新… …
数据仓库项目从来不是技术项目
数据仓库是什么？
还是得先从定义开始：数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策。
这里的“支持决策”往往是面向分析的&#…
数据平台下的数据治理
数据治理并不是一个新的概念，但由于国内信息化起步较晚，这个话题直到最近几年才在国内各大公司中引起广泛讨论。数据治理具体是什么，我们真的需要数据治理吗？为了更清楚的了解数据治理是什么，我们先参考一下业界都是怎…
论文学习——基于语义相似的水文时间序列相似性挖掘
文章目录1 摘要2 引言2.1 现有研究2.2 本文的研究3 基于语义相似的水文时间序列相似性挖掘3.1 什么是语义3.2 小波变换3.3 水文时间序列语义模式表示3.3.1 极值点线性分段表示3.3.2 基于小波变换的时间序列语义模式表示4 实验验证4.1 数据部分4.2 对比实验4.2.1 对比实验结果14…
广州大学机器学习与数据挖掘实验三：图像分类
相关资料
广州大学机器学习与数据挖掘实验一：线性回归 广州大学机器学习与数据挖掘实验二：决策树算法 广州大学机器学习与数据挖掘实验三：图像分类 广州大学机器学习与数据挖掘实验四：Apriori算法 四份实验报告下载链接…
【论文整理】整理论文笔记心得
近来两周，都没有更新博客，有朋友问我，说好的坚持学习，为什么“博文”和“公众号”都没有定期发出来。我复盘了一下时间花在的地方，yx，为了所谓的社交和构建联系，略沉迷。加上晚睡晚起࿰…
技术文章｜大数据如何使用
本文来源于阿里云-云栖社区，原文点击这里。 对于普通人来说，大数据离我们的生活很远，但它的威力已无所不在：信用卡公司追踪客户信息，能迅速发现资金异动，并向持卡人发出警示;能源公司利用气象数据分析&…
ODM和OLAP实现时序预测(一)
Part 1 概要前言http://oracledmt.blogspot.com/2006/01/time-series-forecasting-part-1_23.htmlOracle数据库中的ODM组件支持时序预测。预测通过OLAP中的FORECAST命令支持。FORECAST命令能够通过三种方法预测数据：线性趋势(straight-line trend)，指数增…
WEKA 数据挖掘可视化分析平台
利用WEKA编写数据挖掘算法 WEKA是由新西兰怀卡托大学开发的开源项目。WEKA是由JAVA编写的，并且限制在GNU通用公众证书的条件下发布，可以运行在所有的操作系统中。WEKA工作平台包含能处理所有标准数据挖掘问题的方法：回归、分类、聚类、关联…
机器学习的大门开了.......
import numpy as np
import pandas as pd
import pylab
from pandas import DataFrame,Series
from matplotlib import pyplot as plt
%matplotlib inline初识机器学习：研究沿海城市距离跟其温度湿度之间的关系案例
导入数据，发现各城市有多张表且无关系，所以考虑级联
fer…
【从零开始学爬虫】采集京东商品信息
l 采集网站
【场景描述】采集京东电视分类中的所有商品信息。
【使用工具】前嗅ForeSpider数据采集系统，免费版本下载链接：http://www.forenose.com/view/forespider/view/download.html
【入口网址】https://list.jd.com/list.html?cat737,794,798&…
对于数据仓库你了解多少？
今天我们要说的是主题是——数据仓库，注意是仓库，不是数据库哦。
首先我们要知道，数据仓库的建立为行业高层主管门系统的地组织、理解和使用他们的数据进行了战略决策提供了体系结构和工具。在当今充满竞争和快速发展的世界，数据…
打造 API 接口的堡垒
前言
伴随互联网革命快速创新发展，API 需求的日益剧增，针对 API 的攻击几乎遍布各个行业，据报道 2022 年全年平均每月遭受攻击的 API 数量超过 21 万，游戏、社交、电商、制造等行业依然是攻击者主要目标。例如社交软件某特&#…
深入了解强大的云计算服务------S3
Amazon Simple Storage ServiceS3的简介S3 是什么S3的特点对象存储高耐用高可用高扩展安全性计费模式S3 的作用S3桶(Bucket)S3 命名空间(Namespace)S3需要唯一的命名空间区域(Region)对象ObjectObject名字对象标签子资源(Subresources)子资源Bucket提供的子资源Object提供的子资…
GPU是什么？有多大的用处？
想必大家最近都听说了GPU的断供的事件，但很多人却不知道GPU是什么？有多大的用处？下面就一起来了解一下吧。
GPU简介：
GPU是Graphics Processing Unit的简写，是现代显卡中非常重要的一个部分，其中文名为图…
加权最小二乘回归方法的程序实现范例
加权最小二乘回归方法-程序范例
在一般的线性回归求相关系数时候，大都选择最小二乘回归分析方法来拟合。它的原理是：假设拟合方程为：，将实测值Yi与预测值（Yja0a1X）的离差（Yi-Yj）的平…
智慧城市与新基建的关系
“新基建”是物联网行业关注的热点， 立秋刚过，8月13日上午，“2020年度科技专家研讨会”第三场活动在深圳商报社大厦举行。活动围绕“新基建与智慧城市建设”主题，邀请了3位智慧城市领域科技专家从新基建与智慧城市的解决方案、智慧…
智慧路边停车在云南投入使用
云南省玉溪市是知名度比较高的一个市，最近也启用智慧停车系统，路边停车实现了从传统人工计（收）费模式向智能化管理模式的转变。目前，城区已经投入使用的智慧路边停车泊位达1700个。
在城区的湖滨路、明珠路、星云路&a…
笔记-首次参加数据挖掘比赛摸索的经验(赛题为CCF-BDCI2017企业经营退出风险预测)
第一次参加DF的比赛（两个月前的比赛了），赛题为CCF-BDCI2017的《量子数聚-企业经营退出风险预测》，在此记录比赛过程中自己摸索的一些经验（运气使然前100进入了复赛，虽然最终离进入决赛还差了好几十名 o(一︿…
使用 scikit-learn 构建模型
文章目录1. sklearn 介绍2. sklearn 转换器处理数据2.1 加载数据集2.2 划分数据集2.3 数据预处理与降维3. 聚类模型3.1 构建聚类模型3.2 评价聚类模型4. 分类模型4.1 构建分类模型4.2 评价分类模型5. 回归模型5.1 构建回归模型5.2 评价回归模型1. sklearn 介绍 scikit-learn&am…
菜菜的刷题日记 | 蓝桥杯 — 左孩zi右兄弟【第十二届】【省赛】【A组】【Python】
系列索引：菜菜的刷题日记 | 被LeetCode用Python狂虐的那段日子 考前抱佛脚！ 文章目录【题目】【我的代码】【思考】【题目】 题目链接：http://lx.lanqiao.cn/problem.page?gpidT2898
【我的代码】
我的思路是： 前面一段是输入处…
资讯精选 |【全球人工智能学科高校排名】CMU居榜首_清华大学第4
本文来源于阿里云-云栖社区，原文点击这里。 CSRankings.org 的计算机科学高校排名依据的是院校在计算机科学各领域顶级会议发表的论文数量。它将计算机科学分为了 4 个门类：AI、Systems、Theory、Interdisciplinary Areas。在 AI 这一门类下，…
数据挖掘——数据预处理
一、背景 原始数据存在的几个问题：不一致；重复；含噪声；维度高。 1.1 数据挖掘中使用的数据的原则
尽可能赋予属性名和属性值明确的含义；去除惟一属性；去除重复性；合理选择关联字段。
1.2 常见的…
基于Greenplum构建下一代数据分析平台
了解更多Greenplum相关内容，欢迎访问Greenplum中文社区网 7月3日，《Greenplum走遍中国》系列技术研讨会走进了大明湖畔的济南。上一篇文章，我们已经为大家整理了活动中的第一个演讲内容《基于fdw的跨Greenplum集群数据库查询实现》。今天&…
2020年小红书校招数据分析笔试题
星标可乐的数据分析之路一起进步学习哈喽，大家好，我是可乐今天给大家带来2020年小红书校招的数据分析笔试题的详解1、如果在小红书商城中某一商户给一产品定价，如果按照全网最低价500元定价，那么客人就一定会选择在此购买…
数据分析实战：母婴商品分析
本文来自读者投稿，作者：Dake项目背景 近年来母婴产品的消费逐渐增加，这是一份关于淘宝天猫的一份母婴产品（2012年/7月到2015年/2月）的销售数据。分析该数据集有利于了解目前市场的销售情况，便于做出运营决策…
对话：未来出行实验室发起人王亚辉博士#超级个体
Hi 大家好，Mixlab联合薛志荣举办了「超级个体」个人发展分享系列，第3期将在22年11月13日（周日）19:30-21:00展开，本期分享嘉宾是未来出行实验室的发起人王亚辉博士，王亚辉博士的个人介绍及访谈提纲如下&…
数据分析技能点-数据挖掘及入门
在数字化的世界里，数据像是一种新的货币。它不仅推动了科技创新，还在塑造着我们的生活、工作和思维方式。但数据本身并不是目的，真正的价值在于如何从海量的数据中提炼有用的信息和知识。这正是数据挖掘发挥作用的地方。 文章目录 数据挖掘概览数据挖掘的方法和应用数据挖掘…
python分类预测模型总结
常见的模型评价和在Python中的实现模型模型特点所属库逻辑回归线性分类模型sklearn.linear_modelSVM用来回归、预测、分类等。模型可以是线性的/非线性的sklearn.svm决策树基于“分类讨论、逐步细化”思想的分类模型，直观易解释sklearn.tree随机森林思想跟决策树类似…
数据挖掘之人工神经网络
人工神经网络（Artificial Neural Networks, ANN）是模拟生物神经网络进行信息处理的一种数学模型。 人工神经元模型激活函数主要分为域值函数（阶梯函数）、分段线性函数、非线性转移函数、Relu函数（计算简单、效果佳&…
大智慧炒股软件下载|选股软件
市场变了，行情变了，分析方法变了，使用大智慧，紧跟市场变化！
大智慧证券信息平台是一套用来进行行情显示、行情分析并同时进行信息即时接收的超级证券信息平台。面向证券决策机构和各阶层证券分析、咨询、投资人员&…
【2021年1月新书推荐】Cloud Analytics with Microsoft Azure
各位好，此账号的目的在于为各位想努力提升自己的程序员分享一些全球最新的技术类图书信息，今天带来的是2021年1月由Packt出版社最新出版的一本关于云分析、大数据和人工智能的书，涉及的平台为Azure。
Cloud Analytics with Microsoft Azure …
购物党：中国版的Price Check
随着Amazon在美国圣诞季力推Price Check引发北美零售业的轰动，业内人士再次将目标聚焦在移动电商领域。北京创业团队购物党在3个月前发布的首款移动产品“购物党-口碑比价-优惠大全”也算是迎合该消费趋势的一款应用。 购物党首款应用发布于今年9月中下旬࿰…
《Graph Representation Learning》笔记 Chapter4
系列文章 《Graph Representation Learning》笔记 Chapter2 《Graph Representation Learning》笔记 Chapter3 目录Reconstructing muti-relational dataLoss functionCross-entropy with negative samplingMax-margin lossMulti-relational decoderReanslational decodersMult…
《Graph Representation Learning》笔记 Chapter3
系列文章 《Graph Representation Learning》笔记 Chapter2 目录An Encoder-Decoder Perspective编码 The Encoder解码 The DecoderOptimizing an Encoder-Decoder ModelFactorization-based approachesLaplacian eigenmaps内积方法 Inner-product methodRabndom walk embeddin…
一个真实的项目经历，很多东西大家可以借鉴下
【背景介绍】 Z公司接了一个国外客户Y的交易系统开发实施项目，双方没有签署任何的协议，Z公司希望通过这个项目的合作，将此系统作为产品占领该国市场。 项目的组成人员包括1个PM，10个左右开发人员，4个左右测试人员&am…
Python算法预测实战
1.分析背景
这是一份kaggle上的银行的数据集，研究该数据集可以预测客户是否认购定期存款y。这里包含20个特征。
2. 分析框架
3. 数据读取，数据清洗
# 导入相关包
import numpy as np
import pandas as pd
# 读取数据
data pd.read_csv(./1bank-add…
亲戚朋友问：车子？工作？对象？Python 教你优雅解决年关三大难题
车票？工作？对象？Python 教你优雅解决年关三大难题 作者 | 数据不吹牛
最近，很多朋友都已经连续多日沉浸在即将（已经）放假的快感之中，化身渔夫，兢兢业业地摸鱼。
但是！你…
代理服务器不等于路由器【芝麻代理】
代理服务器跟路由器是不一样的，很多人以为代理服务器就是跟路由器一样的使用。其实还真是区别大了，不然也不会有换ip软件的诞生。下面我们来看看代理服务器的说明。代理服务器是建立在TCP/IP协议应用层上的一种服务软件，而路由器则是连接在网…
Python爬虫在抓取信息时会出现什么问题【芝麻http】
随着网络技术飞速发展，大数据正在开启一次重大的时代转型，全面改变人们的生活、工作、商业模式。在大数据如此火爆的今天，我们对数据利用率却不到7%，可见数据的抓取使用迫在眉睫。 Python爬虫 是时下最流行的 网络爬虫 语言&#…
京东数据平台：2023年8月京东白酒行业品牌销售排行榜
鲸参谋监测的京东平台8月份白酒市场销售数据已出炉！
根据鲸参谋平台的数据显示，今年8月份，白酒市场的销量为198万，环比下滑约6%，同比下滑不足1%；销售额为15亿，环比下滑约18%，同比则…
分析了 600 多种烘焙配方，机器学习开发出新品
By 超神经内容提要：经过数千年的积累，人类已经开发出了各色美味，但我们的味蕾却永远不知满足。谷歌一位 AI 开发者，为了探索新的可能，用 AI 来开发新的甜点食谱。AI 在菜谱开发这一领域，是否会比人类更有想…
通勤一小时，堵车半小时，AI 救救社畜
By 超神经内容概要：香港城市大学发布的公路拥堵视频数据集，对公路进行实时的拥堵状态评估，来帮助交通部门及时纾解交通压力、预防事故。关键词：道路交通 车道识别 拥堵评级交通出行，是城市化进程中变化最明显的重要环节…
数据分析--数据分析相关库
-数据分析相关库NumPypandasMatplotlibscikit-learnScrapySciPyNLTKstatsmodelsJupyterNumPy
是一个基础的科学计算库，是众多数据库的基础
提供了多维数组对象的数据结构，可以用于数据量较大情况下的数组与矩阵的储存和
计算，除此之外还提供…
商务智能(BI)的四大关键技术
商务智能的支撑技术主要包括ETL(数据的提取、转换与加载)技术和数据仓库与数据集市技术、OLAP技术、数据挖掘技术与数据的发布与表示技术。 1.数据仓库技术 实施BI首先要从企业内部和企业外部不同的数据源，如客户关系管理(CRM)、供应链管理(SCM)、企业资源规划(ER…
【图解DSA数字签名算法】DSA签名算法的Python实现 | 物联网安全 | 信息安全
系列索引：【图解安全加密算法】加密算法系列索引 Python保姆级实现教程 | 物联网安全 | 信息安全 DSA数字签名算法基于SHA1哈希算法，关于SHA1的实现看另一篇文章。 文章目录一、什么是DSA二、DSA签名算法流程（1）DSA 签名过程&…
深圳二手房房源市场研究(上)
PartⅠ：数据获取和数据清洗写在前面研究背景数据获取数据清洗写在前面
很早就有写博客的想法，一直对自己不自信所以没敢尝试，每次看CSDN博客都很羡慕和崇拜，希望自己在未来的某一天也能给其他人给予一些力所能及的帮助。目前的我…
聚类分析实例-标注聚类中心
1、准备数据集
set.seed(2) #设置随机数种子x matrix(rnorm(50*2),ncol2) #生成50X2的正态分布矩阵x[1:25,1] x[1:25,1] 3
x[1:25,2] x[1:25,2] -4 #构建不同的聚类
2、创建聚类模型
km.out kmeans(x,2,nstart20)km.out$cluster
输出如下： 很明显࿰…
聚能聊 | 未来 3~5 年内_哪个方向的机器学习人才最紧缺？
本文来源于阿里云-云栖社区，原文点击这里。 最近针对未来 3~5 年内哪个方向的机器学习人才最紧缺的讨论特别火热。 机器学习目前的主流方向包括： 1、互联网业务挖掘 使用的主要数据和要解决的问题,初级的业务挖掘人员的工作会离数据和算法更近;高级的业务…
软件测试及数据分析处理实训室建设方案
一 、系统概述 软件测试及数据分析处理是软件开发过程中的一项重要测试活动，旨在验证不同软件模块或组件之间的集成与交互是否正常。综合测试确保各个模块按照设计要求正确地协同工作，以实现整个软件系统的功能和性能。以下是软件测试及数据分析处理的一…
仓库运行状况如何得知？数据挖掘是关键！
库存、订单、出入库记录、物流信息、货物状态等数据，是仓库管理的重要组成部分。 仓库数据的重要性
做好仓库数据管理对企业的重要性不言而喻。通过有效地管理数据，企业可以更好地了解市场需求和库存情况，快速响应市场变化，提高库…
决策引擎系统 实时指标计算 风险态势感知系统 风险数据名单体系 欺诈情报体系
文章目录实时指标计算风险态势感知系统基于统计分析的方法核心风控指标数据核心业务数据基于无监督学习的方法基于欺诈情报的方法预警系统风险数据名单体系（名单库）欺诈情报体系数据情报技术情报事件情报情报分析实时指标计算
首先，大致上都…
无套路，财务数据分析-多组织损益表分析分享
在报表众多的财务数据分析中，损益表是老板们最关注的报表，特别是当有多组织时，损益表的分析就变得更加重要了。以前受限于数据分析工具，做损益表分析时很难做到多维度灵活分析，但随着BI数据可视化工具的发展࿰…
机器学习 — K-Means、K-Means++ 原理及算法实现
文章目录机器学习 — K-Means、K-Means 原理及算法实现一、K-Means1. 概念2. K-Means算法思想3. K-Means特点4.K-Means算法实现二、K-Means1.概念2.K-Means算法思想3.K-Means特点4.K-Means算法实现三、总结机器学习 — K-Means、K-Means 原理及算法实现
一、K-Means
1. 概念 …
总结：数据清洗的一些总结
##前言 在整理项目的时候发现清洗过程是一个非常细节的过程，几乎贯穿始终，也是后续步骤特征提取等的前置条件，所以整理如下,因为展开较大，所以我已近上传mindnode脑图和原始照片尺寸，请在这里下载数据清洗脑图原版 致谢…
数据分析作业四-基于用户及物品数据进行内容推荐
## 导入支持库
import pandas as pd
import matplotlib.pyplot as plt
import sklearn.metrics as metrics
import numpy as np
from sklearn.neighbors import NearestNeighbors
from scipy.spatial.distance import correlation
from sklearn.metrics.pairwise import pairwi…
数据的语言：学习数据可视化的实际应用
数据可视化应该学什么？这是一个在信息时代越来越重要的问题。随着数据不断增长和积累，从社交媒体到企业业务，从科学研究到医疗健康，我们都面临着海量的数据。然而，数据本身往往是冰冷、抽象的数字，对于大多…
2023年8月京东大家电市场数据分析（京东数据开放平台）
8月份大家电市场整体下滑。根据鲸参谋显示的大盘数据可知，今年8月，京东平台大家电市场的销量为515万，环比下滑约23%，同比下滑约25%；销售额约为120亿，环比下滑约26%，同比下滑约25%。 *数据源于鲸…
python(sklearn) 聚类性能度量
文章目录python(sklearn) 聚类性能度量一、sklearn聚类评价函数：二、评价函数说明：1. 轮廓系数（Silhouette Coefficient）2. CH分数（Calinski Harabasz Score ）3. 戴维森堡丁指数(DBI)——davies_bouldin_sc…
在Excel中添加数据分析工具
在Excel中添加数据分析工具声明操作步骤流程截图声明
Excel版本为2021
操作步骤
点击文件左下角点击选项左侧点击加载项下方点击转到勾选分析工具库，点击确定
流程截图 Step 1,2 Step 3,4 Step 5
淘宝有哪些值得抓取的数据？通过API可以获取到哪些数据？
淘宝是中国最大的在线购物平台，有丰富的数据可供抓取。以下是一些值得抓取的数据以及通过API可以获取到的数据：
1. 商品信息：包括商品标题、价格、销量、评价等。
2. 店铺信息：包括店铺名称、店铺信用、开店时间等。
3. 物流信…
Python用 tslearn 进行时间序列聚类可视化
全文链接：https://tecdat.cn/?p33484 我们最近在完成一些时间序列聚类任务，偶然发现了 tslearn 库。我很想看看启动和运行 tslearn 已内置的聚类有多简单，结果发现非常简单直接（点击文末“阅读原文”获取完整代码数据）…
Pandas基础操作-Series and DataFrame
Pandas基础
首先感谢Datewhale组织的这次组队学习训练营，个人感觉Datewhale的助教非常给力，让本次学习之旅，多了不少乐趣，也开始了我的又一个学习笔记打卡之旅，请喜欢的朋友们关注，希望能给你们带来一些收…
1B.1 Gödel语言的主要创新
http://www.docin.com/p-92139363.html由于Prolog所取得的巨大成功，一直以来Prolog都是逻辑程序设计的代称。但是，Prolog基于一阶逻辑的Horn子集，作为一种无类型 逻辑程序设计语言，它缺乏足够的可表达性。而且，由于Pro…
浅析代谢组学最常用到的数据分析方法 图形详解pca pls-da opls-da
代谢组学是一门对某一生物或细胞所有低分子质量代谢产物（以相对分子质量<1000的有机和无机的代谢物为研究核心区）进行分析的新兴学科。生物样本通过NMR、GC-MS、LC-MS等高通量仪器分析检测后，能产生大量的数据，这些数据具有高维…
【论文翻译】A Novel Method for Fast and Accurate Similarity Measure in Time Series Field
摘要
相似度度量是时间序列数据挖掘中的核心问题。尽管大多数解决这个问题的方法已经开发出来，但是随着数据量的快速增长，我们认为支持快速和准确的相似性度量是一个具有挑战性的需求。本文提出了一种新的时间序列表示模型和相似度度量方法，…
三方接口调用设计方案
在为第三方系统提供接口的时候，肯定要考虑接口数据的安全问题，比如数据是否被篡改，数据是否已经过时，数据是否可以重复提交等问题
在设计三方接口调用的方案时，需要考虑到安全性和可用性。以下是一种设计方案的概述&a…
数据可视化大屏模板 | 保姆级使用教程
近来很多朋友私信咨询怎么下载使用数据可视化大屏模板，在这里就给大家做一个相对简单的教程总结。有需要的朋友记得先收藏保存，以便不时之需。
数据可视化大屏制作软件：奥威BI系统
数据可视化报表模板板块：模板秀
主要操作&…
【海量数据挖掘/数据分析】 之 贝叶斯分类算法（朴素贝叶斯分类、贝叶斯分类计算流程、拉普拉斯修正、贝叶斯分类实例计算）
【海量数据挖掘/数据分析】 之 贝叶斯分类算法（朴素贝叶斯分类、贝叶斯分类计算流程、拉普拉斯修正、贝叶斯分类实例计算） 目录
【海量数据挖掘/数据分析】 之 贝叶斯分类算法（朴素贝叶斯分类、贝叶斯分类计算流程、拉普拉斯修正、贝叶斯分类…
2023年京东方便食品行业数据分析（京东数据报告）
疫情中方便食品的销售一度火爆，但随着当前消费场景的开放，方便食品销售又恢复常态并开始下滑。根据鲸参谋电商数据分析平台的相关数据显示，今年7月份，京东平台方便食品的销量为800万，环比降低约23%，同比降…
pandas报错SettingWithCopyWarning
df2[user_cnt2] df2[user_id].apply(lambda x: user_cnt.get(x, 0))
df2[item_cnt2] df2[item_id].apply(lambda x: item_cnt.get(x, 0))
df2[shop_cnt2] df2[shop_id].apply(lambda x: shop_cnt.get(x, 0))报错位置如上。
报错信息：
A value is trying to be se…
Pandas绘图功能
柱状图箱线图密度图条形图散点图折线图保存绘图总结可视化是用来探索性数据分析最强大的工具之一。Pandas库包含基本的绘图功能，可以让你创建各种绘图。Pandas中的绘图是在matplotlib之上构建的，如果你很熟悉matplotlib你会惊奇地发现他们的绘图风格是一…
python爬虫实战，爬虫之路，永无止境
python爬虫实战
好久没给大家跟新爬虫文章了，抱歉抱歉，这期给大家带来一篇小爬虫，希望大家喜欢，喜欢的来个关注，支持一下博主，谢谢各位了。
写代码了各位宝宝们 这里要注意一点就是要记得提前登录&#x…
数据分析：利用gpt进行归因分析
prompt： 你是某电商平台的一名数据分析师，发现昨日的GMV环比下降了5%，请对这数据变动做出归因。
output： 在电商行业中，GMV（总销售额）是一个非常重要的指标，用于衡量业务的整体健康…
【API 管理】什么是 API 管理，为什么它很重要？
当今复杂的数字生态系统由许多相互关联的部分组成。API 作为看门人和连接器在其中发挥着关键作用——提供了许多最终用户甚至没有注意到的自动化机会和效率。
企业密切关注 API。它们对于应用程序、数据和各种客户交互的功能至关重要。
这使得 API 管理成为几乎每个部门的组织…
python数据分析与挖掘基础理论篇
一.概述
1.数据挖掘：
就是从数据中”淘金“，从大量数据（包含文本）中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性支持决策的方法、工…
足球- EDA的历史数据分析并可视化
足球- EDA的历史数据分析并可视化 背景数据介绍探索数据时需要遵循的一些方向:数据处理导入库数据探索 数据可视化赛事分析主客场比分相关性分析时间序列分析 总结 背景
该数据集包括从1872年第一场正式比赛到2023年的44，341场国际足球比赛的结果。比赛范围从FIFA世…
【数据分析】缺失值处理
1. 均值填充：对于数值型的特征，采用该特征在已有数据中的平均值或中位数来填充缺失值。 2. 众数填充：对于类别型的特征，采用该特征在已有数据中出现频率最高的类别来填充缺失值。 3. 插值法：通过已有的数据，…
视觉化洞察：为什么我们需要数据可视化？
为什么我们需要数据可视化？这个问题在信息时代变得愈发重要。数据，如今已成为生活的一部分，我们每天都在产生大量的数据，从社交媒体到购物记录，从健康数据到工作表现，数据无处不在。然而，数据本…
图片处理踩坑之**OSError: cannot write mode RGBA as JPEG**
OSError: cannot write mode RGBA as JPEG
卡壳的地方： ##报错原因： 1.RGBA意思是红色，绿色，蓝色，Alpha的色彩空间，Alpha指透明度。 2.JPG不支持透明度，所以要么丢弃Alpha,要么保存为.png文件…
ADF 单位根检验 Dickey-Fuller 迪基-福勒检验
名词解释: Dickey-Fuller 迪基-福勒检验, 单位根检验, 如果存在时序数据中存在单位根, 则表明是非平稳序列 ADF检验 增广迪基-福勒检验 排除了自相关的影响
为什么需要检验: 单位根检验师时序序列分析的一个热点问题, 大部分时序模型都要求输入数据具有稳定性, 因此要先检测数…
【数据分析入门】Matplotlib
目录 零、图形解析与工作流0.1 图形解析0.2 工作流 一、准备数据1.1 一维数据1.2 二维数据或图片 二、绘制图形2.1 画布2.2 坐标轴 三、绘图例程3.1 一维数据3.2 向量场3.3 数据分布3.4 二维数据或图片 四、自定义图形4.1 颜色、色条与色彩表4.2 标记4.3 线型4.4 文本与标注4.5…
【数据挖掘】第4章 分类：基本概念与技术
分类：基本概念与技术
4.1 分类的基本概念
分类任务示例分类的定义：测试集、训练集、预测测试集建立分类模型的一般方法 第一步：建立模型 步骤一：将样本转化为等维的数据特征步骤二：选择与类别相关的特征步骤三&#…
PageRank（上）：数据分析 | 数据挖掘 | 十大算法之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。 🐴欢迎小伙伴们点赞👍🏻、收藏⭐️、…
统计学补充概念10-PCA主成分分析
概念
主成分分析（Principal Component Analysis，PCA）是一种常用的降维技术，用于减少数据集的维度并提取数据中的主要信息。它通过线性变换将原始数据投影到新的坐标系中，使得新坐标系的方差最大化，从而捕捉…
角度回归——角度编码方式
文章目录 1.为什么研究角度的编码方式？1.1 角度本身具有周期性1.2 深度学习的损失函数因为角度本身的周期性，在周期性的点上可能产生很大的Loss，造成训练不稳定1.3 那么如何处理边界问题呢：（以θ的边界问题为例&#x…
数据分析之路应该是就此开启了
咱就是说工作以后，就是重新学习的开始啊。 祝自己顺顺利利。 前路漫漫亦灿灿。
数据分析之路，开启吧。 以下是借鉴网上的学习路线。 这个学习路线图主要分为以下几个部分： 基础知识 ：包括数学、统计学和编程语言。这是数据分析的…
易基因：WGBS等揭示丹参甲基化表征及DNA甲基化在丹参酮生物合成中的调控机制｜科研速递
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。
丹参（Salvia miltiorrhiza，S. miltiorrhiza）是一种具有重要经济价值和药用价值的模式药用植物，丹参的根会合成一组称为丹参酮（…
【数据分析】时间序列
UTC时间：时间戳是以格林威治时间1970年01月01日00时00分00秒为基准计算所经过时间的秒数，是一个浮点数。Python的内置模块time和datetime都可以对时间格式数据进行转换，如时间戳和时间字符串的相互转换。 报错记录：AR has been re…
一图读懂「五度情报站」全盘视野，情报智取，先知先行，决策有道！
「五度情报站」是一款集企业情报监测、管理、分析等多功能于一体微信小程序，其依托全体量产业大数据及强大的数据治理能力，收录了商业、市场、竞争、企业、技术、金融等全类别情报信息，构建了面向用户的业务型标签体系，设计了实用…
pointnet和pointnet++点云分割和分类
目录
1. pointnet
1.1 点云数据的特点
1.2 模型功能
1.3 网络结构
1.3.1 分类网络
1.3.2 分割网络
2. pointnet
2.1 模型
2.2 sampling layer组件
2.3 grouping layer
2.4 pointnet 1. pointnet 1.1 点云数据的特点 （1）无序性：…
搭建全连接网络进行分类（糖尿病为例）
拿来练手，大神请绕道。 1.网上的代码大多都写在一个函数里，但是其实很多好论文都是把网络，数据训练等分开写的。
2.分开写就是有一个需要注意的事情，就是要import 要用到的文件中的模型或者变量等。
3.全连接的回归也写了&#…
芒果叶病害数据集（用于图像分类，每类500张照片）
1.数据集介绍
数据类型：240x320 像素的芒果叶图像。数据格式：JPG。图像数量：共有4000张图像。其中约有1800张是不同的叶子图像，其余的是通过缩放和旋转进行制备的。考虑的病害：包括七种病害，分别是炭疽病、…
Seaborn绘制图像时，怎么规定图像的尺寸大小和清晰度？
问题描述： 在我使用Seaborn库绘制类别散点图时，发现X轴的数据量挺多，图像就无法显示的很清晰。然后我就想着改变图像的尺寸大小和清晰度，想让图像变大一些。但是搜集了很多资料，而且去官网查看也无法找到相关的api的参…
淘宝卖家如何批量采集竞品sku进行分析？推荐2个商品sku获取API
item_sku-获取sku详细信息
请求参数
请求参数：num_iid572050066584&sku_id3880971359554&is_promotion0
参数说明：sku_id:SKU ID num_iid:商品ID is_promotion:是否获取取促销价
API测试页 获取key&secret 响应参数
Version: Date:
名…
基于Softmax回归的多分类任务
Logistic回归可以有效地解决二分类问题，但在分类任务中，还有一类多分类问题，即类别数C大于2 的分类问题。Softmax回归就是Logistic回归在多分类问题上的推广。 使用Softmax回归模型对一个简单的数据集进行多分类实验。 首先给大家看一下需要的…
标准误与聚类稳健标准误的理解
1 标准误
1.1 定义
标准误（Standard Error）是用来衡量统计样本估计量（如均值、回归系数等）与总体参数之间的差异的一种统计量。标准误衡量了样本估计量的变异程度，提供了对总体参数的估计的不确定性的度量。标准误越…
ESDA in PySal (1) 利用 A-DBSCAN 聚类点并探索边界模糊性
ESDA in PySAL (1) 利用 A-DBSCAN 聚类点并探索边界模糊性
在本例中，我们将以柏林的 AirBnb 房源样本为例，说明如何使用 A-DBSCAN (Arribas-Bel et al., 2019)。A-DBSCAN 可以让我们做两件事： 识别高密度 AirBnb 房源集群并划定其边界探索这些边界的稳定性%matplotlib inli…
保姆级教程之SABO-VMD-SVM的西储大学轴承诊断
之前写过一篇优化核极限学习机的轴承诊断，今天再出一期基于SVM的轴承诊断。 依旧是包含了从数据处理，到减法优化器SABO算法优化VMD参数，再到支持向量机的故障诊断，实现故障诊断的全流程，其他类型的故障诊断均可参考此流…
听人劝吃饱饭，这款数据可视化工具定要试试
在数据量激增，数据分析精细化的当下，拥有一款趁手的BI数据可视化工具不仅可以提高报表易读性，还可以提高数据分析效率，对公司、个人的职业发展都起到重要的辅助作用。接下来要介绍的奥威BI数据可视化工具是一款零编程BI工具&#…
AB实验置信度检验，T检验，采样vs不采样
原理
T检验是算两个分布的差异
必须采样的情况：用RPM绝对值计算
实验组每天的RPM：8005 7905 7805 8105 8206
对照组每天的RPM：8000 7900 7800 8100 8200实验组的涨幅 被 天和天之间 的波动幅度盖过
所以用每天的RPM绝对值不行，…
基于Renyi熵的可迁移性分析
引言：
该篇博客实现了不同时频分析数据集的Renyi熵比较。首先，通过numpy实现张量数据的加载，然后通过Renyi熵分析数据集之间的可迁移性。 基于Renyi熵的可迁移性分析 0. 什么是瑞丽熵？0.1 Hermitian矩阵：0.2 瑞丽熵定义0.3 瑞丽熵性质：0.4 广义瑞丽熵1. chatgpt提供的基…
1024程序员狂欢节 | IT前沿技术、人工智能、数据挖掘、网络空间安全技术
一年一度的1024程序员狂欢节又到啦！成为更卓越的自己，坚持阅读和学习，别给自己留遗憾，行动起来吧！ 那么，都有哪些好书值得入手呢？小编为大家整理了前沿技术、人工智能、集成电路科学与芯片技术、…
第82步 时间序列建模实战：LightGBM回归建模
基于WIN10的64位系统演示
一、写在前面
这一期，我们介绍LightGBM回归。
同样，这里使用这个数据：
《PLoS One》2015年一篇题目为《Comparison of Two Hybrid Models for Forecasting the Incidence of Hemorrhagic Fever with Renal Syndr…
【数据挖掘】时间序列教程【八】
4.4 时间混淆
我们先考虑一个简单的线性回归模型， 哪里 和是具有平均值的高斯过程00和自协方差 .现在，在不失去一般性的情况下，让我们假设 而那瓦尔
hive建表和插入格式问题
本篇主要讨论建表，插表，表存储格式，字段分隔符，MR任务输入文件注意事项 有不正确的地方，还请指正
hive建表语句
下面的示例，建立表bankFilter，以 hp_settle_dt 划分分区，存储为 rc…
Paimon+StarRocks 湖仓一体数据分析方案
摘要：本文整理自阿里云高级开发工程师曾庆栋（曦乐）在 Streaming Lakehouse Meetup 的分享。内容主要分为四个部分： 传统数据仓库分析实现方案简介PaimonStarRocks 构建湖仓一体数据分析实现方案StarRocks 与 Paimon 结合的使用方式…
Ceph入门到精通-存储集群ceph df 用量统计算法说明
3.2.5. Ceph 如何计算数据使用量
used 值反映了使用的实际原始存储量。xxx GB / xxx GB 代表可用的存储（其中较小的数字）和总存储容量。总容量反映了在复制、克隆或快照前存储数据的大小。因此，实际存储的数据量通常会超过名义上的存储量。这…
（待会删）yyds，产品经理请低调使用！
今天你薅羊毛了吗？资源难搞，12h限时删！大家可尽快领取！食用愉快！今天给大家搞到的是一份华为内部都在用的『Excel学习资源』：▶形式：1节直播公开课3节实操闯关课▶费用：原价199&…
数据挖掘原理与实践 第五章作业
P170
5.1
列举关联规则在不同领域中应用的实例。 答：在医学领域：发现某些症状与某种疾病之间的关联，为医生进行疾病诊断和治疗提供线索；在商业领域：发现商品间的联系，为商场进行商品促销及摆放货架提供辅…
UNIapp 开发H5踩坑记录
设置页面全屏背景图 因为在VUE我们没有body这个标签（层级）。但是提供了page这个在外层的vdom。所以我们直接在page中定义背景的CSS
page{background: url(assets/images/index-bg.png) no-repeat center center;background-size: 100% 100%;width: 100%…
信息可视化和数据可视化的异同和其他比较，到底怎么区分呢？
什么是数据可视化?
根据维塔利弗里德曼的说法：
“数据可视化的主要目标是通过图形方式清晰有效地传达数据。”
数据可视化是将数据转化为图表、图形、地图等视觉元素的过程，以便人们更容易理解数据的趋势、关系和模式。它通常强调的是对数据的视觉呈…
奥威BI数据可视化工具：个性化定制，打造独特大屏
每个人都有自己独特的审美，因此即使是做可视化大屏，也有很多人希望做出不一样的报表，用以缓解审美疲劳的同时提高报表浏览效率。因此这也催生出了数据可视化工具的个性化可视化大屏制作需求。
奥威BI数据可视化工具：个性化定制&a…
SpeedBI数据可视化工具：丰富图表，提高报表易读性
数据可视化工具一大作用就是能把复杂数据可视化、直观化，更容易看懂，也就更容易实现以数据驱动业务管理升级，因此一般的数据可视化工具都会提供大量图形化的数据可视化图表，以提高报表的易懂性，更好地服务企业运营决策…
Linear、Logistic回归
线性回归 线性回归的目标是找到最佳拟合线，以使观测数据点与该线的残差（实际值与预测值之间的差异）最小化。线性回归通常用于探索变量之间的趋势、预测未来数值，或者用于发现因果关系。
简单实例（波士顿房价ÿ…
2023年京东洗发护发行业增长趋势分析：头皮清洁或成小风口
如今，随着消费观念的转变，越来越多的消费者愈加重视头部的洗护，无论是女性还是男性，都开始积极寻找头部洗护用品，以更好地呵护头发及头皮。在用户需求的推动下，洗发护发行业已经逐渐发展成为成熟行业。 根据…
点云从入门到精通技术详解100篇-基于车载激光点云的道路标线提取及分类方法
目录
前言
车载 LiDAR 技术基础理论
2.1 车载 LiDAR 系统组成
2.2 车载 LiDAR 系统工作原理
零代码复现-TCGA联合GEO免疫基因结合代谢基因生信套路（一）
经过一段时间的积累，搭建的分析平台已经日渐进入稳定的状态，很多粉丝也在和我们反馈，让我们出一下零代码生信套路课。
小编找了很久，发现某某机构出的TCGA联合GEO 免疫基因代谢基因的生信套路，该套路应用常见相对来说…
聚类系列(一)——什么是聚类？
目前在做聚类方面的科研工作, 看了很多相关的论文, 也做了一些工作, 于是想出个聚类系列记录一下, 主要包括聚类的概念和相关定义、现有常用聚类算法、聚类相似性度量指标、聚类评价指标、 聚类的应用场景以及共享一些聚类的开源代码 下面正式进入该系列的第一个部分ÿ…
QGIS文章五——对遥感影像进行土地类型分类—监督分类（dzetsaka : classification tool）...
dzetsaka classification tool是QGIS的强大分类插件，目前主要提供了高斯混合模型分类器、Random Forest、KNN和SVM四种分类器模型，相比于SCP(Semi-Automatic Classification)，他的一个特点就是功能专一，操作简单。 从十一月开始一…
Minitab Express for Mac(数据分析软件)附破解补丁 v1.5.0 支持M1
Minitab Express是一款专为Mac用户设计的数据分析和统计软件。它提供了一套全面的工具和功能，用于分析数据、执行统计计算和生成可视化。
下载：Minitab Express for Mac(数据分析软件)附破解补丁 以下是 Minitab Express for Mac 的一些主要功能&#x…
如何书写软件应用发明专利说明书（实例）
说 明 书 基于RFID的参展人员消费偏好调查分析方法及系统 技术领域（这个是套话，不过要套正确了） 本发明涉及一种对展览会场中参展人员消费偏好进行调查分析的方法及系统，尤其涉及一种应用RFID定位技术自动获取参展人员消费偏好…
贝叶斯滤波计算4d毫米波聚类目标动静属性
机器人学中有些问题是二值问题，对于这种二值问题的概率评估问题可以用二值贝叶斯滤波器binary Bayes filter来解决的。比如机器人前方有一个门，机器人想判断这个门是开是关。这个二值状态是固定的，并不会随着测量数据变量的改变而改变。就像门…
数据挖掘（5）分类数据挖掘：基于距离的分类方法
一、分类挖掘的基本流程
最常用的就是客户评估
1.1分类器概念 1.2分类方法 基于距离的分类方法决策树分类方法贝叶斯分类方法 1.3分类的基本流程 步骤 建立分类模型 通过分类算法对训练集训练，得到有指导的学习、有监督的学习预定义的类：类标号属性确定…
IT职场:IT人才市场最看重的12项技能
By kevinwu on November 2, 2007 11:24 AM | No Comments | No TrackBacks
IT行业很热门，不过前提是你要有所需的技能。如果你想进入这个行业，不妨看看在不久的将来最热门的几项IT技能。Kevin Scott是谷歌公司的高级技术经理，也是美国计算机…
“词网”一家语义分析的公司
北京词网科技有限公司是一家提供企业级检索服务解决方案及信息数据挖掘技术的公司。在搜索引擎开发、企业应用方面具有丰富的开发经验，并且可以提供全面的搜索引擎解决方案，具有多名资深的搜索引擎专家，专注于行业垂直搜索引擎开发。 …
2023年7月京东平板电脑行业品牌销售排行榜（京东销售数据分析）
鲸参谋监测的京东平台7月份平板电脑市场销售数据已出炉！
根据鲸参谋电商数据分析平台的相关数据显示，今年7月份，京东平台上平板电脑的销量为68万，同比增长超过37%；销售额为22亿，同比增长约54%。从价格上看…
伙伴云连续2年入选Gartner《中国分析平台市场指南》，数据分析能力遥遥领先
伙伴云作为中国分析与商业智能平台代表性厂商，因出色的数据分析能力，入选Gartner2023《中国分析平台市场指南》（《Market Guide for Analytics Platforms, China》，以下简称“指南”），成为入选该报告中唯一…
分类算法（KNN算法）
KNN（k-Nearest Neighbors）算法是一种常见的分类和回归算法。它的核心思想是通过计算待分类对象和训练集中已分类对象之间的距离来确定待分类对象所属的类别。其中，k表示选取距离待分类对象最近的k个训练样本，将这些样本的类别作为…
26 | 谷歌应用APP数据分析
基于kaggle公开数据集，对谷歌应用市场的APP情况进行数据探索和分析。
from kaggle: https://www.kaggle.com/lava18/google-play-store-apps
分析思路： 0、数据准备 1、数据概览 2、种类对Rating的影响 3、定价策略 4、因素相关性分析 5、用户评价 6、总结 0、数据准备
（…
数据分析 | 调用Optuna库实现基于TPE的贝叶斯优化 | 以随机森林回归为例
1. Optuna库的优势 对比bayes_opt和hyperoptOptuna不仅可以衔接到PyTorch等深度学习框架上，还可以与sklearn-optimize结合使用，这也是我最喜欢的地方，Optuna因此特性可以被使用于各种各样的优化场景。 2. 导入必要的库及加载数据 用的是sklea…
数据挖掘和大数据的区别
数据挖掘
一般用于对企业内部系统的数据库进行筛选、整合和分析。
操作对象是数据仓库，数据相对有规律，数据量较少。
大数据
一般指对互联网中杂乱无章的数据进行筛选、整合和分析。
操作对象一般是互联网的数据，数据无规律，…
京东数据报告：2023年儿童面膜行业数据分析
如今，儿童面膜在不少家长群体中受到追捧。有的家长称自家孩子3岁开始敷面膜，而在某电商平台上，一位母婴博主称自己的女儿才2岁，“已经深知护肤的重要性了，每天洗完澡就嚷嚷着要敷面膜”。
而从市场角度看，…
数据分析基础-数据可视化学习笔记06-交互架构
互动与 可视化
对视觉表⽰进⾏操作 视觉分析的可视化应有助于对视觉表⽰数据的操作 ⼀系列反馈回路 概述 放⼤/缩⼩ 选择 筛选 查找相关信息 促进数据空间的探索。 互动类型 选择和操作 直接处理数据的视觉表⽰。 探索与导航 理解并⾛过视觉呈现的空间。 选择和 操…
泛化误差上界（二分类）
对于二分类问题，当假设空间是有限个函数的集合 F { f 1 , f 2 , . . . , f d } F\{f_1,f_2,...,f_d\} F{f1,f2,...,fd}时，对 ∀ f ∈ F \forall f \in F ∀f∈F，至少以概率 1 − δ , 0 < δ < 1 1-\delta,0<\delta<1 1−…
京东数据分析平台：2023年8月京东奶粉行业品牌销售排行榜
鲸参谋监测的京东平台8月份奶粉市场销售数据已出炉！
鲸参谋数据显示，8月份京东平台上奶粉的销售量将近700万件，环比增长约15%，同比则下滑约19%；销售额将近23亿元，环比增长约4%，同比则下滑约3%。…
2023年全球市场氮化铝外延片总体规模、主要生产商、主要地区、产品和应用细分研究报告
按收入计，2022年全球氮化铝外延片收入大约9百万美元，预计2029年达到25百万美元，2023至2029期间，年复合增长率CAGR为 16.1%。同时2022年全球氮化铝外延片销量大约 ，预计2029年将达到 。2022年中国市场规模大约为 百万美…
python—scrapy框架写爬虫教程
六．Requests库和Scrapy库比较： 1.相同点： （1）两者都可以进行页面请求和爬取，python爬虫的两个重要技术路线； （2）两者可用性都好，文档丰富，入门简单…
京东数据接口：京东数据分析怎么做？
电商运营中数据分析的重要性不言而喻，而想要做数据分析，就要先找到数据，利用数据接口我们能够更轻松的获得比较全面的数据。因此，目前不少品牌商家都选择使用一些数据接口来获取相关电商数据、以更好地做好数据分析。
鲸参谋电商…
为什么要做数据可视化
在当今信息爆炸的时代，数据已成为个人和企业最宝贵的资产之一。然而，仅仅拥有大量的数据并不足以支持明智的决策。数据可视化，作为一种将数据转化为图形形式的技术和方法，可以帮助我们更好地理解和分析数据，从而更准确…
基础课1——人工智能的分类和层次
1.人工智能的分类
人工智能（AI）的分类主要有以下几种：
弱人工智能（Artificial Narrow Intelligence，ANI）：弱人工智能是擅长于单个方面的人工智能，例如战胜象棋世界冠军的人工智能阿…
小O网兜0231新版 -- 用户入门指南
本文介绍小O网兜入门功能，通过本文用户能够掌握数据采集的基本操作，使用软件提供的模板任务采集指定页面的数据。
基本概念
任务文件：新建任务文件，扩展名为 xop，任务的配置、采集数据等信息保存在该文件中ÿ…
数字经济时代 企业的数据安全需要多维考虑
随着科技的快速发展，数字经济已经成为全球经济体系的主要推动力之一。在这个数字经济时代，企业对数据的依赖程度越来越高，数据已经成为企业的重要资产之一。然而，随之而来的是数据安全问题的日益突出。企业必须认真考虑数据安全问…
ESDA in PySal (6)：评估空间异方差的局部模式：LOSH
ESDA in PySal (6)：评估空间异方差的局部模式：LOSH
在下面的笔记本中，我们回顾了 Ord 和 Getis (2012) 提出的局部空间异方差 (LOSH) 统计量 ( H i H_i Hi) -y）。 LOSH 旨在作为分析空间过程平均水平的本地统计数据的补充。 LO…
财务数据分析用什么软件好？奥威BI自带方案
做财务数据分析，光有软件还不够，还需要有标准化的智能财务数据分析方案。奥威BI数据可视化工具就是这样一款自带智能财务数据分析方案的软件。
”BI方案“，一站式做财务数据分析
奥威BI数据可视化工具和智能财务分析方案结合，可…
电商数据采集和数据分析
不管是做渠道价格的治理，还是做窜货、假货的打击，都需要品牌对线上数据尽数掌握，准确的数据是驱动服务的关键，所以做好电商数据的采集和分析非常重要。 当线上链接较多，品牌又需要监测线上数据时，单靠人工肯…
数据分析案例-基于snownlp模型的MatePad11产品用户评论情感分析
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
数据挖掘实战（3）：如何对比特币走势进行预测？
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。 🐴欢迎小伙伴们点赞👍🏻、收藏⭐️、…
突然发现得考个研究生了
近日，大厂程序员在知乎吐槽“能力很强的同事学历造假，被辞了”，引发热议。“本科211，硕士去了哥伦比亚大学，因为GPA过低，第一学期就被开除。国外黑了两年，造了个假学历回国，竟然还过…
电商数据API接口：新服务下电商网站、跨境电商独立站,移动APP的新型拉新武器
互联网的发展改变了我们的生活方式，也改变了企业商家们的营销方式，越来越多的企业商家把产品营销从线下转到线上，选择在线商城、移动APP、微信公众号等互联网工具进行营销活动。而随着营销模式的多元化和电子支付渠道的进一步发展，…
【数据挖掘 | 数据预处理】缺失值处理 重复值处理 文本处理 确定不来看看？
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
独家分享 | BI零售数据分析模板，可视化，更易懂
“人、货、场”是零售数据分析的三大关键，只要能又快又透彻地掌握这三大关键的数据情况，即可为零售运营决策提供关键的数据支持，提高盈利、降低成本、优化采购库存结构等。奥威BI软件这套BI零售数据分析模板套装围绕“人、货、场”预设了数十…
机器学习领域经典书籍推荐
机器学习领域经典书籍 1. 数据挖掘概念与技术2. 机器学习3. 统计学习方法4. 深度学习5. 动手学深度学习（PyTorch版） 1. 数据挖掘概念与技术 原名: Data Mining：Concepts and Techniques，Third Edition 作者: （美&#…
Pandas数据分析Pandas进阶在线闯关_头歌实践教学平台
Pandas数据分析进阶 第1关 Pandas 分组聚合第2关 Pandas 创建透视表和交叉表 第1关 Pandas 分组聚合
任务描述 本关任务：使用 Pandas 加载 drinks.csv 文件中的数据，根据数据信息求每个大洲红酒消耗量的最大值与最小值的差以及啤酒消耗量的和。 编程要求…
细粒度视觉分类的注意内核编码网络
Attentional Kernel Encoding Networks for Fine-Grained Visual Categorization 1、介绍2、方法2.1 卷积模块2.2 级联注意力模块2.3 内核编码模块2.4 整体 3、结论 在本文中，我们提出了一种用于细粒度视觉分类的注意核编码网络(AKEN)。具体来说，AKEN聚合…
怎样利用 AI 大模型，辅助研发管理与效能提升？
AI 大模型已经逐渐渗透到各行各业的应用场景中，在软件研发领域也不例外。在软件研发领域，从需求分析到软件设计，从软件开发到测试，以及最后发布上线，AI 在各个环节都发挥着重要作用。10 月 21 日，思码逸首席…
2023第二届全国大学生数据分析大赛A题思路
某电商平台用户行为分析与挖掘 背景：电商是当今用户最大的交易市场之一，电商行业也逐渐成熟， 所有市场中可售卖的商品全都在平台中存在，并且在网络和疫情的影 响下，在线上的消费行为满足全年龄段用户。 用户的交易行为…
GPT4 Advanced data analysis Code Interpreter 做行业数据分析、可视化处理图像、视频、音频等
1. 跨境电商如何用ChatGPT选品
ChatGPT Jungle scout
案例：跨境电商如何用ChatGFT选品 ChatGPTJungle scout
素材和资料来自： Jungle ScoutEM, Michael Soltis 和 文韬武韬AIGC
1.1 从Jungle scout上下载数据 Date Range > Last 90 days Downlo…
【特征工程-时许(时间)特征处理方法汇总】
机器学习时间特征处理方法汇总 时间特征基本处理基本处理基础上二次处理差分、滞后、滑窗、指数加权参考文献：https://zhuanlan.zhihu.com/p/466773545 时间特征基本处理
# 时间特征的基本转换
class HandleDateFeature:def __init__(self, df, col):self.df dfse…
「解析」YOLOv5 classify分类模板
学习深度学习有些时间了，相信很多小伙伴都已经接触 图像分类、目标检测甚至图像分割(语义分割)等算法了，相信大部分小伙伴都是从分类入门，接触各式各样的 Backbone算法开启自己的炼丹之路。
但是炼丹并非全是 Backbone，更多的是各…
【论文笔记】最近看的时空数据挖掘综述整理8.27
Deep Learning for Spatio-Temporal Data Mining: A Survey
被引用次数：392
[Submitted on 11 Jun 2019 (v1), last revised 24 Jun 2019 (this version, v2)]
主要内容： 该论文是一篇关于深度学习在时空数据挖掘中的应用的综述。论文首先介绍了时空数…
回归预测常见评估指标R2_Score能否为负数
文章目录 R2 —— 评估回归的方法什么是R2参考文献R2 —— 评估回归的方法
回归是将函数拟合到数据的方法。例如，我们能够通过卫星统计沃尔玛门口停车场的汽车数量，也可以通过其收益报告了解沃尔玛在对应时段的销售额。于是，你想建立一个汽车数量与沃尔玛季度收益的函数关系…
Python数据挖掘项目实战——自动售货机销售数据可视化分析及销售额预测
👨🎓博主简介 🏅云计算领域优质创作者 🏅华为云开发者社区专家博主 🏅阿里云开发者社区专家博主 💊交流社区：运维交流社区 欢迎大家的加入！ 🐋 希望大家多多支…
【EI会议征稿通知】第四届工业制造与结构材料国际学术会议（IMSM 2024）
第四届工业制造与结构材料国际学术会议（IMSM 2024）
2024 4th International Conference on Industrial Manufacturing and Structural Materials（IMSM 2024）
第四届工业制造与结构材料国际学术会议（IMSM 2024&#x…
API接口怎么对接电商平台获取商品详情数据
对于api接口的对接，你可以按照以下步骤进行操作：
1. 确定需求：首先要明确你的对接需求，即想要通过对接api接口实现什么功能，例如获取数据、实现支付等。
2. 寻找文档：在对接之前，要找到相关ap…
数据分析、数据挖掘常用的数据清洗方法
数据清洗目的：一是为了解决数据质量问题；二是为了使数据更适合模型分析挖掘。
数据的完整性—例如：人的属性中缺少性别
数据的唯一性—例如：不同来源的数据出现重复
数据的权威性—例如：同一个指标出现多个来源的数…
作为决策者，谁能拒绝这样一张数据可视化报表
数据分析是决策的一大助力，因此作为企业的管理决策者都会希望获得一份直观易懂、支持灵活自助分析的数据可视化报表，比如说由奥威BI数据可视化软件制作的这张BI报表。
名称：零售业数据分析驾驶舱
来源：奥威BI零售数据分析方案 …
数据可视化、BI和数字孪生软件：用途和特点对比
在现代企业和科技领域，数据起着至关重要的作用。为了更好地管理和理解数据，不同类型的软件工具应运而生，其中包括数据可视化软件、BI（Business Intelligence）软件和数字孪生软件。虽然它们都涉及数据，但在功…
自动售货机销售数据分析与应用
python 01案例背景02分析目标03 分析过程04 数据预处理4.1. 清洗数据4.1.1 合并订单表并处理缺失值4.1.2 增加“市”属性4.1.3 处理订单表中的“商品详情”属性4.1.4 处理“总金额（元）”属性 4.2.属性选择4.3.属性规约 05 销售数据可视化分析5.1.销售额和…
使用时间潜在瓶颈网络进行图像分类
介绍
简单的循环神经网络（RNN）对学习 时间压缩表示表现出强烈的归纳偏差。方程 1显示了递推公式，其中h_t是整个输入序列 的压缩表示（单个向量）x。 方程 1：递推方程。（来源：Aritra 和 Suvaditya）另一方面，Transformers（Vaswani 等人）对于学习时间压缩表示几乎没有归…
科学化决策数据分析，先从量化开始
在当今信息爆炸的时代，数据已经成为我们生活和工作中不可或缺的一部分。在各行各业，人们越来越依赖数据来指导决策和优化业务。在这个背景下，量化成为了一种重要的方法论，通过收集、分析和解读数据，为我们提供了更准确…
【OJ比赛日历】快周末了，不来一场比赛吗？ #11.04-11.10 #10场
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
2023-11-04（周六） #2场比赛2023-11-05…
Java请求电商平台api接口数据采集获取商品销量详情示例
商品销量是商家决策的重要参考指标之一。通过淘宝商品销量接口，商家可以获取到实时的销量信息，从而更好地进行库存管理、供应链计划和市场推广等决策。
商品销量接口可以提供丰富的销售数据，包括销售数量、销售额、销售渠道等。对于数据分析…
如何快速将txt类型的日志文件转换为excel表格并进行数据分析报表统计图（如：饼图、折线图、柱状图）？
打开excel创建空白文档 选择一个txt文件 一动下面箭头↑竖线，可以拖拽左右调整要判断转换为一列的数据宽度 根据情况设置不同列的数据格式（每一列可以点击），设置好后点击【完成】 设置单元格数据格式 手动插入第一行为每列数据的…
API接口接入1688电商数据平台获取商品详情数据示例
1688电商数据平台是一个提供海量商品信息的数据平台，通过API接口可以方便地获取商品详情数据。以下是一个示例，演示如何接入1688电商数据平台，获取商品详情数据。
步骤一：注册1688账号并获取API权限
首先需要在1688电商数据平台…
让植被管理更精准：数据可视化的新利器
【小编整理了300可视化大屏源文件，需要可后台私~！】 在当今时代，数据可视化技术已经成为了一个非常重要的技术。对于植被管理来说，数据可视化也有着非常重要的作用。通过将植被管理数据可视化，我们可以更加清晰地了解植…
MATLAB算法实战应用案例精讲-【优化算法】多元宇宙优化算法(MVO)多目标多元宇宙优化算法（MOMVO）（附matlab代码实现）
目录
前言
算法原理
算法思想
1. 初始化
2. 选择
3. 移动 算法步骤
如何用R语言在生物群落生态学中的数据统计分析？
R 语言作的开源、自由、免费等特点使其广泛应用于生物群落数据统计分析。生物群落数据多样而复杂，涉及众多统计分析方法。本课程以生物群落数据分析中的最常用的统计方法回归和混合效应模型、多元统计分析技术及结构方程等数量分析方法为主线，通过多个来…
京东数据分析软件：2023年8月京东护肤行业品牌销售排行榜
鲸参谋监测的京东平台8月份护肤市场销售数据已出炉！
鲸参谋数据显示，8月份护肤市场累计销量为1700万，累计销售额为23亿，整体市场均价约为136元。8月护肤市场中在京东平台活跃的品牌数、店铺数及动销sku数分别为3100、5800和650…
启发式搜索算法-人工智能
第1关：评估函数和启发信息 第2关：A*搜索算法
class Array2D:"""说明：1.构造方法需要两个参数，即二维数组的 宽和高2.成员变量w和h是二维数组的宽和高3.使用：‘对象[x][y]’可以直接取到相应的值4.数组的默认值都是0"""def __init__(s…
拼多多开放平台订单接口接入说明
一、概述
拼多多开放平台提供了一系列的订单接口，开发者可以通过这些接口来获取和处理拼多多的订单数据。本文将详细说明如何接入这些订单接口，以及在使用过程中需要注意的事项。
二、接口介绍
订单查询接口：通过此接口，您可以…
一个GPU版本的遗传算法迭代xgboost最优参数的示例，这里用的是自定义损失函数
一个简单的遗传算法迭代xgboost最优参数的示例，这里用的是自定义损失函数 import pandas as pd
import numpy as np
import xgboost as xgb
from sko.GA import GA
from sklearn.model_selection import train_test_split
from sklearn.linear_model import Logisti…
【机器学习 | PipeLine】机器学习通用管道最佳实践！！（无论什么问题都能套上，确定不来看看？）
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
2021年地级市能量消耗量，286条数据，shp和excel文件
随着社会经济的快速发展，能源消耗量不断增加，对于地级市来说，能量消耗量数据成为了衡量当地经济发展和城市管理的重要指标之一。
本文将分享2021年地级市能量消耗量数据，以下为该数据的基本信息和字段说明。 基本信息
数据名称:…
SHAP（五）：使用 XGBoost 进行人口普查收入分类
SHAP（五）：使用 XGBoost 进行人口普查收入分类
本笔记本演示了如何使用 XGBoost 预测个人年收入超过 5 万美元的概率。 它使用标准 UCI 成人收入数据集。 要下载此笔记本的副本，请访问 github。
XGBoost 等梯度增强机方法对于具有…
一文讲清生产质量场景的数据分析思路及案例实战
今天，顺着制造业数据分析这个大主题，我们来讲讲质量管理数据分析。 说起质量管理，就是对所生产的产品质量进行管理，其最终目的就是保证客户收到的产品质量，提高客户满意度，减少退货和维修的数量。质量管…
【数据分析 | Numpy】Numpy模块系列指南（一），从设计架构说起
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
基于gensim实现word2vec模型（附案例实战）
目录
什么是word2vec？
Word2Vec的原理
gensim实现word2vec模型（实战） 什么是word2vec？
Word2Vec是google在2013年推出的一个NLP工具，它的特点是能够将单词转化为向量来表示，这样词与词之间就可以定量的…
EＲP+MES集成管理系统重要性有哪些？
随着企业信息化观念的提升，管理方式也愈来愈信息化，因此以信息化推动企业的不断发展趋势已变成企业存活和发展的主要核心理念。其中EＲP 系统和 MES 系统在企业发展和改革中起着非常重要的作用。当各种信息化系统在企业内各个部门顺利执行的同…
【数据分析】(task2)数据清洗及特征处理
note 文章目录note一、缺失值观察和处理二、重复值观察和处理三、特征观察和处理3.1 对年龄分箱处理（离散化）3.2 对文本变量转换3.3 从纯文本Name特征里提取出Titles的特征时间安排Reference一、缺失值观察和处理
数据清洗：如缺失值、重复值…
2022年第十一届数学建模国际赛小美赛C题人类活动分类解题全过程文档及程序
2022年第十一届数学建模国际赛小美赛
C题 人类活动分类
原题再现： 人类行为理解的一个重要方面是对日常活动的识别和监控。可穿戴式活动识别系统可以改善许多关键领域的生活质量，如动态监测、家庭康复和跌倒检测。基于惯性传感器的活动识别系统用于通过…
机器学习管道中的数据定价
机器学习管道中的数据定价
Data Pricing in Machine Learning
作者：Pipelines Zicun Cong Xuan Luo Pei Jian Feida Zhu Yong Zhang
Abstract
机器学习具有破坏性。同时，机器学习只能通过多方协作，在多个步骤中取得成功，就…
做数据分析为何要学统计学（6）——什么问题适合使用方差分析？
方差分析（ANOVA，也称变异数分析）是英国统计学家Fisher（1890.2.17－1962.7.29）提出的对两个或以上样本总体均值进行差异显著性检验的方法。
它的基本思想是将测量数据的总变异（即总方差ÿ…
人工智能与数据分析：新时代的趋势和机会
目录 写在开头1. 融合AI和数据分析的趋势1.1 趋势变化1.2 数据驱动目标转换2 对数据分析行业的影响2.1 技能需求2.2 工作流程和角色的变化2.3 创新和业务驱动的数据分析3.场景变化3.1 场景1：智能决策支持系统3.1.1 智能决策支持系统的架构设计3.1.2 Python代码演示3.2 个性化用…
10个 Python 脚本来自动化你的日常任务
在这个自动化时代，我们有很多重复无聊的工作要做。想想这些你不再需要一次又一次地做的无聊的事情，让它自动化，让你的生活更轻松。
那么在本文中，我将向您介绍 10 个 Python 自动化脚本，以使你的工作更加自动化&#…
【数据分析之Numpy】Numpy中位数函数numpy.median()的使用方法
一、简介 numpy.median() 是 Numpy 库中的一个函数，用于计算给定数据集或数组的中位数。
二、基本语法 numpy.median(a, axisNone, outNone, overwrite_inputFalse, keepdimsFalse) 参数： a：输入数组。 axis：沿着哪个轴计算中位数…
人工智能数据挖掘：发掘信息的新境界
导言 人工智能数据挖掘作为信息时代的利器，通过智能算法和大数据技术的结合，为企业、学术研究和社会决策提供了前所未有的洞察力。本文将深入探讨人工智能在数据挖掘领域的应用、技术挑战以及对未来的影响。
1. 人工智能数据挖掘的基本原理
数…
时间序列教程 四、自回归和移动平均模型
一、本节目标
了解自相关函数（ACF）。
了解部分自相关函数（PACF）。
了解自回归和移动平均模型是如何工作的。
使用Python来拟合自相关模型。
二、ACF和PACF
1、自相关函数（ACF）
测量信号与自身延迟数据的相关性。
它用于发现信号中的重复模式，例如周期性信号的存…
Python爬虫入门指南
Python爬虫是指使用Python编写程序来自动化地访问互联网资源并提取数据的技术。Python爬虫技术在数据采集、数据分析、数据挖掘、自然语言处理等领域都有广泛的应用。以下是学习Python爬虫的思路：
1. 学习基础知识
在学习Python爬虫之前，需要具备Pytho…
数据要素化条件之二：机读性
机读性是伴随计算机应用而产生的。如同人通过各种语言，按照一定的语法规律来表达某种含义，反映客观规律一样，计算机也需要特定的数据格式。因而，机读数据就是具备计算机等智能设备可以自动读取和处理的特定格式的数据。机器可读格…
NBT - 生成式蛋白设计，AI带来的蛋白质工程飞跃
科学家们创建了一个能够从头合成人工酶的人工智能系统。实验测试发现，一些酶与自然界中发现的酶具有相同的功效，即使人工生成的氨基酸序列与任何已知的天然蛋白质明显不同。实验表明，尽管自然语言处理是为了阅读和编写语言文本而开发的&#…
客流统计分析系统增强售楼处、4S店飞单管理能力
客流统计分析系统可以为售楼处和4S店提供有效的飞单管理能力，使其能够更好地管理客户信息和提高销售效率。首先，客流统计分析系统可以对售楼处和4S店的客流进行实时监控和分析。通过使用摄像头、人脸识别等技术，可以对进店的客户进行统计和分…
数据智慧：如何利用可视化提升效率
数据可视化是一项强大的工具，能够显著提高工作效率和决策的准确性。下面我就以可视化从业者的角度，简单谈谈数据可视化是如何助力效率提升的。 直观理解复杂数据
数据可视化将抽象的数据转化为图表、图形或仪表盘，使数据更易于理解。这种直观…
如何选择SVM中最佳的【核函数】
参数“kernel"在sklearn中可选以下几种 选项： 接下来我们 就通过一个例子，来探索一下不同数据集上核函数的表现。我们现在有一系列线性或非线性可分的数据，我们希望通过绘制SVC在不同核函数下的决策边界并计算SVC在不同核函数下分类准确…
拼多多API拼多多商品数据商品信息获取API免费试用
item_get-根据ID取拼多多商品详情
测试pinduoduo.item_get 公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_g…
不同性别人群的股骨颈骨密度随年龄的变化趋势
增龄是发生骨质疏松的危险因素。因此，中老年人需要积极防范骨质疏松，以免发生骨折等不良事件。 为了探究不同性别人群的股骨颈骨密度随年龄的变化趋势，首先创建一个df，变量有id（编号）、age（年龄…
山海鲸可视化软件：打破数据孤岛，支持多种数据源连接
在之前的文章中为大家介绍了山海鲸可视化软件的主要应用场景，那么作为山海鲸可视化软件的开发者，我希望大家能更全面的了解我们这款免费的数字孪生软件，从而轻松上手。本文从数字孪生第一步接入数据开始为大家介绍一下山海鲸可视化软件支持的…
别再吐槽大学教材了，来看看这些网友强推的数学神作！
前言 关于大学数学教材的吐槽似乎从来没停止过。有人慨叹：数学教材晦涩难懂。错！难懂，起码还可以读懂。数学教材你根本读不懂；也有人说：数学教材简直就是天书。 数学教材有好有坏，这话不假，但更…
「ResNet-18」70 个犬种的图片分类
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。 🍎个人主页：小嗷犬的个人主页 🍊个人网站：小嗷犬的技术小站 🥭个人信条：为天地立心&…
银行业数据分析算法应用汇总
数据分析在银行业的应用及具体案例 一、欺诈检测二、客户细分三、风险建模四、营销优化五、信用评分六、客户流失预测七、推荐引擎八、客户生命周期价值预测 一、欺诈检测
欺诈检测即通过分析交易模式，检测可能的欺诈行为，主要有以下几个方面 1.跨机构开…
在分类任务中准确率（accuracy）、精确率（precision）、召回率（recall）和 F1 分数是常用的性能指标，如何在python中使用呢？
在机器学习和数据科学中，准确率（accuracy）、精确率（precision）、召回率（recall）和 F1 分数是常用的性能指标，用于评估分类模型的性能。
1. 准确率（Accuracy）…
高光谱分类论文解读分享之Grid Network: 基于各向异性视角下特征提取的高光谱影像分类
IEEE GRSL 2023：Grid Network: 基于各向异性视角下特征提取的高光谱影像分类
题目
Grid Network: Feature Extraction in Anisotropic Perspective for Hyperspectral Image Classification
作者
Zhonghao Chen , Student Member, IEEE, Danfeng Hong , Senior …
SPASS-ARIMA模型
基本概念 在预测中，对于平稳的时间序列，可用自回归移动平均（AutoRegres- sive Moving Average, ARMA）模型及特殊情况的自回归（AutoRegressive, AR）模型、移动平均（Moving Average, MA）模型等来拟合，预测该时间序列的未来值，但在实际的经济预测中，随机数据序列往往…
2023 年 亚太赛 APMCM （B题）国际大学生数学建模挑战赛 |数学建模完整代码+建模过程全解全析
当大家面临着复杂的数学建模问题时，你是否曾经感到茫然无措？作为2022年美国大学生数学建模比赛的O奖得主，我为大家提供了一套优秀的解题思路，让你轻松应对各种难题。 问题一：
建立没有作物的玻璃温室内的温度和风速分…
如何正确接入API接口通过淘宝商品ID和sku ID获取到淘宝商品SKU信息接口，可获取sku价格，sku销量，sku图片及sku库存参数等
接入API接口的正确方式可能因API的具体要求而有所不同，但一般来说，以下是一些通用的步骤：
获取API文档：API文档通常包括API的请求方式、请求参数、响应格式等信息。您需要仔细阅读文档，了解API的具体要求和使用方式。…
最重要的BI测试-适用于任何BI和分析平台
为什么 BI 测试是答案
相信你的数据可视化是成功执行商业智能 (BI) 和分析项目的关键因素。我敢肯定，你遇到过以下情况：业务主管或业务用户反馈说他们的分析看起来不对，他们的 KPI 看起来有问题，或者速度太慢而无法使用。要问自己…
【腾讯云云上实验室】向量数据库与数据挖掘分析的黄金组合指南
前言： 在当今信息化时代，掌握对数据进行挖掘和分析的能力变得愈发关键。根据需求精准处理数据不仅仅是一项技能，更是对未来决策和操作的至关重要的支持。除了熟练运用适当的算法模型对大数据进行挖掘和分析外，合理高效存储和处理大…
京东数据分析：2023年10月京东彩妆销售大数据采集
鲸参谋监测的京东平台10月份彩妆市场销售数据已出炉！ 鲸参谋数据显示，今年10月份，京东平台上彩妆市场的销量将近430万，环比增长约21%，同比下滑约3%；销售额将近5.8亿，环比增长约7%，同…
中国湖泊面积-水位长时序数据产品（2000-2020）
今天我们分享中国湖泊面积-水位长时序数据产品（2000-2020） 该数据集包含中国典型湖泊2000-2020年最大水体面积、多年平均面积、水位变化速率及空间分布矢量。 数据溯源信息 「数据来源描述」Landsat、HJ、ZY、Jason、ENVISAT、Cryosat、ICESat和HY 「数…
万界星空科技智能工厂主要建设模式
由于各个行业生产流程不同，加上各个行业智能化情况不同，智能工厂有以下几个不同的建设模式。 第一种模式：是从生产过程数字化到智能工厂
在石化、钢铁、冶金、建材、纺织、造纸、医药、食品等流程制造领域，企业发展智能制造的内在…
【数据挖掘】国科大刘莹老师数据挖掘课程作业 —— 第一次作业
homewrok 1
1. 假定数据仓库中包含 4 个维：date, product, vendor, location；和两个度量：sales_volume 和 sales_cost。
(a) 画出该数据仓库的星形模式 图 1 星形模式图
(b) 由基本方体 [date, product, vendor, location] 开始&#x…
什么是电商API？API有什么作用？电商API的分类有哪些？
随着电子商务的迅猛发展，电商API（应用程序编程接口）已成为连接电商平台与外部应用程序的重要桥梁。通过API，电商平台可以提供一系列功能，使得外部开发者能够利用这些功能来扩展平台的功能，提高用户体验&…
(转)支持向量机数据挖掘
一、分类挖掘 数据挖掘是机器学习、数据库和统计学三者相结合的产物。数据挖掘首先要确定挖掘的任务或目的，确定了挖掘任务后，就要决定使用什么样的挖掘算法，选择了算法后就可以实施数据挖掘操作，获取有用的模式。 分类作为数据挖…
【数据挖掘与商务智能决策】第二章 特征工程与数据预处理
数据预处理
非数值类型数据处理
Get_dummies哑变量处理
1. 简单示例：“男”和“女”的数值转换
import pandas as pd
df pd.DataFrame({客户编号: [1, 2, 3], 性别: [男, 女, 男]})
df客户编号性别01男12女23男
df pd.get_dummies(df, columns[性别])
df客户…
如何进行单病种质控上报管理
过程质量管理发展历程
单病种质量管理兴起之初，医疗机构多强调致残率、致死率、平均住院日、治愈好转率等结果性指标。这些指标主观性强，且为事后管理，无法及时发现问题，具有滞后性。
《卫生部办公厅关于开展单病种质量管理控制…
易基因：综合全基因组DNA甲基化和转录组学分析鉴定调控骨骼肌发育潜在基因 | 研究进展
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。
DNA甲基化是骨骼肌发育中关键的表观遗传调控机制。但胚胎鸭骨骼肌发育中负责DNA甲基化的调控因子仍然未知。
2023年10月23日，南京农业大学动物科技学院于敏莉副教授团队在《…
高校/企业如何去做数据挖掘呢？
随着近年来人工智能及大数据、云计算进入爆发时期，依托三者进行的数据分析、数据挖掘服务已逐渐成为各行业进行产业升级的载体，缓慢渗透进我们的工作和生活，成为新时代升级版的智能“大案牍术”。 那么对于多数企业来说，如何做数据…
BPE-NLP重要的编码方式
Byte Pair Encoding 原理
BPE是一种简单的数据压缩算法，它在1994年发表的文章“A New Algorithm for Data Compression”中被首次提出，是一种用于自然语言处理的子词切分算法。它的目标是找到一种最优的字符组合方式，使得整个数据集中不同单…
2007-2019年中国人口与就业统计年鉴， pdf、xls不定，多项指标可查，可预览后下载
数据名称: 中国人口与就业统计年鉴
数据格式: pdf、xls不定
数据时间: 2007-2019年
数据几何类型: 文本
数据坐标系: ——
数据来源：国家统计局
数据字段: —— 数据预览
目录第一部分 综合数据1-1 分地区年末人口数1-2 按性别分人口数1-3 人口年龄结构…
数据挖掘与知识发现：解析关键概念
目录
1. 引言
1.1 背景
1.2 意义与应用
2. 数据挖掘的基本概念
2.1 定义与范畴
2.1.1 数据挖掘的定义
2.1.2 数据挖掘的范畴
2.2 数据挖掘过程
2.2.1 问题定义
2.2.2 数据采集与清洗
2.2.3 特征选择
2.2.4 模型构建
2.2.5 模型评估与验证
2.2.6 模型部署
2.3 数…
【期末复习向】数据可视化技术
一、重点复习 题型：填空题（15道，2分一个）与简答题（3道题目，10分一个）与绘图题（选画2个类型的图）
1.什么是数据可视化 在计算机视觉领域，数据可视化是对数据的…
bulk-RNA seq测序数据分析流程
假如有bulk-RNA测序的数据：TH1，TH2，TH3三个重复（实验组），TW1，TW2，TW3三个重复（对照组）
准备工作
需要安装的软件（如FastQC、Trimmomatic、HISAT…
和鲸社区数据分析每周挑战【第一百二十一期：电商店铺经营分析】
和鲸社区数据分析每周挑战【第一百二十一期：电商店铺经营分析】 文章目录 和鲸社区数据分析每周挑战【第一百二十一期：电商店铺经营分析】一、数据文档二、探索性数据分析三、品类销售效果评估四、用户参与活动优惠的购物行为分析五、不同订单来源对购买…
商品期货交易中的强行平仓：交易所的规定和风险控制
在商品期货交易中，保证金充足的情况下，一般不会被强行平仓。然而，有几种情况可能会导致强行平仓的发生： 1 持仓超过交易所限仓规定：交易所会设定限仓规定，限制每位投资者的持仓数量。如果超过限仓规定&…
数据分析-Pandas如何轻松处理时间序列数据
Pandas-如何轻松处理时间序列数据
时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。此处选择巴黎、伦敦欧洲城市空气质量监测 N O 2 NO_2 NO2数据作为样例。
python数据分析-数据表读写到pandas
经典…
数据分析讲课笔记01：数据分析概述
文章目录 零、学习目标一、本次课程概述二、数据分析的背景（一）进入大数据时代（二）数据分析的作用 三、什么是数据分析（一）数据分析的概念（二）数据分析的分类1、描述性数据分析2、探…
数据挖掘|决策树算法以及相关算法实现和例题讲解
声明：本专栏的所有内容皆是本人接触到的系统学习的老师的讲解内容，仅做整理分享。 出处来源：分类问题：决策树+ID3算法+C4.5算法+考试例题讲解_哔哩哔哩_bilibili 资料整理：链接：https://pan.baidu.com/s/1q786VaYJ9-1G7ZdfC6KL7A 提取码：3k7m 一、决策树的概念介绍 （一…
Python 与 PySpark数据分析实战指南：解锁数据洞见
目录
前言
1. 数据准备
2. 数据探索
3. 数据可视化
4. 常见数据分析任务
⭐️ 好书推荐 前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。 点击跳转到网站 数据分析是当今信息时代中至关重要的技…
数据可视化在电商中的威力：改变经营的新趋势
随着电商行业的迅速发展，数据可视化在电商经营中扮演着越来越重要的角色。我接手的许多可视化大屏设计工作都来自于各类电商店铺，今天让我们一起来看看数据可视化是如何改变电商经营的。
首先，通过数据可视化可以更好地洞察消费者行为。通过…
多视图聚类的论文阅读
当聚类的方式使用的是某一类预定义好的相似性度量时， 会出现如下情况：
数据聚类方面取得了成功，但它们通常依赖于预定义的相似性度量，而这些度量受原始方法的影响:当输入维数相对较高时，往往是无效的。
1. Deep Mult…
数据挖掘复盘——apriori
read_csv函数返回的数据类型是Dataframe类型
对于Dataframe类型使用条件表达式
dfdf.loc[df.loc[:,0]2]df: 这是一个DataFrame对象的变量名，表示一个二维的表格型数据结构，类似于电子表格或SQL表。 df.loc[:, 0]: 这是使用DataFrame的.loc属性来进行…
API接口如何接入电商平台获取商品实时数据，通过商品ID获取商品名称，主图，价格，颜色规格尺寸，库存，SKU等案例
要接入电商平台获取商品实时数据，您需要使用电商平台提供的API接口。以下是一般步骤：
注册电商平台账号并获取API权限：您需要在电商平台上注册一个账号，并申请API权限。在申请API权限时，您需要提供一些信息࿰…
AIGC ChatGPT4对Gbase数据库进行总结
ChatGPT4 用一个Prompt完成Gbase数据库的总结。 AIGC ChatGPT 职场案例 AI 绘画 与 短视频制作 PowerBI 商业智能 68集 数据库Mysql 8.0 54集 数据库Oracle 21C 142集 Office 2021实战应用 Python 数据分析实战， ETL Informatica 数据仓库案例实战 Excel 2021实操 …
京东大数据（京东数据采集）：2023年Q3线上投影仪品类销售数据分析报告
11月初，某知名投影仪企业发布了2023年三季度财报。数据显示，今年第三季度，公司营收依然不客观，连续第五个季度业绩持续下滑。
从鲸参谋数据也可以看出，今年Q3，京东平台上该品牌的销量环比下滑约35%&#x…
ChatGPT4 Excel 高级组合函数用法index+match完成实际需求
在Excel 函数用法中有一对组合函数使用是非常多的，那就是Index+match组合函数。 接下来我们用一个实际的需求让ChatGPT来帮我们实现一下。 我们给ChatGPT4发送一个prompt:有一个表格A2至A14为业务员B列至H列为1月至7月的销售额，请根据J2单元格的业务员与K2单元格的月份查找出…
京东大数据（京东运营数据采集）：2023年10月京东牛奶乳品行业品牌销售排行榜
鲸参谋监测的京东平台10月份牛奶乳品市场销售数据已出炉！ 10月份，牛奶乳品整体销售上涨。鲸参谋数据显示，今年10月，京东平台上牛奶乳品的销量将近1700万，同比增长1%；销售额将近17亿，同比增长约5…
数据分享 I 全国各市城镇化率，shapeflie格式，附数据可视化
基本信息.
数据名称: 城镇化率
数据格式: shapeflie
数据时间: 2006-2020年
数据几何类型: 面
数据坐标系: WGS84坐标系
数据来源：网络公开数据 数据可视化. 安徽省各市2015年城镇化率 广东省各市2015年城镇化率 江西省各市2015年城镇化率
最近数据分析面试的一点感悟...
我是阿粥，也是小z 最近面了不少应届的同学（数据分析岗位），颇有感触，与各位分享。 简历可以润色，但要适度 运用一些原则，如STAR法则，让简历逻辑更清晰，条块分明࿰…
【数据分析实战】冰雪大世界携程景区游客客源分布pyecharts地图
文章目录 引言数据集展示Python代码可视化展示本人浅薄分析 写在最后 今年冬天，哈尔滨冰雪旅游"杀疯了"，在元旦假期更是被南方游客"包场"。据哈尔滨市文化广电和旅游局提供大数据测算，截至元旦假日第3天，哈尔…
大屏数据可视化的设计流程及原则
随着数字经济的快速发展和信息化在各行业各领域的深入推进，可视化大屏在各行各业得到越来越广泛的应用。可视化大屏不再只是电影里奇幻的画面，而是被实实在在地应用在政府、商业、金融、制造、交通、城市等各个行业的业务场景中，切切实实地实…
HNU-数据挖掘-实验4-链接预测
数据挖掘课程实验实验4 链接预测
计科210X 甘晴void 202108010XXX 文章目录 数据挖掘课程实验<br>实验4 链接预测实验背景实验要求数据集解析实验建模实验探索过程失败的探索——DGL库<0> DGL库简介<1> 读取基因并构建图<2> 构建GNN模型<3> 训…
肠道微生物群、营养与长期疾病风险：母婴视角
谷禾健康 怀孕的母亲与体内的胎儿是息息相关的。由于婴儿接触母体微生物群，母亲和孩子之间的微生物联系在怀孕期间形成。而宿主与微生物群的联系在出生后成熟，并进化成为个体生命中最重要的共生关系之一，对响应营养和环境刺激的稳态调节至关重…
一篇五分生信临床模型预测文章代码复现——FIgure 9.列线图构建，ROC分析，DCA分析 （三）
之前讲过临床模型预测的专栏，但那只是基础版本，下面我们以自噬相关基因为例子，模仿一篇五分文章，将图和代码复现出来，学会本专栏课程，可以具备发一篇五分左右文章的水平：
本专栏目录如下：
Figure 1：差异表达基因及预后基因筛选(图片仅供参考)
Figure 2. 生存分析，…
企业在数字化建设中，BI 处于什么位置？
对市场异常敏感的商业世界自然不会放过获取数字经济的机会，在众多企业开始进行数字化转型，通过信息化建设，部署BI来完成转型工作。
很多人都听说过BI， 但是并不太清楚BI 在IT信息化中到底处于一个什么位置？有很多的疑…
阿里巴巴商品详情爬虫数据字段解析 源代码分享 调用示例
返回数据代码段1"item": {"num_iid": "60840463360","title": "Slip-on Daily Urban Walking Shoes","desc_short": "","price": "$47.70","nick": "cn1522808546p…
数据治理之元数据管理
从关于元数据的三个概念谈起，讲到元数据的分布范围和如何获取元数据，最后从几个常见的应用出发，谈谈元数据的一些实际应用场景。
一、元数据到底是个啥？
元数据是一个相当抽象、不易理解的概念，所以第一个章节&#…
rstudio跑不动咋整？-------生信豆芽菜
在学习生信的过程中，我们经常会遇到这样一个问题，数据太大了分配的内存不够用，这时候我们该怎么办呢？ 现在的我有了一定的经济基础，面对这种问题，就是两种措施一个是换更高配的电脑，二是配一台服…
问卷中多选题如何分析？
一、案例与问卷
本研究选取大学生作为研究对象，旨在通过理财认知、理财现状、理财偏好三个方面，对大学生理财产品了解情况、使用需求进行调查。本次问卷共分为四个部分：第一部分共5道题，为基本信息题；第二部分共3道题…
京东数据运营-京东数据开放平台-鲸参谋10月粮油调味市场品牌店铺销售数据分析
鲸参谋监测的京东平台10月份料油调味市场销售数据已出炉！ 根据鲸参谋数据显示，今年10月份，京东平台粮油调味市场的销量将近4600万，环比增长约10%，同比降低约20%；销售额将近19亿，环比增长约4%&am…
knn算法实现鸢尾花分类
KNN (K-Nearest Neighbors) 是一种监督学习算法，常用于分类和回归任务。下面是一个用Python和Scikit-learn库实现的鸢尾花分类的KNN算法示例：
from sklearn import datasetsfrom sklearn.model_selection import train_test_splitfrom sklearn.preproce…
1688买家API接口跨境卖家需要的API接口
1688作为深耕产业带多年的数字供应链平台，近两年不仅在年轻消费群体中热度飙升，在跨境侧也有不俗表现。
11月19日，1688总裁余涌在1688跨境寻源通计划发布会上透露，1688平台拥有100万的源头厂商，每年服务6500万的B类买…
居民最低生活保障人数数据，2020-2022年数据，shp矢量及表格数据均有！
居民最低生活保障，是国家对共同生活的家庭成员人均收入低于当地最低生活保障标准，且符合当地最低生活保障家庭财产状况规定的家庭，给予最低生活保障。 基本信息.
数据名称: 居民最低生活保障人数数据
数据格式: shpexcel
数据几何类型: 面…
淘宝商家实现批量上货API接口调用接入说明（淘宝开放平台免申请接入）
API接入详细步骤： 第一步：在淘宝开放平台中选择接口塡写应用申报递交给我司，确认接口是否都有。 第二步：确认接口都有，需交1000元进行测试，可以测试三天，测试数据符合淘宝开放平台接口参数说明&…
淘宝商品评论接口API：获取淘宝商品评论数据评论总数（支持排序）
淘宝/天猫获得淘宝商品评论 API 返回值说明
item_review-获得淘宝商品评论
公共参数
名称类型必须描述keyString是调用key（注册账号获取key）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search…
复旦量化多策略公开课总结
《掘金之心公众号：gnu_isnot_unix》前Citadel现自营交易与量化管理，分享热点，主观，量化交易内容。活在当下，终身学习 - 给在职却对未来始终迷茫的人的公众号。借此想告诉不断努力，对生活充满热情的读者们&a…
数据分析-Pandas如何重塑数据表
数据分析-Pandas如何重塑数据表
数据表，时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。数据分析过程中重新调整，重塑数据表是很重要的技巧，此处选择Titanic数据&…
中国X射线管行业研究与投资预测报告（2024版）
内容介绍： X射线管俗称球管，是X射线机的核心部件。X射线管在医学上可用于诊断和治疗，在工业技术方面可用于材料的无损检测、结构分析、光谱分析和底片曝光等。
目前，X射线管的壳体材料主要采用玻璃、陶瓷、金属材料这三种材质。玻…
Python数据分析案例32——财经新闻爬虫和可视化分析
案例背景
很多同学的课程作业都是需要自己爬虫数据然后进行分析，这里提供一个财经新闻的爬虫案例供学习。本案例的全部数据和代码获取可以参考：财经新闻数据 数据来源
新浪财经的新闻网，说实话，他这个网站做成这样就是用来爬虫的…
【马来西亚站 | SPIE独立出版，ISSN: 0277-786X | 往届均已ei检索】诚邀投稿参会
【马来西亚站 | SPIE独立出版，ISSN: 0277-786X | 往届均已ei检索】
第三届电子信息工程与数据处理国际学术会议（EIEDP 2024）可点击投稿/参会/了解会议详情
重要信息
时间地点：2024年3月15-17日 马来西亚 吉隆坡
征稿主题&…
数据挖掘（四）KNN
1.KNN 概述
k-近邻（kNN, k-NearestNeighbor）算法是一种基本分类与回归方法，我们这里只讨论分类问题中的 k-近邻算法。
一句话总结: 近朱者赤近墨者黑！
k 近邻算法的输入为实例的特征向量，对应于特征空间的点&#x…
R语言dplyr包mutate_if函数为dataframe数据中的所有数值列乘以某一固定数值并生成新的数据列（变量）
R语言dplyr包mutate_if函数为dataframe数据中的所有数值列乘以某一固定数值并生成新的数据列（变量） 目录
R语言使用do.call函数从列表中提取函数需要的参数、do.call函数可以将列表分解为单个参数并调用函数
R语言使用do.call函数从列表中提取函数需要的参数、do.call函数可以将列表分解为单个参数并调用函数 目录
透视数据：数据可视化工具的多重场景应用
数据可视化工具已经成为了许多领域中的重要利器，它们在各种场景下发挥着重要作用。下面我就以可视化从业者的角度简单谈谈数据可视化工具在不同场景下的应用：
企业数据分析与决策支持
在企业层面，数据可视化工具被广泛应用于数据分析和决策…
一篇五分生信临床模型预测文章代码复现——Figure 10.机制及肿瘤免疫浸润（一）
之前讲过临床模型预测的专栏，但那只是基础版本，下面我们以自噬相关基因为例子，模仿一篇五分文章，将图和代码复现出来，学会本专栏课程，可以具备发一篇五分左右文章的水平：
本专栏目录如下：
Figure 1：差异表达基因及预后基因筛选(图片仅供参考)
Figure 2. 生存分析，…
【ENVI】监督分类
好久没用ENVI了，用起来有点生疏，这里记录一下操作流程。。。
基础数据：从91卫图下载相应地区影像数据。
下载影像推荐：地理空间数据云、91卫图、水经注等。
1、加载tif数据 2、样本选择
（1）在图层管理器…
十大常见行业 BI 可视化应用
智能商业指的是利用互联网、物联网、自动化、人工智能等新一代信息技术，在一定程度上对市场判断、发展决策、业务复盘、业务预测等商业行为实现智能化、自动化，整个过程基本不需要人类参与。
很多企业部署了商业智能BI系统，这是一种包含了数…
R语言dplyr包distinct函数基于dataframe数据中指定单个变量移除重复数据行、keep_all函数用于保留输出数据框中的所有其它变量
R语言dplyr包distinct函数基于dataframe数据中指定单个变量移除重复数据行、keep_all函数用于保留输出数据框中的所有其它变量 目录
](https://img-blog.csdnimg.cn/9712415c3add452f943c523eadc6605a.png)
快速入门pandas进行数据挖掘数据分析[多维度排序、数据筛选、分组计算、透视表](一)
1. 快速入门python，python基本语法
Python使用缩进(tab或者空格)来组织代码，而不是像其 他语言比如R、C、Java和Perl那样用大括号。考虑使用for循 环来实现排序算法: for x in list_values:if x < 10:small.append(x)else:bigger.append(x)标量类型 …
花了5年时间，用过市面上95%的工具，终于找到这款万能报表工具
经常有粉丝问我有“哪个报表工具好用易上手？”或者是“有哪些适合绝大多数普通职场人的万能报表工具？”
从这里我大概总结出了大家选择报表工具最期望满足的3点：
（1）简单易上手：也就是所谓的学习门槛要低…
数据分析——快递电商
一、任务目标
1、任务
总体目的——对账
本项目解决同时使用多个快递发货，部分隔离区域出现不同程度涨价等情形下，如何快速准确核对账单的问题。
1、在订单表中新增一列【运费差异核对】来表示订单运费实际有多少差异，结果为数值。
2、将…
数据分析的基本步骤有哪些？
数据分析的基本步骤如下：
1. 问题定义和目标设置： 确定需要解决的具体问题或目标，明确分析的目的。例如，希望了解某个产品的销售趋势、预测未来的市场需求等。
2. 数据收集和整理： 收集与问题相关的数据&#…
建造《流浪地球2》中要毁灭人类的超级量子计算机MOSS的核心量子技术是什么？
1.《流浪地球2》中的量子计算机
2023年中国最火的电影非《流浪地球2》莫属，在《流浪地球2》中有一个人工智能机器人MOSS ，它的前身是“550W”超级量子计算机，“MOSS”是它给自己起的名字（“550W”倒转180度就是“MOSS”ÿ…
2023美国大学生数学建模竞赛A题详细公式和代码分享
目录
2023美赛A题翻译
1.1 建立一个数学模型，预测一个植物群落在各种不规则的天气周期中如何随时间变化。包括本该降水充足的干旱时期。该模型应考虑到干旱周期中不同物种之间的相互作用。
1.2就植物群落与大环境的长期相互作用，探讨你能从你的模型中…
WebGL在实验室方向的应用
WebGL在实验室方向的应用涉及到实验过程的可视化、数据分析、模拟等方面。以下是一些WebGL在实验室领域的应用示例，希望对大家有所帮助。北京木奇移动技术有限公司，专业的软件外包开发公司，欢迎交流合作。 1.分子模型和化学反应模拟ÿ…
大数据分析案例-基于朴素贝叶斯算法构建微博谣言检测模型
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
你只管生产，其他的请交给华为云大数据BI解决方案
你只管生产，其他的请交给华为云大数据BI解决方案
制造业已经占据了我国经济指标的主体地位，对经济增长产生着重要影响。随着世界经济一体化进程不断加快和全球产业链分工逐渐深化，"中国制造2025"将成为推动我国实现产业升级发展的…
机器学习：图文详解影响流动与有向分离(D-分离)(附Python实现)
目录0 写在前面1 影响流动性2 有效迹3 有向分离算法4 Python实现0 写在前面
机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、…
实战项目：物流行业数据分析
1、数据来源：某企业销售的6中商品所对应的送货及用户反馈数据
解决问题：
配送服务是否存在问题是否存在有潜力的销售区域商品是否存在质量问题
结论 货品4-西北，货品2-马来西亚，这两条线路存在较大问题，急需提升时效…
Python使用模拟退火（Simulated Annealing）算法构建优化器获取机器学习模型最优超参数组合（hyperparameter）实战+代码
Python使用模拟退火（Simulated Annealing）算法构建优化器获取机器学习模型最优超参数组合（hyperparameter）实战+代码 目录
R语言ggplot2可视化：错误条（error bar）在图形上是水平的、但是在图例中是垂直的、使用ggstance包纠正过来（图例图标也是水平的）
R语言ggplot2可视化：错误条（error bar）在图形上是水平的、但是在图例中是垂直的、使用ggstance包纠正过来（图例图标也是水平的） 目录
信息系统分析和数据分析有何区别？
信息系统分析
信息系统分析是指对一个组织或企业的信息系统进行全面的研究和分析，以确定如何最好地支持其业务和管理需求。它通常包括以下几个方面：
确定问题和机会：信息系统分析师会与组织内的各种利益相关者进行交流，了解他们…
获取淘宝商品分类详情API，抓取淘宝全品类目API接口分享(代码展示、参数说明）
商品分类技巧
淘宝店铺分类怎么设置？我们登录卖家账号的时候，我们看到自己的商品，会想要给商品进行分类，一个好的分类可以帮助提高商品的曝光率。那么在给商品分类前，如果您毫无头绪，以下几点可以给您带来…
B.【机器学习实践系列二】数据挖掘-二手车价格交易预测（含EDA探索、特征工程、特征优化、模型融合等）
note：项目链接以及码源见文末
1.赛题简介
了解赛题 赛题概况 数据概况 预测指标 分析赛题 数据读取pandas 分类指标评价计算示例 回归指标评价计算示例
EDA探索
载入各种数据科学以及可视化库载入数据总览数据概况判断数据缺失和异常了解预测值的分布特征…
【数据分析与挖掘】数据预处理
目录概述一、数据清洗1.1 缺失值处理1.1.1 拉格朗日插值法1.1.2 牛顿插值法1.2 异常值处理二、数据集成2.1 实体识别2.2 冗余属性识别三、数据变换3.1 简单函数变换3.2 规范化3.3 连续属性离散化3.4 属性构造3.5 小波变换四、数据规约4.1 属性规约4.2 数值规约概述
数据挖掘过…
易基因单细胞转录组测序（smart-seq2）｜技术推介
大家好，这是专注表观组学十余年，领跑多组学科研服务的易基因。今天跟大家介绍一下易基因的新产品：单细胞转录组测序（smart-seq2）。时下火热的10X Genomics公司Chromium解决方案无法满足某些特殊或者少量细胞样本甚至单…
API调用的注意事项及好处！
API调用是指一个软件系统通过预定格式、协议和框架，向另一个软件系统发送请求并获得响应的过程。
在进行API调用时需要注意以下事项： 1. 认真阅读API文档：在调用API前，一定要认真仔细地阅读相关的API文档，了解API接口…
【SCI征稿】1区量子计算与计算机科学类SCI，2-3个月左右录用~
一、【期刊简介】
JCR1区量子计算与计算机科学类SCI&EI
【期刊概况】IF: 0.5-1.0，JCR1/4区，中科院4区；
【终审周期】不走期刊系统，2-3个月左右录用;
【检索情况】SCI&EI双检；
【征稿领域】发表和传播与多…
GraphPad Prism 9.5.1 for Mac 操作简便功能强大且实用的医学绘图分析工具
GraphPad Prism简介
GraphPad Prism是一款非常实用的统计软件，其功能非常强大，能够帮助用户进行各类科研数据的处理和分析，快速绘制出各种专业的图像和数据报告。
GraphPad Prism软件的用户界面非常友好，易于学习和操作…
数据分析笔记：基本概念，常用图表，报告大纲
1.数据分析
1.1定义
对数据进行分析。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在实际工作中，帮助管理者判断和决策。
1.2步骤
数据分析的基本步骤包括明确思路，制定计划、数据收集、数据处理、数据分析、数据显…
SparkSQL-对数据缺失和异常值进行处理
缺失数据
准备数据 处理方式
丢弃规则
填充规则
异常数据 方法1：丢弃处理 方法2：替换处理 缺失数据
准备数据 处理方式
1、丢弃/过滤：DataFrame.na.drop()
2、填充：DataFrame.na.fill()
3、替换：DataFrame.na.…
机器学习中的归一化问题_梯度下降做归一化的必要性_数据缩放_最大最小值归一化方法---人工智能工作笔记0029
然后我们再来看,为什么说只要是用到了梯度下降法,那么必须要做归一化 首先我们来看,如果一个人下山,那么我们说,我们每次去求,最优解,也就是利用目标函数,带入theta值,然后求出对应的y值,也就是预测值,然后找到这个点以后,就可以求出斜率对吧,然后斜率,如果
为0的时候,那么就说…
Live800：打赢颜值经济战，拼颜值拼“内涵“
大众对于美的本能追求，使颜值时代悄然到来，也促使着颜值经济生态圈不断丰富，从"一键美颜"到美妆护肤，从日常潮服到整形医美，颜值不仅是正义，颜值也是生意。
来自Mob研究院的数据显示：…
体验管理｜如何快速低成本开始体验相关的数字化工作‼️
Guofu 第 95⭐️ 篇原创文章分享 （点击👆🏻上方卡片关注我，加⭐️星标⭐️~） 🚏 写在前面 在体验经济时代，传统企业在应对新需求、新挑战的时候，也需要用新的方式进行企业升级和转型…
从零开始构建简易AI问答系统
一、基本思路我的想法是一个可以能够自我学习会计知识并可以问答的程序，但是我没有那么多时间去整理这些相关的资料，于是让他直接获取百度百科的数据。基本思路如下：1、爬取百度百科相关词条的网页内容，可以使用Python中的爬虫框架…
Live800:流量那么贵，客服怎可浪费
小张是个淘宝店的小老板，店铺做得不错，宝贝销量稳定，小日子过得有滋有味。
最近一段时间，流量持续下滑，销量跟着走低，可愁死了。
"流量有波动很正常，但是一直降一直降，肯定是…
Live800:3个迹象表明，你的在线客服系统该更新了
在线客服，作为客户与企业沟通的第一桥梁，往往能够直接反映客户对于企业服务和产品的期望和要求。这其中不仅仅包含了客户对现有产品和服务的态度，也反映了客户对现有产品的需求和未来产品的期望，是整个市场动态的风向标。
因此&a…
大数据分析案例-基于随机森林算法预测共享单车租赁数量
🤵♂️ 个人主页：@艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞👍🏻 收藏 📂加关注+ 喜欢大数据分析项目的小伙伴，希望可以多多支持该系列的其他文章 大数据分析案例合集…
复现NC图表：ggplot做配对连线云雨
在一篇《nature communication》文章上看到这个图表，乍一看，这不就是云雨图嘛，所以准备复现一下。这个图的特点是：1、云雨图但是连中间的箱线图都是一半（这个一般云雨图包办不到）。2、配对连线。࿰…
Pendulum详解3——Pendulum在数据分析中的应用 - 时光的数据探险
写在开头：
在数据分析的世界里，时光是一项无可避免的数据元素。处理时间数据，尤其是在大规模数据集和复杂时区的情境下，是数据科学家和分析师们经常面对的挑战。为了迎接这一挑战，我们介绍一款强大的时间处理库 - Pendulum，并深入探讨其在数据分析领域的优越性。
1. 时…
SCS模型（径流曲线法）概述
目录 1.介绍：2.计算公式：参考文献：小结： 1.介绍：
SCS模型（径流曲线法）是由美国农业部水土保持局(Soil Conservation Service) 基于经验提出，最初用于预测在农业用地小型流域降雨所累…
基于Python的影视数据智能分析系统开发
1. 前言
数据分析与可视化是当今数据分析的发展方向，大数据时代，数据资源具有海量特征，数据分析和可视化主要通过Python数据分析来实现。
基于Python的数据分析可视化和技术实现是目前Python数据分析的主要目的，Python可以为数据…
关于图像分类任务中划分数据集，并且生成分类类别的josn字典文件
1. 前言
在做图像分类任务的时候，数据格式是文件夹格式，相同文件夹下存放同一类型的类别
不少网上的数据，没有划分数据集，虽然代码简单，每次重新编写还是颇为麻烦，这里记录一下
如下，有的数据…
清风数学建模学习笔记-二分类与多分类-逻辑回归
内容：逻辑回归
一.二分类之使用SPSS进行分析
1.使用SPSS进行变量虚拟化：
转化-创建虚变量
线性概率模型LPM： 连接函数（激活函数）的取法： 盲选Sigmoid
1.分析-回归-二元回归 在此基础上可以在分类中进行…
LightGBM原理和调参
背景知识
LightGBM(Light Gradient Boosting Machine)是一个实现GBDT算法的框架，具有支持高效率的并行训练、更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以处理海量数据等优点。
普通的GBDT算法不支持用mini-batch的方式训练，在每一次…
现代数据栈MDS应用落地介绍—Bloom AI数据交付平台，实时AI驱动业务
Dazdata MDS
现代数据栈MDS的出现使得中小企业低成本获得大数据处理能力成为可能，技术的进步使得各种基于MDS的大数据应用如雨后春笋般涌现，不同于国内的数据中台更多强调数据处理技术，MDS注重落地和最后一公里的大数据应用。
从商业智能到…
A.机器学习入门算法（六）基于天气数据集的XGBoost分类预测
1.机器学习算法（六）基于天气数据集的XGBoost分类预测
本项目链接：https://www.heywhale.com/home/column/64141d6b1c8c8b518ba97dcc
1.1 XGBoost的介绍与应用
XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严…
决策树和期望货币价值
1、决策树和期望货币价值（决策树、表）---风险管理决策树分析是风险分析过程中的一项常用技术。某企业在项目风险分析过程中，采用了决策树分析方法，并计算出了EMV（期望货币值）。以下说法中，正确的…
成为数据分析师，需要具备哪些技能？
随着互联网的发展，数据分析师的特点越来越明显，对数据分析师综合素质的要求也较高。
1、较强的数据挖掘、信息整理、和逻辑分析能力
数据分析，也是数据分析师的一个方向。
制作日常性的经营报表，对公司或者行业KPI指标进行拆解…
BI财务智能分析，让企业管理更上一层楼
智能财务建设既可以看作是财务管理工作在经济社会数字化转型的全面开启，也可以看作是财务职能在以数字化技术为支撑，形成对内提升单位管理水平和风险管控能力、对外服务财政管理和宏观经济治理的会计职能拓展，究其本质则是在财务数字化转型升…
我和chartGPT的N次对话分享（免费获取）
1、我：做竞品分析如何获取电商平台的商品数据
小凡AI：要获取电商平台的商品数据进行竞品分析，可以采用以下几种方法： 1. 通过爬虫技术获取：使用Python等编程语言编写爬虫程序，模拟用户在电商平台的操作&am…
《斯坦福数据挖掘教程·第三版》读书笔记（英文版） Chapter 6 Frequent Itemsets
来源：《斯坦福数据挖掘教程第三版》对应的公开英文书和PPT
Chapter 6 Frequent Itemsets
The market-basket model of data is used to describe a common form of many-many relationship between two kinds of objects. On the one hand, we have items, and on…
从GPT到GPT-3：自然语言处理领域的prompt方法
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
倒计时组件：可视化如何自定义目标时间 / 数字倒数
倒计时组件支持通过自定义目标时间或倒数数字，在报表和大屏中展示时间倒数和数字倒数。
下面以Sugar BI为例，为大家展示
倒计时展示模式
倒计时组件提供「时间倒数」和「数字倒数」两种展示模式，效果如下： 默认为「时间倒数」模…
零售数据分析之操作篇5：近期计算与近期筛选
各位数据的朋友，大家好，我是老周道数据，和你一起，用常人思维数据分析，通过数据讲故事。
又有一段时间没来了，抱歉，不过，不管多忙，我都会继续。我始终相信，任…
Ansys Lumerical | 光子晶体布拉格光纤仿真应用
01 说明 FDE求解器可用于精确计算任意复杂结构的模式，包括光子晶体布拉格光纤。在此示例中，我们计算并分析了Vienne和Uranus描述的光子晶体布拉格光纤的模式。 02 综述
模拟文件bragg_PCfiber.lms包含一个参数化组对象，可以进行结构建模。最…
BI、大数据、数据中台三者关系，搞不懂的看看这篇文章
大数据、数据中台都是商业智能BI发展到一定阶段的产物，核心都是围绕数据，数据采集、数据处理能力、算力的提升催生了大数据，数据资产和数据服务催生了数据中台，核心的数仓建模自商业智能BI一脉相承未曾改变，最终出口还…
电子企业使用MES管理系统有没有弊端
随着制造业的不断现代化和数字化，越来越多的电子企业开始使用MES生产管理系统。电子企业MES系统是一种用于监控和管理制造业生产过程的软件，能够帮助企业提高生产效率、降低成本、提高质量和灵活性。然而，电子企业使用MES管理系统也存在一些弊…
如何利用TURF分析来对餐厅菜品进行组合搭配？
1.数据源说明
1.1 数据简单说明
本数据源采用的是某餐厅8月份的销售明细表。本文会主要用到一下字段值：
order_id， 产品订单号dishes_name，菜品名称counts, 消费数量amounts，消费金额
1.2 数据截图
以下是数据源的截图
1.3…
10种顶流聚类算法Python实现（附完整代码）
目录
前言
一、聚类
二、聚类算法
三、聚类算法示例
1、库安装
2、聚类数据集
3、亲和力传播
4、聚合聚类
5、BIRCH
6、DBSCAN
7、K均值
8、Mini-Batch K-均值
9、均值漂移聚类
10、OPTICS
11、光谱聚类
12、高斯混合模型
三、总结 前言
今天给大家分享一篇关…
企业使用网页智能在线客服的好处
人工智能的发展史已有十几年，在发展早期一直到七八十年代，都未能达到于商业的结合。其中主要原因就是，当时的发展水平较低，功能不完善，人们的认知也是比较低，接入企业面临着比较困难的问题，再者…
客服人员如何摆脱工作上的负面情绪
原文链接
作为一个客服人员，感觉自己被这份工作磨平了棱角。顾客是上帝，骂不还口，笑脸相迎成了我们最基本的职业素养。长时间下来，我们也会有一些不满情绪，弄清负面情绪由来并化解这些不良情绪，对于呼叫中…
那些你不曾了解在线客服辛酸泪
原文链接
曾经羡慕闺蜜做淘宝在线客服的工作。在我印象里，线客服是个简单轻松的工作，收入也还不错。像文员一样体面坐在工位上，天天面对电脑打字，没有电话客服嘈杂的语音，没有复杂繁琐的工作，只需要坐在电…
呼叫中心你必须知道“潜规则”
原文链接
我们看娱乐新闻，听到的最多的就是潜规则。其实各行各业都有行业的潜规则，Call Center也不例外。身为坐席的你，知道呼叫中心的“潜规则”吗？ 呼叫中心是企业与客户沟通的桥梁，电话客服是其中最为基层的岗位&a…
陌陌聊天数据分析 （二）
陌陌聊天数据分析 （二）
🏆FineBI构建连接
陌陌聊天数据分析 （一）
新建连接 配置连接 测试连接并保存
🏅数据准备
新建分组 添加业务包 添加表
🥈构建可视化报表
🏈添加…
人工智能算法被日益广泛地应用在社会各个场景之中
当前人工智能伦理问题 伦理是处理人与人之间关系、人与社会之间关系的道理和秩序规范。人类历史上，重大的科技发展往往带来生产力、生产关系及上层建筑的显著变化，成为划分时代的一项重要标准，也带来对社会伦理的深刻反思。 人类社会…
![PYTHON-TUTORIAL-MASTER[01]字符串类型｜数据结构-串｜[02]列表类型｜蓝桥杯备赛](https://img-blog.csdnimg.cn/img_convert/5815828572742fc02606c0c330b1308c.png)
PYTHON-TUTORIAL-MASTER[01]字符串类型｜数据结构-串｜[02]列表类型｜蓝桥杯备赛
（一）字符串一、介绍字符串的索引str( )是python自带函数，是python保留的关键字，定义变量时应该避免使用str作为变量名如果在使用str( )函数之前已经定义过str变量，则会出现TypeError: ‘str’ object is not callable这…
数据挖掘中分类算法总结
数据仓库，数据库或者其它信息库中隐藏着许多可以为商业、科研等活动的决策提供所需要的知识。分类与预测是两种数据分析形式，它们可以用来抽取能够描述重要数据集合或预测未来数据趋势的模型。分类方法（Classification）用于预测数…
Msray-Plus采集工具帮您快速获取数据，让您的市场营销更加精细
随着互联网的不断发展，数据已经成为企业竞争的重要资产之一。市场营销人员需要通过数据来了解客户需求、市场趋势和竞争对手情况，从而制定更加精细的市场营销策略。然而，采集数据并不是一件容易的事情，需要耗费大量的时间和精力。…
手握数据智能密钥，诸葛智能打开数字化经营“三重门”
科技云报道原创。
如果说上世纪传统麦迪逊大街上的“广告狂人”吸金立足之本，还主要是基于“Big Idea”的话，那么在当下，数据正在成为企业营销和运营的金矿。
这是一个“人与机器共同进化”的时代，技术作为延伸人类感觉的媒介之…
kaggle新赛：ICR疾病预测大赛赛题解析
赛题名称：ICR - Identifying Age-Related Conditions ICR疾病预测大赛
赛题链接：https://www.kaggle.com/competitions/icr-identify-age-related-conditions
赛题背景
年龄只是一个数字，但随着年龄的增长会带来一大堆健康问题。从心脏病和…
Python3数据分析与挖掘建模（14）特征工程、数据清洗、特征预处理
1. 特征工程概念
1.1 特征工程概述
特征工程是机器学习中至关重要的步骤，它涉及到特征的选择、获取、处理和监控。下面是对每个方面的详细解释：
（1）特征使用： - 数据选择：在特征工程中，需…
2023年Q1天猫电脑品类数据分析（含笔记本、游戏本、平板电脑）
目前，PC市场中正经历新旧产品的换代，在各行业消费复苏的背景下，PC市场的整体市场需求也有回暖的可能。结合鲸参谋平台上第一季度的销售数据，我们一起来看一看电脑市场当前的销售表现如何！ 笔记本电脑 尽管人们的消费需…
医疗行业的新选择：智能医疗管理模板
随着社会的发展，医疗行业也在不断地进步与发展，信息化已经成为医疗行业的重要一环。智能医疗管理应用作为新型医疗管理工具，已经成为中小型医院、门诊、美容机构等企业的必备软件之一。该应用包括患者管理、预约管理、诊断管理、住院管理、财…
淘宝买家添加购物车API分享（含请求示例、参数说明）
淘宝添加购物车商品API是为了方便商家在其自己的系统中实现淘宝购物车功能而推出的一种接口。通过接口，商家可以将商品添加至客户的购物车中，并实现订单提交、支付等功能。
一、应用业务场景
添加购物车商品API其应用场景主要是为中小规模的电商商家量…
基于Flask+Bootstrap+机器学习的世界杯比赛预测系统
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
SQL刷题:超过5名学生的课
如题 解答
方法一:使用GROUP BY子句和子查询
思路：先通过计算统计每门课程的学生数量，再从中选择超过５名学生的课程
先使用GROUP BY和COUNT获得没每门课程的学生数量:
SELECT class, COUNT(DISTINCT student)
FROM courses GROUP BY cla…
数据仓库——原理+实战（一）
一、数据仓库概述
1. 数据仓库诞生原因
（1）历史数据积存（存放在线上业务数据库中，当数据积压到一定程度会导致性能下降，所以需要将实用频率低的冷数据转移到数据仓库中）
（2）企业数…
和鲸社区数据分析每周挑战【第九十五期：奈飞股价预测分析】
和鲸社区数据分析每周挑战【第九十五期：奈飞股价预测分析】 文章目录 和鲸社区数据分析每周挑战【第九十五期：奈飞股价预测分析】一、前言1、背景描述2、数据说明3、数据集预览 二、数据读取和数据预处理三、历史股价数据可视化四、利用sklearn中LinearR…
python网络爬虫自学笔录2_爬虫安全问题
合理使用技术（盗亦有道） 爬虫虽然可以让我们很方便的获得大量的资源，但是同时也会引发很多的问题，我们根据爬虫的尺寸分为三大类： 每当我们发起了一个爬虫，它就会像一个骚扰电话一样访问服务器，…
ESP32-CAM：TinyML 图像分类——水果与蔬菜
目录
故事
硬件参数：
在 Arduino IDE 上安装 ESP32-Cam
使用 BLINK 测试电路板
测试无线网络
运行您的 Web 服务器
水果与蔬菜-图像分类
下载数据集
使用 Edge Impulse Studio 训练模型
【SCI征稿】工程建筑材料数学类SCI，进展顺利，接收领域广
工程技术类（2023/11/15 截稿）
【期刊简介】IF：2.5-3.0，JCR2/3区，中科院4区
【检索情况】SCI&EI 双检，正刊
【征稿领域】智能技术在光学系统中的应用，如人工智能和物联网 工程技术类&…
二分类结局变量Logistic回归临床模型预测（二）——基线特征及三线表绘制（二）
本节讲的是二分类结局变量的临床模型预测，与之前讲的Cox回归不同，https://lijingxian19961016.blog.csdn.net/article/details/124088364https://lijingxian19961016.blog.csdn.net/article/details/124088364https://lijingxian19961016.blog.csdn.net/article/details/1300…
调用api接口有什么用？
API（应用程序接口）是一种允许不同应用之间互相通信的技术。API接口作为中间层，将不同的系统、平台、编程语言之间的数据进行交互和传输。API接口可以为开发人员提供调用外部程序或服务的统一界面，让开发人员无需深入了解被调用的程…
数字化时代，探寻BI本质与发展趋势
可能和很多人想象的不同，商业智能BI虽然是信息化、数字化领域内的重要的数据类技术解决方案，但是商业智能BI并不是在当前时代突然冒出来的新应用，而是经过数十年积累的成熟产品。
早在1958年，IBM研究员就将商业智能BI的早期形态定…
如何通过7个步骤构建机器学习模型
组织构建一个可行的、可靠的、敏捷的机器学习模型来简化操作和支持其业务计划需要耐心、准备以及毅力。 各种组织都在为各行业中的众多应用实施人工智能项目。这些应用包括预测分析、模式识别系统、自主系统、会话系统、超个性化活动和目标驱动系统。每一个项目都有一个共同点&…
基于数据挖掘的社交网络情感分析研究
基于数据挖掘的社交网络情感分析研究
摘 要
随着近年来国内诸如微博、微信，国外诸如推特、Facebook 等知名社交网络平台及在线社交网络平台访问量的呈爆发式快速增长,人们已越来越地倾向于直接在各类社交网络平台基础上来表达其自己表达的各种观点思想和真实情感态…
Live800:企业必修课｜新时代的全渠道营销解析（上）
众所周知，随机用户在成为忠实客户之前，通常需要多次接触才能孵化出销售机会。在很多年以前，电视广告、电子邮件、线下商店等渠道可以轻松触达大多数用户，这个时代被称为大众营销传播时代。
而如今小程序、直播、app等渠道如同雨后…
Live800:双十一，服务不打折
每年的11月11日凌晨，注定是个不眠之夜，有网友戏称双十一，拼的是欲望和钱包，比的是网速、宽带和人品。
今年双十一似乎有些不同，从一天变成了四天，从光棍节变成了双节棍，从双11变成了双11pro。对…
数据分析的软件最全场景盘点
市面上数据分析的软件到底有多少，随便一百度就可以看到从Excel、sql、spss、python、tableau、powerbi、finebi、R、Hadoop、spark……光是看着一串的名字就该头大了。数据分析的软件这么多，究竟用哪个才是好的。
其实每个数据分析的软件都有其侧重的功…
【数据湖仓架构】数据湖和仓库：Databricks 和 Snowflake
是时候将数据分析迁移到云端了。我们比较了 Databricks 和 Snowflake，以评估基于数据湖和基于数据仓库的解决方案之间的差异。 在这篇文章中，我们将介绍基于数据仓库和基于数据湖的云大数据解决方案之间的区别。我们通过比较多种云环境中可用的两种流行技…
《斯坦福数据挖掘教程·第三版》读书笔记（英文版） Chapter 9 Recommendation Systems
来源：《斯坦福数据挖掘教程第三版》对应的公开英文书和PPT
Chapter 9 Recommendation SystemsRecommendation systems use a number of different technologies. We can classify these systems into two broad groups.
Content-based systems examine properties…
中介效应分析全流程汇总
一、中介效应说明
中介效应主要研究自变量对因变量影响的过程中，自变量是否通过中介变量再对因变量产生影响，那什么情况表明中介效应存在呢？如果自变量对因变量影响过程中，中介变量在模型中有着桥梁般的作用，那说明中…
Live800:回复慢十秒流量往外跑，客服不应答推广费白花
这是一个快时代。
"快"无处不在，信息有"快报""快讯""快信"，配送有"快件""快递""快运"，出行有"快车""快艇""高铁"，摄影有…
Live800:乘风破浪，企业提升在线客服“带货“能力正当时
除了直播带货、云逛街、地摊经济等新消费模式的不断涌现，小镇青年、95后年轻消费者、56岁以上银发族，这三大新消费群体也正在电商平台上释放出巨大的消费潜力，这些将市场变化的日新月异体现得淋漓尽致。
在这样的变化下，越来越多…
从数据到智慧，TOOM舆情监测系统让你的决策更加精准!
当今社会信息化程度日益提高，网络平台已成为人们获取最新信息的主要途径，无论是个体还是组织、政府还是企业，都需要通过各种手段及时了解社会舆情，把握市场动态，调整经营策略。而舆情监测系统无疑是这些手段中最为有效…
【数据挖掘】一文了解特征归一化/标准化
一文了解特征归一化/标准化 1. 特征归一化的必要性2. 常用的feature scaling方法都有哪些？3. 什么情况下该使用什么feature scaling方法？4. 所有的机器学习算法都需要feature scaling吗？4.1 什么时候需要feature scaling？4.2 什么时候不需要Feature Scaling？5. 损失函数的…
2023年2月天猫平台面膜品牌销量排行榜（天猫销售数据分析）
随着居民经济收入的不断增加，人们对美的追求也不断提高，因此，人们也更加注重对皮肤的护理。面膜则是其中的一块大蛋糕。 根据鲸参谋平台数据显示，2023年2月在天猫平台上，面膜相关产品的月销量超过一千万件，…
【2023年第十一届泰迪杯数据挖掘挑战赛】B题：产品订单的数据分析与需求预测 建模及python代码详解 问题一
相关链接
【2023年第十一届泰迪杯数据挖掘挑战赛】B题：产品订单的数据分析与需求预测 建模及python代码详解 问题一 【2023年第十一届泰迪杯数据挖掘挑战赛】B题：产品订单的数据分析与需求预测 建模及python代码详解 问题二
1 题目
一．问题…
大数据分析与机器学习的结合：实现智能决策
章节一：引言
在当今数字化时代，大数据分析和机器学习已经成为推动技术创新和业务发展的关键要素。大数据的快速增长和复杂性使得传统的数据处理方法变得不再有效。而机器学习作为一种自动化的数据分析方法，能够从海量数据中挖掘出有价值的信…
PTA L1-078 吉老师的回归（15分）C语言
曾经在天梯赛大杀四方的吉老师决定回归天梯赛赛场啦！
为了简化题目，我们不妨假设天梯赛的每道题目可以用一个不超过 500 的、只包括可打印符号的字符串描述出来，如：Problem A: Print "Hello world!"。
众所周知&#…
59_Pandas中使用describe获取每列的汇总统计信息（平均值、标准差等）
59_Pandas中使用describe获取每列的汇总统计信息（平均值、标准差等）
使用 pandas.DataFrame 和 pandas.Series 的 describe() 方法，您可以获得汇总统计信息，例如每列的均值、标准差、最大值、最小值和众数。
在此，对…
你知道 BI 是什么吗？关于 BI 系统的概述
BI 作为信息化建设中的关键一环，在企业中通常起到承上启下的作用，下能连接打通企业业务系统数据库，将各部门数据分类分级统一储存到数据仓库，简化存储取数流程，减少人力、时间成本；上能提供数据可视化报表…
大数据项目实战之数据仓库：电商数据仓库系统——第3章 维度建模理论之事实表
第3章 维度建模理论之事实表
3.1 事实表概述
事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（维度表外键）以及该业务过程的度量（通常是可累加的数字类型字段）。
3.…
Pandas-如何对指定某列的NaN值进行替换或填充
前言 本文是该专栏的第31篇，后面会持续分享python数据分析的干货知识，记得关注。
笔者在本专栏之前有单独详细介绍过，使用Numpy对数组元素进行替换的方法，感兴趣的同学，可翻阅查看“Numpy-如何对数组的元素进行替换”。
而本文来单独介绍pandas对指定列的NaN值进行操作的…
【已更新】2023电工杯A题完整思路代码图表结果--电采暖负荷参与电力系统功率调节的技术经济分析
运行结果图完整内容可见：https://mbd.pub/o/bread/mbd-ZJmXmpxu
典型住户电采暖负荷用电行为分析： a) 分析典型房间温变过程微分方程稳态解的性态，包括制热功率、室内温度和墙体温度的变化特点，并分析模型参数对稳态解变化规律的…
常用的锂离子电池分析仿真你知道吗？
着各国燃油车禁售时间表的推出，新能源汽车的地位愈发稳固。而锂离子电池作为电动车的核心动力源，也越来越受到市场的追捧。锂离子电池在制作过程中涉及正极、电解液、负极、隔膜等材料的选取与匹配，极片设计参数的选择等问题；电池…
Live800：三大升级，智能营销机器人让业绩升级
随着AI、大数据、5G等新技术的广泛应用，客户服务场景发生了多元的变化，千亿级别的企业客服市场正迎来新挑战与新变革。人工客服服务成本高、培训周期长、运营管理难等痛点凸显，传统客服向智能客服升级转型是大势所趋。
客服智能化升级&#…
Live800：智能套电机器人实现医院营销获客自动化
随着线上化程度加深，智能客服早已被众多企业熟知并应用。
全球知名市场调研机构 Prescient & Strategic Intelligence 相关报告指出，全球范围内智能客服营收有望在 2024 年底突破 29 亿美元，并可实现近 22.6% 的年复合增长率，…
如何打造BI数据中台
在数字化时代，数据已成为企业的重要资产之一，但如何高效地利用数据仍然是一项挑战。在这个过程中，数据中台显得尤为重要。那么，什么是数据中台? 数据中台的概念最早由淘宝提出，是指企业将所有的业务数据进行归集、存储…
2023数维杯ABC题思路代码分析
已完成全部可以领取，详情看文末！！！
数维杯A题思路
A题是这次比赛比较难的题目，地下水系统水体污染问题，他给出了我们一些行为特征，污染物的行为特征主要涉及对流迁移、水动力弥散、吸附及阻滞…
大数据模型交易行业类型及数据挖掘工具
大数据模型交易平台拥有大量大数据人工智能项目案例资源，涉及行业领域包括农业、电力、电信、地质、医疗、环保、政务等行业。各行业通过模型预测可以获知预测风险率，可以找到应对风险措施同时也可以及时解决相关问题。 政务大数据模型 教育大数…
Python3数据分析与挖掘建模（2）数据获取手段
1. 填写、埋点、日志
（1）填写：填写是指用户通过表单、问卷调查或交互界面等方式主动提供数据。用户可以在应用程序或网站中填写个人信息、意见反馈、订单信息等。这种方式可以获取用户直接提供的数据，用于个性化推荐、用户调研和…
Python3数据分析与挖掘建模（10）多因子：复合分析-交叉分析与实现示例
1. 复合分析
1.1 概述
复合分析（Factorial Analysis）是一种统计分析方法，用于研究多个因素对观测结果的影响，并探究各个因素之间的相互作用效应。
在复合分析中，研究者会选择多个因素（也称为处理变量或独…
基于评论的跨境电商产品满意度分析_kaic
目录 摘要 Abstract 一、绪论 1.1 研究背景 1.2 研究内容 二、跨境电商概述 2.1 跨境电商的定义及发展历程 2.2 跨境电商的优势和挑战 2.3 跨境电商的产品满意度研究现状 三、评论分析方法 3.1 文本挖掘技术 3.2 服务分析方法 …
数据的特征分析及房价增幅与M2增幅的相关性案例（axis=1为横向，axis=0为纵向）
数据的排序
.sort_index()方法在指定轴上根据索引进行排序，默认升序
.sort_index(axis0, ascendingTrue）
axis0 表示的是纵轴 ascending表示是否为递增排序，默认为true axis为1 这个by是根据你哪个轴的索引进行排序 NaN统一放到排序末尾 …
大数据模型、离线架构、实时架构
一.大数据模型
8种常见的大数据分析模型：1、留存分析模型；2、漏斗分析模型；3、全行为路径分析；4、热图分析模型；5、事件分析模型；6、用户分群模型；7、用户分析模型；8、黏性分析模型…
数据挖掘——第三章：数据预处理
文章目录1. 数据存在的问题1.1 原始数据存在的问题1.2 数据质量要求1.3 预处理主要任务2. 数据清洗2.1 空缺值处理2.2 噪声处理3. 数据集成3.1 集成过程中涉及的实体识别3.2 冗余问题3.3 检测冗余方法4. 数据归约4.1 数据归约的标准：4.2 数量归约：直方图…
基于XGBoost的用户流失预测
基于XGBoost的用户流失预测 小P：小H，我怎么能知道哪些用户有可能会流失呢？我这里有一份数据，你帮忙看看哪些字段更有助于寻找流失用户 小H：我只需要告诉你哪些特征更重要是吗？ 小P：对对…
报错解决：Python ‘NoneType‘ object is not subscriptable ， 获取到的数据为None，需要保留数据
人生苦短，我用python
爬取某DB电影数据的时候，
在获取内容的时候出现
NoneType object is not subscriptablePython 资料报错交流:点击此处跳转文末名片获取 获取数据的部分代码是： writer_avatars (writers_list[wi][avatars][small]) …
【数据挖掘实战】——科大讯飞：跨境广告ROI预测
🤵♂️ 个人主页：Lingxw_w的个人主页 ✍🏻作者简介：计算机科学与技术研究生在读 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 Ὂ…
Python3数据分析与挖掘建模（6）离散分布分析示例
1. 离散分布分析示例
相关库：
pandas详细用法
numpy详细用法
1.1 引入算法库 # 引入 pandas库
import pandas as pd # 引入 numpy库
import numpy as np# 读取数据
dfpd.read_csv("data/HR.csv")# 查看数据
df
Out[6]: satisfaction_level last_eval…
报名截至在即 | “泰迪杯”挑战赛最后一场赛前指导直播！
为推广我国高校数据挖掘实践教学，培养学生数据挖掘的应用和创新能力，增加校企交流合作和信息共享，提升我国高校的教学质量和企业的竞争能力，第十一届“泰迪杯”数据挖掘挑战赛（以下简称挑战赛）已于2023年3月…
python数据挖掘与机器学习实践技术
分析机器学习在应用时需要掌握的经验及编程技巧。通过实际案例的形式，介绍如何提炼创新点，以及如何发表高水平论文等相关经验。旨在掌握Python编程的基础知识与技巧、特征工程（数据清洗、变量降维、特征选择、群优化算法）、回归拟…
SQl刷题：查找比之前高的温度
如题 解答
方法一：使用JOIN和DATEDIFF（）子句
使用DATEDIFF来比较两个日期类型的值，因此我们可以通过将weather与自身结合，然后使用DATEDIFF（）比较
SELECT weather.id AS id FROM
weather JO…
聚类分析（文末送书）
目录
聚类分析是什么
一、 定义和数据类型
聚类应用
聚类分析方法的性能指标
聚类分析中常用数据结构有数据矩阵和相异度矩阵
聚类分析方法分类
二、K-means聚类算法
划分聚类方法对数据集进行聚类时包含三个要点
K-Means算法流程:
K-means聚类算法的特点
三、k-med…
2023mathorcup数学建模ABCD思路分析
更多思路分析，请看文末
A题：量子计算机在信用评分卡组合优化中的应用
题目提到了信用评分卡的组合优化，这是一个经典的优化问题。在这个问题中，需要通过不同的组合方式来选择不同的阈值，以达到最大化贷款利息收入和最…
数据挖掘学习笔记：Apriori算法介绍和使用Python的两种实现(原始版和改进版)
博文目录简述正文摘要介绍算法原始版改进版实现实验分析实现代码原始版优化版简述
数据挖掘课程的作业，要求研究一个算法并写一篇实验报告。本次报告使用Overleaf编写，模板使用的IEEE期刊，后续将展示本次报告源码。以下正文内容是该报告的中…
大屏时代：引领信息可视化的新潮流
在信息时代的浪潮下，数据已经成为推动各行各业发展的重要动力。然而，海量的数据如何快速、直观地呈现给用户，成为了一个亟待解决的难题。在这样的背景下，可视化大屏应运而生，以其出色的表现力和交互性成为信息展示的佼…
ArcGIS中统计渔网中栅格人口密度
文章目录前言一、人口数据获取来源一：中科院地理所公开数据集来源二：WorldPop数据集二、人口格网统计步骤1.创建渔网2.人口数据处理2.1 栅格转点2.2 空间插值——处理人口缺失数据2.3 空间连接——渔网人口统计总结前言
在科研中，经常需要使…
核心领域的数字基建梳理
数字基建：新基建的核心
数字基建是数字经济发展的重要底座，《“十四五”数字经济发展规划》的首要重要任务就是“优化升级数字基础设施”，并提出要建设高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基…
易基因：全基因组DNA甲基化和小RNA分析揭示甘蓝型油菜种子的基因组不对称性 | 植物发育
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。
多倍体是被子植物基因组进化中的一种持续现象，有助于现存开花植物的多样性。甘蓝型油菜（Brassica napus）是世界上最重要的被子植物油料作物品种之一&a…
Live800｜哪家在线客服系统性价比高？
性价比高的在线客服系统有哪些？如何选择在线客服系统最划算？是很多企业所关心的问题。 性价比高的在线客服系统有哪些？
影响在线客服系统价格的因素有很多如部署方式、智能化程度以及系统的功能、性能，因此显然性价比随企业的需求…
《程序设计基础》 第八章 指针 6-10 分类统计各类字符个数 (15 分)
本题要求实现一个函数，统计给定字符串中的大写字母、小写字母、空格、数字以及其它字符各有多少。
函数接口定义：
void StringCount( char *s );
其中 char *s 是用户传入的字符串。函数StringCount须在一行内按照
大写字母个数 小写字母个数 空格个…
特征工程：分类变量的处理方式总结
1、什么是分类变量？
通常来说，分类变量是用来表示某一属性的类别或标识的。例如：一年中的四季，月份，OS，brand，行业（银行、保险、券商、科技......），地区等等…
python·文本分析
python文本分析词云词云图from wordcloud import WordCloudfrom pyecharts.charts import WordCloud停用词处理词云图
from wordcloud import WordCloud
import matplotlib.pyplot as plt #数学绘图库
import jieba #jieba分词库
from wordcloud import WordCloud,I…
数据挖掘-关于分类问题样本不均衡的讨论
之前在看一些竞赛案例的时候遇到了样本不均衡的情况，尝试了不同的采样方式，效果也不是很好，所以在这篇文章讨论一下。
1、样本不均衡是不是必须要进行上采样/下采样
1.1 数据准备 这里生成一个包含 2个特征 的 2分类 数据集，同时…
我用 Python 构建一套电影推荐系统
本文将余弦相似度与 KNN、Seaborn、Scikit-learn 和 Pandas 结合使用，创建一个使用用户评分数据的电影推荐系统。 在日常数据挖掘工作中，除了会涉及到使用Python处理分类或预测任务，有时候还会涉及推荐系统相关任务。
推荐系统用于各个领域&…
关于电商商品数据API接口列表，你想知道的（详情页、Sku信息、商品描述、评论问答列表）
目录
一、商品数据API接口列表
二、商品详情数据API调用代码item_get
三、获取sku详细信息item_sku
四、获得淘宝商品评论item_review 五、数据说明文档 进入 一、商品数据API接口列表 二、商品详情数据API调用代码item_get
<?php// 请求示例 url 默认请求参数已经URL…
常见的九种大数据分析模型
常见的9种大数据分析模型分别为： 事件分析、 属性分析、 渠道分析、 Session分析、 留存分析、 归因分析、 漏斗分析、 路径分析、 分布分析
1、【事件分析】 事件分析，是指用户在 APP、网站等应用上发生的行为，即何人，何时&…
自助式数据分析平台：jvs数据智仓-统计报表的使用条件及界面介绍
统计报表界面介绍 统计报表是指利用表格和报表等形式，将数据以清晰的结构和布局的方式呈现出来，以便用户进行数据分析和决策制定的一种BI统计方法。表格式的BI统计通常采用交叉表格、分组表、报表等形式，对数据进行整合、分析和展示ÿ…
转型、自助、移动—BI市场的应用盘点
近几年是数据应用快速增长而又动荡的一年。由于投资热带来的一波2B产业高潮，围绕数据业务的产品层出不穷，无论是通用型的可视化工具，还是带有业务属性的分析产品。
商业智能BI作为一个曾经先于大数据的企业数据解决方案，在经历了…
【数据管理架构】OLAP 与 OLTP：有什么区别？
这些术语经常相互混淆，那么它们的主要区别是什么？您如何根据自己的情况选择合适的术语？ 我们生活在一个数据驱动的时代，使用数据做出更明智决策并更快响应不断变化的需求的组织更有可能脱颖而出。您可以在新的服务产品（…
【第十一届泰迪杯B题】产品订单的数据分析与需求预测
文章目录 一、问题背景二、数据说明三、需要解决的问题3.1 探索性数据分析3.2 模型建立与求解四、数据集下载4.1 示例数据4.2 训练全部数据4.3 最后测试全部数据五、比赛时间点说明一、问题背景
近年来企业外部环境越来越不确定，复杂多变的外部环境，让企业供应链面临较多难题…
第九章 ShuffleNetv1网络详解
系列文章目录 第一章 AlexNet网络详解
第二章 VGG网络详解
第三章 GoogLeNet网络详解
第四章 ResNet网络详解
第五章 ResNeXt网络详解
第六章 MobileNetv1网络详解
第七章 MobileNetv2网络详解
第八章 MobileNetv3网络详解
第九章 ShuffleNetv1网络详解
第十章…
2023年1月至4月天猫平台美妆品类销售数据分析
如今，随着人们消费观念的突破，越来越多的人用美妆来诠释个性表达，美丽经济获得更多关注，化妆品消费理念逐渐增强，因此，美妆市场也形成了较大的规模。 根据鲸参谋电商数据显示，2023年1月至4月&am…
开发的功能不都是经过上线测试，为什么上线后还会那么多 Bug ？
你是否也经过这样的灵魂拷问：「开发的功能不都是经过上线测试的吗？为什么上线后还会那么多 Bug ？」。 大家明明都很努力，为什么「输出」的结果没有更进一步？今天我们就水一水这个「狗血」话题，究竟是谁个锅…
ODM和OLAP实现时序预测(三)
Part 3 时序预测之多步预测这是系列文章中的最后一部分。这部分囊括了如何使用数据挖掘方法做多步(开循环)预测。正如part1中所讲，多步预测可以比单步预测做多次预测，不像单步预测那样，递归多步自然预测不能单独通过SQL PREDICTION函数计算。…
信息化故事--温州的传奇(11)从“进城务工”看“温州新版自闭症”
<iframe align"top" marginwidth"0" marginheight"0" src"http://www.zealware.com/46860.html" frameborder"0" width"468" scrolling"no" height"60"></iframe>信息化故事--温…
2023华中杯数学建模C题完整模型代码
已完成全部模型代码，文末获取。
摘要
随着工业化和城市化的快速发展，空气污染已经成为全球性的环境问题。细颗粒物（PM2.5）等污染物对人类健康、生态环境和社会经济造成了严重影响。本研究旨在深入探究影响PM2.5浓度的主要因素&a…
调用电商API你不得不知道的几件事
随着电商市场的迅速发展，越来越多的商家选择通过电商平台进行销售。为了达到更好的销售效果，许多商家开始尝试使用电商API。但是在使用电商API之前，商家需要了解一些必要的事情，以确保正常调用API并减少可能的风险。
本文将从以下…
购买一套WMS仓储管理系统要多少钱
随着电商行业的快速发展，仓储物流行业也逐渐成为了人们关注的焦点。WMS仓储管理系统作为物流管理领域的重要工具，在提高仓库管理效率、降低运营成本方面具有重要作用。那么，购买一套WMS仓储管理系统要多少钱呢？ 首先，我…
【模块三：职业成长】39｜能力维度四：如何从做技术到为企业创造生存优势？
你好，我是郭东白。今天这节课是架构师能力维度的第四部分，我们来继续探索架构师成长过程的能力跃迁。不过今天我们会连续讲两个跃迁：从跨域架构师到总架构师（首席架构师）的跃迁；从总架构师再到 CTO 的跃迁。…
推荐系统：关联规则(3) —— FP-Growth 算法
在 1994 年 Rakesh Agrawal 提出了 Apriori 算法之后，关联规则挖掘技术的可用性得到了很大的提高。而且因为关联规则挖掘与生俱来的商业意义，使得它迅速成为了一个非常热门的研究领域，新的算法也不断地涌现出来。这其中，实用性比较…
《Go并发编程实战》好书配套示例源码课件教学视频
#好书推荐##好书奇遇季#《Go并发编程实战》京东当当天猫都有发售。本书配套源码、课件、开发环境和教学视频。 《Go并发编程实战》
Go语言是谷歌公司开发的一款开源的系统编程语言，被称为面向21世纪的C语言，在多核硬件架构、超大规模分布式计算集群和We…
样本不平衡及处理方法
文章目录1 什么是数据不平衡？2 数据不平衡的解决方法2.1 采样2.2采用k折交叉验证法2.3 采用SVM，决策树算法2.4 使用集成学习在机器学习和数据挖掘领域，数据不平衡问题是我们拿到数据之后优先需要考虑的问题，如果直接对不平衡的数据…
爬虫-kaggle数据集Rain_in_AUS的Location气候分类
澳大利亚气象局和澳大利亚建筑规范委员会（ABCB）将澳大利亚不同地区不同城市的所在的气候区域进行划分，总共划分为八个区域，非常适合用来做分类。能够将Rain in Australia数据集中的地点Location转换成对应的气候，这个信…
使用SwinTransformer进行图片分类
SwinTransformer 是微软亚洲研究院在2021年提出的适用于CV领域的一种基于Tranformer的backbone结构。 它是 Shift Window Transformer 的缩写，主要创新点如下。 1，分Window进行Transformer计算，将自注意力计算量从输入尺寸的平方量级降低为线…
关于数据仓库那点事，一文捋清
借助海量的数据，企业进行了深层次的数字化改革，把数据当成了企业发展的核心，但无效的数据即使规模再大，也对企业没有意义，所以数据质量也就愈发重要。
数据仓库
事实上，很多人在看到数据仓库的第一眼&…
2023洗发护发市场分析（头皮清洁护理等新兴品类销售数据分析）
如今，随着人们消费观念的转变，对洗发护发相关用品的要求也逐渐提高，由原来单一的清洁功能到更注重洗发护发用品的功能及护理效果。因此，洗发护发产品的品类不断增加，洗发护发产品的市场规模也不断扩大，整体…
图书推荐|Python数据分析与挖掘实战（第2版）
Python数据分析与挖掘实战（第2版）一共分为三个部分，包括基础篇（第1～5章）、实战篇（第6～12章）、提高篇（第13章）。其中基础篇介绍了数据挖掘的基本原…
深入理解机器学习中的正则化
在机器学习领域，正则化是一种常见的技术，用于控制模型的复杂度和泛化能力。在本文中，我们将深入了解正则化的基本原理，以及常见的正则化方法。
一、正则化的基本原理
在机器学习中，我们的目标是从数据中学习模型&…
【数据挖掘】时间序列模型处理指南（二）
一、说明 本文是一个系列文章的第二部分，本文将用股票数据进行时间序列分析为例，对时间分析的方法、过程，进行详细阐述。
二、前文章节 在文章第一部分种：【数据挖掘】时间序列模型处理（一）_无水先生的博客…
数据分析--数据预处理
数据预处理数据分类定量数据定性数据数据质量数据清洗特征工程特征选择特征构建特征提取数据分类
定量数据
离散变量连续变量
定性数据
定序变量名义变量 集中趋势 主要测度是均值，中位数，和众数 离散程度 考虑变量的离散程度，主要考虑变…
大数据分析案例-基于决策树算法构建信用卡欺诈识别模型
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
灰色预测法 --python
简介 灰色系统理论认为对既含有已知信息又含有未知或非确定信息的系统进行预测，就是对在一定方位内变化的、与时间有关的灰色过程的预测。尽管过程中所显示的现象是随机的、杂乱无章的，但毕竟是有序的、有界的，因此这一数据集合具备潜在的规律…
火山引擎工具技术分享：用 AI 完成数据挖掘，零门槛完成 SQL 撰写
动手点关注干货不迷路在使用 BI 工具的时候，经常遇到的问题是：“不会 SQL 怎么生产加工数据、不会算法可不可以做挖掘分析？”而专业算法团队在做数据挖掘时，数据分析及可视化也会呈现相对割裂的现象。流程化完成算法建模和数据分析…
云时代已至，新一代数据分析平台是如何实现的？
2023 年 5 月，由 Stackoverflow 发起的 2023 年度开发者调查数据显示，PostgreSQL 已经超越 MySQL 位居第一，成为开发人员首选。PostgreSQL 在国内的热度也越来越高。6 月 17 日，PostgreSQL 数据库技术峰会在成都顺利召开。本次大会…
强烈推荐，B站最强学习资源汇总（数据科学，机器学习，python）
【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘微信群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。正文开始经过这几个月的居家隔…
python基础语法第2章变量和数据类型之05变量
大家好，我是阿语，从今天开始每天更新8篇python教程从第一个基础语法开始每天更新一下基础内容，这些会分类出来，保持一天完整的python教程，有的人肯定会问 为什么最后才写爬虫了，阿语在这里声明一下…
python基础语法第2章变量和数据类型之10条件语句if
大家好，我是阿语，从今天开始每天更新8篇python教程从第一个基础语法开始每天更新一下基础内容，这些会分类出来，保持一天完整的python教程，有的人肯定会问 为什么最后才写爬虫了，阿语在这里声明一下…
如何进行探索式数据分析？
【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822701 为好友后入群。新开招聘交流群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。正文开始很多同学私信问我&…
SQL刷题：组合两张表
如题： 过程：因为上面的表中， Address 中的 personId 是表 Person 的外关键字，所以我们可以连接这两个表来获取一个人的地址信息。 但是，并不是每一个人都是有信息的，所以我们应该用 outer join而不是inne…
python网络爬虫自学笔录6_爬取大学排行实例
这里实现一个对中国大学排行的爬虫实例解析 注意：在爬取之前需要查看robot的协议，查看是否允许爬取 这个是大学排行榜的主页面，我们需要把中国大学排名的主榜爬取下来： 直接看代码：
import requests
from bs4 imp…
2022年湖南省安全员-C证考试练习题及在线模拟考试
题库来源：安全生产模拟考试一点通公众号小程序
2022塔式起重机安装拆卸工(建筑特殊工种)培训试题系塔式起重机安装拆卸工(建筑特殊工种)模拟考试试题高频考题覆盖！2022年塔式起重机安装拆卸工(建筑特殊工种)复训题库模拟考试平台操作依据塔式起重机安装…
数据划分方法简述：数据离散化和均值标准差分级法（含python代码）
文章目录 1 问题缘起2. 数据离散化等距离散等频离散聚类离散其他 3. 均值标准差分级 1 问题缘起
在数学建模中，我经常遇到这样一个问题：
在某一步中，需要把数据分成好几个类别或者是按照数据大小分级划分。
放到一维数据中形象一点解释就是…
Matplotlib模块详解 | CSDN创作打卡
1. 什么是 Matplotlib 模块 Matplotlib 是 Python 中类似 MATLAB 的绘图工具，其能方便地实现数据可视化，熟悉 MATLAB 的也可以很快上手 Matplotlib。 2. Matplotlib 模块构成 Matplotlib 模块构成： 1）Figure 在绘图前，…
神经网络模型的基本原理 - 神经网络是算法还是模型
神经网络算法的三大类分别是？ 神经网络算法的三大类分别是：
1、前馈神经网络：
这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列…
4个python实战mini项目，附源码
本文展示了4个python小项目：第一个项目是利用python生成激活码，并且保存在两个不同对数据库中；第二个项目是如何统计一个文本中每个词出现的次数；第三个项目是利用python生成验证码图片；第四个项目敏感词感知ÿ…
2022年质量员-市政方向-通用基础(质量员)考试练习题及模拟考试
题库来源：安全生产模拟考试一点通公众号小程序
2022质量员-市政方向-通用基础(质量员)考试题为质量员-市政方向-通用基础(质量员)复训题库模拟预测卷！2022年质量员-市政方向-通用基础(质量员)考试练习题及模拟考试根据质量员-市政方向-通用基础(质量员)…
分析的基础：平均和交叉的思路
本篇内容为数据分析入门方法系列的第3篇，平均和交叉的思路，有需要回顾前两篇方法的，传送门在这里：《分组分析法》《对比分析法》本文大概1435字读完共需4分钟之前两篇内容提到了对比和分组，这都是实际工作中经常用到的…
不可不知的分组分析法
本篇内容为数据分析入门方法的第二篇，第一篇对比分析传送门在这里。分组分析是将总体数据按照某一特征性质划分成不同的部分和类型进行研究，从而深入分析其内在规律。一、为什么要分组？对于大量的数据，如果不进行分组是很难发现其…
商业智能BI中的OLAP是什么
人们在谈商业智能（BI）时，经常会提到OLAP，有的人可能认为OLAP工具就是BI。其实OLAP仅是BI的一部分，是很重要的一项分析技术。那什么是OLAP呢？
OLAP（Online analytical processing）&a…
最新 Python3 爬取前程无忧招聘网 mysql和excel 保存数据
Python 爬虫目录 1、最新 Python3 爬取前程无忧招聘网 lxmlxpath 2、Python3 Mysql保存爬取的数据 正则 3、Python3 用requests 库 和 bs4 库 最新爬豆瓣电影Top250 4、Python Scrapy 爬取 前程无忧招聘网 5、Python3 爬取房…
Heterogeneous Visual Features Fusion via Sparse Multimodal Machine 阅读笔记与代码实现
文章主要通过稀疏多模机对特征进行融合。此处主要记录2.1节联合结构稀疏正则化，并作python实现。
符号说明： ********************************分割线****************************************************
题外话：铰链损失函数࿰…
手把手教你学Python之Pandas（一文掌握数据分析与处理库-Pandas）
目录
基本结构之Series
Series对象的创建
Index对象介绍
Series中数据的访问
Series中常用方法
基本结构之DataFrame
DataFrame的创建
DataFrame中数据访问
DataFrame 常见属性
DataFrame 常见方法
DataFrame的合并操作
Pandas中常用方法
加载数据的方法
数…
【数据分析与挖掘】数据分析学习及实践记录 | part 03-matplotlib常用统计图
开新坑啦！之前都是晚上七点以后开始学习，今天上午把matplotlib中文显示的问题解决，就开始刷课了。第三部分开启。
老规矩，先上图 01绘制散点图
开篇老师上手一个一周天气的练习。
我跟着标注的数据来源，发现北京历史…
不会python怎么办，这样大数据数据分析，小白也能上手
最近老板让我进行大数据数据分析，但是我只是做业务的，咋做专业的大数据数据分析。赶紧咨询之前的做数据分析的好朋友，好朋友一听说，说大数据数据分析也不是一定要用我想象的python这种编程工具才能搞定，还有其他更简单…
商业智能对企业来说意味着什么
数据信息化的发展，带动着企业的生产运营，商业智能加入企业的决策，提高了企业的生产效益。这两年大数据的爆发增长，加快了企业实行商业智能的步伐。越来越多的企业加入了实行商业智能的行列，商业智能是什么，…
大数据之“大”，“大”在何处？
如今，一个大规模生产、分享和应用数据的时代正在开启。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发…
数据集成到可视化分析，轻松驾驭数据洞察力：ETLCloud与帆软BI完美结合
在当今数据驱动的业务环境中，企业需要快速而准确地获取、处理和分析大量的数据。为了满足这一需求，ETLCloud通过和帆软BI的集成提供了一种强大的数据采集和数据分析解决方案，通过可视化的ETL工具和灵活的BI功能，帮助企业快速实现高…
从Oracle到DB2，问题集(二)
SQL1477N错误对于表不能访问数据使用db2dart工具db2dart ahsimis /T数据对象ID,表空间ID获取报告，打开后，可以查看到表的状态如果是drop-pending状态，则只能删除表，重建。
----------------------查看当前时间values current tim…
基于粒子群优化算法(PSO)的超参数调优(分类模型)
相关文章： 粒子群优化算法(原理)粒子群优化算法(实战)使用粒子群优化聚类(实战)基于粒子群优化算法的特征选择 1 GlobalBestPSO() 函数简介
PSO 超参数调优采用的是 pyswarm 包中的 GlobalBestPSO()： class pyswarms.single.global_best.GlobalBestPSO(…
运用数据挖掘技术研究方剂配伍规律应注意的几个问题
http://www.studa.net/yaoxue/090904/17071481.html 作者：陈云慧，王燕，张昱，谭圣琰 宋姚屏，蒋永光
【摘要】 近年来，数据挖掘技术正逐渐被广泛运用到方剂配伍规律的研究中，在运用该技术进…
企业社交，可能是个伪命题？
昨大早受邀去参加了金蝶微博的发布会，他们产品改名叫“云之家”。说实话，对金蝶微博一直都只是有了解，但并不熟悉。最早知道Yammer，daPulse、Jive这类产品的时候，并不看好这种封闭的甚至有点扯淡的产品，谁知…
从呼叫中心通向CRM—数据仓库必不可少
从呼叫中心通向CRM—数据仓库必不可少
段云峰 杨凤年 宋俊德 2002/04/19 在呼叫中心业务系统收集到大量数据之后，要将这些信息进行有效利用，从而为CRM系统提供正确的依据，这个过程中，数据仓库是必不可少的要素。数据仓库是一项基…
A.机器学习入门算法（五）：基于企鹅数据集的决策树分类预测
机器学习算法（五）：基于企鹅数据集的决策树分类预测
本项目链接：https://www.heywhale.com/home/column/64141d6b1c8c8b518ba97dcc
1 逻决策树的介绍和应用
1.1 决策树的介绍
决策树是一种常见的分类模型，在金融风控…
关于gensim库中lda主题模型困惑度和一致性python图像绘制
关于gensim库中lda主题模型困惑度和一致性python图像绘制 第三方库使用: matplotlib 前期准备 函数参数解释 num_topics： 主题数量 corpus： 处理过的文档语料 texts：二维列表(源代码存储的是中文分词) dictionary：对应词典 import…
python基础语法第2章变量和数据类型之09-运算符
大家好，我是阿语，从今天开始每天更新8篇python教程从第一个基础语法开始每天更新一下基础内容，这些会分类出来，保持一天完整的python教程，有的人肯定会问 为什么最后才写爬虫了，阿语在这里声明一下…
Scrapy入门案例，抓取美剧天堂的前100最新
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Ass…
数据挖掘和数据探索_对企业数据的释放探索
数据挖掘和数据探索Enterprise customers have huge investments in transactional data systems, yet they struggle to provide their users with flexible and timely exploratory access to this data. One solution to this problem is to empower these users with the a…
【海量数据挖掘/数据分析】 之 关联规则挖掘 Apriori 算法 （数据集、事务、频繁项集、关联规则、支持度、置信度）
【海量数据挖掘/数据分析】 之 关联规则挖掘 Apriori 算法 （数据集、事务、频繁项集、关联规则、支持度、置信度） 目录
【海量数据挖掘/数据分析】 之 关联规则挖掘 Apriori 算法 （数据集、事务、频繁项集、关联规则、支持度、置信度&#x…
AIOps在美团的探索与实践——故障发现篇
【提醒：公众号推送规则变了，如果您想及时收到推送，麻烦右下角点个在看，或者把本号置顶】正文开始AIOps，最初的定义是Algorithm IT Operations，是利用运维算法来实现运维的自动化，最终走向无人化…
干货：机器学习模型训练全流程！
【提醒：公众号推送规则变了，如果您想及时收到推送，麻烦右下角点个在看，或者把本号置顶】正文开始周末在家无聊闲逛github，发现一个很有趣的开源项目，作者用手绘图的方式讲解了机器学习模型构建的全流程&…
推荐 ：完备的 AI 学习路线，最详细的资源整理！
【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822701 为好友后入群。新开招聘微信群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。正文开始【导读】本文由知名开…
数据挖掘在市场营销的应用(ZZ)
数据挖掘技术在企业市场营销中得到了比较普遍的应用，它是以市场营销学的市场细分原理为基础，其基本假定是“消费者过去的行为是其今后消费倾向的最好说明”。通过收集、加工和处理涉及消费者消费行为的大量信息，确定特定消费群体或个体的兴趣…
数据挖掘工程师笔试及答案整理
文章来源：http://www.cnblogs.com/elaron/p/3325937.html 2013百度校园招聘数据挖掘工程师 一、简答题（30分） 1、简述数据库操作的步骤（10分） 步骤：建立数据库连接、打开数据库连接、建立数据库命令、运行数…
(转)数据挖掘十大经典算法
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.
不仅仅是选中的十大算法，其实参加评…
蚂蚁分类信息系统伪静态多城市版nginx规则自适应URL
蚂蚁分类信息系统伪静态多城市版nginx规则自适应URL
蚂蚁分类信息系统伪静态多城市版nginx规则自适应URL,支持二级域名,包含信息、文章、商家、店铺、商城
if ( $http_user_agent ~ "(MIDP)|(WAP)|(UP.Browser)|(Smartphone)|(Obigo)|(Mobile)|(AU.Browser)|(wxd.Mms)|(…
蚂蚁分类信息系统PC手机网址自适应,网页自适应移动端及根据访问设备自动识别展示手机站或PC站
蚂蚁分类信息系统PC手机网址自适应,网页自适应移动端及根据访问设备自动识别展示手机站或PC站
本实现方法仅适用于nginx环境，主要是使用 Nginx 内置 $http_user_agent 变量来区分(电脑 pc、手机 mobile)端的访问，根据不同端的访问通过伪静态设置对应的访…
《软件性能测试、分析与调优实践之路》性能测试书
#好书推荐##好书奇遇季#《软件性能测试、分析与调优实践之路》京东当当天猫都有发售。 系统或者软件性能的重要性自然是无须多言，永远没有哪个用户可以忍受打开一个网站或者软件需要很久才能响应，性能是评估一个系统或者软件最实在的指标，如果…
Loss-augmented Max-margin Constraint Generation(LAM-CG) algorithm
Computational approaches for RNA energy parameter estimation
Year: 2010 Authors: MIRELA ANDRONESCU, ANNE CONDON, HOLGER H. HOOS, DAVID H. MATHEWS, and KEVIN P. MURPHY Journal Name: BIOINFORMATICS
Motivation
将最大间隔应用于CG模型中
Research Objective
…
《Graph Representation Learning》笔记 Chapter2
目录节点特征node degreenode centrality集聚系数 The clustering coefficient图特征Weisfieler-Lehman kernel邻域重叠检测 Neighborhood Overlap Detection局部重叠度量 Local overlap measure全局重叠度量 Global overlap measureKate indexLeicht, Holme, and Newman(LHN) …
Pandas中DataFrame的属性、方法、常用操作以及使用示例
前言 系列文章目录 [Python]目录 视频及资料和课件 链接：https://pan.baidu.com/s/1LCv_qyWslwB-MYw56fjbDg?pwd1234 提取码：1234 文章目录前言1. DataFrame 对象创建1.1 通过列表创建 DataFrame 对象1.2 通过元组创建 DataFrame 对象1.3 通过集合创建 …
python数据分析与挖掘数据之探索数据
文章目录三.数据探索数据质量分析缺失值分析异常值分析一致性分析数据特征分析1.分布分析2.对比分析3.统计量分析4.周期性分析分析：总体来看，正常用户和窃电用户在2012年2月份与3月份日用电量呈现出周期性。以周为周期，由于周末不上班&#x…
算法工程师的三个境界
【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘微信群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。正文开始公元七世纪࿰…
深入浅出的数据分析方法
【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘微信群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。正文开始引言：你有…
2022最推荐的四款免费bi工具
今天跟大家推荐几款非常热门的免费bi工具，这些免费bi工具不管是自身的实力还是口碑都是毋庸置疑的，下面我们来看看是哪些免费bi工具吧： 1、Tableau Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面…
协同过滤算法的问题及解决方案
1 协同过滤在应用中存在的问题 尽管协同过滤在电子商务推荐系统中的应用获得了较大的成功，但随着站点结构、内容复杂度和用户人数的不断增加，基于协同过滤的推荐系统的发展面临着两个主要挑战： 1) 提高协同过滤算法的可扩展性 协同过滤算法能…
图表数据分析怎么做，举实例给你说清楚
现在工作离不开图表数据分析，但是图表数据分析却容易出错。而且容易出现错误的地方不是在对数据的处理上，而是在对图表的选择上。 要正确的做好图表数据分析就要选择合适的图表再进行分析。下面跟大家说说怎么解决这个难题，做好图表数据分析&…
店铺如何选址？这套算法预测销售额，误差仅300元！
店铺选址在生活中是经常接触到的，而且店铺选址对于企业的策略制定、营业额等都有直接或间接的影响，所以， 店铺选址并不是一个陌生的词。实际来讲店铺选址的最终落地点是店铺的未来一段时间的销量，企业通过预测店铺未来销量与开店标…
一个案例告诉你，数据挖掘如何用于企业生产
数据挖掘，你想到了什么？
聊到数据挖掘话题时，大多数人的第一反应是什么？ 就是那些教授学者搞得研究吧，能用吗？都是唬人的吧？再现实一点，数据挖掘能商用不？这玩意应该还是…
二分类结局变量Logistic回归临床模型预测—— 模型评价（二）
本节讲的是二分类结局变量的临床模型预测，与之前讲的Cox回归不同，https://lijingxian19961016.blog.csdn.net/article/details/124088364https://lijingxian19961016.blog.csdn.net/article/details/124088364https://lijingxian19961016.blog.csdn.net/article/details/1240…
经验分享 | 如何搭建企业管理驾驶舱
随着企业在资本市场运作，对于资产、财务的可视化程度以及生产和销售的精细化程度要求也越来越高。因此，运用可视化的数据管理来支撑业务层对于企业运营状况的全局掌控，利用科学化的管理手段来配合企业的决策层和管理层，成为了信息…
从传统企业谈大数据的战略意义
当前全球正处在新一轮科技革命和产业变革的关键时期，以大数据为代表的信息技术产业变革，使各个企业在信息技术发展上处于新的起跑线上，如何充分挖掘利用大数据资源，是企业当前面临的重大课题。 数据的战略意义，一方面在…
数据挖掘常用的心脏病数据(From UCI)
http://archive.ics.uci.edu/ml/machine-learning-databases/statlog/heart/ 该数据经常作为数据挖掘的示例。 This database contains 13 attributes (which have been extracted froma larger set of 75) Attribute Information:------------------------ -- 1.…
WAPE、WMAPE理解
背景： 刚入AI行业小白，搜了半天也没有找到wape指标解释，后来找到一篇英文解释，翻译过来跟大家分享一下 1.导言
在我们所处的时代，学习如何正确使用数据并充分利用数据非常重要。零售商很清楚这一点，因此会…
ORA-00600 关联规则建模错误
ORA-40101: 数据挖掘系统错误 ODM_ASSOCIATION_MODEL-BUILD--20010ORA-06512: 在 "SYS.DBMS_SYS_ERROR", line 105ORA-06512: 在 "DMSYS.ODM_ASSOCIATION_RULE_MODEL", line 144ORA-06512: 在 "DMSYS.ODM_ASSOCIATION_RULE_MODEL", line 1396ORA…
OWB和ODM的产品信息
Oracle Warehouse Builder包括以下几个主要组件： 1.ETL，可以基本满足大部分功能。该组件的license包含在9i/10g企业版中。 2.Data Quality。该组件需要单独购买，仅从10g开始提供 3.Connector(连接SAP/peoplesoft)。该组件需要单独购…
基于 Web 的数据挖掘
基于 Web 的数据挖掘英文原文 内容： HTML：优点与缺点背景技术方法概述获取 XHTML 格式的源信息查找数据的引用点将数据映射成 XML合并与处理结果结束语参考资料关于作者对本文的评价 自动抽取用 HTML、XML 和 Java 编写的信息 Jared Jackson (jjaredalm…
在实施数据仓库过程中应避免的11个错误
在实施数据仓库过程中应避免的11个错误 张晓辉 xiaohuifudan.edu
1. 错误的项目发起：
在数据仓库实施项目经理之上，还有两个关键的人物对整个项目的实施产生重要…
寿险行业数据挖掘应用分析
寿险行业数据挖掘应用分析 寿险是保险行业的一个重要分支，具有巨大的市场发展空间，因此，随着寿险市场的开放、外资公司的介入，竞争逐步升级，群雄逐鹿已成定局。如何保持自身的核心竞争力，使自己始终立于不败…
我想问问数据挖掘的前途！
曾经和行业中几个老师也曾讨论过这个问题。有个老师说数据挖掘还只是实验室的东西。对于此观点他认为数据挖掘的工具还都是比较专业化的，一般人很难应用，使用当前的数据挖掘工具需要比较深厚的基本功。也就如同操作系统的发展中dos时代，到达普…
移动通信客户类主题数据挖掘
移动通信客户类主题数据挖掘
1．业务分类大客户：移动大客户定义根据总部的统一定义，客户积分是评判大客户的依据，每年年末对大客户重新计算，确定下年的大客户积分评判阈值。大客户资格在年内只升不降。年内每月对达到大…
旁观天使湾Demo Day第二季：创意亮闪闪，运营苦哈哈
6月2日，杭州人的特有的节日之一。”62″在杭州土话里，是笨蛋的意思。也许有激情的笨蛋才可能在这波移动互联网时代掘金。反正在这个很适合一起2的日子，庞小伟找了个很有情调的山庄，让他的天使湾demo day第二季亮相了。有上海来的朋…
15 机器学习模型评估指标--机器学习基础理论入门
15 机器学习模型评估指标–机器学习基础理论入门
7.1 回归问题评估指标
绝对误差
绝对误差为预测点与真实点之间距离之差的绝对值的平均值，即：
均方误差
均方误差为预测点与实际点之间距离之差平方和的均值，即 因为绝对误差不是光滑的…
课程笔记7：Scrapy框架——规则化爬虫
搭建一个基础爬虫
1.新建项目：
scrapy startproject scrapyuniversaldemo
2.查看可用模版并指定crawl模版创建爬虫
scrapy genspider -l
# 查看模版非必要
scrapy genspider -t crawl movie ssr1.scrape.center
3.在爬虫的rules中使用Rule来定义index页中的爬取…
tensorflow离线安装
tensorflow离线安装
下载安装包
tensorflow官方下载地址
坑点1：网站非常卡，经常无法连接，在线安装耗时长或无法成功安装。坑点2：下载速度非常慢，耐心等待。坑点3：依赖包非常多，推荐在线pip安…
Python基础（工具查阅）
目录
一、python基础语法二、运算符三、3种结构四、基础函数五、高级变量类型-非数字型变量六、公共方法七、变量进阶八、局部变量和全局变量一、python基础语法
需要认识的几个单词 error：错误 name:名字 defined：已经定义syntax：语法 inv…
机器学习基础 - 偏度、正态化以及 Box-Cox 变换
1引言
对于数据挖掘、机器学习中的很多算法，往往会假设变量服从正态分布。例如，在许多统计技术中，假定误差是正态分布的。这个假设使得能够构建置信区间并进行假设检验。因此，在数据预处理阶段会查看目标变量以及各个特征是否服从…
冰墩墩火了，程序员变黄牛，网络爬虫成为中间商赚差价的好帮手
说Python是最容易入门，学得最快的编程语言，应该没人反对吧？Python可以用于网站后端的开发，数据分析师需要它，游戏开发者也用到它，主要的是Python爬虫可以获取或处理大量信息。 网络爬虫的流程是这样的&…
比python可视化更强大，这两个可视化工具真yyds
有多少人对Excel的了解，仅仅停留在制作报表上？
上周接到哩哩的求助，说领导让她收集今年下半年的各项数据，汇总后再对报表数据进行处理，做成数据可视化图表，周五下班前就得完成。
她都快急哭了，…
淘宝、小红书回归“真实”，虚假营销会否成为过去式？
评价，或许是在网购平台购物、本地生活消费，都能碰见的一种现象。
但大多数用户觉得麻烦、或是不方便，便没有对消费进行评价，而面对商家的“蝇头小利”、返现、或是赠送等等，不少用户还是忍不住对此进行好评。
日前&a…
Apriori算法详解
1.相关概念
支持率： 一个项集III在事务集合Γ{T1,T2,…,Tn}\Gamma\begin{Bmatrix}T_1,T_2,\ldots,T_n\end{Bmatrix}Γ{T1,T2,…,Tn}中包含子集III的事务占全体事务的比例称之为支持率。
事务序号项集1{A,B,E}2{D,E,F}3{A,C,D,E}4{D,E,F}5{C,E,F}
在上述事…
Dynamic programming algorithm
Optimal computer folding of large RNA sequences using thermodynamics and auxiliary information
Year: 1981 Authors: Michael Zuker and Patrick Stiegler Journal Name: Nucleic Acids Research
Motivation
将动态规划算法与热动力学数据结合。
Research Objective …
广州大学机器学习与数据挖掘实验一：线性回归
相关资料
广州大学机器学习与数据挖掘实验一：线性回归 广州大学机器学习与数据挖掘实验二：决策树算法 广州大学机器学习与数据挖掘实验三：图像分类 广州大学机器学习与数据挖掘实验四：Apriori算法 四份实验报告下载链接…
【数据挖掘】时间序列教程【三】
2.7 平稳性
序列的平稳性 是一个关键属性，它允许我们应用许多时间序列分析的标准工具。 如果对于大小 n 和任何整数 ,观察发现 具有与 相同的联合分布，则时间序列是严格平稳的。 换句话说，从分布的角度来看，平稳时间序列对移位…
2010年IT人士要去的10个网站
1、chinaunix 网址：http://www.chinaunix.net/ 简介：中国最大的linux/unix技术社区。 2、itpub 网址：http://www.itpub.net/ 简介：有名气的IT技术论坛，看看它的alexa排名就知道有多火了，尤其以数据库技…
outlier analysis：离群值分析
outlier analysis——第一章——概述
outlier analysis—第2章之概率统计方法
outlier analysis——第六章——集成异常检测
CatBoost 代码模板（记忆不好的可以收藏）
代码来自 数据来自
import pandas as pd
import numpy as np
from itertools import combinations
from catboost import CatBoostClassifier
train_df pd.read_csv(../input/train.csv)
test_df pd.read_csv(../input/test.csv)
#
labels train_df.target
test_id test_…
pandas (十) 缺失值的处理：填充、删除、过滤、查询
Pandas使用函数处理缺失值
isnull和notnull：检测是否是空值，可用于df和seriesdropna：丢弃、删除余缺失值 axis: 删除行还是列，{0 or ‘index’, 1 or ‘columns’), default 0 how: 如果等于any则任何值为空都删除，如…
决策树 ID3 手工推导
掌握决策树ID3算法的原理，通过增益熵实现手工推导的过程。 参考案例：https://cuijiahua.com/blog/2017/11/ml_2_decision_tree_1.html 机器学习实战教程(二)：决策树基础篇之让我们从相亲说起 决策树 ID3 手工推导 决策树 ID3 简介 ID3作为一种…
如何做好描述统计分析
写在前面什么是描述性统计分析，这不仅是数据分析面试中最常见的问题，也是我们日常分析中必过的一道关卡。要把握数据的分布特征，需要从3个方面进行描述：集中趋势、离散程度和分布形状。1、集中趋势 集中趋势就是指一组数据向某一中…
成为数据分析师的第三年，我写了10W字（原创文章吐血整理）
这篇文是对这个公众号开写至今原创文章的一个汇总统计，方便大家快速查找阅读（文末有个小惊喜）。2020年原创文章盘点 今年以来共发布了9篇原创文章，点击标题即可阅读，按累计阅读量排名如下：利用Excel学习Pyt…
探索另类圆环图的做法
某一日，在网易数读的文章里看见了这样一个图，感慨万千，这其实不就是一个条形图吗，只不过是变成了圆环的样子，效果却比单纯的条形图好了不知道多少倍，我就在想，怪不得老板总说我做的图丑…
Excel函数（2）if、rand、round函数
上周写了4个统计函数的使用方法，这周来介绍几个较为常用的零件函数if逻辑判断、rand随机函数、abs绝对值函数、round取整函数。阅读提示：阅读对象：完全不了解这些函数，和对这几个函数有初步了解想要进一步深入的建议阅读时间&…
8、【文本分析】之TF-IDF、LDA主题模型的实战演练进行数据向量化（并用贝叶斯进行新闻分类）
数据源：http://www.sogou.com/labs/resource/ca.php
import pandas as pd
import jieba
df_news = pd.read_table(./data/val.txt,names=[category,theme,URL,content]
读 关联规则现状与应用 有感
今天在dmresearch的网站上读了一篇题为<关联规则现状与应用>的文章,虽然说对里边的软件也就只是了解SAS,但对作者提出的数据挖掘算法还是相当熟悉的.文中有段篇幅点破了关联规则的本质:
6) 关联规则挖掘算法：关联规则是描述数据之间存在关系的规则࿰…
数据分析入门-day01
1.1安装pandas
参考链接：
Python的pandas安装超级详细_请让我滚的博客-CSDN博客_pandas怎么安装
Pandas 安装 | 菜鸟教程
1.2安装numpy
NumPy 安装 | 菜鸟教程
1.3 导入numpy和pandas
1.3.1当前路径方式
import pandas as pd
import numpy as npdf pd.read…
Pandas | value_counts() 的详细用法
value_counts() 函数得作用
用来统计数据表中，指定列里有多少个不同的数据值，并计算每个不同值有在该列中的个数，同时还能根据指定得参数返回排序后结果。 返回得是Series对象
value_counts(values,sortTrue, ascendingFalse, normalizeFal…
pythonScarpy框架项目实战
爬虫实战创建项目项目需求分析网站爬虫文件spidersitems.pypipelines.pysettings.py总结：创建项目
在终端输入 scrapy startproject xiaomai 进入到项目实例下 cd xiaomai 创建爬虫文件夹 scrapy genspider xiaomai_pro www.xxx.com
项目需求
目标网站࿱…
数据分析--pandas 处理结构化数据
pandas 处理结构化数据基本数据结构SeriesDataFrameDataFrame对象的访问基于pandas的index对象访问操作pandas的index对象索引的不同访问方式调用方式调用方式间的区别特殊参数类型数学统计和计算工具统计函数，协方差、相关系数、排序窗口函数数学聚合和分组运算agg…
词袋模型介绍+TF-IDF算法介绍（实战）
词袋模型 from sklearn.datasets import fetch_20newsgroups
#导入新闻数据集
from sklearn.model_selection import train_test_split
#导入数据切分所需包news fetch_20newsgroups(subsettest)
#subsetall所有的数据集都导入，若等于train只导入训练集，…
Python3 字符串转ASCII码、字符串转16进制
字符串与ASCII码转换
#ascii转字符串
a_ascii 97
b chr(a_ascii)
print(b)
>a#字符串转ascii
abc a
x ord(abc)
print(x)
>97对于一个长的字符串使用如下：
import numpy as npstr hello worldascii np.fromstring(str, dtypenp.uint8)print(ascii)
&g…
如何建立数学模型系列之【一.通俗解释及相关概念】
如何建立数学模型系列之【一.通俗解释及相关概念】第一章.数学模型相关定义1.1 原型 与 模型1.2 数学模型最简单的例子1.3 数学建模的基本方法和步骤1.4数学模型的特点和分类1.4.1数学模型的特点1.4.2 数学模型的分类1.5 如何学数学建模第二章.简化的优化模型用处说明ÿ…
数据挖掘基础之要挖掘什么
数据挖掘功能——可以挖掘什么类型的模式？
我们已经观察了可以进行数据挖掘的各种数据存储和数据库系统。现在，让我们考察可以挖掘的数据模式。
数据挖掘功能用于指定数据挖掘任务中要找的模式类型。一般地，数据挖掘任务可以分两类&#x…
kaggle房价预测比赛——数据下载及比赛介绍
kaggle房价预测比赛——数据下载及比赛介绍kaggle房价预测比赛数据下载及比赛介绍参考kaggle房价预测比赛数据下载及比赛介绍
先放比赛链接：kaggle 房价预测比赛。
打开网页, 点击 data 查看数据描述 总共包含四个数据文件 训练数据集（train.csv&#…
statsmodels 直接引用无有效内容
背景:
pip install statsmodels 后, import statsmodels,发现没有statsmodels的函数.如下图。
临时解决方案:
直接引用自己所需的函数.如下图 import statsmodels.api as sm dir(statsmodels) [‘builtins’, ‘cached’, ‘doc’, ‘file’, ‘init’, ‘loader’, ‘name…
Tsfresh 时序数据特征挖掘 特征算子简介
本篇介绍现有主要算子含义和使用注意是想基础算子简单复合算子一.本身无时序概念算子二.本身有时序概念算子复杂复合算子一些使用感悟和补充懂的都懂,下文算子基本按照源码顺序罗列.如果有其他关于tsfresh的问题,欢迎留言讨论,后续可能会再写tsfresh的其他系列文章.部分算子示例…
数据挖掘作业学习学习笔记-电商产品评论数据情感分析
使用的教材：《电商产品评论数据情感分析》 作业&学习笔记：数据挖掘第14周 说明：书本内容详实。此篇用于自己期末回顾知识的重点内容，故做出的学习笔记缺省了书本原本的其他精粹。
随着电子商务的发展，对企业而言&…
ROC曲线-Python数据挖掘中的模型评价方法
ROC曲线，Receiver Operating Characterristic名为受试者工作特性曲线。ROC曲线是一种非常有效的模型评价方法，可为选定临界值给出定量提示。将灵敏度（sensitivity）设在纵轴，1-特异性（1-Specificity…
FutureWarning: using a dict on a Series for aggregation is deprecated and will be removed in a futur
FutureWarning: using a dict on a Series for aggregation is deprecated and will be removed in a future version. Use named aggregation instead. Python中出现了以上的错误代码提示，如图： 《Python数据分析与挖掘实战》第3章数据探索，…
揭秘logistic 回归 与 sigmoid激活函数的关系
揭秘logistic 回归 与 sigmoid激活函数的关系
这一期博客，博主谈谈logistic 回归在做分类任务时与sigmoid的关系，不过以下更多是探讨。 在谈这个关系之之前，我们可能需要聊很多。
首先，我们知道logistic 回归可以做分类任务&…
LabelImg标注软件无法在windows 上运行
LabelImg标注软件无法在windows 上运行
一、下载LabelImg 软件
LabelImg v1.8.1下载链接
二、解压到本地，运行LabelImg.exe，软件闪退。
三、按照官网搭配环境，编译labelImg.exe。
1.官网在windows下运行 2.在python 官网上下载python3…
OCR数据集合成工具
OCR数据集合成
除了大部分公开数据集外，在训练和后期测试的时候有时候需要训练一些自己的数据集，我在这里总结了一些。
方法总结
1.方法①：text_renderer https://link.zhihu.com/?targethttps%3A//github.com/Sanster/text_renderer 2.方…
Python 有哪些好的学习资料或者博客？
全了！Python各大阶段知识汇总
第一阶段：python基础入门 黑马程序员最新Python教程，8天python从入门到精通，学python看这套就够了_哔哩哔哩_bilibili黑马程序员最新Python教程，8天python从入门到精通，学…
看懂信息检索和网络数据挖掘领域论文的必备知识总结
信息检索和网络数据领域（WWW, SIGIR, CIKM, WSDM, ACL, EMNLP等）的论文中常用的模型和技术总结
引子：对于这个领域的博士生来说，看懂论文是入行了解大家在做什么的研究基础，通常我们会去看一本书。看一本书固然是好&…
人工智能、机器学习、模式识别、数据挖掘、自然语言处理
人工智能（Artificial Intelligence，AI）、机器学习(Machine Leaining，ML)、模式识别（Pattern Recognition，PR）、数据挖掘（Data Mining, DM），他们要解决的核心问…
大数据岗位更看重学历还是工作经验？
回答这个问题之前还是让我们看一段真实对话：
Q：请问从事大数据这行，硕士学历有必要么？
A：如果有条件，最好可以上到硕士，但不是说必须如此，大数据相关职位对行业知识和项目经验也比…
R语言快速生成三线表(1)
R语言的优势在于批量处理，常使用到循环和函数，三线表是科研文章中必备的内容。利用函数实现自动判断数据类型和计算。使用R包（table1）。
# 创建连续性变量
continuous_var1 <- c(1.2, 2.5, 3.7, 4.8, 5.9)
continuous_var2 &l…
对中医医案现代化的思考
http://journal.shouxi.net/html/qikan/zgyx/zgzyyxxzz/20112182/ztlt/20110406094734604_556314.html 作者：卞芸,邱家学 作者单位：(中国药科大学,江苏 南京 210009)
【关键词】 中医医案；循证医学；案件推理；数据…
一文看懂机器学习与大数据风控
导语：机器学习在风控中的作用究竟如何，有哪些关键技术，其优势与缺点又有哪些呢？一个普遍的看法是，机器学习等人工智能技术会最先在金融领域落地。金融行业是最早实现信息化的行业，有丰富的数据积累…
SEM竞价推广如何提升流量精准度，增加展现、排名、线索量？
SEM竞价推广如何提升流量精准度，增加展现、排名、线索量？ SEM竞价推广的核心在于流量的精准度。那么，可以从那几个角度来提升SEM竞价推广流量的精准度呢？ 1、在搭建账户，选定核心市场阶段： 选择产品关键词…
分类Classification：决策树Decision Tree
目录 分类的定义
决策树Decision Tree
混乱衡量指标Gini index
决策树的特点 分类的定义
分类：建立一个学习函数(分类模型)将每个属性集合（x1,x2,...xn）对应到一组已定义的类别y中。
分类结果的评估的四大指标：
Precision精…
机器学习中的算法(1)-决策树模型组合之随机森林与GBDT
原文地址为：
机器学习中的算法(1)-决策树模型组合之随机森林与GBDT版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleastgm…
大数据实验一 关联规则实验题目：蔬菜价格相关性分析
学习来源
实验目的：在掌握关联规则算法的原理的基础上，能够应用关联规则算法解决实际问题。
实验内容：根据实验数据，采用Apriori等关联规则发现算法，给出相关关联规则。
实验要求：给出数据预处理过程、关…
Python数据挖掘-RFM模型K-means聚类分析-航空公司客户价值分析
使用教材：《Python数据分析与挖掘实战》 模型：RFM模型 算法：K-means聚类；其他方法还用到了层次聚类 数据：需要数据的可以评论里call。
内容：
（1）案例: 航空公司客户价值分析
&…
8 款在线 API 接口文档管理工具；好用！
1、Postman Postman是被大家所熟知的网页调试Chrome插件，我们常常用它来进行临时的http请求调试。幸运的是，Postman可以将调试过的请求保存到Collection中。形成的Collection就可以作为一份简单有效且支持在线测试的接口文档，使用同一账号登录…
和鲸社区数据分析每周挑战【第九十六期：汽车公司客户细分预测】
和鲸社区数据分析每周挑战【第九十六期：汽车公司客户细分预测】 文章目录 和鲸社区数据分析每周挑战【第九十六期：汽车公司客户细分预测】一、前言1、背景描述2、什么是用户分群？3、数据说明4、数据集预览 二、数据读取和数据初步观察三、潜在…
机器视觉初步11：目标分类
文章目录 1. 基于机器学习的目标分类方法2. 基于深度学习的目标分类方法3. 基于聚类的目标分类方法 目标分类是计算机视觉中一个常见的任务，旨在将图像中的目标物体分类到预定义的类别中。目标分类的常用方法有很多，下面简单介绍其中的几种： …
架构师接龙：盛大许式伟VS. 金山张宴
许式伟：作为系统架构师，您一般会从哪些方面来保证网站的高可用性（降低故障时间）？
张宴：很多因素都会导致网站发生故障，从而影响网站的高可用性，比如服务器硬件故障、软件系统故障、…
实在智能RPA机器人带你了解人工智能的前世今生
近年来，计算机科学领域人们谈论话题最多的就是人工智能，那么到底什么是人工智能呢？人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用…
Gradient Tree Boosting (GBM, GBRT, GBDT, MART)算法解析和基于XGBoost/Scikit-learn的实现
1. 概要
Gradient Tree Boosting (别名 GBM, GBRT, GBDT, MART)是一类很常用的集成学习算法，在KDD Cup, Kaggle组织的很多数据挖掘竞赛中多次表现出在分类和回归任务上面最好的performance。同时在2010年Yahoo Learning to Rank Challenge中, 夺得冠军的LambdaMART算…
python量化投资（一）——使用mysql进行数据存储
为了大家使用方便，我将代码整体附在后边导入pymysql模块进行数据库的操作后期，我们会从tushare平台获取股票交易数据，为此我们创建一个名为tushare的数据库创建4张表，分别为“trade_cal：交易日信息”“stock_list 股票…
炫酷水球图：让数据可视化更生动有趣
水球图是一种独特而引人注目的数据可视化形式，通过模拟水球的形状和大小来展示数据的分布和比例关系。它以其生动的表现形式和直观的视觉效果，吸引了越来越多的关注和应用。在数据可视化领域，水球图为我们提供了一种直观、易于理解的方式来展…
[问题]近邻传播聚类图绘制方法？
最近在看一篇论文，论文题目是《基于时间序列聚类的主题发现与演化分析研究》，其基本思路是根据论文中关键词的共现次数以及每一个关键词总的出现次数，计算关键词矩阵的Ochiia 系数。使用的公式为： 然后将Ochiia系数作为关键词之间…
如何培养数据分析的思维？
工具的运用都大同小异，思维的不同决定个体的差异。这一小节我们来探索数据分析的思维模式，如何培养数据分析的思维？这里列出5个数据分析中常见的思维模式供大家学习参考。01结构化思维结构化的思维是很重要且应用最为广泛的一种思维模式&…
聚类分析中几种算法的比较
http://blog.csdn.net/yaoyepeng/article/details/6281991
将数据库中的对象进行聚类是聚类分析的基本操作，其准则是使属于同一类的个体间距离尽可能小，而不同类个体间距离尽可能大，为了找到效率高、通用性强的聚类方法人们从不同角度提出了…
基于大规模语料的新词发现算法
对中文资料进行自然语言处理时，我们会遇到很多其他语言不会有的困难，例如分词——汉语的词与词之间没有空格，那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已／结婚／的／和／尚未࿰…
数据挖掘技术的来源、历史、研究内容及常用技术
数据挖掘技术的来源、历史、研究内容及常用技术
1 数据挖掘技术的由来
1.1网络之后的下一个技术热点 我们现在已经生活在一个网络化的时代，通信、计算机和网络技术正改变着整个人类和社会。如果用芯片集成度来衡量微电子技术，用CPU处理速度来衡量计…
数据挖掘分类算法比较
数据仓库，数据库或者其它信息库中隐藏着许多可以为商业、科研等活动的决策提供所需要的知识。分类与预测是两种数据分析形式，它们可以用来抽取能够描述重要数据集合或预测未来数据趋势的模型。分类方法（
Classification
）用于预…
想从事大数据行业，大数据、数据分析和数据挖掘的区别一定要懂
大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是…
每年损失800亿美元 是时候请AI出手反欺诈了！
一不小心，又被骗保了。对保险行业来说，没有比这更糟心的事情了。以保图赔或以保获利已成为一些投保人或被保险人的畸形心态，其目的就是通过保险获取额外利益，甚至想一夜暴富。根据国际保险监管者协会测算，全球每年约有…
中国科学院软件研究所：博导研究方向及邮件地址
http://www.ios.ac.cn/openCategory.action?categoryId7475 博导研究方向及邮件地址
【计算机软件与理论（081202）】部门 姓 名研究方向E-mail地址计算机科学国家重点实验室 林惠民并发理论与模型检测lhm(at)ios.ac.cn张健自动推理与程序分析zj(at)io…
数据挖掘与数据分析实战（一）
一、数据开源
本数据分析项目的数据来源于第八届中国可视化与可视化分析大会。数据集地址连接：http://naq.cicidata.top:10443/chinavis/opendata
二、使用的工具
1、python3.8 2、pyCharm 2020.3.1 3、pandas库 4、numpy库 5、matplotlib库
三、前期准备
1、下…
数据挖掘之面临的主要问题
数据挖掘的主要问题
本书强调数据挖掘的主要问题，考虑挖掘技术、用户界面、性能和各种数据类型。这些问题介绍如下：
数据挖掘技术和用户界面问题：这反映所挖掘的知识类型、在多粒度上挖掘知识的能力、领域知识的使用、特定的挖掘和知识显示…
基础学习--NumPy
我又来啦，抱歉啊，最近有点事情，opencv就先搁一搁吧，以后有空再补上吧，最近在做一个目标检测的工作，在看源码的时候发现了numpy的使用挺频繁的，之前一直没有系统的接触过，看源码的时候…
关联规则挖掘算法-FP-tree算法
FP-tree两个主要步骤： 1. 利用事务数据库中的数据构造FP-tree； 2. 从FP-tree中挖掘频繁模式。
具体过程： 1.扫描数据库一次，得到频繁1-项集。 2.把项按支持度递减排序。 3.再一次扫描数据库，建立FP-tree。
为了方便大…
关联规则挖掘算法-Apriori算法
Apriori算法：
Apriori算法命名源于算法使用了频繁项集性质的先验（Prior）知识。 Apriori算法将发现关联规则的过程分为两个步骤：通过迭代，检索出事务数据库中的所有频繁项集，即支持度不低于用户设定的阈值的…
协同过滤算法—推荐系统基础算法（含python代码实现以及详细例子讲解）
推荐系统基础算法之协同过滤算法一、 算法简介1.1 算法概述1.2 算法核心和步骤二、基于用户的协同过滤算法（User-Based）2.1 相似度及预测值的计算2.1.1 相似度计算2.1.2 预测值的计算2.2 通过例子理解2.4 python代码实现三、基于物品的协同过滤算法&…
HM数据科学库-matplotlib（二）
matplotlib常用统计图-散点图绘制
绘制散点图和折线图方法类似，把命令换成plt.scatter(x,y_3)即可，是和折线图的唯一区别。避免重叠，可以让x_3和x_10相差一部分数据x轴设置和之前一样，用plt.xticks来设置添加x,y轴标题࿰…
机器学习-数据科学库（HM）（一）-matplotlib学习
基础知识
1.课程概要 （1）基础概念 （2）matplotlib 画图 （3）numpy处理数值型数据 （4）pandas处理字符串 字典 列表 基础概念 为什么学习数据分析？ a.和爬虫，机…
基于机器学习的SNS隐私保护策略推荐向导的设计与实现
引言：这篇论文是我最近读到的将机器学习/数据挖掘算法引入到SNS网络隐私保护领域中的一篇经典论文，感觉模型比较有新意，实现了自动化的用户隐私设置分析，用户只需要对很少朋友根据自己的隐私偏好打上访问控制标签，分类…
印度首席大法官力推 AI 进司法，曾因歧视女性引争议
2018 年，印度国家转型委员会发布的报告中指出，印度地区法院、高级法院、最高法院中，堆积的未审结案件数量，已经超过了 2900 万。 按照现在印度司法体系对案件的审理速度，审结完全部遗留案件，至少需要 324 年…
NLP系列(3)_用朴素贝叶斯进行文本分类(下)
作者： 龙心尘 && 寒小阳 时间：2016年2月。 出处： http://blog.csdn.net/longxinchen_ml/article/details/50629110 http://blog.csdn.net/han_xiaoyang/article/details/50629587 声明：版权所有，转载请联系作者…
机器学习系列(4)_机器学习算法一览，应用建议与解决思路
作者：寒小阳 && 龙心尘 时间：2016年1月。 出处： http://blog.csdn.net/han_xiaoyang/article/details/50469334 http://blog.csdn.net/longxinchen_ml/article/details/50471268 声明：版权所有，转载请联系…
深度学习与计算机视觉系列(5)_反向传播与它的直观理解
作者：寒小阳 && 龙心尘 时间：2015年12月。 出处： http://blog.csdn.net/han_xiaoyang/article/details/50321873 http://blog.csdn.net/longxinchen_ml/article/details/50323183 声明：版权所有，转载请联…
机器学习系列(2)_用初等数学解读逻辑回归
作者：龙心尘 && 寒小阳 时间：2015年10月。 出处： http://blog.csdn.net/longxinchen_ml/article/details/49284391。 http://blog.csdn.net/han_xiaoyang/article/details/49332321。 声明：版权所有，转载请注明…
python脚本爬虫
环境：
ubuntu18.04、python3.7
python脚本：
import os
import re
import time
from selenium import webdriver
from bs4 import BeautifulSoup
from urllib.request import urlretrievedef selelnium_test(url, save_path, num):driver webdriver.C…
![[oneAPI] 图像分类CIFAR-10](https://img-blog.csdnimg.cn/191cf7cc72d14452b51551f6524479d1.png)
[oneAPI] 图像分类CIFAR-10
[oneAPI] 图像分类CIFAR-10 图像分类参数与包加载数据模型训练过程结果 oneAPI 比赛：https://marketing.csdn.net/p/f3e44fbfe46c465f4d9d6c23e38e0517 Intel DevCloud for oneAPI：https://devcloud.intel.com/oneapi/get_started/aiAnalyticsToolkitSam…
ChatGPT在智能城市规划和交通优化中的应用如何？
智能城市规划和交通优化是应对城市化挑战、提高城市可持续性的重要领域。在这方面，ChatGPT作为一种强大的自然语言处理模型，可以发挥重要作用，帮助实现更智能、高效的城市规划和交通管理。本文将详细探讨ChatGPT在智能城市规划和交通优化中的…
分类问题中Sigmoid 与 Softmax 区别
背景
利用神经网络进行分类任务时，在最后需要经过激活函数，对神经网络的原始输出值进行处理，输出每个类别的概率。本文将讨论用Sigmoid函数或Softmax函数处理原始输出值，进行分类问题。
Sigmoid函数
公式如下所示： …
第一篇：从决策树学习谈到贝叶斯分类算法、EM、HMM
第一篇：从决策树学习谈到贝叶斯分类算法、EM、HMM （Machine Learning & Data Mining交流群：8986884）引言 最近在面试中，除了基础 & 算法 & 项目之外，经常被问到或被要求介绍和描述下自己所知道…
如何用机器学习预测订单取消？内附酒店预订需求数据集
如今， 各大 OTA（Online Travel Agency）平台极大地方便了人们的出行，酒店住宿、景点门票等，只需要动动手指就可以轻松完成预订。 国内外酒店民宿预订平台，多达数十种为了吸引更多用户预订，这些平…
66 | RMF细分聚类案例
引言
在当今数字化时代，电子商务已成为商业领域中不可或缺的一部分，企业在网络平台上通过交易产品和服务，与全球范围内的消费者进行互动。随着电子商务的迅速发展，企业面临着巨大的竞争压力，为了有效地满足不同客户群体的需求，提高市场份额，更深入地了解客户的消费行为…
8_分类算法-k近邻算法（KNN）
文章目录 1 KNN算法1.1 KNN算法原理1.2 KNN过程1.3 KNN三要素1.4 KNN分类预测规则1.5 KNN回归预测规则1.6 KNN算法实现方式（重点）1.7 k近邻算法优缺点 2 KD-Tree2.1 KD Tree构建方式2.2 KD Tree查找最近邻2.3 KNN参数说明 1 KNN算法
定义：如…
请不要将数据中台做成BI！
近年来，随着数据驱动决策的重要性日益凸显，数据管理的概念也不断演进。数据中台作为一种新兴的数据管理模式，旨在集中组织和整合数据资源，为企业提供更高效、更智能的数据支持。然而，有时候在构建数据中台的过程中&…
常用的数据可视化工具有哪些？要操作简单的
随着数据量的剧增，对分析效率和数据信息传递都带来了不小的挑战，于是数据可视化工具应运而生，通过直观形象的图表来展现、传递数据信息，提高数据分析报表的易读性。那么，常用的操作简单数据可视化工具有哪些࿱…
数据分析基础-数据可视化03-可视化的符号与表示-图形符号学
概念
图型符号学（Cartographic Symbolization）是地图学领域中的一个重要概念，涉及到如何使用不同的符号、颜色、图案和标记来在地图上表示地理信息和数据。图型符号学旨在传达地理信息，使得地图能够清晰、有效地传达各种空间数据…
洞察商机，驱动创新：智能数据分析引领企业发展
“五度易链”产业大数据解决方案由产业经济、智慧招商、企业服务、数据服务四大应用解决方案组成，囊括了产业经济监测、产业诊断分析、企业监测预警、企业综合评估、大数据精准招商、招商智能管理、企业管理、企业培育、企业市场服务、企业金融服务、产业数据开放服…
如何高效管理多个 Outlook 邮箱？
在我们日常工作和生活中，使用多个 Outlook 邮箱可以带来一定的便利和灵活性。本文将介绍多个 Outlook 邮箱的用途，以及如何注册多个 Outlook 邮箱并确保它们之间不关联。最后，我们将讨论管理多个 Outlook 邮箱所面临的困难，并介绍…
数据分析技能点-统计量抽样分布
在我们日常生活和工作中，数据和统计无处不在。无论是关注天气预报，还是参与公司业绩的分析，统计量和抽样分布都是不可或缺的工具。但是这些专业术语可能会让一些没有统计背景的人感到困惑或排斥。本文旨在以通俗易懂的语言和生活中的实例，解释这些概念和它们的应用。
基础…
数据分析技能点-机器学习优化思想
优化思想，这个听起来极其专业和高端的词汇，其实它无处不在，悄无声息地影响着我们的生活和决策。从寻找最快的上班路线，到决定如何配置投资组合，优化思想都是一个不可或缺的元素。而在机器学习领域，优化思想更是扮演着至关重要的角色。 文章目录 优化的基础优化问题与实际…
百度2024校招机器学习、数据挖掘、自然语言处理方向面试经历
本文介绍2024届秋招中，百度的机器学习/数据挖掘/自然语言处理工程师岗位一面的面试基本情况、提问问题、代码题目等。 8月初参与了百度提前批的机器学习/数据挖掘/自然语言处理工程师岗位面试，所在部门是搜索方向的。一面结束之后就知道凉了，…
架构案例2022（四十二）
促销管理系统
某电子商务公司拟升级其会员与促销管理系统，向用户提供个性化服务，提高用户的粘性。在项目立项之初，公司领导层一致认为本次升级的主要目标是提升会员管理方式的灵活性，由于当前用户规模不大，业务也相对…
数据分析技能点-独立性检验拟合优度检验
在这个数据驱动的时代，数据分析已经成为了一个不可或缺的工具，无论是在商业决策、医疗研究还是日常生活中。然而数据分析并不仅仅是一堆数字和图表；它是一个需要严谨的科学方法和逻辑推理的过程。
本文将重点介绍两种广泛应用于数据分析的统计检验方法：独立性检验和拟合优…
2023年8月京东户外鞋服市场（京东数据运营）
当前，户外活动的热潮使得户外鞋服市场备受青睐，带动了整个市场的高增长。
根据鲸参谋电商数据分析平台的相关数据显示，今年8月份，京东平台户外鞋服市场的销量为46万，同比增长约25%；销售额为9500万…
基本介绍——数据挖掘
1.数据挖掘的定义
数据挖掘是采用数学的、统计的、人工智能和神经网络等领域的科学方法，如记忆推理、聚类分析、关联分析、决策树、神经网络、基因算法等技术，从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势，并…
kaggle新赛：谷歌AI模型运行时间预测赛题解析【数据挖掘】
赛题名称：Google - Fast or Slow? Predict AI Model Runtime
赛题链接：https://www.kaggle.com/competitions/predict-ai-model-runtime
赛题背景
Alice 是一名 AI 模型开发人员，但她的团队开发的一些模型运行速度非常慢。她最近发现了编…
R生物信息学统计分析
执行定量 RNAseq
用 edgeR 估计差异表达 | 用 edgeR 估计差异表达 | 使用 powsimR 进行功效分析 | 使用 GRanges 对象查找未注释的转录区域 | 使用bumphunter从头开始查找显示高表达的区域 | 微分峰分析 | 使用 SVA 估计批次效应 | 使用 AllelicImbalance 寻找等位基因特异性表…
机器学习 贝叶斯分类器 拉普拉斯修正
文章目录1. 贝叶斯决公式2. 使用西瓜数据集3. 朴素贝叶斯3. 拉普拉斯修正4. 代码5. 结果5.1 训练数据集5.2 训练数据集5.3 结果6. 参考书籍在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决策考虑如何基于这些概率和误判损失来选择最优的类&…
字段的介绍和分类以及成员变量的初始化值
字段(Field) 分为成员变量和局部变量
相同点:声明:数据类型 变量名 值; 都是先声明后使用
不同点:
字段声明的位置权限修饰符是否有初始化值内存中加载的位置成员变量在类中方法外可以使用权限修饰符有初始化值加载到堆空间(非static的 )局部变量方法内、方法形参、代码块、…
保单OCR识别技术助力保单管理
关键词：保单识别 保单OCR识别 保单OCR识别技术
近日，最新一期“宏利亚洲关怀调查”报告发布，重点指出中国消费者最感兴趣的险种为重疾险、意外险和人寿保险，其中超过半数（56%）人士通过数字化平台进行保单的…
（7）原神各属性角色的max与min
在对全部角色进行分析之后，还有必要对各属性角色的生命值/防御力/攻击力进行max与min显示：
话不多说，上货！
from pyecharts.charts import Radar
from pyecharts import options as opts
import pandas as pd
from pyecharts.ch…
回归模型常见评估指标mae,mse,rmse
文章目录 MAE（平均绝对误差）计算公式sklearn实现numpy实现mse(均方误差)计算公式sklearn实现numpy实现rmse(均方根误差)计算公式sklearn实现MAE（平均绝对误差）
计算公式 MAE ( y ,
wirehark数据分析与取证logs.pcapng
什么是wireshark？wireshareklogs.pcapng数据包数据包下载 请私信博主wiresharek
Wireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是检索取网络封包，并同时显示出最详细的网络封包数据。Wireshark使用Win…
Pandas合并DataFrame数据写入Excels
concat对比merge
1.要想实现sql中的join，需要使用merge方法，能指定列key。 2.pandas中的join方法，相比merge，只是个弟弟，使用场景有限，相当于concat中的方向为1的合并。 3.concat实现的只是将两个或多个df…
SQL Server 2008中的9种数据挖掘算法 .
1.决策树算法 决策树，又称判定树，是一种类似二叉树或多叉树的树结构。决策树是用样本的属性作为结点，用属性的取值作为分支，也就是类似流程图的过程，其中每个内部节点表示在一个属性上的测试，每个分支代表一…
Hadoop 3.x【大数据概念】
Hadoop 3.x【大数据概念】1. 大数据概念2. 大数据特点（4V）3. 大数据应用场景4. 大数据发展前景5. 大数据部分间业务流程分析6. 大数据部门内组织结构1. 大数据概念
大数据（Big Data）：指无法在一定时间范围内用常规软件…
奥威BI财务数据分析方案：借BI之利，成就智能财务分析
随着智能技术的发展，各行各业都走上借助智能技术高效运作道路，财务数据分析也不例外。借助BI商业智能技术能够让财务数据分析更高效、便捷、直观立体，也更有助于发挥财务数据分析作为企业经营管理健康晴雨表的作用。随着BI财务数据分析经验的…
大模型的能力边界在哪里？
随着人工智能领域的不断发展，大型神经网络模型已经成为了研究和应用中的主要工具之一。这些大模型，尤其是像GPT-3这样的巨型语言模型，展示了令人印象深刻的自然语言处理能力，甚至能够生成高质量的文本、回答问题、模仿不同的写作风…
IT运维：使用数据分析平台监控PowerStore存储
概述 存储在企业中一直承担着重要的角色，保证数据的安全性更是重中之重。存储的运行是否正常？我们的数据是否安全？存储管理人员的操作是否规范？这些都是企业需要关注的问题。那么该如何确保这些问题能够有效的解决？我们…
技术干货 —— 手把手教你通过缓存提升 API 性能
许多开发者都希望能够彻底搞清楚 API 的工作方式，以及如何利用缓存 API 请求来提升业务，但是当这个需求进入实现阶段时，许多人就会发现手头并没有合适的工具和恰当的方法，所以我们今天就为大家做一个全面的讲解：
① 几…
数学建模：Logistic回归预测
🔆 文章首发于我的个人博客：欢迎大佬们来逛逛
数学建模：Logistic回归预测
Logistic回归预测
logistic方程的定义： x t 1 c a e b t x_{t}\frac{1}{cae^{bt}}\quad xtcaebt1 d x d t − a b e b t ( c a e b t ) 2 >…
为什么要做数据可视化系统
数据可视化系统在当今数字时代发挥着重要的作用，成为许多组织和企业的不可或缺的工具。随着信息爆炸式增长和数据处理的需求不断增加，数据可视化系统帮助人们更好地理解和分析数据，为决策提供重要支持。数聚股份将详细介绍为什么要做数据可视…
天眼查接口 查询企业信息API 企查查接口
item_get-获得tyc详情
tyc.item_get 公共参数
请求地址: https://api-gw.cn/tyc/item_get
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中࿰…
改进探索性数据分析的实用技巧！
Datawhale干货 译者：张峰，Datawhale成员 让 EDA 更简单（更美观）的实用指南！ 原文链接：https://towardsdatascience.com/practical-tips-for-improving-exploratory-data-analysis-1c43b3484577 介绍 探索性…
京东上货软件必备API（商品主图价格详情批量下载上传）
一、引言
在数字化快速发展的今天，电商平台的商品信息管理变得尤为重要。本文将重点介绍京东上货软件必备的API接口，帮助你实现商品主图、价格、详情的批量下载与上传，提高商品管理效率，优化用户体验。
二、京东上货软件必备API…
pandas由入门到精通-Pandas的基本功能
pandas基础介绍-命令模版 基本功能reindex 重新索引drop 丢弃元素算数与数据对齐函数apply与映射map1. 逐元素函数2. 一维数组上的函数映射于每一行或每一列排序sort 与排名 rank1. 排序2. 排名本文介绍pandas中一些常用的属性方法的概述，给读者提供快速学习的架构和思路。表格…
数据分析基础-数据可视化学习笔记03-可视化的符号与表示-图形符号学
概念
图型符号学（Cartographic Symbolization）是地图学领域中的一个重要概念，涉及到如何使用不同的符号、颜色、图案和标记来在地图上表示地理信息和数据。图型符号学旨在传达地理信息，使得地图能够清晰、有效地传达各种空间数据…
数据分析 | 特征重要性分析 | 树模型、SHAP值法
前言 在分析特征重要性的时候，相关性分析和主成分分析往往是比较简单的方法，相关性分析是通过计算特征与目标变量之间的相关系数来评估特征的重要性。它可以告诉我们特征和目标变量之间的线性关系程度，但对于非线性关系就无能为力了ÿ…
机器学习基础16-建立预测模型项目模板
机器学习是一项经验技能，经验越多越好。在项目建立的过程中，实 践是掌握机器学习的最佳手段。在实践过程中，通过实际操作加深对分类和回归问题的每一个步骤的理解，达到学习机器学习的目的 预测模型项目模板
不能只通过阅读来掌握…
3. Matplotlib基础学习库
1 什么是Matplotlib
是专门用于开发2D图表(包括3D图表)以渐进、交互式方式实现数据可视化
2 为什么要学习Matplotlib
可视化是在整个数据挖掘的关键辅助工具，可以清晰的理解数据，从而调整我们的分析方法。
能将数据进行可视化,更直观的呈现使数据更加…
生信豆芽菜-差异基因富集分析的圈图
网址：http://www.sxdyc.com/visualsEnrichCirplot 1、数据准备 准备一个基因集的文件
2、选择富集分析的数据库，同时输入展示top几的条目，选择颜色，如果是GO的话选择三个颜色，如果是KEGG选择一个，如果是G…
python计算两个excel文件中所有坐标点之间的距离
# -*- coding: utf-8 -*-
"""
Created on Wed Jul 7 14:57:44 2021
author: Administrator
"""
import xlrd
import math
import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
#将excel的两列转…
Linux中创建文件名为特殊字符（#、*、-等）的文件
CentOS6.9中用touch命令创建名字为#的文件时报错
[rootsotneC6 tmp]# touch #
touch: missing file operand
Try touch --help for more information.百度了一下，发现原因是shell把特殊字符#解释为注释符，所以touch后面因缺少操作数报错。解决方法有两个…
湘潭大学 湘大 XTU OJ 1055 整数分类 题解（非常详细）
链接
整数分类
题目 Description 按照下面方法对整数x进行分类：如果x是一个个位数，则x属于x类；否则将x的各位上的数码累加，得到一个新的x，依次迭代，可以得到x的所属类。比如说24，246&#…
![ML学习分享系列(2)_计算广告小窥[中]](http://7xqgba.com1.z0.glb.clouddn.com/62.jpg)
ML学习分享系列(2)_计算广告小窥[中]
原作：面包包包包包包 修改：寒小阳 && 龙心尘 时间：2016年2月 出处：http://blog.csdn.net/Breada/article/details/50697030 http://blog.csdn.net/han_xiaoyang/article/details/50697074 http://blog.csdn.net/long…
深度学习与计算机视觉系列(4)_最优化与随机梯度下降
作者：寒小阳 && 龙心尘 时间：2015年12月。 出处： http://blog.csdn.net/han_xiaoyang/article/details/50178505 http://blog.csdn.net/longxinchen_ml/article/details/50178845 声明：版权所有，转载请联…
EMO实战：使用EMO实现图像分类任务（一）
文章目录 摘要安装包安装timm安装 grad-cam安装einops 数据增强Cutout和MixupEMA项目结构计算mean和std生成数据集 摘要
论文翻译：https://blog.csdn.net/m0_47867638/article/details/132034098?spm1001.2014.3001.5501 官方源码：https://github.com/…
紧跟老板思维，这款数据可视化工具神了
在今时今日，依靠大数据可视化分析工具做出一张形象直观、符合企业审美的数据可视化分析报表都不是什么难事，难就难在于做出一张能够紧随老板思维变化展开可视化分析的数据可视化分析报表。接下来要介绍的这款数据可视化工具就是这么一款神奇的BI工具&…
知虾|Shopee数据分析工具是什么？Shopee虾皮卖家必备工具
知虾|Shopee数据分析工具是什么？Shopee虾皮卖家必备工具 在当今竞争激烈的电商行业，拥有准确的市场洞察和数据驱动的决策是成功的关键。Shopee作为全球领先的电商平台之一，市场也出现很多为商家提供了一系列强大的工具和功能，其中…
【SCI征稿】3个月左右录用！计算机信息技术等领域均可，如机器学习、遥感技术、人工智能、物联网、人工神经网络、数据挖掘、图像处理
计算机技术类SCIE&EI
【期刊简介】IF：1.0-2.0，JCR4区，中科院4区
【检索情况】SCIE&EI 双检，正刊
【参考周期】期刊部系统内提交，录用周期3个月左右，走完期刊部流程上线
【征稿领域】计算机信息…
【数据挖掘】2021年 Quiz 1-3 整理 带答案
目录 Quiz 1Quiz 2Quiz 3Quiz 1
Problem 1 (30%). Consider the training data shown below. Here, A A A and B B B</
应急三维电子沙盘数字孪生系统
一、简介应急三维电子沙盘数字孪生系统是一种基于虚拟现实技术和数字孪生技术的应急管理工具。它通过将真实世界的地理环境与虚拟世界的模拟环境相结合，实现了对应急场景的模拟、分析和决策支持。该系统主要由三维电子沙盘和数字孪生模型两部分组成。三维电子沙盘是…
实战ResNet：CIFAR-10数据集分类
本节将使用ResNet实现CIFAR-10数据集的分类。
7.2.1 CIFAR-10数据集简介
CIFAR-10数据集共有60 000幅彩色图像，这些图像是3232像素的，分为10类，每类6 000幅图，如图7-9所示。这里面有50 000幅图用于训练，构成了5个训…
探索人工智能 | 智能推荐系统 未来没有人比计算机更懂你
前言
智能推荐系统（Recommendation Systems）利用机器学习和数据挖掘技术，根据用户的兴趣和行为，提供个性化推荐的产品、内容或服务。 文章目录 前言核心机器学习为什么说机器学习是智能推荐系统的基础呢？ 数据挖掘数据…
财务数据分析之现金流量表模板分享
现金流量表是我们常说的财务数据分析三表之一。它可以呈现一个企业的现金流情况，揭示企业经营管理健康状态，但在实际使用中却有总给人一种用不上、用不好的矛盾感。怎么才能把现金流量表做好？不如借鉴下大神的现金流量表模板。
下面介绍的是…
数据可视化数据调用浅析
数据可视化是现代数据分析和决策支持中不可或缺的一环。它将数据转化为图形、图表和可视化工具，以便更直观地理解和解释数据。在数据可视化的过程中，数据的调用和准备是关键的一步。本文将探讨数据可视化中的数据调用过程，并介绍一些常用的数…
折线图geom_line()参数选项
往期折线图教程
图形复现| 使用R语言绘制折线图折线图指定位置标记折线图形状更改 | 绘制动态折线图跟着NC学作图 | 使用python绘制折线图
前言
我们折线的专栏推出一段时间，但是由于个人的原因，一直未进行更新。那么今天，我们也参考《R语…
数据分析之面试题目汇总（万字解读）
1、解释数据清洗的过程及常见的清洗方法。 数据清洗是指在数据分析过程中对数据进行检查、处理和纠正的过程；是数据预处理的一步，用于处理数据集中的无效、错误、缺失或冗余数据 常见的清洗方法包括：处理缺失值、处理异常值、去除重复值、统一…
Python 爬虫实战之爬淘宝商品并做数据分析
前言
是这样的，之前接了一个金主的单子，他想在淘宝开个小鱼零食的网店，想对目前这个市场上的商品做一些分析，本来手动去做统计和分析也是可以的，这些信息都是对外展示的，只是手动比较麻烦，所以…
国产自研BI系统，更懂中国企业数据分析需求
国产自研BI系统是指由中国企业自主研发的商业智能（BI）系统，这类系统更加了解中国企业的数据分析需求，能够提供更加贴合实际的解决方案。比如说奥威BI系统就是典型的国产自研，不仅了解中国企业的数据分析需求࿰…
【山河送书第十二期】：《巧用ChatGPT快速搞定数据分析》参与活动，送书两本！！
【山河送书第十二期】：《巧用ChatGPT快速搞定数据分析》参与活动，送书两本！！ 关键亮点内容简介作者简介购买链接参与方式往期赠书回顾 关键亮点 用ChatGPT颠覆数据分析，1分钟生成数据分析结果！ 30多个精心挑…
Pandas数据分析教程-数据清洗-字符串处理
pandas-02-数据清洗&预处理 D. 字符串处理1. Python自带的字符串处理函数2. 正则表达式3. Series的str属性-pandas的字符串函数文中用S代指Series，用Df代指DataFrame 数据清洗是处理大型复杂情况数据必不可少的步骤，这里总结一些数据清洗的常用方法：包括缺失值、重复值、…
DolphinDB x 龙蜥社区，打造多样化的数据底座
近日，浙江智臾科技有限公司（以下简称“DolphinDB”）正式签署 CLA 贡献者许可协议，加入龙蜥社区（OpenAnolis）。 DolphinDB 主创团队从 2012 年开始投入研发产品。作为一款基于高性能时序数据库，D…
分类算法系列②：KNN算法
目录 KNN算法
1、简介
2、原理分析
数学原理
相关公式及其过程分析
距离度量
k值选择
分类决策规则
3、API
4、⭐案例实践
4.1、分析
4.2、代码
5、K-近邻算法总结 🍃作者介绍：准大三网络工程专业在读，努力学习Java，涉…
如何将枯燥的大数据进行可视化处理？
在数字时代，大数据已经成为商业、科学、政府和日常生活中不可或缺的一部分。然而，大数据本身往往是枯燥的、难以理解的数字和文字，如果没有有效的方式将其可视化，就会错失其中的宝贵信息。以下是一些方法，可以将枯燥的…
【精算研究01/10】 计量经济学的性质和范围
一、说明 计量经济学是使用统计方法来发展理论或测试经济学或金融学中的现有假设。计量经济学依赖于回归模型和零假设检验等技术。计量经济学也可以用来预测未来的经济或金融趋势。 图片来源：https://marketbusinessnews.com 二、 计量经济之简介 计量经济学是对经济…
机器学习和数据挖掘02-Gaussian Naive Bayes
概念
贝叶斯定理： 贝叶斯定理是概率中的基本定理，描述了如何根据更多证据或信息更新假设的概率。在分类的上下文中，它用于计算给定特征集的类别的后验概率。
特征独立性假设： 高斯朴素贝叶斯中的“朴素”假设是，给定…
ChatGPT 总结数据分析的所有知识点
ChatGPT功能非常多，特别是对某个行业，某个方向，某个技术进行总结那是相当专业的。
如下图。 直接用一个指令便总结出来数据分析当中的所有知识点内容。
AIGC ChatGPT ，BI商业智能， 可视化Tableau, PowerBI, FineReport， 数据库Mysql Oracle， Office， Python ，ETL Ex…
PYTHON用户流失数据挖掘：建立逻辑回归、XGBOOST、随机森林、决策树、支持向量机、朴素贝叶斯和KMEANS聚类用户画像...
原文链接：http://tecdat.cn/?p24346 在今天产品高度同质化的品牌营销阶段，企业与企业之间的竞争集中地体现在对客户的争夺上（点击文末“阅读原文”获取完整代码数据）。 “用户就是上帝”促使众多的企业不惜代价去争夺尽可能多的客…
2023 年高教社杯全国大学生数学建模竞赛-E 题 黄河水沙监测数据分析详解+思路+Python代码
2023 年高教社杯全国大学生数学建模竞赛-E 题 黄河水沙监测数据分析
十分激动啊啊啊题目终于出来了！！官网6点就进去了结果直接卡死现在才拿到题目，我是打算A-E题全部做一遍。简单介绍一下我自己：博主专注建模四年，参与…
数据分享|WEKA信贷违约预测报告：用决策树、随机森林、支持向量机SVM、朴素贝叶斯、逻辑回归...
完整报告链接：http://tecdat.cn/?p28579 作者：Nuo Liu 数据变得越来越重要，其核心应用“预测”也成为互联网行业以及产业变革的重要力量。近年来网络 P2P借贷发展形势迅猛，一方面普通用户可以更加灵活、便快捷地获得中小额度的贷…
数据挖掘-关联规则学习-Apriori算法原理
数据挖掘-关联规则学习-Apriori算法原理 引言：一、关联分析是什么？二、基本概念1. 项2. 项集3. 支持度4. 置信度5. 提升度6. 频繁项集 三、关联分析过程四、Apriori算法原理五、程序实现 引言：
比如你女朋友，低头玩手指沉默&…
Streamlit 讲解专栏（十一）：数据可视化-图表绘制详解（中）
文章目录 1 前言2 绘制交互式散点图3 定制图表主题4 增强数据可视化的交互性与注释步骤1步骤二 5 结语 1 前言
在上一篇博文《 Streamlit 讲解专栏（十）：数据可视化-图表绘制详解（上）》中，我们学习了一些关…
一文了解 AlphaFold 2 背后的 PDB 蛋白质结构数据集
By 超神经内容提要：DeepMind 的最新一代算法 AlphaFold 2，在近日被称为「蛋白质奥林匹克竞赛」的 CASP 中，完虐其它对手，取得惊人的突破，震惊整个科研圈。在被这项科研成果刷屏之后，我们来了解一下该算法背…
php如何爬取天猫和淘宝商品数据
这篇文章主要介绍了php如何爬取天猫和淘宝商品数据，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
一、思路
最近做了一个网站用到了从网址爬取天猫和淘宝的商…
Java 中如何优雅的实现对外接口，需要注意哪些事项？
博主之前做过恒丰银行代收付系统（相当于支付接口），包括现在的oltpapi交易接口和虚拟业务的对外提供数据接口。总之，当你做了很多项目写了很多代码的时候，就需要回过头来，多总结总结，这样你会看到…
【数据分析】波士顿矩阵
波士顿矩阵是一种用于分析市场定位和企业发展战略的管理工具。由美国波士顿咨询集团（Boston Consulting Group）于1970年提出，并以该集团命名。
波士顿矩阵主要基于产品生命周期和市场份额两个维度，将企业的产品或业务分为四个象限…
使用 Python 中的 Langchain 从零到高级快速进行工程
大型语言模型 (LLM) 的一个重要方面是这些模型用于学习的参数数量。模型拥有的参数越多，它就能更好地理解单词和短语之间的关系。这意味着具有数十亿个参数的模型有能力生成各种创造性的文本格式，并以信息丰富的方式回答开放式和挑战性的问题。 ChatGPT 等法学硕士利用 T
【Anaconda】安装及使用
知识目录 前言一、 Anaconda是什么二、为什么使用Anaconda三、安装步骤3.1 下载安装3.2 配置conda源 结语 前言
大家好！我是向阳花花花花，本期给大家带来的是 Anaconda 安装及使用。
每日金句分享：故事不长，也不难讲。』—— 「…
2023年京东婴童纸尿裤行业数据分析（京东数据运营）
当前，面对出生率下降、消费疲软等各种大环境不确定性，不仅是线下母婴店深陷于“生意难”的境地，线上消费同样受影响颇深，婴童纸尿裤类目便是如此。下面结合鲸参谋平台的数据，从行业大盘、品牌端等方面来看一下婴童纸尿…
记录数据挖掘竞赛trick
记录从大佬那看来的Tricks数据分析赛题背景的分析数据清洗特征预处理特征工程数据分析
首先在拿到数据的第一步，我们应该做的就是数据分析（exploratory Data Analysis EDA）。数据分析是数据挖掘中的重要步骤，同时也会在不同阶段反…
数据挖掘——航空公司客户分类与价值评估案例
1. 背景和目标
1.1 背景
航空公司竞争压力大，企业营销焦点由产品中心转为客户中心针对不同类型的用户，进行精准营销，实现利润最大化解决问题的关键是建立合理的客户价值评估模型，对客户进行分类，有针对性地进行营销。…
2023年7月京东护发市场数据分析（京东数据产品）
如今，与面部护肤相比，多数消费者认为头皮也需要认真对待，这在年轻消费群体中体现的较为明显。
随着消费者对护发理念的认同感不断加深，人们日常居家洗护的步骤也更加精细、使用产品品类也愈加多样化。除传统的护发素、发膜等护发…
什么是 JSON：理解和运用 JSON 的基本概念
现在程序员还有谁不知道 JSON 吗？无论对于前端还是后端，JSON 都是一种常见的数据格式。那么 JSON 到底是什么呢？
JSON 的定义
JSON （JavaScript Object Notation） ，是一种轻量级的数据交换格式。它的使用…
数据艺术：精通数据可视化的关键步骤
数据可视化是将复杂数据转化为易于理解的图表和图形的过程，帮助我们发现趋势、关联和模式。同时数据可视化也是数字孪生的基础，本文小编带大家用最简单的话语为大家讲解怎么制作一个数据可视化大屏，接下来跟随小编的思路走起来~ 1.数据收集和…
生信豆芽菜-单基因与TMB的关系
网址：http://www.sxdyc.com/panCancerTmb 该工具主要用于查看在泛癌中单基因与TMB的关系
提交后等待运行成功即可
数据集成与流动优化：解锁企业数据的无限潜力
在当今数字化时代，企业拥有海量数据，这些数据散落在不同部门、系统和平台之间，形成了所谓的“数据孤岛”。要想实现数据的最大化价值，就必须解决数据集成与流动的挑战。本文将深入探讨数据集成与流动优化的重要性，以及…
CSV(Comma-Separate-Values)逗号分隔值文件
文章目录前言一、CSV文件背景二、CSV文件用法三、CSV文件规则四、CSV文件包含的各种数据1.常规的内容2.字段内部有逗号3.字段内部有引号4.字段内部有换行符5.字段内部有空格五、CSV文件规则前言
csv是逗号分隔值文件的格式，英文全称comma-separated values。该文件…
生信豆芽菜-EMT评分的计算
网址：http://www.sxdyc.com/gradeEmt 1、数据准备 表达谱数据，行为基因，列为样本
2、提交后，等待运行成功即可下载
当然，如果不清楚数据是什么样的，可以选择下载我们的示例数据，也可以关注…
电商新时代B2B2C多用户商城新零售平台搭建
随着互联网技术的迅速发展和消费者需求的多样化，B2B2C新零售模式应运而生，它结合了电商和线下实体店的优势，通过自定义编辑的方式，以满足消费者的个性化需求。其中，平台搭建是推动B2B2C新零售业务发展的重要环节。本文…
训练用于序列分类任务的 RoBERTa 模型的适配器
介绍
NLP当前的趋势包括下载和微调具有数百万甚至数十亿参数的预训练模型。然而，存储和共享如此大的训练模型非常耗时、缓慢且昂贵。这些限制阻碍了 RoBERTa 模型开发更多用途和适应性更强的 NLP 技术，该模型可以从多个任务中学习并针对多个任务进行学习；在本文中，我们将重…
【送书】从不了解用户画像，到用画像数据赋能业务看这一本书就够了丨《用户画像：平台构建与业务实践》
系列文章目录
送书第一期 《用户画像：平台构建与业务实践》 文章目录 系列文章目录前言一、内容简介二、目录三、本书摘要简介总结 前言
在大数据时代，如何有效地挖掘数据价值并通过画像数据进行呈现，如何基于画像数据构建平台功能并提高业…
做BI智能数据分析，奥威BI系统是专业的
威BI系统是一个全方位智能化、可视化的企业数据分析工具，注重满足企业的实际需求，提供贴合实际的解决方案，旨在帮助企业更好地利用数据，以实现商业价值。
注重企业数据的收集、整合和管理
对于企业来说，数据的来源和…
数据分析技能点-数据的种类
在日常生活中，数据无处不在。当你去超市购物时，你可能会注意到商品的价格、重量、口味等；当你在社交媒体上浏览时，你可能会注意到好友的点赞数、评论等。这些都是数据的一种形式，而了解这些数据的种类和特点有助于我们更好地理解和使用它们。
数据的基本分类
数据大致可…
数据分析技能点-标准计分离差
在日常生活和工作中，我们经常会遇到需要对一组数据进行分析和评价的情况。这时标准计分和离差就成了非常实用的工具。但什么是标准计分和离差？它们又如何应用于实际问题中？
本文旨在解释这两个概念，并通过一个生活中非常受欢迎的主题——《三国志》的武将属性，来进行实际…
2023年8月京东洗烘套装行业品牌销售排行榜（京东数据开放平台）
鲸参谋监测的京东平台8月份洗烘套装市场销售数据已出炉！
根据鲸参谋平台的数据显示，今年8月份，京东平台洗烘套装的销量为1.1万，同比增长约218%；销售额约为1.2亿，同比增长约279%。可以看到，洗烘…
模型评价指标概念说明（回归，分类，多分类）
回归任务（Regression Tasks） ： MSE（Mean Squared Error）：均方误差，表示预测值与实际值之间的平均平方差。MSE越小，说明模型的预测性能越好。RMSE（Root Mean Squared Erro…
Spring Boot事件机制浅析
1、概述
在设计模式中，观察者模式是一个比较常用的设计模式。维基百科解释如下： 观察者模式是软件设计模式的一种。在此种模式中，一个目标对象管理所有相依于它的观察者对象，并且在它本身的状态改变时主动发出通知。这通常透过呼…
API接口接入电商平台采集阿里巴巴平台数据按关键字搜索商品指南
关键词搜索商品API接口在电商平台中具有重要的作用。以下是该API接口的一些重要性：
提供精准搜索：关键词搜索商品API接口可以根据用户输入的关键词，快速准确地匹配出符合用户需求的商品。这样可以节省用户在浏览商品时的时间和精力ÿ…
GEO生信数据挖掘（五）提取临床信息构建分组，分组数据可视化（绘制层次聚类图，绘制PCA图）
检索到目标数据集后，开始数据挖掘，本文以阿尔兹海默症数据集GSE1297为例 上节做了很多的基因数据清洗（离群值处理、低表达基因、归一化、log2处理）操作，本节介绍构建临床分组信息。
我们已经学习了提取表达矩阵的临床…
京东数据报告：2023年8月京东手机行业品牌销售排行榜
鲸参谋监测的京东平台8月份手机市场销售数据已出炉！
根据鲸参谋电商数据分析平台的数据显示，8月份，京东平台手机的销售量为380万，环比下滑约7%。同比下滑约17%；销售总额为120亿，环比下滑约17%，…
《淘宝电商业务场景》API接口教程获得淘口令真实url
淘口令API接口的本质就是一款调用相关技术的应用程序接口，同时也是一种通过互联网传输数据的方式，可以实现各种各样的应用场景。比如企业运用在分享商品页面的过程中，可以简单组成一个淘口令，以便于分享淘口令。淘口令解析API接口…
【数据挖掘】2019年 Quiz 1-2 整理 带答案
目录 Quiz 1Quiz 2Quiz 1
Problem 1 (60%). Consider the set of training data shown below. Here, A , B , C A, B, C A,B,
【数据挖掘】2022年 Quiz 1-3 整理 带答案
目录 Quiz 1Quiz 2Quiz 3Quiz 1
Problem 1 (50%). Consider the set of training data shown below. Here, A, B, C C C are attributes, and D D
9_分类算法—决策树
文章目录 1 信息熵1.1 比特化（Bits）1.2 一般化的比特化（Bits）1.3 信息熵（Entropy）1.3.1 熵越大混乱程度越大 1.4 条件熵H（YIX） 2 决策树2.1 什么是决策树2.2 决策树构建过程…
超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用
超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用
随着 ChatGPT 和 GPT-4 等强大生成模型出现，自然语言处理任务方式正在逐步发生改变。鉴于大模型强大的任务处理能力，未来我们或将不再为每…
2023年7月京东空气净化器行业品牌销售排行榜（京东运营数据分析）
随着科技发展，智能家具在日常生活中出现的频率越来越高，许多曾经不被关注的家电也出现在其中，包括近年来逐渐兴起的空气净化器。伴随人们对自身健康的重视度越来越高，作为能够杀灭空气污染物、有效提高空气清洁度的产品࿰…
Python3数据科学包系列(一):数据分析实战
一: 数据分析高级语法：序列(Series) # -*- coding:utf-8 -*-from pandas import Seriesprint(-------------------------------------序列Series定义与取值-------------------------------------------)
print("""Series序列可以省略,此时索引号默…
Python3数据科学包系列(三):数据分析实战
Python3中类的高级语法及实战
Python3(基础|高级)语法实战(|多线程|多进程|线程池|进程池技术)|多线程安全问题解决方案
Python3数据科学包系列(一):数据分析实战
Python3数据科学包系列(二):数据分析实战 一: 数据分析与挖掘认知升维 我们知道在数据分析与数据挖掘中,数据…
智能导览与实时监测：数字孪生助力景区管理
在当今旅游业快速发展的背景下，景区“人流管理”成为了一个越来越重要的问题。数字孪生技术由于其自身优势，可以为景区管理者提供更智能、更高效的管理方案。本文结合山海鲸可视化几个数字孪生案例带大家一起了解数字孪生在景区人流管理方面的应用&#…
如何做好互联网产品需求分析？看这里！
文章目录 🌟需求分析🍊领域知识分析🍊技术知识分析🎉人工智能技术的基本原理🎉开发工具和组件库🎉数据处理和模型训练🎉代码库和技术标准 🍊数据分析🎉准备数据…
掌握10月外贸新规，外贸人士的成功之道
10月外贸新规 跨境电商出口退运商品税收政策延续实施； 外交部优化外国人来华签证申请表； 泰国、格鲁吉亚宣布对中国公民免签； 美国延长对352项中国进口商品和77种防疫商品关税豁免； 欧盟正式开启征收“碳关税”过渡期…
数据可视化工具中的显眼包：奥威BI自带方案上阵
根据经验来看，BI数据可视化分析项目是由BI数据可视化工具和数据分析方案两大部分共同组成，且大多数时候方案都需从零开始，反复调整，会耗费大量时间精力成本。而奥威BI数据可视化工具别具匠心，将17年经验凝聚成标准化、…
区块链正在开启一场回归商业，融合商业的新发展
对于区块链来讲，它其实同样在延续着这样一种发展路径。 正如上文所说，区块链正在开启一场回归商业，融合商业的新发展。 而欲要实现这一点，区块链就是要从底层算法，底层数据传输，底层体系的打造着手…
Eviews用向量自回归模型VAR实证分析公路交通通车里程与经济发展GDP协整关系时间序列数据和脉冲响应可视化...
全文下载链接：http://tecdat.cn/?p27784 河源市是国务院1988年1月7日批准设立的地级市，为了深入研究河源市公路交通与经济发展的关系，本文选取了1988－2014年河源市建市以来24年的地区生产总值（GDP）和公路通…
斯坦福数据挖掘教程·第三版》读书笔记（英文版）Chapter 10 Mining Social-Network Graphs
来源：《斯坦福数据挖掘教程第三版》对应的公开英文书和PPT。
Chapter 10 Mining Social-Network Graphs
The essential characteristics of a social network are:
There is a collection of entities that participate in the network. Typically, these entiti…
Java电商平台 - API 接口设计之 token、timestamp、sign 具体架构与实现
一：token 简介
Token：访问令牌access token, 用于接口中, 用于标识接口调用者的身份、凭证，减少用户名和密码的传输次数。一般情况下客户端(接口调用方)需要先向服务器端申请一个接口调用的账号，服务器会给出一个appId和一个key,…
数据分享 I 地级市人口和土地使用面积基本情况
数据地址：
地级市人口和土地使用面积基本情况https://www.xcitybox.com/datamarketview/#/Productpage?id394
基本信息.
数据名称: 地级市人口和土地使用面积基本情况
数据格式: ShpExcel
数据时间: 2021年
数据几何类型: 面
数据坐标系: WGS84坐标系
数据…
数据分析基础:数据可视化+数据分析报告
数据分析是指通过对大量数据进行收集、整理、处理和分析，以发现其中的模式、趋势和关联，并从中提取有价值的信息和知识。
数据可视化和数据分析报告是数据分析过程中非常重要的两个环节，它们帮助将数据转化为易于理解和传达的形式࿰…
数据分享|R语言PCA主成分、lasso、岭回归降维分析近年来各国土地面积变化影响...
全文链接：http://tecdat.cn/?p31445 机器学习在环境监测领域的应用，着眼于探索全球范围内的环境演化规律，人类与自然生态之间的关系以及环境变化对人类生存的影响（点击文末“阅读原文”获取完整代码数据）。 课题着眼于…
【GeoDa实用技巧100例】023：geoda探索性空间数据分析
文章目录 全局空间关联性指标局部空间关联性指标探索性空间数据分析是一种具有识别功能的空间数据分析方法，主要用于探测一些变量的空间关联性和集聚现象。某一变量在空间上发生集聚，意味着在一定区域内，这一变量在各个地域单元之间具有自相关性：某一地域单元该变量较高，其…
400电话系统的数据分析和优化对企业的发展和增长有什么具体的好处？
对企业而言，通过400电话系统的数据分析和优化可以带来以下具体好处，促进企业的发展和增长： 优化客户满意度：通过数据分析和优化，企业可以更好地了解客户的需求和偏好，针对性地提供个性化的服务。这将提升客…
分类模型评估指标——准确率、精准率、召回率、F1、ROC曲线、AUC曲线
机器学习模型需要有量化的评估指标来评估哪些模型的效果更好。 本文将用通俗易懂的方式讲解分类问题的混淆矩阵和各种评估指标的计算公式。将要给大家介绍的评估指标有：准确率、精准率、召回率、F1、ROC曲线、AUC曲线。 机器学习评估指标大全
所有事情都需要评估好…
数据可视化分析年轻人的储蓄方式和动机
近代年轻人的储蓄态度和习惯正逐渐成为社会关注的焦点。在这个充满机遇和挑战的时代，年轻一代面临着前所未有的多样化选择和诱惑，这也在一定程度上影响了他们的理财行为。随着经济环境的不断变化，数字化金融工具的兴起，以及财务知…
奥威BI数据可视化工具一出马，财务数据分析不再烧脑
数据可视化工具可以使财务数据分析更加直观和易于理解。这些工具可以将大量的财务数据简化为易于阅读和理解的图表、图形和表格，帮助财务人员更快地分析和发现问题。例如，通过将财务数据转化为柱状图、折线图、饼图等图形，可以更加清晰地展示…
SG-Former实战：使用SG-Former实现图像分类任务（一）
摘要
SG-Former是一种新型的Transformer模型，它被提出以降低视觉Transformer的计算成本，同时保持其优秀的性能表现。计算成本的降低使得SG-Former能够更有效地处理大规模的特征映射，从而提高了模型的效率和全局感知能力。
SG-Former的核心思…
肿瘤科医师狂喜,15分RNA修饰数据挖掘文章
Biomamba荐语
与这个系列的前面一些论文类似，这次给大家推荐的是一篇纯生物信息学数据挖掘的文章，换句话说，这又是一篇不需要支出科研经费（白嫖）的论文(当然，生信分析用的服务器还是得掏点费用的)。一般来…
API是什么: 一篇讲透API
在之前一篇文章中，我们深入地讲了如何设计API。然而直到写到很后面，我才意识到我还没有认真地讲过到底API到底是什么。
与1000个读者有1000个哈姆雷特类似，即使你让一个经验非常丰富的程序员给API一个定义，大概率他也会用一个例子…
网络编程 day 5
1、根据select TCP服务器流程图编写服务器 #include <myhead.h>#define ERR_MSG(msg) do{\fprintf(stderr, "__%d__:", __LINE__); \perror(msg);\
}while(0)#define PORT 8888 //端口号，范围1024~49151
#define IP "192.168.…
奥威BI系统：做数据可视化大屏，又快又简单
数据可视化大屏的制作难吗？会很花时间精力吗？这就要看用的是什么软件了。如果用的是BI系统，特别是奥威BI系统这类BI商业智能软件，那就是又快又简单。
奥威BI系统介绍：
奥威BI系统是一款高效的数据可视化大屏工具&…
Python 金融大数据分析
第一章 为什么将python用于金融
python编程语言
python是一种高级的多用途编程语言，广泛用于各种非技术和技术领域。
python是一种具备动态语义、面向对象的解释型高级编程语言。它的高级内建数据结构与动态类型及动态绑定相结合，使其在快速应用开发上…
32 数据分析（下）pandas介绍
文章目录 工具excelTableauPower Queryjupytermatplotlibnumpypandas数据类型Series基础的SeriesSeries的字典操作增加表的索引名字和表名字索引操作 DataFrameDataFrame 的基础使用DataFrame的列方法------理解DataFrame的行列方法------使用loc 与 iloc 对齐操作SeriesDataFr…
数据挖掘十大算法--Apriori算法
一、Apriori 算法概述
Apriori 算法是一种用于关联规则挖掘的经典算法。它用于在大规模数据集中发现频繁项集，进而生成关联规则。关联规则揭示了数据集中项之间的关联关系，常被用于市场篮分析、推荐系统等应用。
以下是 Apriori 算法的基本概述&#x…
企业有了BI，为什么还需要以指标为核心的ABI平台？
#01
企业对BI期望越高
失望越大？
— BI（Business Intelligence，商业智能）历经多年发展，已经被中国企业所熟知。 随着信息化的发展，企业越发希望决策有理有据，而不是拍脑袋就决定。这样产生的…
2023年7月婴幼儿辅食市场数据分析（京东商品数据）
随着人们对婴幼儿饮食健康的关注不断增加，市场对高品质、安全、营养丰富的辅食需求也日益旺盛。婴幼儿辅食市场增长放缓，但整体仍保持上升态势。鲸参谋数据显示，今年7月份，京东平台婴幼儿辅食市场的销量为1000万，同比增…
生信豆芽菜-XGboost构建诊断模型
网址：http://www.sxdyc.com/xgboostBuilds 1、准备数据 训练集表达谱数据
训练集样本分组数据
验证集表达谱数据
验证集样本分组数据
2、提交等待运行结果即可
当然，如果不清楚数据是什么样的，可以选择下载我们的示例数据&#…
一文说尽零售数据分析指标体系
零售的本质业务模式是通过在各种渠道上吸引客户来购买我们的商品来实现盈利，其实就是客户-渠道-商品，也就是我们常说的“人、场、货”，除此之外还有供应链、财务等起到重要的辅助作用。因此如果要构建起系统化的零售数据分析指标体系…
太好上手了!10款常用的可视化工具你一定要知道!
当谈到可视化工具时，有许多常用的工具可供选择。这些工具可以帮助我们将数据转化为易于理解和具有视觉吸引力的图表、图形和仪表板。
以下是10款常用的可视化工具，它们在不同领域和用途中广泛使用。
1. Datainside：
Datainside是一款功能强…
京东平台数据分析（京东销量）：2023年9月京东吸尘器行业品牌销售排行榜
鲸参谋监测的京东平台9月份吸尘器市场销售数据已出炉！ 根据鲸参谋电商数据分析平台的相关数据显示，今年9月，京东吸尘器的销量为19万，环比下滑约12%，同比下滑约25%；销售额为1.2亿，环比下滑约11%&…
智能化电力运维：数字孪生的崭露头角
随着科技的不断发展，数字孪生技术在各个领域的应用愈发广泛，尤其在电力运维领域，它正发挥着革命性的作用。数字孪生是一种虚拟仿真技术，通过实时模拟真实世界的物理对象或过程，可以从多方面为电力运维带来改变…
Bayes决策：身高与体重特征进行性别分类
代码与文件请从这里下载：Auorui/Pattern-recognition-programming: 模式识别编程 (github.com)
简述
分别依照身高、体重数据作为特征，在正态分布假设下利用最大似然法估计分布密度参数，建立最小错误率Bayes分类器，写出得到的决…
【OJ比赛日历】快周末了，不来一场比赛吗？ #09.03-09.09 #12场
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
2023-09-03（周日） #5场比赛2023-09-04…
跨境电商用什么商品采集工具？
跨境电商的商品采集工具和虾皮商品详情接口/搜索接口是电商运营中非常重要的技术工具。本文将详细介绍这两个方面的工具和技术，为跨境电商从业者提供实用的参考。
一、跨境电商商品采集工具
跨境电商的商品采集工具主要用于从多个电商平台采集商品信息，…
2023年7月京东打印机行业品牌销售排行榜（京东运营数据分析）
鲸参谋监测的京东平台7月份打印机行业销售数据已出炉！
7月份，打印机市场呈现下滑趋势。根据鲸参谋平台的数据可知，当月京东平台打印机的销量为48万，环比下降约28%，同比下降约18%；销售额为4亿，环…
API接口接入电商平台案例，数据采集获取商品历史价格信息示例
商品历史价格接口是开放平台提供的一种API接口，通过调用API接口，开发者可以获取天猫商品的标题、价格、库存、月销量、总销量、库存、详情描述、图片、最低价、当前价格、价格信息等详细信息 。
获取商品历史价格接口API是一种用于获取电商平台上商品历…
超图嵌入论文阅读1：对偶机制非均匀超网络嵌入
超图嵌入论文阅读1：对偶机制非均匀超网络嵌入 原文：Nonuniform Hyper-Network Embedding with Dual Mechanism ——TOIS（一区 CCF-A） 背景
超边：每条边可以连接不确定数量的顶点
我们关注超网络的两个属性࿱…
数据挖掘导论学习笔记1（第1 、2章）
参考：https://blog.csdn.net/u013232035/article/details/48281659?spm1001.2014.3001.5506
和《数据挖掘导论》学习笔记（第1-2章）_时机性样本_schdut的博客-CSDN博客
第1章 绪论
数据挖掘是一种技术，它将传统的数据分析方法…
Pyecharts数据可视化（三）
目录
1.绘制词云图
2.绘制桑基图
3.绘制平行坐标图
4.绘制结点图
5.绘制地图
本文主要介绍了如何利用Pyecharts绘制词云图、桑基图、平行坐标图、节点图和地图，虽然这些图平时不是很常用，但是看起来还是比较好看的，如果放在论文当中&am…
快手商品详情API 商品销量API 商品列表API 获取商品价格数据API
item_get-根据ID取商品详情
ks.item_get 测试入口 公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,ite…
【机器学习 | 回归问题】超越直线:释放多项式回归的潜力 —— 详解线性回归与非线性 （含详细案例、源码）
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
通常用哪些软件做数据可视化大屏？
一般就两种，一种是可视化大屏编辑软件，另一种则是BI系统（BI数据可视化工具）。考虑到数据来源多、数据量大以及数据分析效率、直观易懂性等实实在在的客观问题，建议采用BI系统来制作数据可视化大屏。
BI系统做可视化大…
关于电子商务电商供应链项目，不得不说的开放平台电商API接口
B2B电商开放平台的设计需要从以下几面去思考： 开放平台API接口的设计，主要是从功能需求的角度，设计满足业务需求的接口及对应的字段； 平台与商家之间信息的对接，对接的方法有哪些？对接过程中需要可能会遇到…
教育领域数据可视化：点亮知识之路
教育领域一直以来都在不断进步和演变，而数据可视化技术正在为这一领域带来一场革命。在过去的几年里，教育者们越来越意识到，通过将教育数据转化为可视化图表和图形，可以更好地理解学生的表现、需求和趋势，从而提供更好…
ChatGPT高级数据分析功能
目录 只需要上传数据集就可以自动化分析，我们测试以下，首先我找了一份数据，主要是关于二手车的，格式如下： 接下来调用，GPT中的高级数据分析功能，上传数据，并要求进行分析 第一步：自动对数据字段进行详细的解释： 第二步，对数据进行预处理，比如缺失值，基本的描述…
外贸电商商品如何做好上架工作？
跨境电商业务的蓬勃发展已经成为互联网行业的热点话题之一。不论是将海外货源卖回国内，还是通过国内货源销往海外，跨境电商平台都面临着如何实现商品上架的关键问题。在这篇文章中，将探讨成功上架商品的关键步骤。 一、准备好接口。
跨境电商…
医药行业投资公司都有哪些？医药企业项目投资分析实用工具
据药融云-投融资数据库信息调研结果发现，在 3000家参与医疗投资的资方中,有超200家专注医疗投资的机构。 资方的信息可以通过垂直的生物医药行业投融资数据库进行查找，该类数据库收载了全球绝大部分的生物医药行业投资机构信息（包含了投资机构…
API接口安全运营研究(内附官方开发平台api接口接入方式）
摘 要 根据当前API技术发展的趋势，从实际应用中发生的安全事件出发，分析并讨论相关API安全运营问题。从风险角度阐述了API接口安全存在的问题，探讨了API检测技术在安全运营中起到的作用，同时针对API安全运营实践，提出…
回归预测、分类预测、时间序列预测 都有什么区别?
回归预测、分类预测和时间序列预测都是统计和机器学习领域中的预测任务，它们在问题设置和解决的方式上有一些关键区别： 回归预测： 回归预测用于预测连续数值的输出，通常是实数。例如，预测房价、气温、销售额等连续型输…
系统架构设计：19 论数据挖掘技术的应用
目录
一 数据挖掘技术
1 数据挖掘的分类
2 数据挖掘的主要方法 一 数据挖掘技术
从技术角度看，数据挖掘可以定义为从大量的、不完全的、有噪声的、模糊的、随机的实际数据中提取隐含在其中的、人们不知道的、但又潜在有用的信息和知识的过程。</
Python数据挖掘项目实战——自动售货机销售数据分析
摘要：本案例将主要结合自动售货机的实际情况，对销售的历史数据进行处理，利用pyecharts库、Matplotlib库进行可视化分析，并对未来4周商品的销售额进行预测，从而为企业制定相应的自动售货机市场需求分析及销售建议提供参…
Python爬取京东商品评论
寻找数据真实接口
打开京东商品网址查看商品评价。我们点击评论翻页，发现网址未发生变化，说明该网页是动态网页。 API名称：item_review-获得JD商品评论
公共参数
获取API测试key&secret
名称类型必须描述keyString是调用keyÿ…
如何做好数据分析中的数据可视化?
数据可视化在数据分析中扮演着重要的角色，它帮助我们更好地理解和传达数据的特征、趋势和规律。以下是关于如何做好数据分析中的数据可视化的详细介绍。 一、准备工作
1. 理解数据
在进行数据可视化之前，首先要对数据有一个清晰的理解。了解数据的来源…
超图嵌入论文阅读2：超图神经网络
超图嵌入论文阅读2：超图神经网络 原文：Hypergraph Neural Networks ——AAAI2019（CCF-A） 源码：https://github.com/iMoonLab/HGNN 500star 概述
贡献：用于数据表示学习的超图神经网络 (HGNN) 框架…
Python数据挖掘：入门、进阶与实用案例分析——自动售货机销售数据分析与应用
文章目录 摘要01 案例背景02 分析目标03 分析过程04 数据预处理1. 清洗数据1.1 合并订单表并处理缺失值1.2 增加“市”属性1.3 处理订单表中的“商品详情”属性1.4 处理“总金额（元）”属性 2.属性选择3.属性规约 05 销售数据可视化分析1.销售额和自动售货…
小龙虾算法优化极限学习机实现乳腺癌诊断,(COA-ELM)数据分类
本期文章采用小龙虾优化算法(Crayfish optimization algorithm,COA)优化极限学习机（ELM），实现数据分类。该方法也可以用于其他故障分类。 小龙虾优化算法是于2023年9月最新发表在Artifcial Intelligence Review的一个算法，该算法的…
京东获得JD商品详情 API 接口文档（含请求代码）
item_get-获得JD商品详情 API测试工具 注册开通 公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_sea…
PHP请求API接口案例采集电商平台数据获取淘宝/天猫优惠券查询示例
优惠券查询API接口对于用户和商家来说具有重要作用，可以方便地获取优惠券信息，进行优惠券搜索和筛选，参与活动和促销推广，提供数据分析和决策支持，提升用户体验和忠诚度，为商家增加销售额和市场竞争力。
t…
数据挖掘（6）聚类分析
一、什么是聚类分析
1.1概述
无指导的，数据集中类别未知类的特征： 类不是事先给定的，而是根据数据的相似性、距离划分的聚类的数目和结构都没有事先假定。挖掘有价值的客户: 找到客户的黄金客户ATM的安装位置
1.2区别 二、距离和相似系数 …
淘宝数据分析在商业活动的具体应用
商业活动过程中会产生很多方面的数据，这些数据所反映的是关于消费者和潜在的大型客户的信息，如果能够对这些数据进行深入的分析就会对于用户的行为掌握得更为精准，比如说在淘宝中运用数据分析就能够分析出当前的用户在淘宝时段和地域中的特点…
C#，数值计算——分类与推理Phylagglom的计算方法与源程序
1 文本格式
using System; using System.Collections.Generic;
namespace Legalsoft.Truffer { public abstract class Phylagglom { public int n { get; set; } public int root { get; set; } public int fsroot { get; set; } p…
京东运营数据分析：2023年8月京东宠物主粮行业品牌销售排行榜
鲸参谋监测的京东平台8月份宠物主粮市场销售数据已出炉！
随着养宠人群的逐渐增多，宠物经济规模也进一步庞大。宠物生活市场中，宠物主粮作为养宠人群的刚需品，其市场规模也在进一步扩大。鲸参谋数据显示，今年8月份&…
京东数据平台（京东数据分析）2023年9月京东冰箱行业品牌销售排行榜！
鲸参谋监测的京东平台9月份冰箱市场销售数据已出炉！ 9月份，大家电行业整体下滑，而冰箱作为大家电市场中的重点品类，受行业趋势变动的影响，冰箱销售市场也同样下滑。鲸参谋数据显示，9月在京东平台上…
使用GoogleNet网络实现花朵分类
一.数据集准备
新建一个项目文件夹GoogleNet，并在里面建立data_set文件夹用来保存数据集，在data_set文件夹下创建新文件夹"flower_data"，点击链接下载花分类数据集https://storage.googleapis.com/download.tensorflow.org/exampl…
使用VGG框架实现从二分类到多分类
一.数据集的准备
与之前的不同，这一次我们不使用开源数据集，而是自己来制作数据集。重点需要解决的问题是对数据进行预处理，如每一个图片的大小均不同，需要进行resize，还需要对每一张图片打标签等操作。
数据集文件 …
基于ResNet34的花朵分类
一.数据集准备
新建一个项目文件夹ResNet，并在里面建立data_set文件夹用来保存数据集，在data_set文件夹下创建新文件夹"flower_data"，点击链接下载花分类数据集https://storage.googleapis.com/download.tensorflow.org/example_i…
解读Stata输出的OLS回归结果
Stata是一个广泛用于统计分析和数据管理的软件，以下是一些Stata的基础命令： 输入数据：use + 数据文件路径 显示数据：browse 或 list 或 describe 选择数据：keep 或 drop 或 select 或 exclude 建立变量和赋值：generate 或 replace 汇总数据：summarize 或 tabulate 画图：…
数据分享 I 第一至第四批专精特新“小巨人”企业数据
数据地址：
专精特新“小巨人”企业数据https://www.xcitybox.com/datamarketview/#/Productpage?id355
基本信息.
数据名称: 第一至第四批专精特新“小巨人”企业数据
数据格式: Shpxlsx
数据时间: 2022年
数据几何类型: 点
数据坐标系: WGS84坐标系
数据字…
【机器学习】项目数据处理部分
文章目录 前言项目理解数据探索特征工程总结 前言
本文参考《阿里云天池大赛赛题解析》，拿到一个项目或者赛题，使用机器学习来进行预测分类，需要以下七个步骤：
项目（赛题）理解数据探索特征工程模型训练模…
【Shopee】Open API 申请资格说明 | ERP
一、Open API开放平台说明
为了给开发者提供更好的使用环境，Shopee准备了许多API方便Shopee卖家用户串接。
在Open API平台上，您可以直接申请串接所需之Pantner ID和密钥，无须再逐一向Shopee申请店铺的独立密钥。
此平台提供内容如下&…
ChatGPT AIGC 完成动态堆积面积图实例
先使用ChatGPT AIGC描述一下堆积面积图的功能与作用。 接下来一起看一下ChatGPT做出的动态可视化效果图： 这样的动态图案例代码使用ChatGPT AIGC完成。 将完整代码复制如下：
<!DOCTYPE html>
<html>
<head><meta charset="utf-8"><tit…
从淘宝数据分析产品需求（商品销量总销量精准月销）
淘宝数据分析总体来说可以分为商品分析、客户分析、地区分析、时间分析四大维度(参考数据雷达的分析思路)。在这里我重点说商品分析。
在淘宝上开店的竞争还是非常激烈的，随便拿出一个单品就有很多竞品存在，所以做起来还是很难的，而想要在众…
点击、拖拉拽，BI系统让业务掌握数据分析主动权
在今天的商业环境中，数据分析已经成为企业获取竞争优势的关键因素之一。然而，许多企业在面对复杂的数据分析工具时，却常常感到困扰。这些工具往往需要专业的技术人员操作，而且界面复杂，难以理解和使用。对业务人员来说…
生信豆芽菜-机器学习筛选特征基因
网址：http://www.sxdyc.com/mlscreenfeature 一、使用方法 1、准备数据 第一个文件：特征表达数据
第二个文件：分组信息，第一列为样本名，第二列为患者分组
第三个文件：分析基因名
2、选择机器学习的方…
数据可视化工具在成绩分析中的作用与意义
数据可视化是将数据转化为图表、图形和可交互式界面的过程，它在成绩分析中扮演着重要的角色。通过将学生成绩数据以图形化方式展示，数据可视化工具可以帮助教育者更好地理解和解释学生的表现，发现隐藏在数据背后的模式和趋势。本文将详细介绍…
三分钟，教你做出领导满意的可视化报表
数字化已然成为社会发展的共识，企业想要在未来的竞争中占据优势，获取不断发展的数字经济，就必须将数据看作企业的战略资源，利用数据可视化将数据转化为信息，促进企业发展。
数据可视化是什么
在早期数据分析领域&…
调用API接口的一些注意技巧
在实践中我们经常发现，很多同学都是直接请求调用和读取接口数据，而没有做状态码的判断，这在设计角度是非常不合理的。 另外，对于一些实时性要求不高的接口，更合理的做法应该是先把数据拉到本地缓存，再从缓存…
EM聚类（上）：数据分析 | 数据挖掘 | 十大算法之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
二、机器学习基础知识：Python数据处理基础
文章目录 1、基本数据类型1.1 数字类型（Number）1.2 字符串类型（String）1.3 列表类型（List）1.4 元组类型（Tuple）1.5 字典类型（Dictionary）1.6 集合类型&#x…
零售数据分析模板分享（通用型）
零售数据来源多，数据量大，导致数据的清洗整理工作量大，由于零售的特殊性，其指标计算组合更是多变，进一步导致了零售数据分析工作量激增，往往很难及时分析数据，发现问题。那怎么办？可…
《Python数据分析入门学习》- 3、进阶数据预处理
《Python数据分析入门学习》- 3、进阶数据预处理 目录 《Python数据分析入门学习》- 3、进阶数据预处理1 学习目标2 学习内容3 代码应用下篇预告更多内容 本文是《Python数据分析入门学习》系列的第3篇文章，分别有以下几个部分组成：学习的目标和内容、所…
基于标签的电影推荐算法研究_张萌
２ 标签推荐算法计算过程
２．１ 计算用户对标签的喜好程度
用户对一个标签的认可度可以使用二元关系来表示，这种关系只有“是”“否”两种结果，实际上难以准确地表达出用 户对物品的喜好程度。因此&#x…
GEO生信数据挖掘（九）WGCNA分析
第六节，我们使用结核病基因数据，做了一个数据预处理的实操案例。例子中结核类型，包括结核，潜隐进展，对照和潜隐，四个类别。第七节延续上个数据，进行了差异分析。 第八节对差异基因进行富集分析。…
模式植物GO背景基因集制作
一边学习，一边总结，一边分享！
写在前面
关于GO背景基因集文件的制作，我们在很早以前也发过。近两天，自己在分析时候，也是被搞了头疼。想重新制作一份GO背景基因集，进行富集分析。但是结果&…
2023年Q3户外装备市场行业分析报告（京东数据分析）：同比增长7%，品牌化发展是核心
近年来，户外运动在我国不少地方蓬勃兴起，发展至今，户外运动早已不是聚焦专业领域的小众群体活动，现已发展成为当下热门的大众休闲活动，参与人群愈发广泛，而这股热潮也带动着相关产业的发展。 今年Q3&#x…
爬虫API中的滑块验证及解决方案
滑块验证是一种常见的网页验证码机制，用于防止自动化爬取和恶意攻击。在爬虫API中，滑块验证是一种比较常见的反爬措施。下面我们将详细介绍滑块验证的原理、破解方法以及在爬虫API中的应对策略。
一、滑块验证原理
滑块验证是一种基于图像识别的验证码…
onebound电商API接口商品数据采集平台：让数据成为生产力！
随着数字化商业时代的到来，API接口已成为电商资源连接利器，也是全球传统互联网企业转型的基础。
2021年 Google Cloud 研究显示，全球互联网企业近3/4的企业持续投入数字化转型，2/3的企业在持续增加投入，从这组数据可以…
【尘缘赠书活动：01期】Python数据挖掘——入门进阶与实用案例分析
引言
本案例将根据已收集到的电力数据，深度挖掘各电力设备的电流、电压和功率等情况，分析各电力设备的实际用电量，进而为电力公司制定电能能源策略提供一定的参考依据。更多详细内容请参考**《Python数据挖掘：入门进阶与实用案例…
改善游戏体验：数据分析与可视化的威力
当今，电子游戏已经超越了娱乐，成为一种文化现象，汇聚了全球数十亿的玩家。游戏制作公司正采用越来越复杂的技术来提高游戏质量，同时游戏数据分析和可视化工具变得不可或缺。 数据的力量：解析游戏体验
游戏制作涉及到大…
拼多多商品信息数据采集API接口 接入测试说明 一键批量采集下载多平台商品信息并导出宝贝链接！
当我们分析竞品以及选款复制时，往往需要先将商品信息采集下载下来，然而一个个去寻找商品并手动下载，显然是不现实的。
特别是做无货源店群的卖家，可能需要在不同平台采集商品信息，那么就需要用到适用不同平台的商品采…
信息检索与数据挖掘 | 【实验】排名检索模型
文章目录 📚实验内容📚相关概念📚实验步骤🐇分词预处理🐇构建倒排索引表🐇计算query和各个文档的相似度🐇queries预处理及检索函数🔥对输入的文本进行词法分析和标准化处理…
python 数据挖掘库orange3 介绍
orange3 是一个非常适合初学者的data mining library. 它让使用者通过拖拽内置的组件来形成工作流。让你不需要写任何代码就可以体验到数据挖掘和可视化的魅力。
它的桌面如下，这里我创建了 3 个节点，分别是数据集、小提琴图，散点图
其中 …
生信豆芽菜-箱线图使用说明
网站：http://www.sxdyc.com/visualsBoxplot 一、使用方法 1.打开网址（http://www.sxdyc.com/singleCollectionTool?href-diff），选择“箱线图”。
准备数据： 第一个文件为特征的表达文件，第一列为样本&am…
![[数据分析与可视化] Python绘制数据地图5-MovingPandas绘图实例](https://img-blog.csdnimg.cn/img_convert/27d0e108fa1ee2c9ea997ab4c1812057.png)
[数据分析与可视化] Python绘制数据地图5-MovingPandas绘图实例
MovingPandas是一个基于Python和GeoPandas的开源地理时空数据处理库，用于处理移动物体的轨迹数据。关于MovingPandas的使用见文章：MovingPandas入门指北，本文主要介绍三个MovingPandas的绘图实例。 MovingPandas官方仓库地址为：mo…
零基础入门初学 Python 需要安装哪些软件？
Python是近年来备受热门的编程语言，其简明易读、开源免费、跨平台等特点，使得Python倍受喜爱，成为初学者及开发者心中的首选。
如果你是第一次接触Python，又不想繁琐地安装各种软件，可以尝试在线运行Python代码&#…
对话即数据分析，网易数帆ChatBI做到了
大数据产业创新服务媒体 ——聚焦数据 改变商业 在当今数字化快速发展的时代，数据已经成为业务经营与管理决策的核心驱要素。无论是跨国大企业还是新兴创业公司，正确、迅速地洞察数据已经变得至关重要。然而，传统的BI工具往往对用户有一定的…
京东数据平台：2023年京东营养保健品市场销售数据分析
随着十一长假结束，市场端也开始了一系列的消费数据回顾和复盘。从现有数据表现来看，营养保健品市场的增长备受关注。
近日，京东消费及产业发展研究院与《经济日报》联合整合了相关数据。数据显示，2023年中秋福利采购季期间&#…
自己公司开发的ERP系统，怎么对接京东，淘宝等这些电商平台？
得益于互联网基建的成熟及快速发展的电子商贸经济，我国线上零售市场快速增长，2022年全国线上零售额达到13.79万亿元，占社会消费品零售总额的比重为27.2%，也就是说每卖出三件零售商品，就有一件是从线上销售。中大型零售…
个性化精准推送服务：Mobpush引领用户深度参与度的新纪元
在当今这个日新月异的世界，用户群体的兴趣爱好和消费倾向呈现多元化、宽领域、不断细分的特点，此时传统的广而告之式的信息推送和宣传往往无法取得理想效果，这是因为用户的需求和兴趣各不相同，“千人一面”的消息无法适用于所有用…
手把手教你调用电商API获取淘宝订单数据（内附详细源码）
接口名称：seller_order_list-获取卖出的商品订单列表
taobao.seller_order_list 公共参数
请求地址:https://api-sever.cn/taobao/seller_order_list
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥…
傅里叶系列 P1 的定价选项
如果您想了解更多信息，请查看第 2 部分和第 3 部分。 一、说明 这是第一篇文章，我将帮助您获得如何使用这个新的强大工具来解决金融中的半分析问题并取代您的蒙特卡洛方法的直觉。 我们都知道并喜欢蒙特卡洛数字积分方法，但是如果我告诉你你可…
量化交易全流程（四）
本节目录
数据准备（数据源与数据库）
CTA策略
数据源： 在进行量化分析的时候，最基础的工作是数据准备，即收集数据、清理数据、建立数据库。下面先讨论收集数据的来源，数据来源可分为两大类：免…
频次直方图、KDE和密度图
Seaborn的主要思想是用高级命令为统计数据探索和统计模型拟合创建各种图形，下面将介绍一些Seaborn中的数据集和图形类型。
虽然所有这些图形都可以用Matplotlib命令实现（其实Matplotlib就是Seaborn的底层），但是用 Seaborn API会更…
《淘宝商品数据采集案例》按关键字搜索淘宝商品API接口获取商品销量、优惠价、商品标题等参数示例
关键词搜索商品接口的作用是提供搜索功能，让用户根据关键词在电商平台上搜索商品，并根据搜索条件和偏好获取相关的商品列表和推荐结果，提高用户购物体验和准确度。对于电商平台而言，这个接口也能帮助用户发现更多商品、提升销量和…
数据分析案例-某公司员工数据信息可视化（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
如何开始从事数据分析工作——初学者的路线图
欢迎来到数据分析的世界！如果您正在考虑从事于此，可算是找对地方了。数据分析作为一个迅猛发展、令人心潮澎湃的领域，在当今数据社会下愈发重要。
面对现实，我们已经被海量的数据淹没了。从社交媒体，到金融交易&#…
为什么企业都在建立指标体系，有什么用途？
什么是指标体系
指标是指企业从不同角度梳理日常业务活动，把积累的庞大数据提炼成不同的业务指标，然后反过来用指标来指代具体的业务活动。
指标体系则是把这些从不同部门、业务、人员中提炼出的业务指标融合汇总到一起，形成一个指标系统&a…
2023年Q3线上生鲜水产数据分析：市场不景气，销额同比下滑44%
事实上，今年线上的生鲜生意市场并不景气。无论是Q1季度还是Q2季度，线上（京东平台）的销售额均同比去年下滑了10%左右。 然而到了Q3季度，整个下滑态势愈发严峻。可以看到鲸参谋数据显示，7月至9月生鲜水产在京…
使用 PointNet 进行3D点集（即点云）的分类
点云分类
介绍
无序3D点集（即点云）的分类、检测和分割是计算机视觉中的核心问题。此示例实现了开创性的点云深度学习论文PointNet（Qi 等人，2017）。 设置 如果使用 colab 首先安装 trimesh !pip install trimesh。 import os
import glob
import trimesh
import numpy as…
多分类loss学习记录
这里简单的记录在人脸识别/声纹识别中常用的分类loss。详细原理可以参考其他博客。 扩展资料1 扩展资料2 L-softmax A-softmax AM-softmax L-softmax ：基于softmax加入了margin， Wx 改写为||w||||x||cos(角度)，将角度变为了m角度 A-softmax &…
数据分析在程序员职业中的重要性及实践应用
一、引言
在当今信息化社会的快速发展中，数据分析已经成为一项重要的职业技能。不论是从事哪个行业，都需要具备一定的数据分析能力。对于程序员而言，掌握数据分析技能不仅能够提升自身在职场中的竞争力，更能够在职业生涯中获得更…
Python数据挖掘 | 升级版自动查核酸
📕作者简介：热爱跑步的恒川，致力于C/C、Java、Python等多编程语言，热爱跑步，喜爱音乐的一位博主。 📗本文收录于恒川的日常汇报系列，大家有兴趣的可以看一看 📘相关专栏C语言初阶、C…
虾皮商品采集商品详情API接口
API具体是啥？
API是应用程序编程接口（Application Programming Interface）的缩写。它是一组定义了软件组件之间交互的规范和方法的集合。API允许不同的软件系统之间进行通信和交互，使它们能够相互访问和共享功能、数据和服务。
…
京东平台销量销额数据查询：2023年9月京东空调行业品牌销售排行榜！
鲸参谋监测的京东平台9月份空调市场销售数据已出炉！ 鲸参谋数据显示，今年9月份，京东平台大家电品类——空调的整体销售呈现下滑。从数据来看，9月空调的月销量将近60万，环比下滑约59%，同比下滑约6%ÿ…
【数据分析】上市公司半年报数据分析
前言
前文介绍过使用网络技术获取上市公司半年报数据的方法，本文将对获取到的数据进行简要的数据分析。
获取数据的代码介绍在下面的两篇文章中
【java爬虫】使用selenium获取某交易所公司半年报数据-CSDN博客
【java爬虫】公司半年报数据展示-CSDN博客
全量数…
【图像分类】基于计算机视觉的坑洼道路检测和识别（2个类别）
写在前面： 首先感谢兄弟们的支持，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。 路虽远，行则将至&#…
高教社杯数模竞赛特辑论文篇-2018年C题：基于 RFMS 指标的大型百货商场会员画像数据挖掘（附获奖论文及MATLAB代码实现）
目录
摘 要
一、 问题的重述
二、 问题的分析
2.1 问题一分析
2.2 问题二分析
MNE系列教程1——MNE的安装与基本绘图
一、MNE包简介
MNE-Python是一个强大的Python库，专门用于脑电图（EEG）和磁共振成像（MRI）数据的分析和可视化。它提供了广泛的工具，使研究人员能够高效地处理神经科学数据。
MNE-Python支持许多数据格式，包括标准的EEG和MEG文件格式，以及不同类型的MRI数据。它可以用于…
【外贸干货】学习外贸销冠的12种思维习惯
很多做外贸销售的可能都有听过一些培训课程，比如教你如何提升外贸实操技能，如何树立强大信心，如何更好的跟进客户等等，但很少会有人告诉你，你最应该做的是要培养一种正确的思维习惯，而思维习惯是我一直强调…
ESDA in PySal (4)：shape-measures：形状测量
ESDA in PySal (4)：shape-measures：形状测量
1.Measures of shape
esda.shape 模块提供文献中使用的统计数据来测量多边形的结构和规则性。 这些测量值从非常简单（例如长宽差）到非常复杂（例如归一化转动惯量…
1688阿里巴巴电商平台数据采集业务场景，获取商品分类ID、根分类ID参数示例
淘宝商品分类详情 API 接口，是指淘宝开放平台提供的接口，用于获取淘宝商品分类的详细信息，包括分类 ID、分类名称、父级分类 ID、子分类 ID 等。
1688.item_cat_get-获得1688商品类目 公共参数
请求地址: 注册调用key接入
名称类型必须描述…
数据可视化工具 ，不会写 SQL 代码也能做数据分析
数据可视化工具可以帮助人们以直观、易于理解的方式展现和分析数据。这些工具使得即使不会写 SQL 代码的人也能进行数据分析，并从中获得有价值的信息和见解。
本文将详细介绍几种常用的数据可视化工具及其功能和优点。
1. Datainside:
Datainside是一款流行的数…
【temu】分析拼多多跨境电商Temu数据分析数据采集
Temu是拼多多旗下跨境电商平台，于2022年9月1日在美国、加拿大、新加坡、中国台湾、中国香港等市场上线。本文作者从销售额、销量、产品分布等方面，对Temu产品进行了分析，一起来看一下吧。 item_get获得商品详情item_review获得商品评论列表it…
【Python数据挖掘】Python自动售货机销售数据分析与应用
python 01案例背景02分析目标03 分析过程04 数据预处理4.1. 清洗数据4.1.1 合并订单表并处理缺失值4.1.2 增加“市”属性4.1.3 处理订单表中的“商品详情”属性4.1.4 处理“总金额（元）”属性 4.2.属性选择4.3.属性规约 05 销售数据可视化分析5.1.销售额和…
敲敲云—免费的零代码平台功能介绍
敲敲云零代码平台无需任何代码，即可搭建出符合企业业务需求的个性化应用。敲敲云拥有完善的表单设计引擎、流程引擎、仪表盘设计器、大屏设计器，可满足企业的正常需求。 下面我们来看一下，敲敲云都有哪些功能吧 表单引擎 可视化拖拽设计&…
推荐算法：是否对用户判断能力有影响！！！
首先认识几种常见的推荐算法：推荐算法是一种在信息推送和个性化服务领域常用的技术。它通过分析用户的兴趣、行为和偏好，提供个性化的建议和推荐，以满足用户的需求。以下是对几种常见推荐算法的重新排版，并探讨了它们的作用、影响…
【经典PageRank 】02/2 算法和线性代数
系列前文：【经典 PageRank 】01/2 PageRank的基本原理-CSDN博客
一、说明 并非所有连接都同样重要！ 该算法由 Sergey 和 Lawrence 开发，用于在 Google 搜索中对网页进行排名。基本原则是重要或值得信赖的网页更有可能链接到其他重要网页。例…
贝叶斯分位数回归、lasso和自适应lasso贝叶斯分位数回归分析免疫球蛋白、前列腺癌数据...
原文链接：http://tecdat.cn/?p22702 贝叶斯回归分位数在最近的文献中受到广泛关注，本文实现了贝叶斯系数估计和回归分位数（RQ）中的变量选择，带有lasso和自适应lasso惩罚的贝叶斯（点击文末“阅读原文”获取…
做数据可视化，谨记三大要点
数据可视化报表就是“一图胜千言”的最佳例子。数据可视化，也就是将数据图形化、图表化，以良好的视觉效果呈现数据，达到发现、分析、预测、监控、决策等目的。要想做出一份优秀的数据可视化报表，那就要在做报表时谨记三大要点&…
如何查找特定基因集合免疫基因集 炎症基因集
温故而知新，再次看下Msigdb数据库。它更新了很多内容。给我们提供了一个查询基因集的地方。
关注微信：生信小博士
比如纤维化基因集： 打开网址：https://www.gsea-msigdb.org/gsea/msigdb/index.jsp 2.点击search 3.比如我对纤维…
数据挖掘题目：根据规则模板和信息表找出R中的所有强关联规则，基于信息增益、利用判定树进行归纳分类，计算信息熵的代码
一、（30分）设最小支持度阈值为0.2500, 最小置信度为0.6500。对于下面的规则模板和信息表找出R中的所有强关联规则：
S∈R，P（S，x ）∧ Q（S，y ）> Gpa…
ADAS数据平台实践总结
随着汽车智能化发展，adas数据分析变得越来越重要，此处根据个人认知对adas数据平台进行分析。
概述 adas数据一般来自于汽车厂商发布新车的前的 实际道路测试（路试），相对于其他数据，具有如下特征࿱…
数据分析实战 | 关联规则分析——购物车分析
目录
一、数据及分析对象
二、目的及分析任务
三、方法及工具
四、数据读入
五、数据理解
六、数据预处理
七、生成频繁项集
八、计算关联度
九、可视化 一、数据及分析对象
数据集链接：Online Retail.xlsx
该数据集记录了2010年12月01日至2011年12月09日…
Shopee店铺ID是什么？Shopee店铺id怎么看？——站斧浏览器
Shopee店铺ID和产品ID是Shopee网站上两个非常重要的标识符，可以用来方便地查找店铺和商品。，因此掌握了如何查看Shopee店铺ID和产品ID的方法是很有必要的。
Shopee店铺ID是什么？
首先，我们需要了解Shopee店铺ID是什么࿰…
【SPSS】基于RFM+Kmeans聚类的客户分群分析（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
数据分析与数据挖掘期末复习，附例题及答案
文章目录 一、概述1.数据挖掘能做什么？2.数据挖掘在哪些方面有应用？3.数据挖掘与数据分析的区别？4.数据挖掘的四大类模型5.什么是数据挖掘？6.数据挖掘的常用方法？ 二、数据1.余弦相似度、欧几里得距离2.近似中位数 三、…
京东平台数据分析：2023年9月京东扫地机器人行业品牌销售排行榜
鲸参谋监测的京东平台9月份扫地机器人市场销售数据已出炉！ 根据鲸参谋平台的数据显示，9月份，京东平台扫地机器人的销量近14万，环比增长约2%，同比降低约4%；销售额为2.9亿，环比降低约4%࿰…
DataFrame的基本用法
目录
一、定义/读取 DataFrame
1.定义DataFrame
2.定义一个空的DataFrame
3.从csv中读取DataFrame
二、读取行列
1.直接读取行列
2.使用 .loc() 读取行列
3.使用 .iloc() 读取行列
4.读取前 n 行
5.读取并修改列名
6.读取并修改行名
7.df的转置
三、删除和增加 …
Nat. Med. | 基于遗传学原发部位未知癌症的分类和治疗反应预测
今天为大家介绍的是来自Alexander Gusev团队的一篇论文。原发部位未知癌症（Cancer of unknown primary，CUP）是一种无法追溯到其原发部位的癌症，占所有癌症的3-5％。CUP缺乏已建立的靶向治疗方法，导致普遍预后…
京东大数据：2023年Q3美妆行业数据分析报告
近日，珀莱雅发布三季报，今年前三季度，公司实现营收52.49亿元，同比增长32.47%。分季度看，“618大促”所在Q2业绩增长最为亮眼，营收同比增速达到46.22%，进入Q3，在电商大促缺席情况下&a…
京东数据分析：2023年9月京东笔记本电脑行业品牌销售排行榜
鲸参谋监测的京东平台9月份笔记本电脑市场销售数据已出炉！ 9月份，笔记本电脑市场整体销售下滑。鲸参谋数据显示，今年9月份，京东平台上笔记本电脑的销量将近59万，环比下滑约21%，同比下滑约40%；销…
一日一技：Python如何同时调用多个GPT的API？
相信很多同学或多或少都在Python中使用过GPT API，通过Python安装openai库，来调用GPT模型。
OpenAI官方文档中给出了一个示例，如下图所示：
OpenAI API 测试 如果你只有一个API账号，那么你可能不觉得这样写有什么问题。…
淘宝/天猫获取卖出的商品订单列表订单详情 API
seller_order_list-获取卖出的商品订单列表
公共参数
获取请求地址测试key
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search…
数据分析及治理工程师
背景
企业的信息化建设需要数据，那么数据是很重要的，数据分析的目的在于为业务服务，而为了更好的达成这一目的。对于元数据的采集和主数据的分析，以及数据标准的制定，和数据质量的保证是非常重要的。
主数据管理面临…
三、机器学习基础知识：Python常用机器学习库（Matplotlib）
文章目录 1、Matplotlib2、基本结构3、pyplot模块3.1 pyplot.plot()函数的使用3.2 其他常见属性设置3.3 子图的绘制 4、其他类型的图表4.1 竖向条形图4.2 散点图4.3 饼图 1、Matplotlib
matplotib库中有非常多的可视化绘图类，内部结构复杂。受 MATLAB 提供的绘图功…
将用友U8的数据可视化需要哪些工具？
将金蝶U8的数据可视化需要一个奥威BI数据可视化工具，以及一套专为用友U8打造的标准化BI数据分析方案。
奥威BI SaaS平台：一键链接用友U8，立得报表
别的BI软件围绕用友U8的数据做可视化：1、准备配置环境；2、下载安装配…
Python数据挖掘：自动售货机销售数据分析与应用
📕作者简介：热爱跑步的恒川，致力于C/C、Java、Python等多编程语言，热爱跑步，喜爱音乐的一位博主。 📗本文收录于恒川的日常汇报系列，大家有兴趣的可以看一看 📘相关专栏C语言初阶、C…
基础课6——计算机视觉
1.计算机视觉的概念与原理
1.1概念
计算机视觉（CV）是人工智能的一个重要发展领域，属于计算机科学的一个分支，它企图让计算机能像人类一样通过视觉来获取和理解信息。计算机视觉的应用非常广泛，包括但不限于图像识别、…
【Python数据挖掘 基础篇】Python数据挖掘是个啥？
作者：Insist-- 个人主页：insist--个人主页 梦想从未散场，传奇永不落幕，博主会持续更新优质网络知识、Python知识、Linux知识以及各种小技巧，愿你我共同在CSDN进步 目录
一、了解数据挖掘
1. 数据挖掘是什么ÿ…
淘宝/天猫获取购买到的商品订单物流信息 API分享
开发背景：
淘宝是中国最大的电商平台之一，拥有海量的用户和卖家。为了方便卖家和买家之间的交易，淘宝提供了订单物流API的开发接口。通过这个接口，卖家可以快速获取到买家的订单信息以及物流状态，从而更好地管理自己的…
大数据之陌陌聊天数据分析案例
目录 目标需求
数据内容
基于Hive数仓实现需求开发
1.建库建表、加载数据
2.ETL数据清洗
3需求指标统计 目标需求
基于Hadoop和hive实现聊天数据统计分析，构建聊天数据分析报表
1.统计今日总消息量
2.统计今日每小时消息量，发送和接收用户数
3.…
分类算法-逻辑回归与二分类
1、逻辑回归的应用场景
广告点击率是否为垃圾邮件是否患病金融诈骗虚假账号
看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器。
2、 逻辑回归的原理
2.1 输入 逻辑回归的输入就是一个线性…
这应该是关于回归模型最全的总结了（附原理+代码）
本文将继续修炼回归模型算法，并总结了一些常用的除线性回归模型之外的模型，其中包括一些单模型及集成学习器。
保序回归、多项式回归、多输出回归、多输出K近邻回归、决策树回归、多输出决策树回归、AdaBoost回归、梯度提升决策树回归、人工神经网络、随…
微信小程序入门及开发准备，申请测试号以及小程序开发的两种方式，目录结构说明
目录
1. 介绍
1.1 优点
1.2 开发方式
2. 开发准备
2.1 申请
2.2 申请测试号
2.2 小程序开发的两种方式
2.3 开发工具
3. 开发一个demo
3.1 创建项目
3.2 配置
3.3 常用框架
3.3 目录结构说明
3.4 新建组件 1. 介绍
1.1 优点
是一种不需要下载安装即可使用的应用…
游戏数据分析对于运营游戏平台的重要性
游戏数据分析对于运营游戏平台具有至关重要的意义，它可以提供深入的见解，帮助了解玩家行为、偏好和互动，从而优化游戏体验，提高玩家参与度和留存率。 首先，通过游戏数据分析，运营者可以了解玩家在游戏中的表…
淘宝官方开放平台API接口获得店铺的所有商品、商品id、商品标题、销量参数调用示例
在电商平台中，获取店铺所有商品是一个非常常见的需求。这个功能允许用户一次性获取指定店铺中的所有商品信息，方便用户对店铺的商品进行浏览和筛选。下面将对获取店铺所有商品接口的功能进行介绍。
获取全部商品信息：通过调用获取店铺所有商…
Python数据挖掘：入门、进阶与实用案例分析——基于非侵入式负荷检测与分解的电力数据挖掘
文章目录 摘要01 案例背景02 分析目标03 分析过程04 数据准备05 属性构造06 模型训练07 性能度量08 推荐阅读赠书活动 摘要 本案例将根据已收集到的电力数据，深度挖掘各电力设备的电流、电压和功率等情况，分析各电力设备的实际用电量，进而为电…
Python数据挖掘之电力系统负荷检测与分解
文章目录 前言1. 案例背景2. 分析目标3. 分析过程4. 数据准备4.1 数据探索4.2 缺失值处理 5. 属性构造5.1 设备数据5.2 周波数据 6. 模型训练7. 性能度量8. 推荐阅读与粉丝福利 前言 本案例将根据已收集到的电力数据，深度挖掘各电力设备的电流、电压和功率等情况&am…
CT 扫描的 3D 图像分类-预测肺炎的存在
介绍
此示例将展示构建 3D 卷积神经网络 (CNN) 所需的步骤，以预测计算机断层扫描 (CT) 扫描中是否存在病毒性肺炎。2D CNN 通常用于处理 RGB 图像（3 通道）。3D CNN 就是 3D 的等价物：它以 3D 体积或一系列 2D 帧（例如 CT 扫描中的切片）作为输入，3D CNN 是学习体积数据表…
数据挖掘神器Orange初步使用
文章目录 安装示例项目展示鸢尾花数据 安装
可以在官网下载，地址为Orange，如果已经装了Anaconda，则可在Anaconda Navigator中找到一个非常猥琐的图标，下面写着Orange3，可以点击Install，装完之后点Launch就…
1688阿里巴巴中国站电商数据官方平台API接口按图搜索1688商品（拍立淘）响应示例说明
按图搜索1688商品数据接口的用途是帮助用户通过上传图片来搜索相似的商品，或者通过图片链接获取商品详情信息、SKU信息、销量信息等。
1688.item_search_img-按图搜索1688商品（拍立淘） 公共参数
请求地址: 注册调用key请求接入
名称类型必…
零代码复现-TCGA联合GEO免疫基因结合代谢基因生信套路（三）
前面的分析中，整理好的关键基因集表达谱矩阵，接下来就准备分子亚型的相关分析。
六、一致性聚类构建分子亚型
在6.TCGA和GEO差异基因获取和预后数据的整理\TCGA文件中获取文件 准备一个生存数据和表达谱矩阵，这里需要注意的是，…
电商接口api数据比价接口推荐
当前，受诸多因素的影响，经济下行，在日趋激烈的市场竞争中，很多企业也都面临着越来越大的生存压力，企业的盈利空间也逐渐被压缩。因此，越来越多的企业在控制成本方面更下功夫，这也就对企业采购提…
基于非侵入式负荷检测与分解的电力数据挖掘
基于非侵入式负荷检测与分解的电力数据挖掘
在这里插入图片描述
**摘要：本案例将根据已收集到的电力数据，深度挖掘各电力设备的电流、电压和功率等情况，分析各电力设备的实际用电量，进而为电力公司制定电能能源策略提供一定的参…
【贝叶斯回归】【第 1 部分】--pyro库应用
Bayesian Regression - Introduction (Part 1) — Pyro Tutorials 1.8.6 documentation 一、说明 我们很熟悉线性回归的问题，然而，一些问题看似不似线性问题，但是，用贝叶斯回归却可以解决。本文使用土地平整度和国家GDP的关系数据…
第三章:人工智能深度学习教程-基础神经网络(第一节-ANN 和 BNN 的区别)
你有没有想过建造大脑之类的东西是什么感觉，这些东西是如何工作的，或者它们的作用是什么？让我们看看节点如何与神经元通信，以及人工神经网络和生物神经网络之间有什么区别。
1.人工神经网络：人工神经网络（…
第一章:深度学习教程
深度学习是机器学习的一个分支，完全基于人工神经网络，因为神经网络要模仿人脑，所以深度学习也是对人脑的一种模仿。
本深度学习教程是您学习有关深度学习的一切的一站式指南。它涵盖了基本和高级概念，为初学者和专业人士提供了对…
淘宝商品详情接口，淘宝详情页接口，宝贝详情页接口，商品属性接口,商品信息查询,商品详细信息接口,h5详情,淘宝API接口演示案例
淘宝详情接口API可以帮助简化运营流程，更加专注于产品本身。通过调用API，可以快速获取到商品的标题、图片、价格等信息，省去了手动编写和编辑的繁琐过程。这样就可以更快地上架新品、更新商品信息，提高运营的效率。
taobao.item_…
Excel自学三部曲_Part3：Excel工作场景实战（二）
文章目录 二、基础概念、表格结构与常用函数1. 业务背景、字段含义2. 筛选、排序、冻结窗格3. 状态栏数据提示、调整数据显示格式4. 公式、引用、溢出5. 连接和提取函数、时间函数、IF和IFS函数、SUMIF和SUMIFS函数（1）每个业务组的成交额有多少ÿ…
京东平台双11全品类完整销售数据回顾（京东大数据-京东数据采集-京东数据接口）
今年的双十一，大家依然没有等到各大平台的官方战报。
所以，对于绝大部分品牌、商家、咨询公司乃至有数据研究需求的小伙伴来说，很难了解到今年大促消费者的真实消费水平。 为此，鲸参谋简单整理出了10个京东大类目（含5…
基于Bagging集成学习方法的情绪分类预测模型研究（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
“产业大数据”助推园区实现可持续发展！
产业园区在现代经济体系中扮演着重要角色，不仅是地方经济的重要支柱，更是企业发展的舞台。产业园区要想实现可持续的长远发展，不仅需要不断的招引优质企业入驻，更要时刻关注园内的企业，培育有潜力的企业，…
高斯过程回归 | GPR高斯过程回归
高斯过程回归（Gaussian Process Regression, GPR）是一种强大的非参数回归方法，它通过假设数据是从一个高斯过程中生成的来预测新的数据点。 高斯过程是一种定义在连续输入空间上的随机过程，其中任何有限集合的观测值都呈多变量高斯分布。 实现GPR的Python代码import numpy …
保序回归：拯救你的校准曲线（APP）
保序回归：拯救你的校准曲线（APP） 校准曲线之所以是评价模型效能的重要指标是因为，校准曲线衡量模型预测概率与实际发生概率之间的一致性，它可以帮助我们了解模型的预测结果是否可信。一个理想的模型应该能够准确地预测…
【多项式回归】拟合有噪声的正弦曲线
先导入模块并创建数据：
from sklearn.preprocessing import PolynomialFeatures as PF
from sklearn.linear_model import LinearRegression
import numpy as nprnd np.random.RandomState(42) #设置随机数种子
X rnd.uniform(-3, 3, size100)
y np.sin(X) rnd…
Python：容器之集合
创建集合
age {1, 2, 3, 4, 5}
age set([1, 2, 3, 4, 5])
# 这两种方式的输出相同：
{1, 2, 3, 4, 5} 删除元素
age {1, 2, 3, 4, 5}
# age为：
{1, 2, 3, 4, 5}age.remove(5)
# age为：
{1, 2, 3, 4} 添加元素
age {1, 2, 3, 4, 5}
# ag…
图及谱聚类商圈聚类中的应用
背景
在O2O业务场景中，有商圈的概念，商圈是业务运营的单元，有对应的商户BD负责人以及配送运力负责任。这些商圈通常是一定地理围栏构成的区域，区域内包括商户和用户，商圈和商圈之间就通常以道路、河流等围栏进行分隔。…
国家数据局正式揭牌，数据专业融合型人才迎来发展良机【文末送书五本】
国家数据局正式揭牌，数据专业融合型人才迎来发展良机 国家数据局正式揭牌，数据专业融合型人才迎来发展良机 摘要书籍简介数据要素安全流通Python数据挖掘：入门、进阶与实用案例分析数据保护：工作负载的可恢复性Data Mesh权威指南分…
一文读懂：到底什么是CDN？
各位ICT的小伙伴们好呀！
大家一定经常听到CDN这个词，很多不了解的人，可能会听的云里雾里。
今天我们就来具体聊聊CDN这个技术。
CDN是什么？它为什么如此重要？
CDN（内容分发网络，Content Del…
京东数据分析：2023年Q3户外鞋服市场分析报告（冲锋衣行业销售数据分析）
从露营、骑行、徒步、桨板、垂钓、飞盘、滑雪到如今的city walk，近两年户外运动已经成为了年轻人新的生活方式。户外运动的爆发也刺激了人们对于鞋服在穿搭、场景化、专业性功能等方向的需求，户外鞋服市场迎来增长。
而全国性的降温则带给目前的户外鞋服…
数据降维(Data Dimensionality Reduction)
数据降维 Data Dimensionality Reduction 概念基本思想分类基本原理主成分分析（PCA降维）principal component analysis概念原理 概念
数据降维是在某些特定条件下，减少数据中变量的个数，使得数据的维数降低。
基本思想
数据降…
CS224W5.1——消息传递和节点分类
从之前的文中，学习了如何使用图表示学习进行节点分类。在这节中，将讨论另一种方法，消息传递。将引入半监督学习，利用网络中存在的相关性来预测节点标签。其中一个关键概念是集体分类，包括分配初始标签的局部分类器、捕…
【咖啡品牌分析】Google Maps数据采集咖啡市场数据分析区域分析热度分布分析数据抓取瑞幸星巴克
引言
咖啡作为一种受欢迎的饮品，已经成为我们生活中不可或缺的一部分。随着国内外咖啡品牌的涌入，新加坡咖啡市场愈加多元化和竞争激烈。
本文对新加坡咖啡市场进行了全面的品牌门店数占比分析，聚焦于热门品牌的地理分布、投资价值等。通过…
我若拿出这个大数据分析工具，阁下又该如何应对？
职场信息茧房真的好可怕，还有人不知道大数据分析工具都到了能自动生成BI报表的程度了，居然还在苦哈哈地从零做分析，增加不必要的工作量。
金蝶云星空、云星辰、K3、KIS用户；用友U8、U9、NC用户：
登录奥威BI大数据分析…
KNN（K近邻）水仙花的分类(含答案)
题目 以下采用K-NN算法来解决水仙花的分类问题，每个样本有两个特征，第一个为水仙花的花萼长度，第二个为水仙花 的花萼宽度，具体数据见表， 1）设置k3， 采用欧式距离，分析分类精度为多少…
Python 字典(Dictionary) get() 函数返回指定键的值
Python 字典(Dictionary) get() 函数返回指定键的值。
语法 get()方法语法：
dict.get(key[, value]) 参数 key – 字典中要查找的键。 value – 可选，如果指定键的值不存在时，返回该默认值。 返回值 返回指定键的值，如果键不在字…
京东大数据平台-第三方京东平台数据查询分析软件系统
对于电商商家来说，做好电商数据分析是电商运营中的重要一环，且能为电商商家带来诸多好处，例如：
1、提高销售额：通过数据分析可以更好地把握消费者的购买行为，从而更好地推出营销活动，提高销售额…
数据分析实战 | KNN算法——病例自动诊断分析
目录
一、数据及分析对象
二、目的及分析任务
三、方法及工具
四、数据读入
五、数据理解
六、数据准备
七、模型训练
八、模型评价
九、模型调参
十、模型改进
十一、模型预测 一、数据及分析对象
CSV文件——“bc_data.csv”
数据集链接：https://dow…
京东数据运营与分析：如何全面获取电商销售数据？
随着电商行业的快速发展，数据分析成为了电商运营中一个非常重要的环节，这一环往往能够帮助品牌方来提升销售业绩和管理效率。然而，如何获取到电商平台中详细、全面的销售数据是很多电商品牌方所关心的问题，事实上，第三…
15分钟，不，用模板做数据可视化只需5分钟
测试显示，一个对奥威BI软件不太熟悉的人来开发数据可视化报表，要15分钟，而当这个人去套用数据可视化模板做报表，只需5分钟！
数据可视化模板是奥威BI上的一个特色功能板块。用户下载后更新数据源，立即就能获…
数据分析场景下，企业如何做好大模型选型和落地？
在数据驱动的数字化时代，有效的数据分析已成为企业成功的关键因素。而随着大模型带来能力突破，让AI与数据分析相互结合，使分析结果更好支撑业务，促进企业内部数据价值释放，成为了当下企业用户尤为关注的话题。 如何按照…
1688商品评论API接口(评论内容|日期|买家昵称|追评内容|评论图片|评论视频..）
一般来说，1688商品评论API接口可以用于获取1688平台上商品评论的数据。通过该接口，您可以获取到商品评论的详细信息，包括评论内容、评论时间、评论者信息等。
要使用1688商品评论API接口，您需要完成以下步骤：
在1688…
数据挖掘题目：设ε= 2倍的格网间距，MinPts = 6, 采用基于1-范数距离的DBSCAN算法对下图中的实心格网点进行聚类，并给出聚类结果（代码解答）
问题 代码
import matplotlib.pyplot as plt
import numpy as np
from sklearn.cluster import DBSCAN
#pip install matplotlib
#pip install numpy
#pip install scikit-learn
# 实心格网点的坐标
solid_points np.array([[1, 1], [2, 1],[3, 1], [1, 2], [2, 2], [3, 2],[…
基于Python的南京二手房数据可视化分析的设计与实现
点我完整下载：基于Python的南京二手房数据可视化分析的设计与实现.docx 基于Python的南京二手房数据可视化分析的设计与实现 "Design and Implementation of Python-based Visualization Analysis for Nanjings Second-hand Housing Data" 目录 目录 2 摘…
京东运营数据分析（京东数据采集）：2023年10月京东护肤行业品牌销售排行榜
鲸参谋监测的京东平台10月份护肤市场销售数据已出炉！ 鲸参谋数据显示，2023年10月份，京东平台上护肤市场的销量为2000万，环比增长约28%，同比降低约26%；销售额为25亿，环比增长约24%，同…
京东数据产品推荐-京东数据挖掘-京东平台2023年10月滑雪装备销售数据分析
如今，滑雪正成为新一代年轻人的新兴娱乐方式，借助北京冬奥会带来的发展机遇，我国冰雪经济已逐渐实现从小众竞技运动到大众时尚生活方式的升级。由此也带动滑雪相关生意的增长，从滑雪服靴到周边设备，样样都需要消费者掏…
用照片预测人的年龄【图像回归】
在图像分类任务中，卷积神经网络 (CNN) 是非常强大的神经网络架构。 然而，鲜为人知的是，它们同样能够执行图像回归任务。
图像分类和图像回归任务之间的基本区别在于分类任务中的目标变量（我们试图预测的东西）不是连续…
最新报告！11月美国市场的“遥遥领先”来了，该爆的单总会来！
今年周期最长的大促节点已接近尾声，美区市场的11月份的商品销售战绩已全面来袭：
保健类目竟弯道超车，交出了将近翻倍的成绩单；美妆个护、女装与女士内衣等“她经济”类目持续高涨且“辣眼”单品不断；家居大类目下的市…
QtiPlot for Mac v1.1.3(科学数据分析工具)
QtiPlot是一款跨平台科学绘图软件，它可以在Windows、Linux和Mac OS X等多个平台上运行。QtiPlot具有强大的数据分析和可视化功能，被广泛应用于学术界和工业界的数据处理和图形制作。
QtiPlot支持多种语言，包括但不限于英语、中文等ÿ…
无需繁琐编程 开启高效数据分析之旅！
不学编程做R统计分析：图形界面R Commander官方手册
R Commander是 R 的图形用户界面，不需要键入命令就可通过熟悉的菜单和对话框来访问 R 统计软件。 R 和 R Commander 均可免费安装于所有常见的操作系统——Windows、Mac OS X 和 Linux/UNIX。
本书作…
京东数据分析：2023年10月京东洗衣机行业品牌销售排行榜
鲸参谋监测的京东平台10月份洗衣机市场销售数据已出炉！ 10月份，洗衣机市场整体销售呈上升走势。鲸参谋数据显示，今年10月，京东平台洗衣机市场的销量为143万，环比增长约23%，同比增长约1%；销售额约…
有没有适合新手练习 Python 的做题类网站？
不多说了，直接上货~
1. LeetCode
LeetCode 是一个刷算法题的网站，里面有多种语言可选 ，题目分为简单、中等和困难三个级别，可以根据自己的水平进行选择，想进大厂的话，这可能是必不可少的一关。 网址&…
Python“牵手”淘宝商品详情接口运营场景，淘宝商品详情接口调用指南
淘宝商品详情数据接口是淘宝开放平台提供的一个API接口，用于获取商品详细信息。通过这个接口，开发者可以根据商品ID或商品链接，获取该商品的详细信息，包括标题、价格、销量、描述等。
要使用淘宝商品详情接口，首先需要…
京东大数据分析：2023年10月手机行业销量同比增长249%
今年双11，手机仍是竞争极为激烈的产品品类，各大手机厂商均在双11之前做足了准备，10月下旬，各电商平台双十一预售正式开启。而在双11大促节的参与下，10月份手机市场的整体销售也呈现增长趋势。 根据鲸参谋平台的数据显示…
GEE：kNN（k-最近邻）分类教程（样本制作、特征添加、训练、精度、最优参数、统计面积）
作者：CSDN @ _养乐多_
本文将介绍在Google Earth Engine （GEE）平台上进行kNN（k-最近邻）分类的方法和代码，其中包括制作样本点教程（本地、在线和本地在线混合制作样本点，合并样本点等），加入特征变量(各种指数、纹理特征、时间序列特征、物候特征等)，运行kNN（k-最近…
2023年Q3乳品行业数据分析（乳品市场未来发展趋势）
随着人们生活水平的不断提高以及对健康生活的追求不断增强，牛奶作为优质蛋白和钙的补充品，市场需求逐年增加。 今年Q3，牛奶乳品市场仍呈增长趋势。根据鲸参谋电商数据分析平台的相关数据显示，2023年7月-9月，牛奶乳品市…
Postgresql WAL日志解析挖掘（walminer 4.0）
1.下载walminer
https://gitee.com/movead/XLogMiner/releases
2.安装walminer
## 解压缩
[rootpg soft]# su - postgres
[postgrespg soft]$ tar -zxvf walminer_x86_64_v4.4.2.tar.gz## 创建 walminer 运行目录
[postgrespg soft]# mkdir -p /usr/local/walminer
[postgre…
基于自适应自回归模型的高级人工智能概念及其实现
基于自适应自回归模型的高级人工智能概念及其实现 摘要：一、引言：二、方法：三、讨论：四、结论：草稿实现计算代码解释摘要：
在人工智能研究领域中，预测未来的信息往往会遇到信息不明确的问题，尤其是在自回归模型中，这一问题尤为突出。本研究提出一个新颖的假设，将能自…
利用GEE对季节性地物进行分类的代码实现
采样点的选取
如果你采用监督学习的话，那就手动打标签 或者可以了解一下非监督学习
合成多季节多波段影像
首先，制作一个包含多波段的影像，每个波段作为随机森林分类器的一个feature输入，提升feature的丰富度以保证分类精度。…
SHAP（六）：使用 XGBoost 和 HyperOpt 进行信用卡欺诈检测
SHAP（六）：使用 XGBoost 和 HyperOpt 进行信用卡欺诈检测
本笔记本介绍了 XGBoost Classifier 在金融行业中的实现，特别是在信用卡欺诈检测方面。 构建 XGBoost 分类器后，它将使用 HyperOpt 库（sklearn 的 …
KNN算法案例-鸢尾花分类
KNN算法案例-鸢尾花分类 因为气候不同，造就性不同，统计鸢尾花的关键特征数据：花萼长度、花萼宽度、花瓣长度，花瓣宽度植物学家划分： setosa(中文名：山鸢尾)versicolor(中文名：杂色鸢尾)virginic…
【数据挖掘】国科大刘莹老师数据挖掘课程作业 —— 第三次作业
Written Part
1. 基于表 1 1 1 回答下列问题（min_sup40%, min_conf75%）： Transaction IDItems Bought0001{a, d, e}0024{a, b, c, e}0012{a, b, d, e}0031{a, c, d, e}0015{b, c, e}0022{b, d, e}0029{c, d}0040{a, b, c}0033{a, d, e}0038…
数据分析实战 | 多元回归——广告收入数据分析
目录
一、数据及分析对象
二、目的及分析任务
三、方法及工具
四、数据读入
五、数据理解
六、数据准备
七、模型构建
八、模型预测
九、模型评价 一、数据及分析对象
CSV格式的数据文件——“Advertising.csv”
数据集链接：https://download.csdn.net/d…
html动态爱心超文本标记代码，丝滑流畅有特效，附源码
直接上代码
<!DOCTYPE html>
<html><head><title></title><script src"js/jquery.min.js"></script></head><style>* {padding: 0;margin: 0;}html,body {height: 100%;padding: 0;margin: 0;background: #0…
全国各区县日照时长数据，逐月数据均有！
今天给大家分享的是全国各区县日照时长月数据，包括不同月份不同地区的日照时长。这些数据可以帮助我们了解不同地区在不同月份的日照情况，为能源利用、农业生产和气候变化研究提供参考。 基本信息
数据名称: 全国各区县日照时长月数据
数据格式: shpex…
logistic回归 目的、方程、损失函数
logistic回归多用于二分类问题。 文章目录 目的：给出x，当x满足条件时，y1的概率是多少。方程： y ^ σ ( ω T x b ) \hat y \sigma(\omega^Txb) y^σ(ωTxb)损失函数： J ( ω , b ) 1 m ∑ i 1 m L ( y ^ ( i ) …
SPSS二元Logistic回归
前言： 本专栏参考教材为《SPSS22.0从入门到精通》，由于软件版本原因，部分内容有所改变，为适应软件版本的变化，特此创作此专栏便于大家学习。本专栏使用软件为：SPSS25.0 本专栏所有的数据文件请点击此链接下…
京东数据挖掘（京东运营数据分析）：2023年宠物行业数据分析报告
随着社会经济的发展，人均收入水平逐渐提高，使得宠物成为越来越多家庭的成员，宠物数量不断增长。伴随养宠人群的增多，宠物相关产业的发展也不断升温，宠物经济规模持续增长。 根据鲸参谋平台的数据显示，在宠物…
时间序列预测中的4大类8种异常值检测方法(从根源上提高预测精度)
一、本文介绍
本文给大家带来的是时间序列预测中异常值检测，在我们的数据当中有一些异常值（Outliers）是指在数据集中与其他数据点显著不同的数据点。它们可能是一些极端值，与数据集中的大多数数据呈现明显的差异。异常值可能由于…
![[人工智能-综述-13]：第九届全球软件大会（南京）有感 -2-新型的云服务：AI即服务，传统的云服务：IaaS，PaaS，SaaS, DaaS](https://img-blog.csdnimg.cn/c38fd523d6e54110bbfebc1b7a475bdf.jpeg)
[人工智能-综述-13]：第九届全球软件大会（南京）有感 -2-新型的云服务：AI即服务，传统的云服务：IaaS，PaaS，SaaS, DaaS
目录
一、传统的云服务
1.1 概述
1.2 从大数据云服务走向AI云服务
二、AI即服务：新型的云服务
1.1 概述
1.2 基于AI服务的应用程序
1.3 基于大语言模型的AI应用程序
1.4 AI 编程云服务平台
1.5 大模型在AI应用程序编程平台中的应用的主要思想 一、传统的…
外贸人必备的跨境电商常见专有名词！
不管我们在做跨境电商运营、广告或者物流的时候总会遇到很多专有名词或者缩写，但我们接收信息又总是很零散的、不系统的。 所以这边为大家详细整理了常见的专有名词，大家可以保存下来不懂的时候实时查阅噢~ 01
什么是跨境电商 跨境电商是指分属不同关境…
Pandas 数据分析--数据提取
Pandas Excel 数据导入
Pandas库提供了一组强大的输入/输出（I/O）函数(简称为：I/O API)，用于读取和写入各种数据格式，目前已支持常见的多种外数据格式。
Pandas 常见读取方法如下表：
数据分析实战 | SVM算法——病例自动诊断分析
目录
一、数据分析及对象
二、目的及分析任务
三、方法及工具
四、数据读入
五、数据理解
六、数据准备
七、模型训练
八、模型应用及评价 一、数据分析及对象
CSV文件——“bc_data.csv”
数据集链接：https://download.csdn.net/download/m0_70452407/88…
数字孪生智慧园区：大数据驱动下的运营管理革新
随着物联网、大数据、云计算等技术的飞速发展，数字孪生技术应运而生，它将物理世界与数字世界紧密连接起来，为各行各业提供了前所未有的解决方案。智慧园区作为城市的重要组成部分，通过数字孪生技术，可以实现更加高效、…
知虾数据软件：电商人必备知虾数据软件，轻松掌握市场趋势
在当今数字化时代，数据已经成为了企业决策的重要依据。对于电商行业来说，数据更是至关重要。如果你想在电商领域中脱颖而出，那么你需要一款强大的数据分析工具来帮助你更好地了解市场、分析竞争对手、优化运营策略。而知虾数据软件就是这样一…
ChatGPT 4 OpenAI 数据分析动态可视化案例
数据分析可视化是一种将原始数据转化为图形或图像的方法，使得数据更易理解和解读。这种方法能够帮助我们更清楚地看到数据中的模式、趋势和关联性，从而更好地理解数据，并据此做出决策。
数据分析可视化的一些常见形式包括：
1. 折线图：常用于展示数据随时间的变化趋势。 …
Ubuntu中安装R语言环境并在jupyter kernel里面增加R kernel
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
《PySpark大数据分析实战》-01.关于数据
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
【资源分享】wukong-release数据集分享
【资源分享】wukong-release数据集分享
链接: https://pan.baidu.com/s/1ZShifhp-sUmxYoWPIgS_wA?pwdkdww 提取码: kdww --来自百度网盘超级会员v6的分享
数据挖掘之PCA-主成分分析
PCA的用处：找出反应数据中最大变差的投影（就是拉的最开）。
在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的 但是什么时候信息保留的最多呢？具体一点&#…
【已解决】ModuleNotFoundError: No module named ‘timm‘
问题描述 Traceback (most recent call last): File "main.py", line 48, in <module> import utils File "/media/visionx/monica/project/stable_signature/hidden/utils.py", line 26, in <module> import timm ModuleNotFound…
用Python进行数据分析：探索性数据分析的实践与技巧（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
基于Logistic回归实现二分类
目录
Logistic回归公式推导：
Sigmoid函数：
Logistic回归如何实现分类：
优化的方法：
代码：
1.创建一个随机数据集，分类直线为y2x：
为什么用np.hstack()增加一列1？
为什么返回…
数据分析实战 | 泊松回归——航班数据分析
目录
一、数据及分析对象
二、目的及分析任务
三、方法及工具
四、数据读入
五、数据理解
六、数据准备
七、模型训练
八、模型评价 一、数据及分析对象
CSV文件：o-ring-erosion-only.csv
数据集链接：https://download.csdn.net/download/m0_7…
数据探索：五款免费数据可视化工具概览
数据可视化是解读和传达数据的重要方式，而现在有许多免费的工具可供选择，让您在探索数据时更轻松、更有趣。以下是五款推荐的免费数据可视化工具：
Tableau Public： Tableau Public是一款功能强大的可视化工具，能够创建…
探索数据之美：优雅权重计算方法与Python实践
写在开头
在数据的世界里，我们常常需要通过各种方法为不同的数据点分配合理的权重。这是数据分析中至关重要的一环，它决定了模型的准确性和结果的可信度。本文将引导您探索数据分析中常用的权重计算方法，并通过清晰的Python代码实现，让您轻松驾驭权重的奥秘。
1.常见分类…
一文讲透Python函数的创建和调用
1.Python提供了函数作为完成某项工作的标准化代码块
Python本质上是一种编程语言，通过编写运行代码的方式实现工作目标。读者可以想象，如果针对机器学习或数据统计分析的每种方法或统计量计算都要用户自行编写代码，那么显然在很多情况下是无…
批量采集淘宝商品数据，有哪些方式可以实现？
引言
在当今的数字化时代，数据已经成为企业竞争的核心资源。对于电商行业来说，对商品数据的采集和分析更是关键。淘宝作为中国最大的电商平台之一，其丰富的商品数据和用户行为数据具有极高的价值。那么，如何批量采集淘宝商品数据…
TikTok数据分析：如何通过数字洞察提升内容质量？
引言 TikTok作为全球最热门的短视频平台之一，每天吸引着亿万用户发布和观看各类内容。在这个充满创意的舞台上，内容质量成为吸引关注和提高曝光度的关键。
而要达到这一目标，数字数据分析成为不可或缺的工具。本文将深入探讨如何通过TikTok数…
数据挖掘 朴素贝叶斯
直入正题，直接看代码： 这是一段判断是不是藏话的代码
import numpy as np# 数据采集（定义函数加载数据集）
def load_dataset():sent_list [[my, name, is, Devin],[you, are, stupid],[my, boyfriend, is, SB],[you, looks, ver…
线性分类器--分类模型
记录学习 北京邮电大学计算机学院 鲁鹏
为什么从线性分类器开始？
形式简单、易于理解 通过层级结构（神经网络）或者高维映射（支撑向量机）可以 形成功能强大的非线性模型
什么是线性分类器？
线性分…
TA-Lib学习研究笔记（一）
TA-Lib学习研究笔记（一）
1.介绍
TA-Lib，英文全称“Technical Analysis Library”,是一个用于金融量化的第三方库，涵盖了150多种交易软件中常用的技术分析指标，如RSI,KDJ,MACD, MACDEXT, MACDFIX, SAR, SAREXT, MA,SM…
SHAP（三）：在解释预测模型以寻求因果见解时要小心
SHAP（三）：在解释预测模型以寻求因果见解时要小心
与 Microsoft 的 Eleanor Dillon、Jacob LaRiviere、Scott Lundberg、Jonathan Roth 和 Vasilis Syrgkanis 合作撰写的关于因果关系和可解释机器学习的文章。
当与 SHAP 等可解释性工具配合…
校园门禁可视化系统解决方案
随着科技的持续进步，数字化校园在教育领域中的地位日益上升，各种智能门禁、安防摄像头等已遍布校园各个地方，为师生提供安全便捷的通行体验。然而数据收集分散、缺乏管理、分析困难等问题也逐渐出现，在这个数字化环境中࿰…
15个Pandas代码片段助力数据分析
大家好，Python的Pandas库是数据分析的基本工具，提供了强大的数据操作和分析功能。本文将探讨15个高级Pandas代码片段，这些代码片段将帮助简化数据分析任务，并从数据集中提取有价值的见解。
1. 过滤数据
import pandas as pd# 创…
维基百科文章爬虫和聚类：高级聚类和可视化
一、说明 维基百科是丰富的信息和知识来源。它可以方便地构建为带有类别和其他文章链接的文章，还形成了相关文档的网络。我的 NLP 项目下载、处理和应用维基百科文章上的机器学习算法。
在我的上一篇文章中，KMeans 聚类应用于一组大约 300 篇维基百科文…
单细胞个性化细胞注释
关于单细胞中级的课程内容，前面已经有了三次直播。欢迎回看～
单细胞直播一理解seurat数据结构与pbmc处理流程
单细胞直播二从GSE104154中理解seurat结构
单细胞直播三seurat数据结构与数据可视化 本期主要内容 本期指哪打哪，自己选定细胞&…
2021年全国a级景区数据，shp+csv数据均有
大家好~这周将和大家分享关于文化旅游和城乡建设相关的数据，希望大家喜欢~
今天分享的是2021年全国a级景区数据，数据格式有shpcsv，几何类型为点，已经经过清洗加工，可直接使用，以下为部分字段列表ÿ…
接入某音商品详情API接口操作示例，某音详情页提取，某音商品信息查询，某音商品属性查询，某音详情采集接口，某音用户数据接口
某音商品详情API接口的作用在于获取和访问商品信息。这个接口可以提供关于商品的各种详细信息，例如名称、价格、描述、图片、类别、库存和评价等。
此外，这个接口还支持商家上传和修改商品信息，实时获取订单信息并进行订单管理，包…
贝叶斯优化对lightGBM最优超参数进行估计
贝叶斯优化对lightGBM最优超参数进行估计 相对遗传算法和模拟退火来说，利用贝叶斯估计的算法对超参数调参有着明显的速度优势，因为是对历史运行参数进行高斯过程类的方法去估计，所以不需要在空间里反复随机的搜索，所以很快就能估计…
拼多多商品价格监控自动化API接口获取拼多多商品详情数据API接口
随着电子商务的飞速发展，越来越多的人选择在网上购物。在这个充满竞争的市场中，拼多多以其独特的商业模式和创新的营销手段，迅速崛起成为中国领先的电商平台之一。为了更好地满足消费者的需求，拼多多提供了丰富的API接口ÿ…
为何开展数据清洗、特征工程和数据可视化、数据挖掘与建模？
1.2为何开展数据清洗、特征工程和数据可视化、数据挖掘与建模 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解1.2节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学…
互联网大规模数据挖掘的目录
目录 目 录
第1章 数据挖掘基本概念 1 1.1 数据挖掘的定义 1 1.1.1 统计建模 1 1.1.2 机器学习 1 1.1.3 建模的计算方法 2 1.1.4 数据汇总 2 1.1.5 特征抽取 3 1.2 数据挖掘的统计限制 4 1.2.1 整体情报预警 4 1.2.2 …
（京东大数据分析）10月运动鞋服消费数据采集：服饰销量同比增长20%
10月份，在双11大促节的加持下，消费市场中不少品类的销售成绩均呈现增长。鲸参谋发现，运动鞋服消费类目也受到了市场及消费者的特别青睐，消费数据也有了明显增长，下面我们来看一看运动鞋服市场在10月的销售详情。 首先来…
什么是数据清洗、特征工程、数据可视化、数据挖掘与建模？
1.1什么是数据清洗、特征工程、数据可视化、数据挖掘与建模？ 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解1.1节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵…
数据可视化工具选择：功能、易用性与安全性
作为一名数据可视化大屏设计师，我深知选择一款合适的数据可视化工具对于提高工作效率和呈现效果的重要性。下面，我将从真正对我们数据可视化大屏设计师有用的角度为大家介绍选择数据可视化工具的一些必要条件和要求。
1. 功能强大与灵活定制
首先&…
Python数据科学视频讲解：数据挖掘与建模的注意事项
1.7 数据挖掘与建模的注意事项 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解1.7节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程，包括…
数据分析中的绝地反击：如何解救一个陷入困境的数据模型
写在开头
大家好，欢迎来到我的数据探险之旅！今天我要给大家分享一段关于数据分析的奇幻故事，一个关于销售量预测模型的冒险。在这次旅程中，我遇到了一个强大的对手——预测准确率的困境，而我必须通过各种招数来解救这…
python数据分析总结(pandas)
目录
前言
df导入数据
df基本增删改查
数据清洗
编辑
索引操作
数据统计
行列操作
编辑
df->types
数据格式化
编辑
日期数据处理 前言 此篇文章为个人python数据分析学习总结，总结内容大都为表格和结构图方式，仅供参考。 df导入数…
拼多多电商平台API接口，获取拼多多实时准确数据，获取产品销量、价格，sku图片及sku库存数据演示
拼多多商品详情API接口的作用是让开发者可以获取拼多多平台上特定商品的详细信息，包括商品的标题、价格、图片、规格、参数以及店铺信息等。通过这个接口，开发者可以轻松地获取商品的原始数据，便于进行数据分析、价格比较、爬取等操作。这为电…
万界星空科技/仓库管理WMS系统/免费仓库管理系统
仓库管理（仓储管理），指对仓库及仓库内部的物资进行收发、结存等有效控制和管理，确保仓储货物的完好无损，保证生产经营活动的正常进行，在此基础上对货物进行分类记录，通过报表分析展示仓库状态、…
Hiera实战：使用Hiera实现图像分类任务（一）
文章目录 摘要安装包安装timm 数据增强Cutout和MixupEMA项目结构计算mean和std生成数据集 摘要
现代层次视觉变换器在追求监督分类表现时增加了几个特定于视觉的组件。 这些组件虽然带来了有效的准确性和吸引人的FLOP计数，但增加的复杂性实际上使这些变换器比普通V…
数据算法之层次聚类——(待完善)
1.数据挖掘入门笔记——层次聚类 ( 浮光掠影)
2.聚类算法：Hierarchical Clustering层次聚类
3.一文读懂层次聚类（Python代码） 4.层次聚类 5.聚类分析（三） 层次聚类及matlab程序 5.聚类算法之层次聚类（…
SHAP（四）：NHANES I 生存模型
SHAP（四）：NHANES I 生存模型
这是一个 Cox 比例风险模型，基于来自 NHANES I 的数据以及来自 NHANES I 流行病学随访研究。 它旨在说明 SHAP 值如何能够以传统上仅由线性模型提供的清晰度解释 XGBoost 模型。 我们在数据中看到有趣…
数据之美：数据可视化的力量与必要性
在当今信息爆炸的时代，数据量呈指数级增长，它们是我们日常生活和工作中的重要组成部分。然而，数据本身是无生命的数字和统计，若不能有效地被理解、传达和利用，其潜力就难以实现。这正是数据可视化变得越来越重要的原因…
基于Python的书籍数据采集与可视化分析系统
温馨提示：文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介 基于Python的书籍数据采集与可视化分析系统旨在挖掘和分析海量图书数据背后的规律和趋势，为读者、出版商和数据分析师提供更深入的洞察和辅助决策。本系统依托于某瓣庞大的图书…
数据分析实战 | 逻辑回归——病例自动诊断分析
目录
一、数据及分析对象
二、目的及分析任务
三、方法及工具
四、数据读入
五、数据理解
六、数据准备
七、模型训练
八、模型评价
九、模型调参
十、模型预测 一、数据及分析对象
CSV文件——“bc_data.csv”
数据集链接：https://download.csdn.net/d…
PostgreSQL 机器学习插件 MADlib 安装与使用
MADlib 一个可以在数据库上运行的开源机器学习库，支持 PostgreSQL 和 Greenplum 等数据库；并提供了丰富的分析模型，包括回归分析，决策树，随机森林，贝叶斯分类，向量机，风险模型&#…
一文讲透Python机器学习中的K折交叉验证法
1.K折交叉验证法的基本原理
K折交叉验证是针对验证集法的另外一种改进方式，也广泛用于机器学习实践。具体的操作方式就是首先把样本全集采用分层抽样的方式随机划分为大致相等的K个子集，每个子集包含约1/K的样本，K的取值通常为5或者10&#…
【OJ比赛日历】快周末了，不来一场比赛吗？ #12.02-12.08 #15场
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
2023-12-02（周六） #4场比赛2023-12-03…
【玩转TableAgent数据智能分析】利用TableAgent进行教育数据分析
文章目录 前言九章云极（DataCanvas）介绍前期准备样例数据集体验1. 样例数据集-Airbnb民宿价格&评价 体验1.1 体验一1.2 体验二 教育数据的分析（TableAgent&ChatGLM对比）1. 上传文件2. 数据分析与对比2.1 分析一2.1.1 Tabl…
京东运营数据分析：2023年10月京东传统滋补行业数据分析报告
随着人们对身体健康的重视程度不断加深，滋补养生逐渐成为常态。以往关注滋补养生的大多为中老年群体，滋补类用品及保健品也大多聚焦这一用户。然而伴随“亚健康”问题的出现以及养生理念的普及、悦己消费趋势的凸显，年轻人也加入到滋补养生的…
数据分析为何要学统计学（11）——如何进行时间序列分析
时间序列是由随时间变化的值构成，如产品销量、气温数据等等，该数据集合是个有序序列，除了数值，没有其他因素。通过对时间序列展开分析，能够回答如下问题：
（1）被研究对象的活动特征是…
抖音生态融合：开发与抖音平台对接的票务小程序
为了更好地服务用户需求，将票务服务与抖音平台结合，成为了一个创新的方向。通过开发票务小程序，用户可以在抖音平台上直接获取相关活动的票务信息，完成购票、预订等操作，实现了线上线下的有机连接。
一、开发过程
1…
正则化实战( Lasso 套索回归,Ridge 岭回归)
Lasso 套索回归
导入包
import numpy as np
from sklearn.linear_model import Lasso
from sklearn.linear_model import SGDRegressor, LinearRegression原方程的计算结果
# 1. 创建数据集X，y
X 2 * np.random.rand(100, 20)
w np.random.rand(20, 1)
b np.r…
做数据分析为何要学统计学（10）——什么是回归分析
回归分析（regression analysis)是量化两种或两种以上因素/变量间相互依赖关系的统计分析方法。回归分析根据因素的数量，分为一元回归和多元回归分析；按因素之间依赖关系的复杂程度，可分为线性回归分析和非线性回归分析。我们通过…
pyhon数据分析A股股票策略实际买卖总结（每月末更新数据）
简介
本篇文章主要记录python数据分析a股股票选股后实际买卖的记录。
选股策略
低位寻股，筛选出低位股价股票已经做过调整的股票，做短线交易（不超过7天），不贪，小赚即走。分三个时段，开盘三十…
天猫数据分析（天猫数据查询平台）：11月天猫啤酒市场销售数据分析报告
在酒类市场中，被视作“气氛担当”的啤酒，是派对聚会或者自饮场景中的常客，消费人群广泛，如今，啤酒市场已进入存量时代，市场中啤酒的销售也在稳步增长。 鲸参谋数据显示，今年11月份，天…
数据挖掘任务一般流程
数据挖掘是从大量数据中提取有价值信息的过程。它涉及多个步骤，每一步都对整个数据挖掘过程至关重要。以下是数据挖掘任务的一般流程：
业务理解：
确定业务目标。评估当前情况。定义数据挖掘问题。制定一个初步计划来达到这些目标。
数据理…
淘宝以图搜索商品接口 图片搜索商品列表接口 拍立淘接口
item_search_img-按图搜索淘宝商品（拍立淘）
taobao.item_search_img 公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中…
分类与群组：解析分类和聚类分析技术
目录 写在开头1. 数据分类与聚类简介1.1 分类分析1.2 聚类分析1.3 对比分析2. 如何学习分类和聚类分析技术2.1 学习理论知识2.1.1 数学知识2.1.2 编程基础2.1.3 深入学习算法2.1.3.1 分类算法学习举例2.1.3.2 聚类算法学习举例2.1.4 参与实战2.2 应用成功案例2.2.1 分类算法成功…
大规模数据可视化（纯文字干货科普）
导读：探讨在处理大规模数据集时如何有效地进行数据可视化，如何在大数据分析中有效传达信息，包括交互式探索、实时仪表板和复杂数据故事讲述。
目录
大规模数据可视化的挑战
数据量问题
性能考量
实时数据
数据可视化的关键技术
数据预…
67_Pandas将切片应用于字符串，以提取任意位置和长度的部分
67_Pandas将切片应用于字符串，以提取任意位置和长度的部分
Python 字符串（内置类型 str）方法应用于 pandas.DataFrame 列（ pandas.Series），请使用 .str（str 访问器）。
例如&#x…
什么是数据可视化？数据可视化的优势、方法及示例
前言 在当今的数字时代，数据是企业和组织的命脉，生成的数据量呈指数级增长。这种被称为大数据的海量数据在洞察力和决策方面具有巨大的潜力。然而，如果没有一种有效的方法来分析和理解这些数据，它就会变得毫无意义和难以管理。这就…
打造‘产业大数据综合服务平台’，助力智慧园区建设！
随着大数据、人工智能、云计算、物联网等新一代信息技术的发展与应用，我国各类型园区正在向“智慧园区”转型升级，逐步开启数字化、智能化的运营管理模式。智慧园区的建设不仅需要基础设施的智慧化，更要实现园区规划、运营、管理、服务的智慧…
Course1-Week3-分类问题
Course1-Week3-分类问题 文章目录 Course1-Week3-分类问题1. 逻辑回归1.1 线性回归不适用于分类问题1.2 逻辑回归模型1.3 决策边界 2. 逻辑回归的代价函数3. 实现梯度下降4. 过拟合与正则化4.1 线性回归和逻辑回归中的过拟合4.2 解决过拟合的三种方法4.3 正则化4.4 用于线性回归…
【人工智能Ⅰ】实验6：回归预测实验
实验6 回归预测实验
一、实验目的
1：了解机器学习中数据集的常用划分方法以及划分比例，并学习数据集划分后训练集、验证集及测试集的作用。
2：了解降维方法和回归模型的应用。 二、实验要求
数据集（LUCAS.SOIL_corr-实验6数据…
假设检验和统计推断：从样本到总体
1. 写在开头
统计学中的假设检验和统计推断是从样本数据中对总体进行推断和判断的关键工具。本文将深入探讨假设检验的类型，并结合具体的场景和例子，展示不同类型假设检验的应用。
2. 单样本 t 检验
2.1 概述
单样本 t 检验（One-sample t-test）是一种用于比较一个样本的…
【EI会议征稿】第四届生物信息学与智能计算国际学术研讨会（BIC 2024）
第四届生物信息学与智能计算国际学术研讨会（BIC 2024）
2024 4th International Conference on Bioinformatics and Intelligent Computing
2024年第四届生物信息学与智能计算国际学术研讨会 （BIC 2024）将定于2024年1月26-28日在…
京东运营数据分析：10月京东奶粉行业销售数据分析
近年来，随着出生人口红利逐渐消逝，婴幼儿奶粉竞争进入红海时代，产品逐渐过剩。在这种情况下，我国奶粉市场进入调整阶段，企业开始将目光投向奶粉的品类细分领域，如有机奶粉、羊奶粉、特殊配方奶粉、成人奶粉…
数据可视化：解锁企业经营的智慧之道
在现代企业管理中，数据可视化已经成为了一项重要的工具。它不仅仅是简单地展示数据，更是提供了深入理解数据、做出更明智决策的方法。作为一名可视化设计从业人员，我经手过一些企业自用的数据可视化项目，今天就来和大家聊聊数据可…
【GEE笔记】在线分类流程，标注样本点、分类和精度评价
GEE在线分类流程
介绍
GEE（Google Earth Engine）是一个强大的地理信息处理平台，可以实现在线的遥感影像分析和处理。本文将介绍如何使用GEE进行在线的分类流程，包括标注样本点、分类和精度评价。本文以2020年5月至8月的哨兵2影像…
MES管理系统在非标制造企业中的应用
在当今制造业中，非标制造企业逐渐成为一种重要的存在。与传统的批量生产制造企业不同，非标制造企业主要特点是能够根据客户需求进行定制化生产。这种定制化的生产模式对企业的管理提出了更高的要求，同时也带来了更多的挑战。在非标制造企业中…
Python数据科学视频讲解：数据清洗、特征工程和数据可视化的注意事项
1.6 数据清洗、特征工程和数据可视化的注意事项 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解1.6节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程…
Python、Stata、SPSS怎么学？推荐一波学习资料
1.Python学习推荐书目
关于Python机器学习，推荐学习杨维忠、张甜所著的，清华大学出版社出版的《Python机器学习原理与算法实现》，以及张甜、杨维忠所编著的，清华大学出版社出版的《Python数据科学应用从入门到精通》，…
京东数据软件系统：京东销量和销额数据在哪里看？
京东平台店铺众多，行业同行也数不胜数，若想要在平台中更好的运营店铺，品牌需要做好数据分析。下面结合鲸参谋电商数据分析平台这一数据分析工具，我们来看一看品牌在做数据分析时需要注重哪些数据维度。 *行业数据
京东商家通过鲸…
CS224W6.3——图深度学习
在这篇中，将介绍图神经网络的架构。关键思想是，在GNNs中，根据局部网络邻域生成节点嵌入。gnn通常由任意数量的层组成，而不是单层，以集成来自更大上下文的信息。介绍了如何使用gnn来解决优化问题，以及它强大…
Python：容器之字典
创建空字典
doc {}
doc dict()
# 以上两种方式的输出相同
{} 创建字典：在{}中放入键值对
UA{Tom:360,Jack:420}
# UA为：
{Tom: 360, Jack: 420} 合并字典
dict1 {a: 1, b: 2}dict2 {c: 3, d: 4}dict1.update(dict2)
# dict1为：
{a: 1,…
API调用展示，淘宝、天猫、拼多多商品页面详情实时数据API接口，APP端原数据参数返回
商品详情API接口可以提供商品的基本信息，如名称、描述、价格、图片等，帮助电子商务平台展示和推荐商品。此外，还可以提供商品的库存信息、销售数据、评论信息等，帮助平台进行数据分析和管理。
item_get_app_pro-根据ID取商品详情…
高级数据分析方法与模型
前言
数据思维练习不仅要熟练地掌握了分析工具，还要掌握大量的数据分析方法和模型。
这样得出的结论不仅具备条理性和逻辑性，而且还更具备结构化和体系化，并保证分析结果的有效性和准确性。今天从以下6个维度36种分析模型和方法逐个简略介绍…
淘宝开放平台订单接口免申请审核接入规则
大家都知道，想要实现自动化批量获取淘宝的商品订单数据，离不开淘宝开放平台API接口。想要获取API调用权限，需要经过淘宝开放平台的严苛审核流程。并且，现在平台基本不开放新的应用权限了。像很多做ERP的公司，他们的客户…
十五、机器学习进阶知识：K-Means聚类算法
文章目录 1、聚类概述2、K-Means聚类算法原理3、K-Means聚类实现3.1 基于SKlearn实现K-Means聚类3.2 自编写方式实现K-Means聚类 4、算法不足与解决思路4.1 存在的问题4.2 常见K值确定方法4.3 算法评估优化思路 1、聚类概述
聚类（Clustering）是指将不同…
深度探索大数据分析：挖掘价值与洞察力
目录 写在开头1. 导论1.1 大数据的定义与特征1.2 大数据对业务和决策的影响1.3 大数据分析的基本原则2. 大数据技术与工具2.1 分布式计算框架2.2 数据存储与管理2.3 大数据处理与分析工具3. 数据采集与清洗3.1 数据源的多样性3.2 数据采集工具与技术3.3 数据清洗与预处理的重要…
从Excel到智能化：智能报表的演进与未来发展趋势 | 文末免费领取数据分析超大鼠标垫
摘要：本文由葡萄城技术团队于CSDN原创并首发。转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 报表的迭代历程
报表工具的诞生与计算机技术的出现和信息技术的进步密不可分。下图是报…
数据仓库与数据挖掘复习资料
一、题型与考点[第一种]
1、解释基本概念(中英互译解释简单的含义)； 2、简答题(每个10分有两个一定要记住)： ① 考时间序列Time series(第六章)的基本概念含义解释作用（序列模式挖掘的作用）； ② 考聚类(第五章)重点考…
1.PyTorch数据结构Tensor常用操作
import torch as t
t.__version__2.1.1从接口的角度来讲，对tensor的操作可分为两类：
torch.function，如torch.save等。另一类是tensor.function，如tensor.view等。
为方便使用，对tensor的大部分操作同时支持这两类接…
对于分类任务当样本较少时，什么算法较为合适？
当样本较少时，可以考虑使用以下算法：
1
朴素贝叶斯分类器（Naive Bayes）：朴素贝叶斯是一种简单而高效的分类算法，它假设所有特征都是相互独立的，并基于贝叶斯定理进行分类。由于其简单性和对小…
数据挖掘目标（客户价值分析）
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as snsIn [2]:
datapd.read_csv(r../教师文件/air_data.csv)In [3]:
data.head()Out[3]:
Start_timeEnd_timeFareCityAgeFlight_countAvg_discountFlight_mileage02011/08/182014/0…
数据可视化：解析跨行业普及之道
数据可视化作为一种强大的工具，在众多行业中得到了广泛的应用，其价值和优势不断被发掘和利用。今天就让我以这些年来可视化设计的经验，讨论一下数据可视化在各个行业中备受青睐的原因吧。 无论是商业、科学、医疗保健、金融还是教育领域&…
《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
如何通过api来批量抓取1688的商品数据？（电商API_key免费获取）
关于消费，有一句老话叫货比三家，在互联网时代，应该叫“货比三台”，台，自然指的是购物平台。买一样东西，淘宝上看一看，京东看一看，拼多多再看一看，总之呢，怎么…
Logistic 回归算法
Logistic 回归 Logistic 回归算法Logistic 回归简述Sigmoid 函数Logistic 回归模型表达式求解参数 $\theta $梯度上升优化算法 Logistic 回归简单实现使用 sklearn 构建 Logistic 回归分类器Logistic 回归算法的优缺点 Logistic 回归算法
Logistic 回归简述
Logistic 回归是一…
数据可视化免费化的双面影响探析
近年来数据可视化的免费化也越来越明显，今天就以我作为可视化设计师的经验来和大家分析一下，数据可视化工具免费化所带来的利与弊。 先从好处入手，最明显的就是免费化可以让数据可视化工具得到更广泛的使用。 免费数据可视化工具使得更多人可…
用电商API接口获取拼多多的商品详情数据
pinduoduo.item_get_app_pro-根据ID取商品详情原数据
公共参数
API请求地址
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_searc…
京东大数据分析（京东数据运营软件）：10月香水市场销售数据分析报告
随着经济发展及人们生活水平的提高，香水在人们生活中的地位慢慢变化着，曾经作为奢侈品的香水，逐渐转变为人们的日常用品。不过，在如今世界香水市场低迷的情况下，中国香水市场也受到影响。 鲸参谋数据显示，今…
深度解析异常值在数据分析中的重要性与应对策略
写在前面
在数据分析的过程中，异常值的存在常常是一个需要认真对待的问题。异常值可能影响分析的准确性，导致误导性的结论。本文将深入探讨以下异常值的应对策略，旨在为数据科学家们提供全面、易读、严谨的一些建议。
1.什么是异常值
异常…
数据降维：尽显多彩，更多降维方法解析
数据降维：解析常用方法及Python3.10实践
在数据分析领域，处理高维数据是一项重要的任务。为了更好地理解和利用数据，数据降维成为一种不可或缺的技术。本文将深入介绍几种常用的数据降维方法，包括它们的基本原理、应用场景、需要…
FineReport 高级教程：深入数据分析与报表设计
本人详解 作者：王文峰，参加过 CSDN 2020年度博客之星，《Java王大师王天师》 公众号：JAVA开发王大师，专注于天道酬勤的 Java 开发问题中国国学、传统文化和代码爱好者的程序人生，期待你的关注和支持！本人外号：神秘小峯 山峯 转载说明：务必注明来源（注明：作者：王文峰…
Python数据科学视频讲解：Python序列的概念及通用操作
2.10 Python序列的概念及通用操作 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解2.10节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程，…
《PySpark大数据分析实战》-06.安装环境准备
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
【玩转TableAgent数据智能分析】TableAgent全功能详解及多领域数据分析实践（下）数据分析过程及总结展望
6 TableAgent的数据分析过程解析
TableAgent的整个分析过程包括以下步骤，形成一个有机结构，让我们理清其工作原理。
6.1 Data Graph阶段
TableAgent首先绘制数据图，以解决问题。这个图形表示了问题的分解和细化，将大问题分解成…
数据可视化设计：让数据故事更有说服力
写在开头
在数字化的时代，数据如同一把锁住的宝剑，等待我们挥舞。然而，唯有通过巧妙运用数据可视化的原则和技术，我们才能真正解锁数据的力量，创造出令人信服的数据故事。本文将深入研究数据可视化设计的奥秘，揭示其中的魔法，让你在数据的海洋中游刃有余，用数据的语言…
做数据分析为何要学统计学（2）——如何估计总体概率分布
我们可以通过手头掌握的样本来估计总体的概率分布。这个过程由以下步骤组成。
第一步，我们采用Seaborn软件的histplot函数建立核密度图（一种概率密度图）。
import numpy as np
#输入样本数据
xnp.array([2.12906357, 0.72736725, 1.0515282…
深度盘点：100 个 Python 数据分析函数总结
经过一段时间的整理，本期将分享我认为比较常用的100个实用函数，这些函数大致可以分为六类，分别是统计汇总函数、数据清洗函数、数据筛选、绘图与元素级运算函数、时间序列函数和其他函数。
技术交流
技术要学会交流、分享，不建议…
0 NLP: 数据获取与EDA
0数据准备与分析
二分类任务，正负样本共计6W； 数据集下载
https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets/online_shopping_10_cats/online_shopping_10_cats.zip
样本的分布 正负样本中评论字段的长度 ，超过500的都…
CMS—评论功能设计
一、需求分析 1.1、常见行为 1.敏感词过滤 2.新增评论（作品下、评论下） 3.删除评论（作品作者、上级评论者、本级作者） 4.上级评论删除关联下级评论 5.逻辑状态变更（上线、下线、废弃...） 6.上逻辑状态变更…
人工智能与大数据的紧密联系
随着科技的飞速发展，人工智能（Artificial Intelligence，AI）和大数据（Big Data）已成为当今社会的热门话题。人工智能在许多领域的应用越来越广泛，而大数据则提供了支持和驱动AI技术的巨大资源。本…
京东数据分析：2023年10月京东打印机行业品牌销售排行榜
鲸参谋监测的京东平台10月份打印机市场销售数据已出炉！ 10月份，打印机市场整体销售下滑。鲸参谋数据显示，今年10月份，京东平台打印机的销量将近60万，环比降低约2%，同比降低约5%；销售额为4.4亿&a…
信息可视化在数字孪生中的应用：打造直观决策支持系统
在当今的数字化时代，数字孪生和信息可视化已成为推动各行业发展的重要力量。数字孪生为物理世界提供了一个虚拟的副本，而信息可视化则将复杂的数据以易于理解的方式呈现出来。两者之间的关系密切，相辅相成，为决策者提供了更全面、…
2023陇剑杯线上线下赛数据分析
好久没打过比赛了，对于这种偏蓝方的比赛我还是很喜欢 本文首发于：先知社区：https://xz.aliyun.com/t/13177 HW
hard web_1 题目内容：服务器开放了哪些端口，请按照端口大小顺序提交答案，并以英文逗号隔开(如…
电商淘宝爬虫API与淘宝官方开放平台API的区别以及如何选择适合自己的API接口
随着数字化时代的到来，数据已经成为企业竞争力的重要因素。为了获取数据，企业或个人常常需要使用API接口。常见的API接口包括爬虫API和官方开放平台API。本文将详细介绍这两种API接口的区别以及如何选择适合自己的API接口。
一、爬虫API与官方开放平台A…
《PySpark大数据分析实战》-11.Spark on YARN模式安装Hadoop
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
2010年全国地质灾害隐患点数据，shp/excel格式，含灾害类型、等级、经纬度坐标等字段
基本信息.
数据名称: 全国地质灾害隐患点数据
数据格式: Shp、Excel
数据时间: 2010年
数据几何类型: 点
数据坐标系: WGS84坐标系
数据来源：网络公开数据
数据字段：
序号字段名称字段说明1xzqhdm行政区划代码2xzqhmc行政区划名称3mc名称4z…
（分类）KNN算法- 参数调优
在此专栏的上一篇文章的基础上，进行交叉实验获取最佳的K值 上一篇文章：KNN算法案例-鸢尾花分类 数据拆分的过程： 交叉验证（Cross Validation） 是一种在机器学习中广泛使用的模型评估和参数调优方法。在训练模型时&…
996已明确违法，从此拒绝精神内耗！
之前一个禅道用户说，他在国外工作时主动加过两次班，然而被上司慰问了。上司特别严肃地跟他说：“请你不要再加班了，这让我很困扰。我们不加班，而且我无法向我的上司解释你为什么要加班，工作做不完可以明天做…
数据清洗、特征工程和数据可视化、数据挖掘与建模的主要内容
1.4 数据清洗、特征工程和数据可视化、数据挖掘与建模的内容 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解1.4节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学…
《PySpark大数据分析实战》-02.了解Hadoop
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
数据可视化私有化部署：为何成本居高不下？
尽管在可视化设计这行干了好多年，也接手过不少项目，但昂贵的私有化部署费用总能让我发出由衷的感叹：“这几十万一年也太贵了！”。可以预见，数据可视化软件私有化部署所带来的高昂成本，将是许多企业面临的问…
【数据挖掘】工具整理 - 期刊 - 会议 - 论坛/博客 - 数据集
文章目录 1 期刊2 会议3 论坛/博客4 数据集 1 期刊
Data Mining and Knowledge Discovery (DMKD)IEEE Transactions on Knowledge and Data Engineering (TKDE)Knowledge and Information Systems(KAIS)IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAM…
智慧水利-城市防汛调度大屏提升防汛工作的效率和准确性
近年来，水利自然灾害一直以层出不穷的强度和频率摧毁我们人类的家园。国内每年夏天的洪涝灾害一直困扰着长江流域地区，每年夏天微博上关于洪涝的热门新闻也是层出不穷。以近期出现的山西大雨为例，异常降雨造成山西省11个市76个县（…
‘DataFrame‘ object has no attribute ‘reindex_axis‘
文章目录 报错信息报错原因解决方案 关注公众号：『AI学习星球』 算法学习、4对1辅导、论文辅导或核心期刊可以通过公众号或CSDN滴滴我 报错信息 AttributeError: ‘DataFrame’ object has no attribute ‘reindex_axis’ 报错原因
Pandas版本升级到0.21.0起已弃用…
python数据分析总结(matplotlib)
目录
前言
目录
图表配置
绘图
线条样式(linestyle)
点标记(marker)
画布(figure)
坐标轴
图表组成
多图表
双y轴 前言 本片文章为个人python数据分析matplotlib学习总结文章，内容简洁，仅供参考。 图表配置 plt.rcParams["font.sans-ser…
【数据挖掘 | 相关性分析】Jaccard相似系数详解、关于集合的相关性（详细案例、附完详细代码实现和实操、学习资源）
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
数据仓库与数据挖掘小结
更加详细的只找得到pdf版本 填空10分 判断并改错10分 计算8分 综合20分 客观题 填空10分 判断并改错10分--错的要改 mooc中的--尤其考试题 名词解释12分 4个，每个3分 经常碰到的专业术语 简答题40分 5个，每道8分 综合 画roc曲线 …
![[原创][R语言]股票分析实战[2]:周级别涨幅趋势的相关性](https://img-blog.csdnimg.cn/direct/d641e306e9e44da5ad770067bc72d02a.png)
[原创][R语言]股票分析实战[2]:周级别涨幅趋势的相关性
[简介] 常用网名: 猪头三 出生日期: 1981.XX.XX QQ联系: 643439947 个人网站: 80x86汇编小站 https://www.x86asm.org 编程生涯: 2001年~至今[共22年] 职业生涯: 20年 开发语言: C/C、80x86ASM、PHP、Perl、Objective-C、Object Pascal、C#、Python 开发工具: Visual Studio、D…
淘宝商品价格变化监控，各大电商平台关键词搜索商品、商品详情API、品牌情报与品牌保护、价格监控、竞价比价API接入方案
淘宝关键词搜索商品API接口的作用主要是帮助开发者通过关键词搜索获取淘宝平台上的商品信息。通过这个接口，开发者可以在自己的应用或网站中实现类似淘宝平台的关键词搜索功能，让用户可以通过输入关键词来查找感兴趣的商品。
具体来说，淘宝关…
天猫数据平台-淘宝天猫数据-天猫销售数据分析：11月天猫平台滑雪运动装备行业销量翻倍！
随着天气变冷、冬季来临，迎来了疫情后的首个滑雪季，加之自冬奥会结束以来，大众参与冰雪运动的热度持续攀升，因此，冰雪运动的需求正集中释放。 根据相关数据显示，11月以来，全国滑雪场门票预订量较…
天猫数据分析平台-天猫销售数据查询软件-11月天猫平台冲锋衣市场销售运营数据分析
随着气温逐渐下降，保暖服饰迎来热销，冲锋衣的需求大增。如今冲锋衣已经不仅仅是户外运动的装备，还成为很多年轻人的日常穿搭和时尚的追求。 新的穿搭趋势也带来了巨大的市场机会。据公开数据显示，中国有冲锋衣生产及经营企业超过8…
如何在分类器的基础上进行cox回归?(python)
Cox回归是一种半参数模型，它基于一个称为Cox比例风险假设的假设，该假设认为不同个体之间的风险比例保持不变。换句话说，Cox回归假设风险因素对事件发生的影响是乘法关系，而不是加法关系。
在Python中，可以使用lifelin…
【期末复习向】文本理解与数据挖掘-名词解释
（一）什么是自然语言处理
1.自然语言处理（NLP）
从最广泛的意义上说，NLP指的是任何自动处理人类语言的程序
（二）一系列自然语言处理问题
2.NLP常用方法
基于规则的方法（基于人工标…
个人用户的数据之美：数据可视化助力解读
数据可视化是一种强大的工具，不仅可以为企业和专业人士提供见解，也对个人用户带来了许多实际的帮助。下面我就以一个数据可视化从业者的视角，来谈谈数据可视化对个人用户的益处： 首先对于个人用户来说，数据可视化可以让…
探索统计学：Python中的Statsmodels库统计推断
写在开头
统计推断是数据科学中的一个核心领域，它通过从样本中提取信息来对整个总体进行推断。在实际的数据分析中，我们常常需要了解样本的特征，并基于这些样本推断总体的性质。这正是统计学的魅力所在。在本文中，我们将深入研究统计推断的各个方面，着重介绍在Python中应…
快手商品采集API商品列表API商品详情数据API接口获取快手商品信息API
背景介绍
快手商城是快手平台上的一个电商购物频道，类似于淘宝、京东等商城，用户可以通过搜索或者快手 App 首页的一级入口进入。目前，快手商城正在招商中，今年双 11 期间，快手将力推短视频、直播间、店铺、商城这一全…
【Citespace】从Citespace开始的引文可视化分析
CiteSpace 译“引文空间”，是一款着眼于分析科学分析中蕴含的潜在知识，是在科学计量学、数据可视化背景下逐渐发展起来的引文可视化分析软件。由于是通过可视化的手段来呈现科学知识的结构、规律和分布情况，因此也将通过此类方法分析得到的可…
Python数据分析入门到进阶：数据清洗（含详细代码）
在上一篇文章中，介绍了如何使用python导入数据，导入数据后的第二步往往就是数据清洗，下面我们来看看如何使用pandas进行数据清洗工作
导入相关库
import pandas as pddataframe pd.read_csv(rC:/Users/DELL/data-science-learning/python数…
大数据驱动下的人口普查：新时代下的新变革
人口普查数据大屏，是指一种通过大屏幕显示人口普查数据的设备，可以将人口普查数据以可视化的形式呈现出来，为决策者提供直观、准确的人口数据。这种大屏幕的出现，让人口普查数据的利用变得更加高效、便捷。 如果您需要制作一张直观…
社交网络分析4（下）：社交网络链路预测分析、LightGBM框架、LLSLP方法（LightGBM 堆叠链路预测）、堆叠泛化 、社交网络链路预测分析的挑战
社交网络分析4 写在最前面LightGBMLightGBM简介GBDT的核心概念和应用LightGBM的特点LightGBM与GBDT的比较 LightGBM的原理与技术GBDT的传统算法LightGBM的创新算法 GOSS（Gradient-based One-Side Sampling）算法解析概念和工作原理算法的逻辑基础GOSS算法…
天猫数据分析（天猫查数据工具）：2023年天猫平台假发行业市场销售数据分析报告
如今，由于人们工作和生活的压力较大，居民脱发问题严重，且脱发群体倾向于80后和90后，逐渐向低龄化发展。除脱发外，在颜值经济的背景下，人们越来越注重外貌和形象，假发作为一种改善发型的工具&…
管理类联考——数学——真题篇——按题型分类——充分性判断题——蒙猜E
老老规矩，看目录，平均每年2E，跟2D一样，D是全对，E是全错，侧面也看出10道题，大概是3A/B，3C，2D，2E，其实还是蛮平均的。但E为1道的情况居多。 文章目录…
智慧能源：引领未来，共创绿色美好生活
随着科技的飞速发展，人类社会对能源的需求与日俱增。然而，传统的能源利用方式不仅带来了资源短缺的问题，还对环境造成了严重的污染。面对这一挑战，智慧能源应运而生，为我们的未来生活带来了无限可能。 智慧能源大屏是利…
数据之光：乡镇企业的发展利器——数据可视化
数据可视化是一项强大的工具，它不仅在大型企业中发挥关键作用，而且在乡镇企业中也能作出显著贡献。那么，数据可视化究竟能为乡镇企业做出什么样的贡献呢？ 首先，数据可视化为乡镇企业提供了更清晰的业务洞察。通过将庞大…
单病种质量管理上报系统该如何选型
01案例分析
以某三级医院为例，全院2020年需上报的病例总数约为7140份，在国家直报系统用时2个月上报总数约为1200份，按此进度计算，所有病例上报完毕还需耗时约10个月。
经过多层筛选，该院最终选择并使用了米软单病种质…
分享好用稳定快递查询api接口（对接简单）
提供实时查询和自动识别单号信息。稳定高效，调用简单方便，性价比高，一条链接即可对接成功。
使用数据平台该API接口需要先注册后申请此API接口。申请成功后赠送免费次数，可直接在线请求接口数据。
接口地址：https://…
4.PyTorch——优化器
import numpy as np
import pandas as pdimport torch as tPyTorch将深度学习中常用的优化方法全部封装在torch.optim中，其设计十分灵活，能够很方便的扩展成自定义的优化方法。
所有的优化方法都是继承基类optim.Optimizer，并实现了自己的优…
数字化转型导师坚鹏：中国工商银行人工智能与金融数字化转型培训
中国工商银行打造D-ICBC数字化转型战略，围绕“数字生态、数字资产、数字技术、数字基建、数字基因”五维布局，深入推进数字化转型，加快形成体系化、生态化实施路径，促进科技与业务加速融合，以“数字工行”建设推动“GB…
做数据分析为何要学统计学（10）——如何进行时间序列分析
时间序列是由随时间变化的值构成，如产品销量、气温数据等等。通过对时间序列展开分析，能够回答如下问题：
（1）被研究对象的活动特征是否有周期性（也称季节性）（2）被研究对…
【玩转TableAgent 数据智能分析】-- 数据分析不再是专业人士的专利
文章目录 前言一、TableAgent介绍TableAgent 数据分析智能体融合创新应用的新成果Table Family 二、注册TableAgent访问TableAgent注册用量 三、 体验TableAgent样例数据集体验选择样例数据集样例数据集进行数据分析数据图 样例数据集进行数据分析规定图表格式数据图 自定义数据…
航空港务数据大屏为航空港的可持续发展提供有力支撑！
随着经济的发展，不断加建与扩建民用机场，空港行业规模不断扩大。在不断引进和消化发达国家先进技术的同时，中国深入开展了对新技术和新材料的研究，极大地丰富和发展了中国的机场建设技术。且各项机场建设计划均已落实推进…
初识大数据应用，一文掌握大数据知识文集(1)
文章目录 🏆初识大数据应用知识🔎一、初识大数据应用知识(1)🍁 01、请用Java实现非递归二分查询？🍁 02、是客户端还是Namenode决定输入的分片？🍁 03、mapred.job.tracker命令的作用？…
数据挖掘概述+探索+预处理(期末)
1.数据挖掘概述 数据挖掘定义 :
数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息或知识的非平凡过程。 含义 : 数据源必须是真实的、大量的、含噪声的ÿ…
案例系列：营销模型_客户细分_无监督聚类
案例系列：营销模型_客户细分_无监督聚类
import numpy as np # 线性代数库
import pandas as pd # 数据处理库，CSV文件的输入输出（例如pd.read_csv）/kaggle/input/customer-personality-analysis/marketing_campaign.csv在这个项…
EasyV易知微助力智慧城市未来趋势发展——数字孪生城市
“智慧城市的未来趋势就是数字孪生”——《基于数字孪生的智慧城市》 城市数字化管理、智慧城市和数字孪生城市的发展是相互促进、逐步深化的过程。
城市数字化管理作为起点，奠定了信息化、数据化的基础；而智慧城市则将数字城市管理进一步升级ÿ…
数据分析 | 离散型数据的类别转换 | Python代码
有一列类别数据，共有25433条样本，38个类别，其中有24个类别有对应的大类，现需要将38个类别全部转换成其对应的大类，没有对应的大类的类别转换成unknown。 数据集见GitHub连接：https://github.com/ChuanTaoLa…
【数据挖掘】国科大苏桂平老师数据库新技术课程作业 —— 第一次作业
1
设关系 r r r 和 s s s 如下： r ( A B C ) a 2 b 3 c 2 a 2 b 1 c 1 a 2 b 2 c 1 a 1 b 1 c 2 s ( B C D ) b 1 c 1 d 1 b 2 c 1 d 1 b 2 c 2 d 1 \begin{array}{c} r&(A & B & C) \\ &\;\;a_2 & b_3 & c_2\; \\ &\;\;a_2 & …
外贸CRM系统的含义，外贸CRM有什么作用？
外贸CRM管理系统简单方便，配备多种功能，受到从业者的青睐。可以帮助外贸公司管理客户信息，进行准确营销，随后获得更多销售额。这篇文章向您介绍：外贸CRM是什么意思？以及外贸CRM系统的意义 1.外贸CRM是什么意…
电商系统中API接口防止参数篡改和重放攻击（小程序/APP）
说明：目前所有的系统架构都是采用前后端分离的系统架构，那么就不可能避免的需要服务对外提供API,那么如何保证对外的API的安全呢？
即生鲜电商中API接口防止参数篡改和重放攻击
目录
1. 什么是API参数篡改？
说明：AP…
多标签分类中常用指标和可视化例子
多标签分类中常用指标
1. 准确率（Accuracy）
准确率计算的是正确预测的标签比例。对于多标签分类，这通常是一个较为严格的指标，因为要求每个实例的所有标签都预测正确。 Accuracy 正确预测的标签数 总标签数 \text{Accuracy} \…
基于协同过滤的电影评论数据分析与推荐系统
温馨提示：文末有 CSDN 平台官方提供的学长 QQ 名片 :) 1. 项目介绍 随着社会的发展，人们生活水平的提高，欣赏电影逐渐成为人们闲暇时的主要娱乐方式之一。本文电影推荐系统是为了给顾客提供方便快捷的热门电影推荐以及查询电影资讯而建立的&…
基于LightGBM的肺癌分类模型：从预测到个体化治疗
一、引言 肺癌作为全球范围内主要死因之一，对人类健康产生了巨大威胁。准确的肺癌分类是制定有效治疗和预后评估的基础。传统的肺癌分类方法，如组织学类型和分期，虽然在临床实践中被广泛应用，但存在着诊断标准不一致、主观性强以及…
实战经验分享：开发同城外卖跑腿小程序
下文，小编将与大家一同探究同城外卖跑腿小程序的开发实战，包括但不限于技术选型、开发流程、用户体验等多个方面。 1.技术选型
在同城外卖跑腿小程序的开发中，技术选型是至关重要的一环。对于前端，选择了使用Vue.js框架ÿ…
SEO网站分类完整指南
你知道吗，适当的网站分类结构对于良好的SEO很重要？在我们的最新指南中了解如何使用网站分类。 对于那些已经在SEO领域工作了一段时间的人来说，你可能听说过网站分类法，因为它指的是网站。
当您提到网站的结构以及用户浏览的难易…
110基于matlab的混合方法组合的极限学习机和稀疏表示进行分类
基于matlab的混合方法组合的极限学习机和稀疏表示进行分类。通过将极限学习机（ELM）和稀疏表示（SRC）结合到统一框架中，混合分类器具有快速测试（ELM的优点）的优点，且显示出显着的分类精…
中国文化文物和旅游统计年鉴，数据含pdf、excel等格式，文本形式呈现，可预览数据
基本信息.
数据名称: 中国旅游统计年鉴
数据格式: pdf、xls不定
数据时间: 2012-2020年
数据几何类型: 文本
数据坐标系: ——
数据来源：文化和旅游部、网络公开数据
原名为《中国旅游统计年鉴》2020年后更名为《中国文化文物和旅游统计年鉴》ÿ…
ChatGPT 4 实战案例，Excel2021多条件查找
在Excel的使用过程中，查找操作是经常需要完成。例如下列实际需求： 多条件的查找应用，如果不知道用什么公式来完成，可以借助于ChatGPT4来帮忙实现。
Prompt::有一个Excel表格A6至A16为班级，B6至B16为姓名，D6至D16为考核得分，请根据A3单元格的班级和B3单元格的姓名来查找…
探索API的无限可能：从基础知识到高级应用
随着科技的快速发展，应用程序接口（API）已经成为了软件开发和集成中的重要组成部分。API为应用程序提供了一种通用的通信方式，使得不同的软件组件可以相互协作，从而创造出更为丰富和复杂的软件系统。本文将深入探讨API的…
数据可视化的魅力你了解吗？
你真的了解数据可视化吗？它所具备的真正魅力可能远远超出我们想象。数据可视化扩展了我们对数字和信息的简单理解，为我们揭示了一个无限可能的世界。今天我就以可视化行业的多年工作经验出发，和大家简单聊聊数据可视化的魅力。
数据的故事化…
爬虫API|批量抓取电商平台商品数据，支持高并发
随着互联网的快速发展，电商平台如雨后春笋般涌现，为消费者提供了丰富的购物选择。然而，对于许多商家和数据分析师来说，如何快速、准确地获取电商平台上的商品数据成为了一个难题。为了解决这个问题，我们开发了一个爬虫…
数据可视化：赋能企业决策的视觉力量
数据可视化在企业中扮演着至关重要的角色，为决策者提供了直观、深入的数据解读，帮助他们更好地理解业务状况并作出明智的决策。今天我就以可视化从业者的角度来简谈说说如何让数据可视化为更好地为企业服务。
首先，数据可视化可以让数据更易…
17个常用经典数据可视化图表与冷门图表
数据可视化是创建信息图形表示的过程。随着可视化技术的飞速发展，可以利用强大的可视化工具选择合适的数据可视化图表来展示数据。以下专业人士都应该知道的一些最重要的数据可视化图表。
常见数据可视化图表
饼图 饼图是最常见和最基本的数据可视化图表之一。饼图…
【经典LeetCode算法题目专栏分类】【第8期】滑动窗口：最小覆盖子串、字符串排列、找所有字母异位词、 最长无重复子串
《博主简介》 小伙伴们好，我是阿旭。专注于人工智能AI、python、计算机视觉相关分享研究。 ✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~ 👍感谢小伙伴们点赞、关注！ 《------往期经典推荐--…
异方差与多重共线性对回归问题的影响
异方差的检验
1.异方差的画图观察
2.异方差的假设检验，假设检验有两种，一般用怀特检验使用方法在ppt中，课程中也有实验，是一段代码。 异方差的解决办法 多重共线性 多重共线性可能带来的影响： 多重共线性的检验 多重…
数据清洗、特征工程和数据可视化、数据挖掘与建模的应用场景
1.5 数据清洗、特征工程和数据可视化、挖掘建模的应用场景 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解1.5节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应…
如何进行落地的数据分析，并提出落地的分析建议？
落地的数据分析是指将数据分析结果应用到实际业务中，以提供有价值的决策支持和改进方案。在进行落地的数据分析前，需要明确分析目标和需求，制定合适的分析方法和步骤，并在分析过程中不断优化和验证分析结果。以下是进行落地的数据…
【数据挖掘】国科大苏桂平老师数据库新技术课程作业 —— 第四次作业
云数据库研究
云计算与云数据库背景
云计算（cloud computing）是 IT 技术发展的最新趋势，正受到业界和学术界的广泛关注。云计算是在分布式处理、并行处理和网格计算等技术的基础上发展起来的，是一种新兴的共享基础架构的方法。它…
速卖通express商品采集案列（调用API采集支持测试）
全球速卖通 （英文名：AliExpress）是阿里巴巴旗下的面向国际市场打造的跨境电商平台，被广大卖家称为“国际版淘宝”。全球速卖通面向海外买家客户，通过支付宝国际账户进行担保交易，并使用国际物流渠道运输发货…
山海鲸开发者视角：帮助汽车制造商取得市场优势
山海鲸可视化是一款致力于数字孪生领域的产品，为各行各业提供专业的数据可视化解决方案。作为山海鲸开发者，我们在开发免费好用的数字孪生工具同时也希望能让大家通过多种解决方案了解我们软件的多种可能性，本文就为大家介绍我们的汽车行业解…
数据分析——数据预处理和数据管道构建
目标：对于拿到的一个任意数据集，编写类似数据加载程序，以适应深度学习的研究。 框架：
针对不同的时间序列数据集，可以总结如下关键步骤，以编写类似上述代码的深度学习数据处理流程：
1. **了解…
什么是数据可视化？数据可视化的流程与步骤
前言
数据可视化将大大小小的数据集转化为更容易被人脑理解和处理的视觉效果。可视化在我们的日常生活中非常普遍，但它们通常以众所周知的图表和图形的形式出现。正确的数据可视化以有意义和直观的方式为复杂的数据集提供关键的见解。
数据可视化定义
数据可视化…
Pytorch深度强化学习1-6：详解时序差分强化学习(SARSA、Q-Learning算法)
目录 0 专栏介绍1 时序差分强化学习2 策略评估原理3 策略改进原理3.1 SARSA算法3.2 Q-Learning算法 0 专栏介绍
本专栏重点介绍强化学习技术的数学原理，并且采用Pytorch框架对常见的强化学习算法、案例进行实现，帮助读者理解并快速上手开发。同时&#…
基于人气与协同过滤的图书推荐系统研究与实践（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
JVS规则引擎和智能BI（自助式数据分析）1.3新增功能说明
规则引擎更新功能
新增:
1、数据源新增Excel数据源；
Excel数据源功能允许用户将Excel文件作为数据源导入，并进行数据清洗、转换和处理，以实现数据的集成、可视化和深度分析，为决策提供强大支持，同时保持良好的交互性…
文件包含漏洞概述、特征、利用条件、危害、防御
文章目录 1. 漏洞概述2. 特征3. 利用条件4. 危害5. 防御措施案例网安学习路线 1. 漏洞概述
文件包含漏洞允许攻击者将外部文件注入到Web应用程序中。这通常发生在应用程序使用用户提供的输入来动态包含文件时，如配置脚本、语言本地化文件或用户数据。例如ÿ…
特征工程系列：特征选择的综合指南
特征工程系列：特征选择的综合指南
特征选择是从一个较大的特征集中选择最佳数量的特征的过程。这个特征选择过程有几个优点，也有各种各样的技术可用于这个特征选择过程。在这个内核中，我们将看到这些优点和各种特征选择技术。
目录
特征选…
数据的个人视角：数据可视化的意义
当谈论到数据可视化对个人用户的实用价值时，很多人可能会想到它仅适用于企业或专业领域。然而，数据可视化对个人用户同样具有重要的实用价值。本文将从可视化从业者的角度出发，简单说说数据可视化对个人用户的实用价值。
首先，数…
了解统计分类中的贝叶斯理论误差限
一、介绍 统计分类和机器学习领域正在不断发展，努力提高预测模型的准确性和效率。这些进步的核心在于一个基本基准，即贝叶斯理论误差极限。这个概念深深植根于概率和统计学，是理解分类算法的局限性和潜力的基石。本文深入探讨了贝叶斯错误率的…
在百模大战中AI行业发展有何新趋势？
目录 1. 多模态AI
2. 自适应学习
3. AI可解释性
4. 边缘计算
5. AI与人类协作 在百模大战中，AI行业的发展有以下几个新趋势：
1. 多模态AI 多模态AI是指能够同时处理不同输入模式（如文本、图像、语音等）的人工智能技术。…
污水处理厂可视化：让环保与科技共舞
随着科技的飞速发展，我们的生活环境变得越来越美好。然而，随着城市化进程的加快，污水处理问题也日益凸显。如何有效、高效地处理污水，成为了一个亟待解决的问题。而“污水处理厂可视化”技术的出现，为这个问题提供了一…
How to understand Data Mining
How to understand Data Mining 什么是数据挖掘为何使用数据挖掘数据挖掘有哪些类型流程挖掘文本挖掘预测挖掘 数据挖掘如何运作业务了解数据了解数据准备数据筛选数据变量转换缺失值处理坏数据处理数据标准化主成分分析属性选择数据规约 数据建模评估模型部署模型 数据挖掘的方…
1.倒排索引 2.逻辑斯提回归算法
1.倒排索引
https://help.aliyun.com/zh/open-search/retrieval-engine-edition/introduction-to-inverted-indexes
倒排索引（Inverted Index）是一种数据结构，用于快速查找包含某个特定词或词语的文档。它主要用于全文搜索引擎等应用&#…
Salesforce回归后：谁在成为中国市场上的CRM首选？
怎样的C RM才是在中国这片土地上的最佳答案？
在Salesforce重新回归的今天，其所面临的产品、生态、技术、服务、数据等问题也恰是中国本土的CRM厂商被多年磨练和审视的问题。
在如Salesforce等国外软件进军中国市场的同时，中国本土的CRM厂商…
工具系列：PyCaret介绍_Fugue 集成_Spark、Dask分布式训练
工具系列：PyCaret介绍_Fugue 集成_Spark、Dask分布式训练
Fugue 是一个低代码的统一接口，用于不同的计算框架，如 Spark、Dask。PyCaret 使用 Fugue 来支持分布式计算场景。
目录
1、分布式计算示例：
(1)分类
(2)回归
(3)时间…
基于MLP完成CIFAR-10数据集和UCI wine数据集的分类
基于MLP完成CIFAR-10数据集和UCI wine数据集的分类，使用到了sklearn和tensorflow，并对图片分类进行了数据可视化展示
数据集介绍
UCI wine数据集：
http://archive.ics.uci.edu/dataset/109/wine
这些数据是对意大利同一地区种植的葡萄酒进…
千帆起航：探索百度智能云千帆AppBuilder在AI原生应用开发中的革新之路
千帆起航：探索百度千帆AppBuilder在AI原生应用开发中的革新之路
1.揭开帷幕，大模型第二次战役
自从 ChatGPT 横空出世后，一石激起千层浪，人工智能也正在从感知理解走向生成创造，这是一个关键里程碑。生成式大模型完成…
基于数据挖掘机器学习的心脏病患者分类建模与分析
首先，读取数据集，该数据集是UCI上的心脏病患者数据集，其中包含了 303 条患者信息，每一名患者有 13 个字段记录其基本信息（年龄、性别等）和身体健康信息（心率、血糖等），此…
利用 OpenAI API 进行文本聚类和标记
每日推荐一篇专注于解决实际问题的外文，精准翻译并深入解读其要点，助力读者培养实际问题解决和代码动手的能力。
欢迎关注公众号 原文标题：Text Clustering and Labeling Utilizing OpenAI API
原文地址：https://medium.com/kbd…
大数据HCIE成神之路之数据预处理（3）——特征缩放
特征缩放 1.1 标准化1.1.1 实验任务1.1.1.1 实验背景1.1.1.2 实验目标1.1.1.3 实验数据解析 1.1.2 实验思路1.1.3 实验操作步骤1.1.4 结果验证 1.2 最小值-最大值归一化1.2.1 实验任务1.2.1.1 实验背景1.2.1.2 实验目标1.2.1.3 实验数据解析 1.2.2 实验思路1.2.3 实验操作步骤1…
基于机器学习算法的数据分析师薪资预测模型优化研究（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
高光谱分类论文解读分享之基于生成对抗性少数过采样的高光谱图像分类
IEEE TGRS 2022：基于生成对抗性少数过采样的高光谱图像分类
题目
Generative Adversarial Minority Oversampling for Spectral–Spatial Hyperspectral Image Classification
作者
Swalpa Kumar Roy , Student Member, IEEE, Juan M. Haut , Senior Member, IE…
这一次，我准备了 20节 PyTorch 中文课程
对于刚接触深度学习的小白来说，PyTorch 是必会的框架。 只是，很多小伙伴还没来得及开启学习之路，一个最重要的问题就摆在了面前： PyTorch，该怎么学呢？
很多同学会自己在网上找资料，不仅耗费时间…
拓展视野：数据可视化如何助力企业实现更广阔的业务可能性
在信息时代的浪潮中，企业面临着前所未有的数据量和挑战。而在这个数据的海洋中，数据可视化如一支神奇的魔杖，为企业发展带来更多无限可能性。下面我就以可视化从业者的角度，简单聊聊数据可视化是如何为企业发展带来更多可能性的。…
数字大师：数据可视化助力企业智慧成本管理
在当今竞争激烈的商业环境中，企业要想取得成功，不仅需要不断创新，还需要高效管理资源，降低成本。数据可视化作为一项强大的工具，为企业提供了更清晰、更直观的经营洞察，从而帮助企业实现成本的有效控制和节…
数据挖掘 K-Means聚类
未格式化之前的代码：
import pandas as pd#数据处理
from matplotlib import pyplot as plt#绘图
from sklearn.preprocessing import MinMaxScaler#归一化
from sklearn.cluster import KMeans#聚类
import os#处理文件os.environ["OMP_NUM_THREADS"] …
电子企业实施MES管理系统需要多少预算
在当今高度自动化的工业环境中，MES管理系统已成为提升生产效率、优化资源配置、确保产品质量的关键工具。对于电子企业而言，实施MES管理系统不仅可以提升生产过程的透明度，还能有效降低成本，增强市场竞争力。然而，企业…
数据科学低代码工具思考--工具起源
“数据科学低代码”由“数据科学”“低代码”两部分组成。这意味着我们将主要讨论“低代码”在“数据科学”应用场景中的使用。这将有别于现在流行的以“低代码”方式构建应用程序的讨论。但无论何种“低代码”，其核心都是为了降本增效。其是否能推广普及则主要依赖…
京东商品详情API：数据分析和挖掘以优化销售策略
京东商品详情API提供的数据分析和挖掘功能可以帮助商家优化销售策略，提高销售额和用户转化率。以下是一些可能的应用场景： 商品关联分析：通过分析商品之间的关联规则，商家可以发现哪些商品经常一起被购买，从而制定捆绑…
大模型系列：OpenAI使用技巧_FinTunging微调做文本分类
文章目录 数据探索数据准备数据准备工具 微调概括 我们将微调一个ada分类器，以区分两种运动：棒球和曲棍球。 # 导入fetch_20newsgroups函数，用于获取20个新闻组数据集
from sklearn.datasets import fetch_20newsgroups
# 导入pandas库&#…
数据可视化与地理空间
写在开头
数据可视化是将数据以图形形式呈现，使其更易于理解和分析的过程。在地理空间分析中，数据可视化不仅能够展示地理位置信息，还能够有效地传达地理空间数据的模式、趋势和关联。本文将探讨数据可视化在地理空间分析中的作用，介绍Python中常用的数据可视化工具，并深…
Treemap layout；squarified treemap layout
Treemap布局和Squarified Treemap布局是用于可视化层次数据的一种方法。
Treemap布局： Treemap布局是一种通过矩形区域的大小来表示层次数据的可视化方法。它将层次结构数据递归地划分为矩形区域，其中父节点的大小由其子节点的大小之和决定。通常&#…
基于sklearn实现LDA主题模型（附实战案例）
目录 LDA主题模型
1.LDA主题模型原理
2.LDA主题模型推演过程
3.sklearn实现LDA主题模型（实战）
3.1数据集介绍
3.2导入数据
3.3分词处理 3.4文本向量化
3.5构建LDA模型
3.6LDA模型可视化
3.7困惑度 LDA主题模型 1.LDA主题模型原理 其实说到LDA…
网页爬虫在数据分析中的作用，代理IP知识科普
在当今信息爆炸的时代，数据分析成为洞察信息和制定决策的不可或缺的工具。而网页爬虫，作为数据收集的得力助手，在数据分析中扮演着举足轻重的角色。今天，我们将一同探讨网页爬虫在数据分析中的作用。 1. 数据收集的先锋
网页爬虫…
深入Pandas：数据分析的强大工具
文章目录 引言Pandas简介Pandas的核心功能实战示例：数据分析与可视化示例目的环境需求示例数据集示例过程及结果源代码 结语 引言
在当今快速发展的数据科学领域，Python凭借其强大的库生态系统，特别是像Pandas这样的库，已成为数据…
【计算机设计大赛作品】豆瓣电影数据挖掘可视化—信息可视化赛道获奖项目深入剖析【可视化项目案例-22】
文章目录 一.【计算机设计大赛作品】豆瓣电影数据挖掘可视化—信息可视化赛道获奖项目深入剖析【可视化项目案例-22】1.1 项目主题：豆瓣电影二.代码剖析2.1 项目效果展示2.2 服务端代码剖析2.3 数据分析2.4 数据评分三.寄语四.本案例完整源码下载一.【计算机设计大赛作品】豆瓣…
《数据分析-JiMuReport》积木报表详细入门教程
积木报表详细入门教程
一、JimuReport部署入门介绍
积木报表可以通过源码部署、SpringBoot集成、Docker部署以及各种成熟框架部署，具体可查看积木官方文档
当前采用源码部署，首先下载Jimureport-example-1.5.6
1 jimureport-example目录查看
使用ID…
【python爬虫开发实战 情感分析】利用爬虫爬取城市评论并对其进行情感分析
🚀个人主页：为梦而生~ 关注我一起学习吧！ 💡专栏： python网络爬虫从基础到实战 带你学习爬虫从基础到实战 深度学习带你感受AI的魅力 💡往期推荐： ⭐️前面比较重要的基础内容： 【Py…
一文讲透Python数据分析可视化之直方图（柱状图）
直方图（Histogram）又称柱状图，是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据类型，纵轴表示分布情况。通过绘制直方图可以较为直观地传递有关数据的变化信息，使…
小红书 X WSDM 2024「对话式多文档问答挑战赛」火热开赛！
基于大语言模型（LLM）的对话问答机器人，已经成为当前人工智能领域学术界和工业界共同关注的的热门研究方向之一。在对话过程中，为大模型引入搜索结果，进行检索增强的生成（Retrieval Augmented Generation&am…
关联规则+聚类分析+分类算法(数据挖掘)
3.关联规则 经典案例 : 尿布与啤酒的故事；
基本概念 : 设I {i1,i2,....im}是项(Item)的集合。 D 是 事务(transaction)的集合(事务数据库)。 事务T是项的集合，且对每个事务具有唯一的标识: 事务号，记作TID; 设A是I中的一个项集…
数据分析——火车信息
任务目标
任务
1、整理火车发车信息数据，结果的表格形式为： 2、并输出最终的发车信息表
难点
1、多文件 一个文件夹，多个月的发车信息，一个excel，放一天的发车情况
2、数据表的格式特殊 如何分析表是一个难点
数…
数据处理系列课程 01：谈谈数据处理在数据分析中的重要性
一、数据分析
可能很多朋友第一次听到这个名词，那么我们先来谈一谈什么是数据分析。 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解，以求最大化地开发数据的功能，发挥数据的作用。数据分析是…
事实验证文章分类 Papers Category For Fact Checking
事实验证文章分类 Papers Category For Fact Checking
By 2023.11
个人根据自己的观点，花了很多时间整理的一些关于事实验证领域证据召回，验证推理过程的文献综合整理分类（不是很严谨）。
引用请注明出处
欢迎从事事实验证Fact…
真心建议，入职业务部门前先学会BI数据分析
不管进入哪个业务部门，都需要具备一定的数据分析能力，能够从不断累积的数据中发现并解决问题。比如销售部门的需要通过分析销售数据，及时发现销售不佳的商品，调整销售策略，提高销售额、销售利润等。而随着精细化数据分…
ipyvizzu：一款可以绘制超级惊艳的可视化动图的 Python 工具包
今天我给大家介绍一款可视化模块，使用它可以绘制出十分惊艳的动图效果，那么当然第一步我们首先是要安装一下该模块，通过pip命令行来安装
pip install ipyvizzu牛刀小试
我们首先来简单地使用该模块来绘制一张动图，用Pandas导入数…
批量自动化获取电商平台数据的实现方式有哪些？
随着电子商务的迅猛发展，电商平台的数据日益丰富和多样化。对于许多企业和个人而言，这些数据具有重要的商业价值。因此，如何批量自动化地获取电商平台数据成为了一个热门话题。本文将探讨批量自动化获取电商平台数据的实现方式，并…
LeetCode 2884. 修改列
DataFrame employees ------------------- | Column Name | Type | ------------------- | name | object | | salary | int | ------------------- 一家公司决定增加员工的薪水。
编写一个解决方案，将每个员工的薪水乘以2来 修改 salary 列。
返回结果格式如下示…
大数定律中心极限定理
1.切比雪夫不等式
切比雪夫不等式可以对随机变量偏离期望值的概率做出估计，这是大数定律的推理基础。以下介绍一个对切比雪夫不等式的直观证明。
1.1 示性函数
对于随机事件A，我们引入一个示性函数 I A { 1 , A发生 0 , A不发生 I_A\begin{cases} 1&…
生存分析survival_analysis_COXmodel_python实现
什么是生存分析？
生存分析（在工程中也称为可靠性分析）的目标是建立协变量与事件发生时间之间的联系。该算法起源于临床医学研究，往往主要目标是预测死亡时间，即生存。生存分析是一种回归问题（人们想要预测…
解密垃圾邮件分类：基于SVM的数据挖掘项目
垃圾邮件（Spam）的泛滥成灾一直是电子邮件系统中的一个严峻问题。随着垃圾邮件技术的不断演变，传统的过滤方法逐渐显得力不从心。因此，本项目旨在利用支持向量机（SVM）这一强大的机器学习工具，实现…
电商数据api接口商品详情API接口及代码展示案例
电商平台API接口中的商品详情API接口在电商平台中扮演着非常重要的角色。其主要作用及重要性包括以下几点：
实现商品信息的动态更新：通过商品详情API，电商平台上的商品信息可以实现实时的更新。这样能够保证用户看到的信息是准确的ÿ…
Jupyter Notebook的10个常用扩展介绍
Jupyter Notebook（前身为IPython Notebook）是一种开源的交互式计算和数据可视化的工具，广泛用于数据科学、机器学习、科学研究和教育等领域。它提供了一个基于Web的界面，允许用户创建和共享文档，这些文档包含实时代码、…
解决方案：集成监控易到现有运维平台，采集IT基础数据
一、引言 随着企业信息技术的快速发展，IT设备软硬件、机房动环、摄像头设备等的运行状态对企业的稳定运行至关重要。为了提高对这些设备的监控和管理效率，本方案提出将监控易集成到用户现有的运维平台中，为其他系统运维提供基础数据支撑。
二…
大数据引爆点：数据可视化的飞速发展
在信息时代，数据如潮水般涌入，企业和个人面临的挑战前所未有。而在这个数据的浩瀚海洋中，数据可视化如一道明亮的灯塔，引领着信息时代的航行者。近几年，数据可视化以其直观、生动的特性，迅速成为了信息表达…
【第七在线】数据分析与人工智能在商品计划中的应用
随着技术的不断进步，数据分析和人工智能（AI）已经成为了现代商品计划的关键组成部分。在服装行业，这两项技术正在帮助企业更好地理解市场需求、优化库存管理、提高生产效率和提供更好的客户体验。本文将深入探讨数据分析和人工智能…
工具系列：PyCaret介绍_单变量时间序列代码示例
👋 工具系列：PyCaret介绍_单变量时间序列代码示例
PyCaret是一个开源的、低代码的Python机器学习库，可以自动化机器学习工作流程。它是一个端到端的机器学习和模型管理工具，可以大大加快实验周期，提高工作效率。
与其…
数字转换：探析数据可视化的激增原因
现在，数据可视化作为一种强大的工具逐渐走进人们的视野，其爆发式发展背后涌现了多种原因值得探讨，今天我就以可视化从业者的视角来简单谈谈数据可视化爆发式发展背后的原因。
首先是互联网和传感技术的普及，令大量数据源不断涌现…
天猫数据分析（软件工具）-2023年11月天猫保健品行业分析报告：市场需求扩容，年轻人是主流群体
近年来，随着健康经济、颜值经济的兴起，越来越多的年轻人加入养生大军，成为保健食品市场上的一股新力量，带动市场扩容。根据鲸参谋电商数据分析平台的相关数据显示，今年11月份，天猫平台上保健食品的销量为24…
数据挖掘与数据分析的主要区别是什么
在当今数字化时代，数据已经成为了企业决策的重要依据，而数据挖掘与数据分析作为数据处理的重要工具，都在帮助企业从数据中发现价值，从而提升业务效益。然而，许多人对于数据挖掘与数据分析的区别并不清晰。数聚将从不同…
《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
开发医疗陪诊系统源码：搭建安全高效的医患互动平台
本文将深入探讨开发医疗陪诊系统的源码，以及如何搭建一个安全高效的医患互动平台。
一、引言
医疗陪诊系统旨在通过技术手段，缩短患者与医生之间的距离，提供更快速、便捷的医疗服务。
二、技术选型
2.1前端技术
在搭建医疗陪诊系统的前…
【数据分析实战】冰雪大世界携程景区评价信息情感分析采集词云
文章目录 引言数据采集数据集展示数据预处理 数据分析评价总体情况分析本人浅薄分析 各游客人群占比分析本人浅薄分析 各评分雷达图本人浅薄分析 差评词云-可视化本人浅薄分析 好评词云-可视化本人浅薄分析 综合分析写在最后 今年冬天，哈尔滨冰雪旅游"杀疯了&q…
快速获取商品条码查询API接口python代码
商品条码查询API实现了对商品条码信息的快速获取和准确识别。这个接口在电子商务、分销溯源、商超服务等领域具有应用市场，通过此接口获取商品所包含的详细信息。
首先，使用数据平台该API接口需要先注册后申请此API接口。申请成功后使用个人中心的API秘…
Open3D聚类算法
按照官网的例子使用聚类，发现结果是全黑的。 经过多次测试发现 eps3.3, min_points1这里是关键 min_points必须等于1否则无效果 import time
import open3d as o3d;
import numpy as np;
import matplotlib.pyplot as plt#坐标
mesh_coord_frame o3d.geometry.Tria…
Python机器学习入门必学必会：机器学习与Python基础
1.机器学习常见的基础概念
根据输入数据是否具有“响应变量”信息，机器学习被分为“监督式学习”和“非监督式学习”。“监督式学习”即输入数据中即有X变量，也有y变量，特色在于使用“特征（X变量）”来预测“响应变量&…
pythonPandas五：数据分析与统计
，Pandas提供了丰富的数据分析和统计功能，使得对数据进行摘要、统计和可视化变得更加容易。以下是一些示例说明： 数据统计和摘要： import pandas as pd# 创建一个示例DataFrame
data {Name: [Alice, Bob, Charlie],Age: [25, 30, …
朴素贝叶斯法_naive_Bayes
朴素贝叶斯法（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入 x x x，利用贝叶斯定理…
【模式识别】探秘分类奥秘：K-近邻算法解密与实战
🌈个人主页：Sarapines Programmer🔥 系列专栏：《模式之谜 | 数据奇迹解码》⏰诗赋清音：云生高巅梦远游， 星光点缀碧海愁。 山川深邃情难晤， 剑气凌云志自修。 目录
🌌1 初识模式识…
Python数据科学视频讲解：特征决策树分箱
5.3 特征决策树分箱 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解5.3节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程，包括数据科学应…
GSP算法在数据挖掘中的应用
文章目录 一：基本概念介绍二：从一个样例入手三 论文中定义的一些细节四：GSP算法五.算法六 源代码及数据集等总结七. 参考文章 一：基本概念介绍
序列模式挖掘：指挖掘相对时间或其他模式出现频率高的模式
序列模式挖掘…
《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
数据分析-Pandas如何统计数据概况
数据分析-Pandas如何概况的获得统计数据
时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。此处选择巴黎、伦敦欧洲城市空气质量监测 N O 2 NO_2 NO2数据作为样例。
python数据分析-数据表读写到panda…
PCA主成分分析算法
在数据分析中，如果特征太多，或者特征之间的相关性太高，通常可以用PCA来进行降维。比如通过对原有10个特征的线性组合, 我们找出3个主成分，就足以解释绝大多数的方差，该算法在高维数据集中被广泛应用。 算法（…
数据之美：如何用数据可视化优化我们的日常生活？
在这个信息爆炸的时代，我们周围充斥着各种数据，而数据可视化正是一种强大的工具，帮助我们更好地理解和利用这些信息。那么，如何将数据可视化应用在我们的日常生活中呢？让我们一起探索这个引人入胜的话题。
数据可视化…
监督学习 - 梯度提升回归（Gradient Boosting Regression）
什么是机器学习
梯度提升回归（Gradient Boosting Regression）是一种集成学习方法，用于解决回归问题。它通过迭代地训练一系列弱学习器（通常是决策树）来逐步提升模型的性能。梯度提升回归的基本思想是通过拟合前一轮模…
遥感影像-语义分割数据集：Landsat8云数据集详细介绍及训练样本处理流程
原始数据集详情
简介：该云数据集包括RGB三通道的高分辨率图像，在全球不同区域的分辨率15米。这些图像采集自Lansat8的五种主要土地覆盖类型，即水、植被、湿地、城市、冰雪和贫瘠土地。
KeyValue卫星类型landsat8覆盖区域未知场景水、植被、…
社交网络分析（汇总）
这里写自定义目录标题 写在最前面社交网络分析系列文章汇总目录 提纲问题一、社交网络相关定义和概念提纲问题1. 社交网络、社交网络分析；2. 六度分隔理论、贝肯数、顿巴数；3. 网络中的数学方法：马尔科夫过程和马尔科夫链、平均场理论、自组织…
四个模型建模及数据分析整理（基于Titanic数据集）
目录
介绍： 二、数据
2.1引用数据
2.2检查缺失数据
2.2.1手动检查缺失数据
2.2.2查看某一个特征值为空数据
2.3补充缺失数据 2.3.1盒图 2.3.2手动用均值填补缺失数据
2.3.3手动用类别填补缺失数据
三、数据分析
3.1男女生存比例
3.2男女生存数
3.3船舱级…
一文讲透SPSS判断两组数据是否有显著性差异？
可使用SPSS中的独立样本T检验，独立样本T检验用于比较两组独立样本中某一变量的均值是否显著相同。该检验方法输出的结果是每组样本的描述统计量和莱文方差相等性检验，以及按相等方差和不等方差分组列示的T值、均值差分的95%置信区间。
打开数据8.3&…
淘宝以图搜商品API调用详细步骤（apiKeysecret）
以图片来搜索商品是电商平台常见的一个功能，一般用于搜索同款、找爆品、淘宝拍立淘等功能。
通过item_search_img可以实现通过图片来搜索同款商品列表，响应参数包括宝贝标题、列表类型、宝贝图片、优惠价、价格、销量、宝贝ID、商品风格标识ID、掌柜昵称…
数模学习day10-聚类模型
说明，本文部分图片和内容源于数学建模交流公众号
目录
K-means聚类算法
K-means聚类的算法流程：
图解
算法流程图
评价
K-means算法
基本原则
算法过程
Spss软件操作
K-means算法的疑惑
系统（层次）聚类
算法流程
Sp…
数据分析-Pandas如何选择数据子集
数据分析-Pandas如何选择数据子集
Dataframe的数据中，选择某一列，某一行，或者某个子区域，该怎么办呢？
python数据分析-数据表读写到pandas
经典算法-遗传算法的python实现
经典算法-遗传算法的一个简单例子
大模型…
2013年全国矿产地分布数据，Shp、csv数据，2013年
数据名称: 全国矿产地分布数据
数据格式: Shp、csv
数据时间: 2013年
数据几何类型: 点
数据坐标系: WGS84坐标系
数据来源：网络公开数据
数据字段：
序号字段名称字段说明1mc矿产地名称2kz矿种3dz矿产地位置4kccylx矿床成因类型5gsk共生矿6b…
鸿蒙APP和Android的区别
鸿蒙（HarmonyOS）和Android是两个不同的操作系统，它们有一些区别，包括架构、开发者支持、应用生态和一些设计理念。以下是鸿蒙APP和Android APP之间的一些主要区别，希望对大家有所帮助。北京木奇移动技术有限公司&#…
探秘2D地图与数据可视化融合的创新力
在信息时代，数据可视化与2D地图的结合为我们的生活和工作带来了深刻的变革。这一强大的组合不仅为我们提供了全新的视角，更为各行各业的发展和决策提供了更为精准的指导。下面我就以可视化从业者的视角，来简单聊聊数据可视化和2D地图的结合。…
原料药开发研发审批流程（注册必读）
仿制药注册申报简化流程：立项调研-->工艺路线的筛选与确定-->反应参数的优化-->中间体以及粗品的纯化后处理-->API 的结构确证-->杂质研究-->晶型研究-->工艺放大-->公斤级试验以及中试-->资料撰写-->注册申报 (文末附注册申报全流程…
中国聚对苯二甲酸丙二醇酯行业市场调研报告（2024版）
内容简介：
与PET和PBT相比，PTT独特的螺旋状结构，使其具有较高的拉伸回弹性、易于染色性、耐污性以及良好的机械性能等优点，因此被广泛应用于地毯、织布面料、非织造布等领域，还可以作为工程塑料应用于电子电器、汽车、…
【机器学习】聚类算法（三）
六、基于图的算法 6.1 谱聚类 6.2 算法原理 RatioCut算法 NCut算法 6.3 如何选择合适的K值 6.4 谱聚类的应用场景 示例代码1：对鸢尾花数据集进行聚类，并绘制结果 # 导入所需的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datas…
C++初阶类与对象（二）：详解构造函数和析构函数
上次为类与对象开了一个头：C初阶类与对象（一）：学习类与对象、访问限定符、封装、this指针 今天就来更进一步 文章目录 1.类的6个默认成员函数2.构造函数2.1引入和概念2.2构造函数特性2.2.1特性1~42.2.2注意2.2.3特性5~72.2.4注意 …
监督学习 - 支持向量回归（Support Vector Regression，SVR）
什么是机器学习
支持向量回归（Support Vector Regression，SVR）是一种基于支持向量机（Support Vector Machine，SVM）的回归算法，用于解决回归问题。与传统的回归算法不同，SVR的目标是…
传感数据分析——小波滤波
传感数据分析——小波滤波 文章目录 传感数据分析——小波滤波前言一、运行环境二、Python实现总结 前言
小波滤波算法是一种基于小波变换的滤波方法，其核心思想是将信号分解成不同的频率成分，然后对每个频率成分进行独立的处理。小波滤波器的设计和应用…
机器学习中常用的概念：ROC曲线和AUC值，到底是什么？
1.关于ROC曲线的概念
ROC曲线和AUC值是评价分类监督学习性能的重要量度指标。ROC曲线又被称为“接受者操作特征曲线”“等感受性曲线”，主要用于预测准确率情况。最初ROC曲线运用在军事上，现在广泛应用在各个领域，比如判断某种因素对于某种疾…
实时交通标志检测和分类（代码）
交通标志检测和分类技术是一种基于计算机视觉和深度学习的先进技术，能够识别道路上的各种交通标志，并对其进行分类和识别。这项技术在智能交通系统、自动驾驶汽车和交通安全管理领域具有重要的应用前景。下面我将结合实时交通标志检测和分类的重要性、技…
从模拟到呈现：数字孪生与数据可视化的不同侧重
在当今的数字化时代，数字孪生和数据可视化都是热门的技术话题。然而，它们各自的角色和区别常常引起混淆。作为山海鲸可视化软件的开发者，我们对这两者有着深入的理解，在此详细探讨它们的区别。
首先，数字孪生…
GEE——降水数据分析（半天）图表分析含（IANA（IANA Time Zone Database） 时区名称的定义）
简介
我们在进行某个时间的降水数据分析的时候，或者指定时间的数据分析，本文我们首先要明确一点就是我们可以设定时间，除了默认的时间外，我们可以选择归一化的时间，也可以选择全球任何一个时区的时间作为时间设定。
…
京东年度数据报告-2023全年度白酒十大热门品牌销量榜单
今年，在消费环境复苏的背景下，不少白酒企业都在通过一系列的措施，如去库存、跨界联名等等，来为白酒消费市场积极寻找更大的增量和可能性。整体来看，2023年白酒市场呈现出较好的发展态势。
根据鲸参谋平台的数据显示&a…
【数据挖掘】基于 LightGBM 的系统访问风险识别（附源码）
基于 LightGBM 的系统访问风险识别 文章目录 基于 LightGBM 的系统访问风险识别一、课题来源二、任务描述三、课题背景四、数据获取分析及说明（1）登录https://www.datafountain.cn并获取相关数据（2）数据集文件说明（3&a…
地理空间分析2——优化地理空间分析的关键一步：深入探讨数据清洗和预处理
写在开头
在进行地理空间分析时，数据质量是确保准确性和可靠性的关键因素。数据清洗和预处理是确保地理空间数据集合适用于分析的基本步骤。本文将深入研究数据清洗在地理空间分析中的重要性，并介绍在Python中执行数据清洗的基本流程。
1.数据清洗在地理空间分析中的重要性…
程序员一定要知道的限流大法：令牌桶算法
记得很多年前就有喜欢在面试的时候问这个问题：如何在高并发、大流量的时候，进行服务限流？不同人能给出不同的解决办法。无外乎两种处理： 在客户端限流。 在服务端限流。 在客户端限流，就是利用产品设计，让…
三种风格：山海鲸可视化软件模板的个性化定制之旅“
当我们谈论数据可视化时，一个好的可视化组件套件模板至关重要。一个优秀的模板不仅可以提高数据可视化的效果，还能让用户更加深入地探索和理解数据。作为山海鲸可视化软件的开发者，在提供免费好用的产品同时我们也希望最大限度降低用户设计难…
多云架构下的点击流数据分析
在出海的大趋势下，需要对点击流数据进行分析，以便更快的确定客户。作为多家云厂商的合作伙伴，九河云将提供点击流数据分析的改良方案。
对于这个需求可以借助aws的受众细分和定位解决方案，您可以应用基于云的分析和机器学习来减少…
详解动态网页数据获取以及浏览器数据和网络数据交互流程-Python
前言
动态网页是一种在用户浏览时实时生成或变化的网页。与静态网页不同，后者通常是预先编写好的HTML文件，直接由服务器传送给浏览器，内容在服务端生成且固定不变，获取静态数据的文章课查阅博主上一篇文章：详解静态网…
【遥感专题系列】影像信息提取之——面向对象的影像分类技术
“同物异谱，同谱异物”会对影像分类产生的影响，加上高分辨率影像的光谱信息不是很丰富，还有经常伴有光谱相互影响的现象，这对基于像素的分类方法提出了一种挑战，面向对象的影像分类技术可以一定程度减少上述影响。
本…
HNU-数据挖掘-实验1-实验平台及环境安装
数据挖掘课程实验实验1 实验平台及环境安装
计科210X 甘晴void 202108010XXX 文章目录 数据挖掘课程实验<br>实验1 实验平台及环境安装实验背景实验目标实验步骤1.安装虚拟机和Linux平台，熟悉Ubuntu环境。2.在Linux平台上搭建Python平台，并安装…
HNU-数据挖掘-实验2-数据降维与可视化
数据挖掘课程实验实验2 数据降维与可视化
计科210X 甘晴void 202108010XXX 文章目录 数据挖掘课程实验<br>实验2 数据降维与可视化实验背景实验目标实验数据集说明实验参考步骤实验过程1.对数据进行初步降维2.使用无监督数据降维方法，比如PCA，I…
【销售数据分析】客户画像分析之总体画像
前一段时间把财务分析的一些报表及分析场景讲得差不多了，接下来想和大家讲一下销售分析中的一些场景。今年看了许多企业的数据，发现大家2023年比疫情三年更难！从财务的几张报表就会发现净利润亏损的居多，而亏损的主要原因基本上都…
企业为何对数据可视化越发看重？
数据可视化，作为信息时代的一项重要技术，正在企业中崭露头角，逐渐成为业务决策和运营管理的得力助手。企业之所以对数据可视化如此重视，是因为它为企业带来了诸多实际利益和战略优势。
首先，数据可视化为企业提供了更…
FlashInternImage实战：使用FlashInternImage实现图像分类任务（一）
文章目录 摘要安装包安装timm 数据增强Cutout和MixupEMA项目结构编译安装DCNv4环境安装过程配置CUDAHOME解决权限不够的问题 按装ninja编译DCNv4 计算mean和std生成数据集 摘要
https://arxiv.org/pdf/2401.06197.pdf
论文介绍了Deformable Convolution v4（DCNv4&…
基于Python flask MySQL 猫眼电影可视化系统设计与实现
1 绪论 1.1 设计背景及目的
猫眼电影作为国内知名的电影信息网站，拥有海量的电影信息、票房数据和用户评价数据。这些数据对于电影市场的研究和分析具有重要意义。然而，由于数据的复杂性和数据来源的多样性，如何有效地采集、存储和展示这些数…
【数据分析】numpy基础第三天
前言
本文只会讲解最常用的加、减、乘、除，点乘（或叫矩阵乘法）、还有广播机制。
本文代码
链接提取码：1024
第1部分：基础数学计算
使用NumPy进行基本的数学运算是十分直观和简单的。下面我们将展示一些基本的加、…
探索XGBoost：多分类与不平衡数据处理
导言
XGBoost是一种强大的机器学习算法，广泛应用于各种分类任务中。但在处理多分类和不平衡数据时，需要特别注意数据的特点和模型的选择。本教程将深入探讨如何在Python中使用XGBoost处理多分类和不平衡数据，包括数据准备、模型调优和评估等…
数据结构排序——详细讲解归并排序（c语言实现递归及非递归）
上次是快排和冒泡：数据结构排序——详解快排及其优化和冒泡排序(c语言实现、附有图片与动图示意）
今天为大家带来归并排序 文章目录 1.基本思想2.递归实现3.非递归实现 1.基本思想 归并排序是一种分治算法，它将序列分成两个子序列࿰…
数据挖掘实战-基于机器学习的电商文本分类模型
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
世界人口数据分析与探索
文章目录 世界人口数据集介绍数据集 1：世界国家统计数据：数据集 2：世界人口详细信息（2023 年）：数据集 3：按年份划分的世界人口（1950-2023）： 数据分析导入必要…
数字智慧驱动：数据可视化如何助力大企业效率飙升？
在当今信息大爆炸的时代，大型企业面临着前所未有的数据挑战。数据量庞大、多样化的信息汇聚，无疑成为企业高效运营的挑战之一。幸运的是，数据可视化作为一种强大的工具，正成为大型企业提高效率、优化决策的得力助手。 数据可视化首…
【BetterBench】2024年都有哪些数学建模竞赛和大数据竞赛？
2024年每个月有哪些竞赛？
2024年32个数学建模和数据挖掘竞赛重磅来袭！！！
2024年数学建模和数学挖掘竞赛时间目录汇总 一月
（1）2024年第二届“华数杯”国际大学生数学建模竞赛 报名时间：即日起…
无货源跨境电商到底应该怎么做，新手必看
如今，跨境电商无疑已经成为了一个热门的创业领域，但对于一些新手来说，面临的一个主要挑战是如何处理产品的货源问题。下面我就和大家分享一下无货源跨境电商的基本概念以及一些新手可以采取的策略和步骤，帮助大家在这个领域取得成…
关键词搜索商品api京东接口关键词搜索商品查询宝贝信息数据、价格、销量调用示例
接入关键词搜索商品API接口的步骤如下： 获取API密钥：首先，你需要从API提供商那里获取一个API密钥。这个密钥将用于验证你的请求。 构造请求URL：根据你的需求，构造请求URL。通常，这包括基础URL、API密钥和任…
供水管网动态模型分类及应用分析
当供水管网中发生启停泵、快速关阀等事件时, 延时时段模拟 (即准稳态模型) 不能准确预测系统的瞬时动态变化, 而需要采用更为准确复杂的瞬变流动态模型。为明确多种动态模型之间的差异, 探讨和分析了供水管网动态模型的分类、模型理论以及在管网运行管理中的应用。结果表明, 准…
数据分析-Pandas如何用图把数据展示出来
数据分析-Pandas如何用图把数据展示出来
俗话说，一图胜千语，对人类而言一串数据很难立即洞察出什么，但如果展示图就能一眼看出来门道。数据整理后，如何画图，画出好的图在数据分析中成为关键的一环。
数据表ÿ…
基于决策融合的极限学习机分类预测，基于融合ELM的分类预测，基于融合极限学习机的电子鼻采集数据分类
目录
背影 极限学习机 基于决策融合的极限学习机分类预测，基于融合ELM的分类预测，基于融合极限学习机的电子鼻采集数据分类 主要参数 MATLAB代码 效果图 结果分析 展望 完整代码下载链接：基于决策融合的极限学习机分类预测，基于融合ELM的分类预测，基于融合极限学习机的电…
第三章第10节：EXCE利用柱状图和条形图去直观数据分析 (一)
柱状图和条形图-图形简介
01,柱状图
柱状图是使用垂直的柱子显示类别之间的数值比较，其中一个轴(横轴)表示需要对比的分类维度，另一个轴(纵轴)表示相应维度下的数值。
02,条形图
条形图是柱状图的转置，工作中柱状图应用居多。
03,柱状图…
帆软MVP专访 | BI佐罗：用数据分析不断拆开商业运作的“黑盒”
大数据产业创新服务媒体 ——聚焦数据 改变商业 近日，2023帆软MVP（Fanruan Most Valuable Professional）获奖名单公布，全球知名零售集团数据分析师、自媒体大咖BI佐罗获此殊荣。 帆软最具价值专家，简称帆软MVP&#x…
数据分析数据 -（用数据讲故事）
书中有一句话我很喜欢- 献给大家
一个完美的设计，不是因为它没有多余的东西可以添加，而是它没有多余的部分可以删减 首先看几个对比的图形分析
处理工单和新增工单的随月份的变化趋势
这个图形的缺点就是 1: 月份对齐的情况 2：使用条形图需…
使用PaddleNLP识别垃圾邮件：用RoBERTa做中文邮件标题分类，模型在测试集上准确率达到98.3%以上（附公开数据集）
使用PaddleNLP识别垃圾邮件：用RoBERTa做中文邮件标题分类，模型在测试集上准确率达到98.3%以上（附公开数据集）。 要使用PaddleNLP和RoBERTa来识别垃圾邮件并做中文邮件标题分类，可以按照以下步骤进行操作： 安装PaddlePaddle和PaddleNLP：首先，确保在你的环境中已经安装了…
每天一个数据分析题（一百五十五）
关于高维数据在模型建立中的处理，以下描述正确的是：
A. 在分类模型中通常不需要进行变量选择和降维，因为算法可以处理成千上万个变量。
B. 聚类模型中剔除不相关变量主要依赖于算法而不是分析师的经验和维度分析。
C. 特征选择指的是从相关…
《Python 网络爬虫简易速速上手小册》第6章：Python 爬虫的优化策略（2024 最新版）
文章目录 6.1 提高爬虫的效率6.1.1 重点基础知识讲解6.1.2 重点案例：使用 asyncio 和 aiohttp 实现异步爬虫6.1.3 拓展案例 1：利用 Scrapy 的并发特性6.1.4 拓展案例 2：使用缓存来避免重复请求 6.2 处理大规模数据爬取6.2.1 重点基础知识讲解…
71_Pandas.DataFrame排名
71_Pandas.DataFrame排名
使用rank()方法对pandas.DataFrame和pandas.Series的行/列进行排名。
sort_values() 是一种按升序或降序对 pandas.DataFrame 列和 pandas.Series 进行排序的方法，但rank() 返回每个元素的排名而不对数据进行排序。
请参阅下面的文章了解…
天猫平台数据查询（天猫数据分析）：床上用品市场规模达335亿，床品消费呈现功能化趋势
作为人们的生活必需品之一，床上用品的市场规模庞大。近年来，越来越多消费者购物习惯发生转变，线上客流大幅提升，面对这一变化，许多家纺企业开始借助线上平台开展销售，不断创新营销模式，通过短视…
《CSS 简易速速上手小册》第2章：CSS 布局与定位（2024 最新版）
文章目录 2.1 Flexbox：灵活的布局解决方案2.1.1 基础知识2.1.2 重点案例：创建一个响应式导航菜单2.1.3 拓展案例 1：卡片布局2.1.4 拓展案例 2：中心对齐的登录表单 2.2 Grid 布局：网格系统的魔力2.2.1 基础知识2.2.2 重…
基于物联网的实时数据分析（简单介绍）
在当今这个信息化、数字化飞速发展的时代，物联网（Internet of Things, IoT）和实时数据分析成为了技术革新的两大支柱。对于刚入行的新手来说，理解这两个概念及其相互作用不仅是迈入这一领域的第一步，更是掌握未来技术趋…
69_Pandas.DataFrame获取行号和列号
69_Pandas.DataFrame获取行号和列号
将讲解如何从pandas.DataFrame的行名和列名中获取行号和列号，以及如何从列元素的值中获取行名和行号。 下面对内容进行说明。
根据行名和列名获取行号和列号 get_loc() 方法 当行名和列名重复时 列表索引、列 从列元素值获取行…
引领未来：话务数据展示大屏助力企业决策
在当今信息爆炸的时代，企业需要一个直观、高效的数据展示平台来帮助他们快速获取、分析和决策。山海鲸可视化话务数据展示大屏，就是这样一款引领企业迈向高效决策新纪元的产品。 一、什么是山海鲸可视化话务数据展示大屏？ 山海鲸可视化是一款…
数据分析求职-面试技巧
之前咱们已经分享了岗位介绍、求职准备思路、简历如何准备，今天咱俩聊一聊面试的技巧~
1. 面试流程
咱们先聊聊面试的基本流程：简历/笔试筛选->技术初面->技术二面->技术三面->技术交叉面->HR面。
这个过程中有几个点值得重点说说&…
数据分析-Pandas如何整合多张数据表
数据分析-Pandas如何整合多张数据表
数据表，时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。数据分析过程中重新调整，重塑数据表是很重要的技巧，此处选择Titanic数据…
基于极限学习机的变压器故障分类，基于ELM的变压器故障预测
目录
背影 极限学习机 基于极限学习机的变压器故障分类，基于ELM的变压器故障预测
主要参数 MATLAB代码 效果图 结果分析 展望 完整代码下载链接：基于极限学习机的变压器故障分类，基于ELM的变压器故障预测（代码完整，数据齐全）资源-CSDN文库 https://download.csdn.net/d…
一文梳理金融风控建模全流程(Python)
▍目录
一、简介 风控信用评分卡简介 Scorecardpy库简介
二、目标定义与数据准备 目标定义 数据准备
三、安装scorecardpy包
四、数据检查
五、数据筛选
六、数据划分
七、变量分箱 卡方分箱 手动调整分箱
八、建立模型 相关性分析 多重共线性检验VIF KS和AUC …
HNU-数据挖掘-实验3-图深度学习
数据挖掘课程实验实验3 图深度学习
计科210X 甘晴void 202108010XXX 文章目录 数据挖掘课程实验<br>实验3 图深度学习实验背景实验要求数据集解析实验内容（0）基础知识：基于图的深度学习方法浅识：图卷积网络 (GCN)浅识&…
HNU-数据挖掘-作业1
数据挖掘课程作业作业1
计科210X 甘晴void 202108010XXX
第一题
假设所分析的数据包括属性 age,它在数据元组中的值（以递增序）为13 ,15 ,16 ,16 ,19 ,20 ,20 ,21 ,22 ,22 ,25 ,25 ,25 ,25 ,30 ,33 ,33 ,35 ,35 ,35 ,35 ,36 ,40 ,45 ,46 ,52,70。
a.…
2024年预制菜行业市场发展趋势分析（2021-2023年预制菜行业数据分析）
近期，老干妈被称为预制菜、预制菜国标报送稿出炉等事件再次引起大众对于预制菜市场的讨论。随着国家对预制菜审核标准的严格化，预制菜市场未来走向将会如何？鲸参谋带大家从数据角度来了解。
首先来看下预制菜市场的行业发展情况。
根据鲸参…
【数据分析】Excel中使用VBA进行宏编程
目录 0 准备工作1 VBA简介1.1 Excel VBA应用程序的构成1.2 事件驱动1.3 宏1.3.1 创建宏1.3.2 宏安全 2 VBA基础2.1 注释2.2 数据类型2.2.1 基本数据类型2.2.2 枚举类型2.2.3 用户自定义数据类型 2.2 变量2.3 常量2.4 运算符2.5 程序结构2.6 过程2.7 函数 3 Excel应用程序开发流…
自回归滞后模型进行多变量时间序列预测
下图显示了关于不同类型葡萄酒销量的月度多元时间序列。每种葡萄酒类型都是时间序列中的一个变量。 假设要预测其中一个变量。比如，sparkling wine。如何建立一个模型来进行预测呢？
一种常见的方法是将该变量其视为单变量时间序列。这样就有很多方法可以…
数据治理中最常听到的名词有哪些？
开门见山，我们先来说说何为“数据治理”
数据治理就是实现数据价值的过程。通俗的理解就是让企业的数据从不可控、不可用、不好用到可控、方便易用且对业务有极大帮助的过程。
这个过程怎么实现？通过采集、传输、储存等一系列标准化流程将原本零散的数…
机器学习中7种常用的线性降维技术总结
上篇文章中我们主要总结了非线性的降维技术，本文我们来总结一下常见的线性降维技术。
1、Principal Component Analysis (PCA)
Principal Component Analysis (PCA) 是一种常用的降维技术，用于将高维数据集转换为低维表示，同时保留数据集的…
【ML特征工程】第 5 章 ：分类变量：机器鸡时代的鸡蛋计数
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
CMSC5724-数据挖掘之支持向量机以及它的两种解法
文章目录Method1: Optimal SolutionMethod2: Approximate Solution相关题目从上节课Margin-Based通理出发，在线性可分linear separable的情况下，我们要找到最大的margin，这样子能使得泛化误差的上界尽可能小，支持向量机Support Ve…
数据挖掘-Weka的安装与使用
目录
一、下载与安装 1.下载 2.安装 二、启动以及初步使用 三、其他教程 1.weka环境变量的配置 2.weka更详细的使用教程！ 一、下载与安装 1.下载
了解模型开发与部署，看这里！
11月24日下午15：00顶象第十期业务安全系列大讲堂系列课程《Xintell 模型平台 》正式开讲。
顶象人工智能专家&研发总监无常从模型平台的现状与需求出发，带大家了解了模型平台的开发环境与部署环境，并且就顶象的Xintell 模型平台 为大家做…
盘点5种最频繁使用的检测异常值的方法（附Python代码）
本文介绍了数据科学家必备的五种检测异常值的方法。
无论是通过识别错误还是主动预防，检测异常值对任何业务都是重要的。本文将讨论五种检测异常值的方法。 文章目录什么是异常值？为什么我们要关注异常值？技术提升方法1——标准差方法2——箱…
食品与疾病关系预测赛题
和鲸平台数据分析实战 题目：食品与疾病关系预测算法赛道
一、赛题描述
食品与疾病关系预测算法赛道 越来越多的证据表明，食物分子与慢性疾病之间存在关联甚至治疗关系。营养成分可能直接或间接地作用于人类基因组，并调节参与疾病风险和疾病…
Pandas.to_csv()函数及全部参数使用方法一文详解+实例代码
目录
前言
一、基础语法与功能
二、参数说明和代码演示
1.path_or_buf 选择文件/文件路径写入
2.sep 指定分隔符 3.na_rep 指定缺少数据表示
4.float_format 指定浮点型字符串输出格式
5. columns 指定要写入的列
6.header 是否需要写入列名 7.index 是否写入行名称&am…
论文学习——基于滑动窗口预测的水文时间序列异常检测
文章目录摘要0 引言1 相关研究2 基于滑动窗口预测的时间序列异常检测2.1 相关定义2.2 算法描述2.2.1 滑动窗口的定义2.3 参数选择3 实验分析3.3 算法分析4 结语摘要
首先基于滑动窗口对时间序列进行子序列分割，再以子序列为基础建立预测模型对未来值进行预测&#…
Day03-无处不在的数据
文章目录Day03-无处不在的数据无处不在的数据分析案例1：论文选题案例2：产品面试案例3：工作汇报用户的依赖性案例4：选票逻辑几乎所有岗位都需要数据分析Day03-无处不在的数据
昨天，我们为你打开了数据分析的大门&#…
MogaNet实战：使用MogaNet实现图像分类任务（一）
文章目录 摘要安装包安装timm 数据增强Cutout和MixupEMA项目结构计算mean和std生成数据集 摘要
论文：https://arxiv.org/pdf/2211.03295.pdf
作者多阶博弈论交互这一全新视角探索了现代卷积神经网络的表示能力。这种交互反映了不同尺度上下文中变量间的相互作用效…
《区块链公链数据分析简易速速上手小册》第3章：区块链数据结构（2024 最新版）
文章目录 3.1 区块和交易的结构3.1.1 基础知识3.1.2 重点案例：构建简单的区块链3.1.3 拓展案例 1：验证交易签名生成密钥对签名交易验证签名完整的交易签名与验证演示 3.1.4 拓展案例 2：监听和解析区块链事件代币合约示例（Solidity…
Dataframe型数据分析技巧汇总
Kaggle 如何针对少量数据集比赛的打法。 数据降维的几种方法 HF.075 | 时间序列趋势性分析方法汇总 机器学习必须了解的7种交叉验证方法（附代码） 这个图！Python也能一键绘制了，而且样式更多.. 散点图，把散点图画出花来…
四、分类算法 - sklearn转换器和估算器
目录
1、sklearn转换器和估算器
1.1 转换器 - 特征工程的父类
1.2 估计器 - sklearn机器学习算法的实现 目标值：分类
sklearn转换器和估算器KNN算法模型选择和调优朴素贝叶斯算法决策树随机森林
1、sklearn转换器和估算器
1.1 转换器 - 特征工程的父类 1.2 估…
《区块链公链数据分析简易速速上手小册》第10章：未来趋势和挑战（2024 最新版）
文章目录 10.1 区块链技术的发展方向10.1.1 基础知识10.1.2 重点案例：构建一个简单的智能合约步骤1: 创建智能合约步骤2: 部署智能合约步骤3: 使用Python与智能合约交互结语 10.1.3 拓展案例 1：探索 DeFi 应用准备工作实现步骤步骤1: 获取Compound市场数…
2024年1月京东冰箱行业数据分析：TOP10品牌销量及销额排行榜
鲸参谋监测的京东平台1月份冰箱市场销售数据已出炉！
根据鲸参谋电商数据分析平台显示，今年1月份，京东平台上冰箱的销量超105万件，环比上个月增长约40%，同比去年下滑18%；销售额约30亿元，环比上个…
2024图像处理分析与信息工程国际学术会议(IACIPIE2024)
2024图像处理分析与信息工程国际学术会议(IACIPIE2024)
会议简介
2024图像处理分析与信息工程国际学术会议（IACIPIE2024）将在中国长沙举行。
IACIPIE2024是一个年度会议，探讨图像处理分析和信息工程相关领域的发展和影响，旨在介…
应用回归分析：泊松回归
泊松回归是一种广泛用于计数数据的回归分析方法。它适用于响应变量是非负整数的情况，特别是当这些计数呈现出明显的离散分布时。泊松回归通过泊松分布的概率分布函数来建模计数数据，使其成为处理计数数据的自然选择。本文将介绍泊松回归的基本概念、应用…
智慧物流之道：数据可视化引领全局监控
在智慧物流的背景下，数据可视化催生了物流管理的全新范式。首先，通过数据可视化，物流企业可以实现对整个供应链的全景式监控。下面我就可以可视化从业者的角度，简单聊聊这个话题。 首先，图表和地图的直观展示使决策者能…
《区块链公链数据分析简易速速上手小册》第2章：数据获取基础（2024 最新版）
文章目录 2.1 访问区块链数据2.1.1 基础知识2.1.2 重点案例：使用 Python 查询比特币交易记录2.1.3 拓展案例 1：使用 Web3.py 读取以太坊智能合约状态示例智能合约（Solidity）Python 脚本读取智能合约状态结论 2.1.4 拓展案例 2&…
大数据未来会如何发展
大数据应用的重要性，自全国提出“数据中国”的概念以来，我们周围默默地在发挥作用的大数据逐渐深入人们的心中，大数据的应用也越来越广泛，具体到金融、汽车、餐饮、电信、能源、体育和娱乐等领域
为什么大数据技术那么火…
大数据之Hadoop
文章目录一、大数据概论1、大数据概念2、大数据的特点3、大数据应用场景4、大数据部门的业务流程分析5、大数据部门组织结构（重点）二、从Hadoop框架讨论大数据生态1、什么是Hadoop2、Hadoop发展历史3、Hadoop三大发行版本1.Apache Hadoop2.Cloudera Hado…
医学生考研考博太卷，一篇文章轻松助力上岸（一）
考研考博太卷了，卷不过，想没想过本科发一篇文章呢？
330分考研人淘汰390分考研人这个故事，大家应该都知道吧。
本专栏带你六个月内，搞定一篇文章，本科生发文章也很容易。
在卷考研的同时，再卷…
见智未来：数据可视化引领智慧城市之潮
在数字时代的浪潮中，数据可视化崭露头角，为打造智慧城市注入了强大的活力。不再被深奥的数据所束缚，我们通过数据可视化这一工具，可以更加接近智慧城市的未来。下面我就以可视化从业者的角度来简单聊聊这个话题。 数据可视化首先为…
API接口采集商品评论数据；抓取评论数据做好品控只需要一步
通过API接口采集商品评论数据是一个高效且常用的方法，它能够帮助开发者或企业快速获取商品的全面评价信息。以下是具体的步骤：
注册和获取API密钥：在使用商品评论API接口之前，需要先在目标电商平台上注册账号，并提供必…
2｜数据挖掘｜聚类分析｜k-means/k-均值算法
k-means算法k-means算法，也被称为k-平均或k-均值，是一种得到最广泛应用的聚类算法。算法首先随机选择k个对象，每个对象初始地代表了一个簇的平均值或中心。对剩余的每个对象根据其与各个簇中心的距离，将它赋给最近的簇。然后重新计…
《区块链公链数据分析简易速速上手小册》第8章：实战案例研究（2024 最新版）
文章目录 8.1 案例分析：投资决策支持8.1.1 基础知识8.1.2 重点案例：股票市场趋势预测准备工作实现步骤步骤1: 加载和准备数据步骤2: 特征工程步骤3: 训练模型步骤4: 评估模型结论8.1.3 拓展案例 1：基于情感分析的投资策略准备工作实现步骤
纯干货解答 | ERP是什么？有什么作用呢？
这是一篇花了五天时间抠碎了写出来的文章，因为要搞清楚ERP，不能直接上概念，我们需要从“ERP从何而来、为何而来、往哪里发展”一点点讲。
大家且往下看。
说到ERP，你就会想到制造业，那是因为溯源ERP，它的…
CCF-A类MobiCom历年高引论文集免费放送！
MobiCom 高引论文集 MobiCom(International Conference On Mobile Computing And Networking )会议是无线网络和移动计算领域的重要盛会，对推动该领域发展起着积极的推动作用！贴心的会议之眼已经免费为大家带来30篇高质量的MobiCom被广泛引用论文&#x…
【数据挖掘】聚类分析
聚类分析 Cluster Analysis 肝到爆炸呜呜呜 一、什么是聚类分析
关键词
1️⃣ 簇 Cluster：数据对象的集合，相同簇中的数据彼此相似，不同簇中的数据彼此相异。
2️⃣ 聚类分析 Cluster analysis：根据数据特征找到数据中的相似性…
BI 数据分析，数据库，Office，可视化，数据仓库
AIGC ChatGPT 职场案例 AI 绘画 与 短视频制作 PowerBI 商业智能 68集 Mysql 8.0 54集 Oracle 21C 142集 Office 2021实战应用 Python 数据分析实战， ETL Informatica 数据仓库案例实战 51集 Excel 2021实操 100集， Excel 2021函数大全 80集 Excel 2021…
36个数据分析方法与模型
目录一、战略与组织二、质量与生产三、营销服务四、财务管理五、人力资源六、互联网运营好的数据分析师不仅熟练地掌握了分析工具，还掌握了大量的数据分析方法和模型。这样得出的结论不仅具备条理性和逻辑性，而且还更具备结构化和体系化，并保…
【进入游戏行业选游戏特效还是技术美术？】
进入游戏行业选游戏特效还是技术美术？
游戏行业正处于蓬勃发展的黄金时期，科技的进步推动了游戏技术和视觉艺术的飞速革新。在这个创意和技术挑战交织的领域里，游戏特效和技术美术岗位成为了许多人追求的职业目标。 这两个岗位虽然紧密关联…
淘宝/天猫获得淘口令真实url API 返回值说明
API功能：
通过传入淘口令，获取到商品的真实URL、宝贝标题、价格等。
item_password-获得淘口令真实url
公共参数
请求地址: taobao.item_password
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretStrin…
2023美国大学生数学建模竞赛E题光污染完整数据集和求解代码分享
目录
数据集收集
GeoNames 地理数据集
全球各国的经纬度数据集
协调一致的全球夜间灯光（1992 - 2018）数据集
NASA 的 EaN Blue Marble 2016 数据集
全球夜间数据集
读取数据集
绘制热图
光污染分析
数据集和代码地址 2023美国大学生数学建模…
每天一个数据分析题（一百六十）
以下关于代码片段（使用sklearn）的使用和PCA（主成分分析）的描述中，哪项是正确的？
A. preprocessing.scale(data)用于对数据进行归一化处理，确保PCA分析前各特征处于同一量级。
B. PCA(n_compon…
零基础入门金融风控-贷款违约预测Task2 数据分析
Task2 数据分析
此部分为零基础入门金融风控的 Task2 数据分析部分，带你来了解数据，熟悉数据，为后续的特征工程做准备，欢迎大家后续多多交流。
赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约
目的&#…
实战项目-用户评论数据情绪分析
目录1、基于词典的方法2、基于词袋或 Word2Vec 的方法2.1 词袋模型2.2 Word2Vec3、案例：用户评论情绪分析3.1 数据读取3.2 语料库分词处理3.3 Word2Vec 处理3.4 训练情绪分类模型3.5 对评论数据进行情绪判断目的：去判断一段文本、评论的情绪偏向在这里&a…
【数据挖掘】EDA——以2022雪浪算力开发者大赛数据为例
作者简介：重庆大学22级研一，研究方向：时空数据挖掘、图神经网络。目前正在学习大数据、数据挖掘等相关知识，希望毕业后能找到数据相关岗位。 前言
之前写了一个比赛复盘（【竞赛复盘】2022雪浪算力开发者大赛——阀体异…
数据仓库的概念及与数据库等对比
1、什么是数据仓库？
数据仓库是信息（对其进行分析可做出更明智的决策）的中央存储库。通常，数据定期从事务系统、关系数据库和其他来源流入数据仓库。业务分析师、数据工程师、数据科学家和决策者通过商业智能 (BI) 工具、SQL 客户…
天猫数据分析：饮料市场头部份额下滑，无糖饮料占比40%
如今，全世界减糖、控糖的大趋势已经拉开帷幕。 根据沸点测评数据，今年所有在新加坡销售的饮料，必须在包装上注明A、B、C或D的营养等级标签，列明饮料含糖分和饱和脂肪的百分比，营养等级为D的饮品则会被禁止做广告营销。…
DF竞赛平台助力首届“深水云脑杯”全国智慧水务数据创新大赛圆满落幕
首届“深水云脑杯”全国智慧水务数据创新大赛决赛现场
首届“深水云脑杯”全国智慧水务数据创新大赛已圆满落幕，DataFountain大数据竞赛平台（简称DF平台）作为官方竞赛平台为本次大赛提供办赛支持。该赛事以数字化创新模式为抓手，…
大数据挖掘建模平台产品功能特点
大数据挖掘建模平台是面向大数据挖掘教学实训的工具。在“泰迪杯”数据挖掘挑战赛中大多学生都有使用到该工具，平台采用可视化操作方式，通过丰富内置算法，帮助用户快速、一站式的进行数据分析及挖掘建模。可应用于处理海量数据、高复杂性的数…
【数据挖掘与商务智能决策】第九章 随机森林模型
9.1.3 随机森林模型的代码实现
和决策树模型一样，随机森林模型既可以做分类分析，也可以做回归分析。
分别对应的模型为随机森林分类模型（RandomForestClassifier）及随机森林回归模型（RandomForestRegressorÿ…
斯坦福最新AI报告发布，12张图看懂AI现状
最近，斯坦福人工智能研究所（HAI）发布了2023年AI指数报告，提供了AI领域当前技术成就、政策趋势、经济影响等多方面的最新情况。
今天我们将报告最重要的12个结论精简出来，分享给大家。
▍AI大模型不只是大这么简单
在…
查询淘宝商品详情页面数据（商品详情数据，商品销量数据，商品sku数据，商品视频数据，商品优惠券数据）接口代码封装教程
业务场景：作为全球最大的 B2C 电子商务平台之一，淘宝天猫平台提供了丰富的商品资源，吸引了大量的全球买家和卖家。为了方便开发者接入淘宝天猫平台，淘宝天猫平台提供了丰富的 API 接口，其中历史价格接口是非常重要的一…
获取商品SKU信息API调用代码展示、请求参数和返回值说明
SKU是什么意思
最小存货单位（SKU），全称为stock keeping unit，即库存进出计量的基本单元，可以是以件、盒、托盘等为单位。SKU这是对于大型连锁超市DC（配送中心）物流管理的一个必要的方法。现在已…
欧盟立法者签署公开信，近万人联名“暂停高级AI研发”
来源丨CoinTelegraph 编辑丨liuruiWeb3CN.Pro ChatGPT 曾经的势头有多猛烈如今就被行业大佬抵制的就有多严重。 近日，十几位欧盟 (EU) 政客签署了“暂停高级AI研发”的公开信，呼吁 AI （人工智能）的“安全”发展，特斯拉…
1月奶粉电商销售数据榜单：销售额约20亿，高端化趋势明显
鲸参谋电商数据监测的2023年1月份京东平台“奶粉”品类销售数据榜单出炉！ 根据鲸参谋数据显示，1月份京东平台上奶粉的销量约675万件，销售额约20亿元，环比均下降19%左右。与去年相比，整体也下滑了近34%。可以看出&#…
关于材料数据挖掘的常用特征衍生方法
一.ELMD
首先给上github地址，方便大家自行观看 https://github.com/lrcfmd/ElMD
1.这个方法主要用途在于生成元素距离
元素运动距离(ElMD)是化学成分的相似性度量。这两个组分之间的距离是根据沿着改进的佩蒂福尺度将一个元素分布转换为另一个元素分布所需的最小…
2023最全电商API接口 高并发请求 实时数据 支持定制 电商数据 买家卖家数据
电商日常运营很容易理解，就是店铺商品维护，上下架，评价维护，库存数量，协助美工完成制作详情页。店铺DSR，好评率，提升客服服务等等，这些基础而且每天都必须做循环做的工作。借助电商A…
DBT 收购 Transform，指标平台已成现代数据栈关键拼图
今年 2 月初，现代数据技术栈独角兽 DBT 宣布完成对 Transform 的并购。在现代数据栈的体系中，DBT 和 Transform 都扮演着重要角色，DBT 侧重于整个分析链路上的数据转换处理，而 Transform 则聚焦在以指标为中心搭建业务分析应用。 …
地理加权回归 | 模型如何应用于新数据的预测？
专注系列化、高质量的R语言教程推文索引 | 联系小编 | 付费合集有读者不知道如何用地理加权回归去预测新的数据。本篇以常用的两个工具包为例进行介绍。本篇目录如下：0 数据准备1 spgwr工具包2 GWmodel工具包3 结语相关推文：spgwr | R语言与地理加权回归…
世界杯数据可视化分析
目录
1.数据来源
2.字段解释
世界杯成绩信息表：WorldCupsSummary
世界杯比赛比分汇总表：WorldCupMatches.csv
世界杯球员信息表：WorldCupPlayers.csv
3.数据分析及可视化 世界杯已经告一段落，作为一个学习大数据的学生&…
Python数据挖掘-数据分析库
零、基础概念
数据分析：把大量的数据进行统计和整理得出结论为后续的决策提供数据支持。
一、matplotlib画图
作用：将数据可视化呈现
1.简单使用
from matplotlib import pyplot as pltdef print_wd():xrange(2,26,2)y[15,13,14.5,17,20,25,26,26,2…
推荐系统1-推荐系统简介
目录标题1、推荐系统目的2、推荐系统的应用3、推荐系统的基本思想4、推荐系统的数据分析5、推荐系统的分类6、推荐算法简介6.1 基于人口统计学的推荐算法（基于用户数据）6.2 基于内容的推荐算法（基于内容信息）6.3 基于协同过滤的推…
数据清洗是清洗什么？
在搭建数据中台、数据仓库或者做数据分析之前，首要的工作重点就是做数据清洗，否则会影响到后续对数据的分析利用。那么数据清洗到底是做什么事情呢？今天我就来跟大家分享一下。 数据清洗的基本概念
按百度百科给出的解释，“数据清…
5种Python字典“键”和“值”的排序方法
使用 sorted() 函数
使用 sorted() 函数对字典进行排序，将其转换为元组列表，再按照指定的键或者值进行排序。 按照键排序的示例代码
d {apple: 4, banana: 2, pear: 1, orange: 3}
sorted_d dict(sorted(d.items(), keylambda x: x[0]))
print(sorte…
自助式分析是数据组织的一种状态
究竟什么是自助式分析？ 为什么真正的自助式分析难以实现? 没有任何数据工具可以帮助您在公司中实现数据素养。但肯定可以确保不会妨碍我们。作为BI工具制造商，很容易反省太多，如何解决所有客户问题的方法，等等。但事实是…
数据仓库(分层和建模方法梳理)
整理不易，转发请注明出处，请勿直接剽窃！ 点赞、关注、不迷路！ 摘要： 数仓的作用、整体架构、建模方法、分层原理。从整体上梳理数仓、理解数仓架构。 目的
数据仓库的核心是展现层和提供优质的服务。ETL 及其规范、分…
通过接口封装Shopee商品列表、shopee详情、shopee评论数据接口代码展示教程
业务背景：作为全球最大的 B2C 电子商务平台之一，Shopee 平台提供了丰富的商品资源，吸引了大量的全球买家和卖家。为了方便开发者接入 Shopee 平台，Shopee 平台提供了丰富的 API 接口，其中商品详情接口是非常重要的一部…
毕业论文常见数据格式汇总
今天将各个模块中，具有代表性的分析方法的数据格式进行一个汇总说明，本文主要介绍以下内容： 一、规范格式说明
1、原始数据格式
我们在进行数据分析时，最常见的数据格式是原始数据格式。
下图是一份常见的原始数据࿰…
【软考高项】新一代信息技术及应用之大数据
文章目录定义主要特征关键技术大数据获取技术数据采集技术数据整合技术数据清洗技术分布式处理技术大数据管理技术大数据应用和服务技术应用信息技术在智能化、系统化、微型化、云端化的基础上不断融合创新，促进了物联网、云计算、大数据、区块链、人工智能、虚拟现…
Cellchat和Cellphonedb细胞互作一些问题的解决(error和可视化）
今日的内容主要解决两个问题，一个是cellchat的代码报错问题，因为已经有很多人提出这个问题了。第二个是Cellphonedb结果的可视化，这里提供一种免费的很实用的快捷可视化方法。其实这些问题只要自己思考都是能明白的。 Cellchat和cellphonedb细…
【教学类-32-02】十二生肖2.0版（绘画+手工+排序+左右分类+玩牌）（中班：偏科学-数）
作品展示
2.0样式——动物头部方向随机向左、或者向右 背景需求 1.0样式——动物头部方向全部向右，
我希望孩子分类的时候还能够“判断生肖头部的方向做一个左右分类” 素材准备： 1、图片准备
office PPT2013里面有一个图标的功能，内置大量…
2023年天猫青团销售数据：口味更个性化，但老字号品牌依然称霸
青团本是清明时节祭祀的产物，但随着时节的推移，青团已经突破了地域与时间的限制，如今的青团已经成为地域性特色小吃的一种，并逐渐被全国消费者所接受。 随着消费回暖及内容营销的助力，今年的青团季比往年相比提高了不少…
爬虫日常练习-艾图网单页面图片爬取
文章目录爬虫练习分析网站代码设计下载图片完整代码爬虫练习
hello，大家好。好久不见了，无聊的网友今天开始更新关于爬虫的一些日常练习。每次学习完一个新的知识后没有多的案例给自己练习真的很不舒服，希望该系列文章能够让刚刚开始学习爬虫…
2023年美国大学生数学建模A题:受干旱影响的植物群落建模详解+模型代码(一)
目录
前言
一、题目理解
背景
解析：
要求
二、建模
1.相关性分析
2.相关特征权重
只希望各位以后遇到建模比赛可以艾特认识一下我，我可以提供免费的思路和部分源码，以后的数模比赛只要我还有时间肯定会第一时间写出免费开源思路&…
双代号网络图、双代号时标网络图、单代号网络图精讲
01进度管理—普通双代号网络1.识读、虚箭线(1)网络图的识读：基本组成及逻辑关系；(2)补充虚箭线：共用一个班组、共用一台机械；(3)网络图的基本绘制要求：①只有一个起点及终点；②箭线从小节点编号指向大编号&…
【数据挖掘与商务智能决策】第十一章 AdaBoost与GBDT模型
11.1 AdaBoost模型简单代码实现
1.AdaBoost分类模型演示
from sklearn.ensemble import AdaBoostClassifier
X [[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]]
y [0, 0, 0, 1, 1]model AdaBoostClassifier(random_state123)
model.fit(X, y)print(model.predict([[5, 5]]))[0…
基于dbt的机器学习：流畅的过程衔接
DBT 继承了我们在 SQL 上的工作，在数据工程师、数据分析工程师和任何数据角色之间构建了一个优雅、通用的、操作友好的环境。工具和工作流的统一在数据组织内为不同团队之间创建了互操作性。
就像在接力赛中一样，在过程的各个阶段都有明确的交接点和明确…
利用MQL4进行趋势分析和预测
利用MQL4进行趋势分析和预测
期货、外汇交易是让人兴奋的行业，尤其是当你成功地预测市场走向时。
如果您是一个想要积累经验的程序交易员，MQL4（MetaQuotes Language 4）可能是您需要学习的编程语言。 MQL4是专为开发程序交易员代…
BI Data Mining Case 保险反欺诈预测 Python
Dependencies
import pandas as pd
import numpy as np数据读取
train pd.read_csv(insurance/train.csv)
test pd.read_csv(insurance/test.csv)
train pd.concat([train,test]).reset_index(drop True)数据摸底、数据清洗
数据摸底
数据摸底：依据业务经验…
一文速学数模-K-means聚类算法实战：信用卡用户画像聚类分析
目录
前言
一、用户画像概述
1.用户画像
2.为何用聚类算法作用户画像
二、数据质量校验
1.数据背景
2.数据说明
三、数据预处理
1.数据空缺值检验 2.数据归一化
四、K-means聚类
step1:选取K值
手肘法
step2:计算初始化K点
step3:迭代计算重新划分
五.画像分析 …
采集工具助力市场营销，让您的营销更加高效
随着市场竞争的日益激烈，企业的营销策略也在不断升级。而在这个信息爆炸的时代，采集数据成为了市场营销中不可或缺的一环。为了更好地服务客户，我们公司开发了一款高效、快捷的采集工具，为您的营销活动提供有力支持。 Msray-plus&…
python数据清洗
数据清洗包括：空值，异常值，重复值，类型转换和数据整合这里数据清洗需要用到的库是pandas库，下载方式还是在终端运行 ： pip install pandas.首先我们需要对数据进行读取import pandas as pddata pd.read_cs…
数据分析时，进行数据建模该如何筛选关键特征？
1.为什么要做关键特征筛选？ 在数据量与日俱增的时代，我们收集到的数据越来越多，能运用到数据分析挖掘的数据也逐渐丰富起来，但同时，我们也面临着如何从庞大的数据中筛选出与我们业务息息相关的数据。（大背景…
学习完大数据薪资怎么样？
相信不少人在选择大数据行业之前都会先把薪资水平放在第一位，想要高薪就业，就目前的前景来看，大数据的发展的确的非常不错的~
既然回答大数据的问题，那就让我们到用数据的方式来回答一下。大数据需求越来越多，只有技术…
头歌---数据挖掘算法原理与实践：数据预处理
第1关：标准化
为什么要进行标准化
对于大多数数据挖掘算法来说，数据集的标准化是基本要求。这是因为，如果特征不服从或者近似服从标准正态分布（即，零均值、单位标准差的正态分布）的话，算法的表…
数据要素化条件之一：原始性
随着技术的发展，计算机不仅成为人类处理信息的工具，而且逐渐地具有自主处理数据的能力，出现了替代人工的数据智能技术。数据智能的大规模使用需要关于同一分析对象或同一问题的、来源于不同数据源的海量数据。这种数据必须是针对特定对象的记…
基于python的一款数据处理工具pandas
在python处理数据的时候，都免不了用pandas做数据处理。在数据处理时，都免不了用数据筛选来提取自己想要的数据，咱们今天就讲讲pandas的条件筛选。安装库建议做数据分析的酱友们安装anaconda3，这个包几乎包括了数据分析用的所需要的…
【第十一届“泰迪杯”数据挖掘挑战赛】B题产品订单的数据分析与需求预测“解题思路“”以及“代码分享”
【第十一届泰迪杯B题产品订单的数据分析与需求预测产品订单的数据分析与需求预测 】第一大问代码分享（后续更新LSTMinformer多元预测多变量模型）
PS:
代码全写有注释，通俗易懂，包看懂！！！&…
具备这些技能的数据科学家，最受滴滴人力资源小姐姐欢迎
企业信息 滴滴出行是全球化的一站式综合移动出行平台，为超过4.5亿用户提供出租车、专车、快车、顺风车、豪华车、公交、小巴、代驾、租车、企业级、共享单车等全面的出行服务。滴滴日订单已达约2500万，同时滴滴还以人工智能技术支持城市建立智慧交通解决…
大数据能力提升项目｜学生成果展系列之八
导读为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共同设计组织的“清华大学大数据能力提升项…
Teradata 离场，企业数据分析平台如何应对变革？
近日大数据分析和数仓软件巨头 Teradata（TD）宣布基于中国商业环境的评估，退出在中国的直接运营。TD 是全球最大的专注于大数据分析、数仓和整合营销管理解决方案的供应商之一，其早在 1997 年就进入中国，巅峰期占据半数…
起薪2万的爬虫工程师，Python需要学到什么程度才可以就业？
爬虫工程师的的薪资为20K起，当然，因为大数据，薪资也将一路上扬。那么，Python需要学到什么程度呢?今天我们来看看3位前辈的回答。
1、前段时间快要毕业，而我又不想找自己的老本行Java开发了，所以面了很多P…
一文速学-Adaboost模型算法原理以及实现+Python项目实战
目录
前言
一、Adaboost算法概述
二、Adaboost模型原理
类推
计算原理
特点
适应较小量数据集，训练时间长
三、Python实例运用
AdaBoostClassifier分类
参数
实例实现分类
导入数据集 划分数据集 训练模型 评估算法
模型效果 前言
集成学习的方法在全…
数据挖掘，计算机网络、操作系统刷题笔记55
数据挖掘，计算机网络、操作系统刷题笔记55
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开 测开的话，你就得学数据库，sql，orac…
京东商品评论数据爬虫，包含对数据的采集、清洗、可视化、分析等过程，作为数据库课程。
感谢大家的star和fork，为了感谢大家的关注，特意对代码进行了优化，对最新的url格式进行了更新，减少了一些冗余的参数，希望能够帮助大家入门爬虫，已经爬好的京东的商品评论数据已经存储在data目录下ÿ…
上货避坑指南 私域上货选品工具 无货源选品上货 采集商品详情数据API分享 详情图 sku信息
电商开店之后，第一件事就是上货了，上货其实也是有技巧的。
上传商品时我们一定要注意细节，不可忽略一些重要细节，所以商家们在上传商品前，不可忽略是否预售、标题、主图、详情页、保证金、上架时间这几个细节。
详情…
【京东】商品详情页+商品列表数据采集
作为国内最大的电商平台之一，京东数据采集具有多个维度。 有人需要采集商品信息，包括品类、品牌、产品名、价格、销量等字段，以了解商品销售状况、热门商品属性，进行市场扩大和重要决策；
有人需要采集产品评论&…
机器学习基础知识之相关性分析
文章目录 相关性分析定义1、图表相关性分析2、协方差分析3、相关系数分析4、回归分析 相关性分析定义
相关性分析一般是指通过对两种或两种以上的变量数据进行数学分析来确定两种或两种以上的变量数据之间的相关密切程度。由此定义我们可以得知相关性分析的目的在于衡量变量数…
【京东】商品评价数据采集+买家评论数据+卖家评论数据采集+行业数据分析+行业数据质检分析
采集场景
京东商品详情页中的评价，有多个分类：【全部评价】、【晒图】、【视频晒单】、【追评】、【好评】、【中评】、【差评】。其中【全部评价】默认展现，其他需点击后展现。本文以按【差评】筛选采集为例讲解。实例网址：http…
2023年第二十届五一数学建模竞赛题目 C题详细思路
详细思路以及发布视频版，大家可以去观看，这里是对应的文字版，内容相差不多。
C题：“双碳”目标下低碳建筑研究
C题的问题设置其实是本次比赛最简单的一道，就是简单的综合评价预测模型。真正提升C题难度的其实是C题的…
【复杂网络建模】——Pytmnet进行多层网络分析与可视化
目录
一、Pymnet介绍
二、安装步骤
三、多层网络的构建
1、单层网络的构建
2、双层随机网络的构建和可视化 3、多路复用网络图的可视化
四、总结 一、Pymnet介绍
官网： Pymnet是一个用于网络分析和建模的Python库。它提供了各种网络分析工具，例…
新用户如何选择WMS仓储管理系统解决方案
引言：随着现代化物流技术的不断发展，WMS仓储管理系统已成为企业管理的重要工具。一款合适的WMS系统可以帮助企业提高库存管理效率、减少库存成本、提升物流服务质量。对于初学者来说，如何选择适合自己的WMS系统，往往是一项挑战。本…
电商平台销量查询：2023年1月牛奶乳品热门排行榜
随着人们消费能力的提升以及健康意识的增强，牛奶乳品已经成为居民日常饮食中的重要组成部分，伴随人们整体消费的增长，牛奶乳品行业也越来越成熟。 今年1月份我国牛奶乳品行业的整体趋势如何呢？结合数据我们一同来分析！…
NetApp EF 系列全闪存阵列——性能极佳，性价比优势突出
NetApp EF 系列全闪存阵列——性能极佳，性价比优势突出
如果您需要为实时分析、HPC 和数据库等性能敏感型工作负载提供强劲动力，NetApp EF 系列全闪存阵列的性价比优势不言自明。其可为要求最苛刻的应用程序提供微秒级响应，最大限度地延长正…
kaggle新赛推荐 | 从游戏中预测学生的表现
赛题名称：Predict Student Performance from Game Play 从游戏中预测学生的表现
赛题链接：https://www.kaggle.com/competitions/predict-student-performance-from-game-play
赛题背景
学习意味着有趣，这就是基于游戏的学习的用武之地。这…
多电商平台订单整合，库存同步ERP系统，为何不用电商API对接？
还有不到1个月就是618购物狂欢节了，这个节日对很多电商来说是重头戏，一年中销售额暴涨的机会。现在电商们会在多平台开直播，挂小黄车，如抖音、拼多多、小红书等。数据资源大户电商们通常会把这些不同类型的海量数据分散存储在各个…
【Python基础-Pandas】dataframe中将两个日期间的数据补全
1. 目的
目前dataframe中的数据如下，每一行数据表示的该日之前的那一周的平均价格指数，比如第一行数据为data_time2023-04-06, price_index132，表示从2023-03-29到2023-04-05之间的7天的价格指数的平均值为132。现在需要将这些间隔的日期中的…
AutoGPT 是 prompt 工程的下一个前沿
前言
最近了解到Auto GPT的上线，下面我来整理一下整个体验过程，希望对大家有所帮助和启发。
首先Auto GPT是 OpenAI 的 Andrej Karpathy 都在大力宣传的一个开源项目，他认为 AutoGPT 是 prompt 工程的下一个前沿。
近日，AI 界貌…
获取速卖通aliexpress分类详情 API接口
aliexpress分类详情API接口是速卖通提供的一种产品数据接口，可以帮助速卖通卖家快速地将产品分类、属性、价格等信息，通过 aliexpress API接口来快速生成产品描述、图片、视频等产品信息，让卖家可以更方便地管理自己的产品，快速获…
2023年第二十届五一数学建模竞赛赛题浅析
我们带来五一赛题的一个c题解析这个的目的，就是为了帮助大家更好的选题，简单的看一下这个几个题目就可以。然后我们题目给出的这个文件夹就是包括三个赛题，还有我们各个赛题的论文规范模板，这三个我们论文写作的时候才会用到。主要…
信息时代的必修课：信息的矢量化（信息聚类）【矢量字体的原理】
文章目录 引言I 信息的矢量化1.1 矢量图1.2 矢量化的原理II 案例2.1 象形文字的矢量化2.2 拼音文字的矢量化2.3 形状的矢量化过程引言
利用编码原理人工设计的汇编语言：给计算机识别的指令代号基本上是很短的、等长的字母组合
信息越多，需要的编码越多，这是文明自然演变不…
Python读取Excel非常慢，应该如何优化？
Python读取Excel文件时常常遇到性能不理想的情况,特别是在处理较大的Excel文件时。这里总结了几点优化措施,帮助提高Python读取Excel的效率。
1. Python的Excel处理包主要依赖第三方库,效率会略低于R内置的Excel处理功能。可以尝试以下优化措施: - 使用openpyxl而不是xlrd,ope…
PyTorch：深度学习框架的优雅演进与设计理念
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
李雨浛：在数据、网络与民意之间——用计算社会科学方法探讨数字媒体与可持续未来 | 提升之路系列（八）...
导读 为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共同设计组织的“清华大学大数据能力提升项…
五、数据仓库详细介绍（建模）实践篇
1 数仓建模在数仓建设过程中的位置 这张截图源自之前从 0 到 1 建设数据仓库的经验总结，采用的是瀑布模式的展现方式，但实际操作中经常会使用螺旋迭代模式，因为很难有人能够一步到位的考虑清楚所有细节。 通过业务调研我们熟悉了相关业务过程…
数据分析如何入门？这4类 Excel 函数助你从小白到大神
Excel是我们从事数据分析的朋友们，会经常用到的最基本的工具。而Excel函数又是Excel中最为重要的、最为常用的知识点，我们必须要掌握。
基于此，今天就分类为大家讲述最为常用的Excel函数。
逻辑函数
1、and
2、or
3、if
当使用了if(…
数据分析示例-python
数据分析示例-python
今天呢，博主把之前做过的一个小课题拿出来展示一下，当然这个课题呢做的工作量很大，也用到了很多可以参考的技术和代码，做数据分析工作的可以尝试学习学习。 这篇博客，我们先从数据集开始介绍。 对…
Chat GPT 教您如何发现和处理无效数据
Chat GPT 教您如何发现和处理无效数据
在进行数据管理时，无论是数据分析、数据挖掘还是机器学习项目，无效数据都可能对结果造成严重的影响。因此，发现和处理无效数据变得至关重要。本文将从如何处理无效数据的角度，详细探讨数据清…
数据集进行拆分到底什么样数据算是数据标签什么样的数据算数据样本
点击上方“Python爬虫与数据挖掘”，进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 忽闻海上有仙山，山在虚无缥缈间。 大家好，我是皮皮。 一、前言 前几天在Python白银群【kim】问了一个Python机器学习的问题&…
看火山引擎DataLeap如何做好电商治理（二）：案例分析与解决方案
接上篇，以短视频优质项目为例，火山引擎DataLeap平台治理团队会去对每天发布的这种挂购物车车短视频打上标签，识别这些短视频它是优质的还是低质的，以及具体原因。一个视频经过这个模型识别之后，会给到奖惩中心去做相应…
商业智能（Business Intelligence，简称：BI）
商业智能(Business Intelligence，简称：BI)，又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。商业智能的概念在1996年最早由加特纳集团(Gartner Group)提出&a…
【数据挖掘与商务智能决策】第十五章 智能推荐系统 - 协同过滤算法
第十五章 智能推荐系统 - 协同过滤算法
15.2 相似度计算三种常见方法
15.2.1 欧式距离
import pandas as pd
df pd.DataFrame([[5, 1, 5], [4, 2, 2], [4, 2, 1]], columns[用户1, 用户2, 用户3], index[物品A, 物品B, 物品C])
df用户1用户2用户3物品A515物品B422物品C421 …
数据智能平台有哪些应用前景？
数据智能平台是一种基于大数据技术和算法模型的数据分析平台，它可以对海量、多样化、复杂性强的数据进行智能化处理和分析，进而提供数据洞察和业务决策支持。
数据智能平台通常包含以下主要功能：
1. 数据采集：从各种数据源中获取…
Pandas-如何用pandas批量删除含有某些特征数据的行
前言 本文是该专栏的第30篇，后面会持续分享python数据分析的干货知识，记得关注。
在工作上处理数据需求的时候，会通常需要你将某张数据表里面的多条特征数据进行删除，最后再保存清洗完成的数据。换言之，假设有某张csv数据表(几十万条数据)，而在这张表里面需要将几万条不…
微店API分享：获取店铺所有商品接口 参数说明（含请求示例）
随着微信的普及，越来越多的商家开始希望利用微信等社交媒体搭建自己的小店铺，以便更好地推广商品并增加销售额。微店API也应运而生，利用API可以获取微店的商品数据，进行数据整合分享。
店铺所有商品API接口是指商家可以利用这个接…
机器学习强基计划10-1：为什么需要集成学习？核心原理是什么？
目录 0 写在前面1 集成学习概念与优势2 结合策略梳理2.1 加权平均法2.2 投票法2.3 学习法 3 误差-分歧分解 0 写在前面
机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器…
5_推荐系统算法详解
推荐系统算法详解 主要内容常用推荐算法分类（重点）基于人口统计学的推荐算法用户画像 基于内容的推荐算法相似度计算 基于内容推荐系统的高层次结构特征工程数值型特征处理 类别型特征处理时间型特征处理统计型特征处理推荐系统常见反馈数据基于 UGC 的推…
应征之作——你会如何处理无效数据？
应征之作——你会如何处理无效数据？
看到了C站的活动，所以谈一下对无效数据的看法。
对于数据库管理员以及数据库开发人员，以及数据分析人员来说 无效数据是时时处处都存在的，必须始终与无效数据周旋到底。
一 无效数据的概念 …
兼顾降本与增效，我们对存算分离的设计与思考
“降本增效”是最近企业常被提及的关键字，作为新时代企业发展的数据大脑，企业大数据团队需要持续探索如何在有限资源下创造更多价值。本文将以场景为"引"，技术为"核"，介绍如何基于 StarRocks 全新的存算分离架…
【Python】数据分析与可视化实践：收支日统计数据可视化的实现
Python数据分析与可视化实践：收支日统计数据可视化的实现 Author：萌狼蓝天 Date：2023-5-7 数据读入与基本处理 上图是原始数据的一部分，存放于excel中，首先使用pd读入数据。读入数据后，删除不是收入&#x…
Class 07 - 功能包的安装和 tidyverse 介绍
Class 07 - 功能包的安装和 tidyverse 介绍 tidyverse 简介功能包（package）的安装tidyverse 的安装 功能包（package）的加载tidyverse 的加载 功能包（package）的更新tidyverse 核心功能browseVignettes 函数…
2023年京东618预售数据免费开放（往年618热门品类数据回顾）
2023年618京东平台整体的活动节奏分为五个时期： 第一时期为预售期：2023年5月23日晚8点-5月31日
第二时期为开门红：5月31日20点-6月3日
第三时期为场景期：6月4日-6月15日
第四时期为高潮期：6月15日20点-6月18日
第五…
机器学习和大数据：如何利用机器学习算法分析和预测大数据
第一章：引言
近年来，随着科技的迅速发展和数据的爆炸式增长，大数据已经成为我们生活中无法忽视的一部分。大数据不仅包含着海量的信息，而且蕴含着无数的商机和挑战。然而，如何从这些海量的数据中提取有价值的信息并做…
用数据讲故事：十大统计学/机器学习魔法指数
统计学和机器学习为数据分析提供理论基础，入门时我看过很多统计学相关书籍，复杂的公式和推导过程让我一度陷入迷茫。对于数据科学/分析师来说，如何使用统计学知识并应用到我们的分析场景中更为重要。本文主要基于数据分析工作中的实际应用场景…
Python数据分析案例27——PCA-K均值-轮廓系数客户聚类
本案例适合应用统计，数据科学，电商专业 K均值对客户进行分类的案例都做烂了......但我认为这个案例还是有一定的价值的，使用了pca，还有轮廓系数寻找最优的聚类个数。
下面来看看 代码准备
导入包
import numpy as np
import pa…
面向小白的最全Python数据分析指南，超全的！
因工作需求经常会面试一些数据分析师，一些 coding 能力很强的小伙伴，当被问及数据分析方法论时一脸懵逼的，或者理所当然的认为就是写代码啊，在文章开头先来解释一下数据分析。
数据分析是通过明确分析目的，梳理并确定…
Python3数据分析与挖掘建模（5）数据分类与分析
1. 数据分类
数据分类可以根据不同的度量水平进行分类，其中常见的分类方法包括定类、定序、定距和定比。
（1）定类（Nominal）：定类是最基本的数据分类方式，用于对数据进行无序的分类。在定类数据…
【Python教学】Python兼职有哪些？给你们分享一下最适合学生党/工作党的Python兼职攻略以及接私活经验
文章目录 前言一、做兼职的优势二、兼职种类三、基本技能要求四、平台和渠道五、案例分析六、做兼职注意事项总结 前言
Python是一种高级编程语言，它具有简单易学、代码可读性高、功能强大等特点，被广泛应用于数据分析、人工智能、Web开发等领域。Pytho…
探索可视化大屏：引领信息时代的视觉革命
可视化大屏是一种利用先进的数据可视化技术和交互技术，将大量的数据和信息以直观、易于理解的方式展示在大屏幕上的解决方案。可视化大屏通常由高分辨率的显示屏、强大的计算和处理设备以及专业的可视化软件组成，它通过图表、图形、动画等可视化元素&…
2022年只学Python可以找什么实习工作呢?Python笔试题
Python近几年受到各大企业和求职人士的喜爱，已成为热门职位之一，在提升工作效率的同时也可以获得高薪就业技能，所以2022年只学python也可以找到高薪工作，前提是python学好。 2022年pyhton实习岗位推荐如下 人工智能 Python作为人工…
天猫订单之数据分析与挖掘——聚类分析
天猫订单之数据分析与挖掘——聚类分析 文章目录 天猫订单之数据分析与挖掘——聚类分析0. 写在前面1. 聚类分析1.1 聚类分组1.2 kmeans算法0. 写在前面 Windows：Windows10Python：Python3.9本次案例项目主要是采用Pandas和Numpy对天猫订单数据集进行处理、挖掘、分类和聚类分…
1688 API分享：1688商品采集接口 1688关键字搜索接口
随着“无界零售”时代的到来，越来越多的企业开始寻求数字化转型，其中最重要的一个环节就是数据的互通和整合。而阿里巴巴旗下的B2B网站1688也推出了API接口，为企业间的数据交流提供了便利。电商API中有两个热门的接口，经常会被大家…
【数据湖仓架构】数据湖和仓库：范式简介
是时候将数据分析迁移到云端了——您选择数据仓库还是数据湖解决方案？了解这两种方法的优缺点。 数据分析平台正在转向云环境，例如亚马逊网络服务、微软 Azure 和谷歌云。云环境提供了多种好处，例如可扩展性、可用性和可靠性。此外࿰…
企业的数据信息值钱吗？如何提升数据信息的价值？
越来越多的企业也将数据视为转型发展、重塑竞争优势和提升组织治理能力的重要战略资产，并对这一重要资产进行系统性、体系化的管理，以便充分挖掘数据的战略、战术价值。鉴于此，对数据资产进行体全面盘点、构建企业级的数据资产目录成为了数据…
从AI到BI：隐语SCQL深度解读（附视频）
3月29日，“隐语开源社区开放日”活动顺利举办。当天隐语社区正式开源SCQL引擎，在工业界首次实现了隐私数据从Al到BI分析，是隐语走向易用的重要一步！下文为隐语框架负责人王磊在活动现场的分享内容。 我们知道，在隐私计算目前应用较多的场景中，无论是风控场景的LR、XGB，还…
关于数据挖掘的问题之经典案例
依据交易数据集 basket_data.csv挖掘数据中购买行为中的关联规则。
问题分析：
如和去对一个数据集进行关联规则挖掘，找到数据集中的项集之间的关联性。
处理步骤：
首先导入了两个库，pandas 库和 apyori 库。pandas 库是 Pytho…
挤出泡沫、脱虚向实，AI大模型正在回归价值投资？
商品推荐、交通管理、生成文章、代码编程、电影特效制作……自ChatGPT横空出世以来，AIGC浪潮席卷全球，上下游产业链也因此大放异彩。
市场行情的高景气直观反映在股价上，无论AI公司是否盈利，其股价多呈上升趋势。一些与AI概念有所…
【自然语言处理】不同策略的主题建模方法比较
不同策略的主题建模方法比较 本文将介绍利用 LSA、pLSA、LDA、NMF、BERTopic、Top2Vec 这六种策略进行主题建模之间的比较。
1.简介
在自然语言处理（NLP）中，主题建模一词包含了一系列的统计和深度学习技术，用于寻找文档集中的隐…
PyCaret解决二分类任务教程示例
PyCaret是一个Python中的开源、低代码机器学习库，可以自动化机器学习工作流。它是一个端到端的机器学习和模型管理工具，可以成倍地加快实验周期，提高工作效率。 与其他开源机器学习库相比，PyCaret是一个替代的低代码库，…
平心而论，做电商数据分析还得这款大数据分析平台
各个业务系统上的数据能放一起分析了吗？根据物流周期做好库存计划了吗？广告投入分析评估报表出来吗？运营、物流、财务等部门环节间的信息脱节解决了吗？做电商数据分析不仅仅是做一两个销售分析报表，而是要综合各个部门…
ETL还是ELT：企业如何选择构建数据仓库的最佳工具？
一、企业数据仓库的构建对于数据驱动的决策和业务增长至关重要
在构建数据仓库的过程中，选择合适的工具和方法是实现高效、可靠的数据集成和转换的第一步，构建数据中台最重要的是得先有数据，出来玩最重要的是什么？当然是出来.
而…
![[建议收藏] Mysql+ETLCloud CDC+Doris实时数仓同步实战](https://img-blog.csdnimg.cn/fd2c0ab9820443faa67d994272223b70.png)
[建议收藏] Mysql+ETLCloud CDC+Doris实时数仓同步实战
一、业务需求及其痛点
随着数字化转型，企业需要对各种销售及营销数据进行实时同步分析，例如销售订单信息，库存信息，会员信息，设备状态信息等等，这些统计分析信息可以实时同步到 Doris中进行分析和统计&…
Live800:人工智能时代，客户服务的危与机
引言：人工智能已经到来，它就在我们身边，几乎无处不在。 它将引领一场比互联网影响更为深远的科技革命。
在数字与智能化技术日趋成熟的时代下，人工智能与人之间的比较、碰撞时常引发热议。以客服行业为例，"智能套…
别再玩聊天自带小尾巴，客服专属标签更可爱
原文地址(http://www.wangpudata.com/newsinfo/627537.html)
**近日微信iOS 14测试版发布之后，微信聊天自带小尾巴功能，风靡爱上聊天。**有了与众不同的提示，就不用担心错话的时候，没有及时反应过来导致来不及撤回的问题。对于一…
Python数据分析实战【十四】：Python的三种排序方法：sort()、sorted()和sort_values()【文末源码地址】
文章目录 一、List.sort()排序案例一：按照列表中的元素进行排序案例二：按照销售额数据进行排列 二、sorted()排序案例一：sorted()对列表进行排序案例二：sorted()对字典进行排序案例三：sorted()对列表中的字典元素排序 …
机器学习基础知识之数据归一化
文章目录 归一化的原因1、最大最小归一化2、Z-score标准化3、不同方法的应用 归一化的原因
在进行机器学习训练时，通常一个数据集中包含多个不同的特征，例如在土壤重金属数据集中，每一个样本代表一个采样点，其包含的特征有经度、…
一个用于Allen脑图谱基因数据的工具箱|abagen
艾伦人类脑图谱（Allen Human Brain Atlas）
艾伦人类脑图谱是一个由艾伦脑科学研究所(Allen Institute for Brain Science)开发的在线基因表达图谱数据库，旨在提供人类大脑各个区域的细胞类型和基因表达信息。这个数据库包含了人类全基因组微…
数据挖掘——甘肃省县（区）域农业综合实力研究（论文）
《数据挖掘与分析》课程论文 题目：甘肃省县（区）域农业综合实力研究 xx学院xx专业xx班：xx 2023年6月 甘肃省县（区）域农业综合实力研究
xx
(xx学院 xx学院)
摘要：本文主要研究甘肃省各县&#…
【Python爬虫与数据分析】初阶语法
目录
一、数据类型
二、输入输出
三、算术运算
四、逻辑与条件判断
五、循环控制
六、函数 一、数据类型
Python的数据类型分为常量、数值变量、字符串变量、布尔变量（True、False）常量可以直接参与运算与赋值，变量无需声明可直接定义…
【如何处理无效数据？】
对于任何一个数据分析项目，无效数据都是一个非常重要的问题。无论是在收集、清理还是分析数据时，无效数据都会对结果产生负面影响，可能导致偏差、误判、不准确和错误的结论等。
无效数据通常指数据集中不能提供有用信息或不符合研究目的的数…
广告素材优选算法在内容营销中的应用实践
动手点关注 干货不迷路 👆1. 背景什么是素材优选？近年来，基于 feed 流推荐的短视频业务带来了巨大的广告商业价值，例如，抖音推出的「游戏发行人计划」就是一个鼓励达人发布游戏相关短视频，从而为游戏推广带…
人工智能普世化进展迅速 让人工智能真正有用武之地
2017年1月4日，李飞飞入职谷歌，担任谷歌云首席科学家。这是这位全球人工智能研究领域执牛耳者第一次进入工业界。 彼时，她充满了兴奋，她希望能从工业界得到启发，了解实际应用中希望利用人工智能解决什么问题&#x…
火山引擎DataLeap的Catalog系统搜索实践 （二）：整体架构
整体架构 火山引擎DataLeap的Catalog搜索系统使用了开源的搜索引擎Elasticsearch进行基础的文档检索（Recall阶段），因此各种资产元数据会被存放到Elasticsearch中。整个系统包括4个主要的数据流程： 实时导入。资产元数据变更时相应…
chatgpt赋能python：Python关联规则——挖掘数据中的隐藏关系
Python关联规则——挖掘数据中的隐藏关系
在数据分析和挖掘中，我们经常需要找到数据集中的关联规则，以便更好地理解数据背后的隐藏关系和趋势。Python关联规则是一种经典的关联规则挖掘算法，它能够识别和发现数据中的有意义的关联性…
阿语Python项目实操之美多后台管理-数据统计第3.6节日分类商品访问量
日分类商品访问量接口分析请求方式：GET /meiduo_admin/statistical/goods_day_views/请求参数：通过请求头传递jwt token数据。返回数据：JSON[{"category": "分类名称","count": "访问量"},{"ca…
【专为苛刻的数据环境而构建】上海道宁为您带来世界上先进的矢量原生、时间序列和实时分析数据库——kdb系列产品
kdb是高效的矢量原生
时间序列和实时分析数据库
专为高性能矢量
数据驱动的应用程序而构建
以加速云端、数据仓库和
数据湖中的 AI 和 ML 工具
从而更快、更高效地
制定业务决策 使用数据时间库加速数据
分析和生成 AI 管道
以降低成本
提高性能并提高效率 开发商介绍…
阿语python美多商城-订单-提交订单之第8.2.1节创建订单数据库表
创建订单数据库表生成的订单数据要做持久化处理，而且需要在《我的订单》页面展示出来。1. 订单数据库表分析注意：订单号不再采用数据库自增主键，而是由后端生成。一个订单中可以有多个商品信息，订单基本信息和订单商品信息是一对多…
一文带你搞懂pandas中的时间处理(详细)
1、pandas中6个时间相关的类在多数情况下，对时间类型数据进行分析的前提就是将原本为字符串的时间转换为标准时间类型。pandas继承了NumPy库和datetime库的时间相关模块，提供了6种时间相关的类。2、Timestamp类其中Timestamp作为时间类中最基础的&#x…
python数据处理----分组和聚合（高级）
什么是聚合？
在SQL中我们经常使用 GROUP BY 将某个字段,按不同的取值进行分组, 在pandas中也有groupby函数分组之后,每组都会有至少1条数据, 将这些数据进一步处理返回单个值的过程就是聚合,比如 分组之后计算算术平均值, 或者分组之后计算频数,都属于聚合 单变量分…
Python入门指南：基础概念和常见用法
Python是一门面向对象、解释型的高级编程语言，拥有简洁、易读的语法和强大的库支持，被广泛应用于Web开发、数据分析、人工智能等领域。本文将介绍Python的基础概念和常见用法，帮助读者快速入门Python编程。
一、Python基础概念
数据类型 Py…
什么你还不知道招聘信息，小唐来教你——最新2021爬取拉勾网招聘信息（二）
文章目录前言一、准备我们的库二、数据清洗三、核密度图及词云制作四、完整代码五、扩展上一篇：什么你还不知道招聘信息，小唐来教你——最新2021爬取拉勾网招聘信息（一） 下一篇：没有拉！ 前言
既然我们上面…
机器学习中的特征工程
机器学习中的特征工程
什么是特征工程
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限。
构…
初学数据挖掘——数据探索（三）：数据特征分析之对比分析
一、对比分析：
对比分析是将两个相互联系的指标进行比较，从数量上展示和说明研究对象的各种关系（规模的大小、水平的高低、速度的快慢等）是否协调。分析其中的差异，从而揭示这些事物代表的发展变化情况以及变化规律。…
企业转型在搭建BI时，需要注意什么
如今，商业智能BI在全世界范围内掀起了一股热潮，形成了一个庞大的市场，在信息化时代，企业需要借助BI来进行更好的成长。
在这种全新的社会、商业BI环境下，各行各业的企业都开始寻求探索新的商业模式，通过转…
Nan 数据的检测与处理
print(is exist nan: , end)
print(np.isnan(x).any())# 查找位置
nan_inx np.where(np.isnan(x))
print(nan_inx)# 替换
x[np.isnan(x)]0.00001print(is exist nan: , end)
print(np.isnan(x).any())
开发流程一（数据收集）
1.自动爬取数据的工具
（1）Excel
数据——>自网站——>输入网站链接——>跳转——>导入
属性——>刷新频率
（2）八爪鱼
一款免费的网络数据采集工具
下载，安装，建立任务，选…
folium离线地图使用
几点说明：
1. 代码亲测有效（效果见文末图）
2. 离线使用，需要预先下载png格式的离线地图，这里以OpenStreetMap为例。
3. 离线地图下载工具：Offline Map Maker https://www.allmapsoft.com/omm/
4. foliu…
大数据分析案例-基于LightGBM算法构建航空公司满意度预测模型
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
2023年衣物洗护市场行业分析（京东天猫数据分析）
近年来，受消费者习惯的推动，衣物洗护用品市场不断发展，洗护用品行业的市场规模也不断增长。 根据鲸参谋电商数据分析平台的相关数据显示，今年1月份至4月份，天猫平台上衣物洗护相关产品的销量为7300万，产品销…
Pandas 高级操作使用技巧总结
前言
在数据分析和数据建模的过程中需要对数据进行清洗和整理等工作，有时需要对数据增删字段。下面为大家介绍Pandas对数据的复杂查询、数据类型转换、数据排序、数据的修改、数据迭代以及函数的使用。 复杂查询
实际业务需求往往需要按照一定的条件甚至复杂的组合…
《机器学习公式推导与代码实现》chapter17-kmeans
《机器学习公式推导与代码实现》学习笔记，记录一下自己的学习过程，详细的内容请大家购买作者的书籍查阅。
聚类分析和k均值聚类算法
聚类分析(cluster analysis)是一类经典的无监督学习算法，在给定样本的情况下，聚类分析通过度量…
数据挖掘——第二章：数据
文章目录1. 数据的属性1.1 数据对象1.2 属性1.3 属性类型1.4 离散属性vs连续属性2. 数据的基本统计描述2.1 中心趋势度量2.2 数据分散度量2.3 数据图形显示3. 数据的相似性和相异性3.1 数据矩阵与相异矩阵3.2 标称属性的临近性度量3.3 二进制属性的临近性度量3.4 数值属性的相异…
如何系统性的学习Python语言
零基础同学的福音来了，如果你对Python语言的学习感兴趣，接下来可以由浅入深的了解下Python语言，哪怕你是零基础的小白也完全可以学会的，最后也会给大家放出学习和实例相结合的教程及方法，给到各位同学系统性的教学&…
HDLBits：在线学习 Verilog （十七 · Problem 80-84）
本系列内容来自于知乎专栏，链接如下：https://zhuanlan.zhihu.com/c_1131528588117385216本系列文章将和读者一起巡礼数字逻辑在线学习网站 HDLBits 的教程与习题，并附上解答和一些作者个人的理解，相信无论是想 7 分钟精通 Verilog…
机器学习-基于决策树的分类与预测
一、原理
1.决策树（decision tree）：本质上是一种通过一系列规则对数据进行分类的分类模型，采用树行（如二叉树…）结构，使用层层推理（基于if-then-else的监督学习算法）来来…
我如何设计数据团队的入职培训课程？
这是傅一平的第349篇原创【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘交流群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。正文开…
随机森林算法学习(RandomForest)
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq547276542/article/details/78304454 随机森林算法学习 最近在做kaggle的时候，发现随机森林这个算法在分类问题上效果十分的好，大多数情况下效果…
Feature selection using SelectFromModel
SelectFromModel sklearn在Feature selection模块中内置了一个SelectFromModel，该模型可以通过Model本身给出的指标对特征进行选择，其作用与其名字高度一致，select （feature） from model。 SelectFromModel 是一个通用…
Python 内置函数sorted()在高级用法
Python 内置函数sorted()在高级用法 对于Python内置函数sorted()，先拿来跟list（列表）中的成员函数list.sort()进行下对比。在本质上，list的排序和内建函数sorted的排序是差不多的，连参数都基本上是一样的。 主要的区别…
【无标题】2022年车工（高级）考题及答案
题库来源：安全生产模拟考试一点通公众号小程序
2022车工（高级）试题是车工（高级）理论题库精选题库！2022年车工（高级）考题及答案依据车工（高级）考试教材。车工…
人工智能显然超出了传统工具的范畴，具有学习能力，能做决策
智能化革命正在深刻地影响和塑造着人类的生产、生活方式与社会文明发展形态。如何应对人工智能技术发展和应用带来的伦理问题及挑战，成为智能化时代全人类需要面对的重大课题。国际学术界对新技术可能引发的各种伦理问题以及防范等进行了诸多研究，值得我…
图神经网络让人工智能更接近“人脑” 多项关键技术难点实现突破
近日，中国电子学会正式公布“2021中国电子学会科学技术奖”名单。浙江大学、达摩院、阿里云共同完成的“超大规模高性能图神经网络计算平台及其应用”荣获科技进步一等奖。据悉，该奖被认为是国内电子信息技术发展风向标。 图神经网络让人工智能更接近…
CSDN英雄会上会英雄
<iframe align"top" marginwidth"0" marginheight"0" src"http://www.zealware.com/46860.html" frameborder"0" width"468" scrolling"no" height"60"></iframe>4月6日参加了CS…
数据挖掘十大算法之分类算法(决策树模型)
文章目录1. 决策树的概念2. 构建决策树3. 决策树中的信息论原理3.1 信息量3.2 熵3.3 分类集合信息量3.4 信息增益接上篇文章分类介绍及评价指标我们讨论了分类算法中，分类模型的选择是非常关键的一步，接下来我们分析常用的分类模型——决策树模型
在本文…
数据挖掘十大算法之Apriori算法
文章目录1. “啤酒与尿布”的案例2. Aprior算法核心术语事物集记录(事务)项目(项)项目集(项集)K项集支持度(Support)置信度(Confidence)最小支持度(min_support)最小置信度(min_confidence)提升度频繁K项（目）集候选K项（目）集3. Ap…
DeepLearing学习笔记-Planar data classification with one hidden layer(第三周作业)
0 - 背景：
前文，创建的神经网络只有一个输出层，没有隐藏层。本文将创建单隐藏层的神经网络模型。
二分类单隐藏层的神经网络神经元节点采用非线性的激活函数，如tanh计算交叉损失函数运用前向和后向传播
1- 准备条件：…
Python基础_符号和字符串
加粗样式
字符连接
占位符 s‘s’%s’hello’ print(s)
格式化字符串fstr({变量1}，{变量2}…)rstr
hello 钢铁侠，蜘蛛侠 【总结】：如果 有变量，那么用f.变量 如果没有变量，那么可以用字符串format
<–如果是…
高速公路：价值低估 三季度基金或重点加仓
www.eastmoney.com 2007-09-28 16:33 东方财富网 <script src"http://news2.eastmoney.com/mainjs/content_fun_1.js" type"text/javascript"></script> 【字体: 大 中 小】 【收藏】 【复制网址】 【打印】 高速路板块全线飘红 三季…
AI发现两个数学新猜想 人工智能拓展在前沿领域应用范围
人工智能治理是和人工智能发展相伴而行的问题。联合国教科文组织当地时间11月25日正式推出《人工智能伦理问题建议书》，该建议书由教科文组织会员国集体通过，是关于人工智能主题的首份全球性规范框架。 该建议书旨在促进人工智能为人类、社会、环境以…
关于国际AI会议的转载
AI会议的总结（by南大周志华） 分类： 图像处理2011-05-20 00:08 48人阅读 评论(0) 收藏 举报粗体标出来的都是Computer Vision和Image Processing相关的 ---------------------------------------------------------------------------------- …
深入理解搜索引擎——基于语义检索LSTM-DSSM召回模型
众所周知，BM25算法是Elasticsearch全文检索引擎默认相似度算法，但此种算法仅考虑了文本Term之间的匹配关系，并未考虑文本语义之间的信息，所以导致很多场景下，语义相关的内容无法召回。随着深度学习在NLP的广泛应用&a…
深入理解搜索引擎——搜索评价指标
搜索引擎，在做好query理解、索引召回以及排序模型之后，就能直接推上线了吗？答案是否定的，还需对其性能和质量进行评测。性能无非是对时间和空间的运行效率作评测，不细讲，今天讲讲搜索引擎的质量评测。通过质…
深入理解搜索引擎-搜索召回
你有没有想过，当我们在搜索框中输入关键词时，搜索引擎是如何确定返回哪些内容给你的？搜索引擎底层有一个巨大的索引库，返回的搜索结果跟你输入的关键词又有什么关系？今天我们就来讲讲搜索引擎中的召回。
召回是根据…
Alphafold2是人工智能对科学领域最大的一次贡献
7月16日，英国《自然》杂志发表了一项结构生物学最新研究，人工智能公司DeepMind的神经网络Alphafold2预测的蛋白质结构能达到原子水平的准确度。 蛋白质折叠问题被认为是人类在21世纪需要解决的重要科学前沿问题之一。研究蛋白质结构，有助…
研究人员把人工智能与人类智能相结合以估算可重复性
我们再来看一下 AlphaFold。通过采用新技术，科学家在没有专门知识和专业领域训练的情况下，就能够超越该领域基于传统技术的所有专家。这个例子提出了一个重要的问题：如果把最新的技术与研究人员的专业技能结合起来会如何？ 未来…
推荐系统中的相似度度量
推荐系统中的相似度度量 相似度计算是数据挖掘，推荐引擎中的最基本问题，例如在推荐系统(Recommender Systems，简称RSs)中计算带推荐物品(Item)相似度，或是用户(User)之间的相似度以期获得兴趣口味(Taste)相似的用户时，…
《Python数据分析与挖掘实战》源码下载
《Python数据分析与挖掘实战》源码下载链接：
https://pan.baidu.com/s/1Z8RJpH5dwwbLx5KFJd5qSw?pwd6hat
本书涵盖数据分析与数据挖掘的基础知识、必备工具和有效实践方法，能让读者充分掌握数据分析与数据挖掘的基本技能。
本书共分为15章࿰…
数据挖掘技术具有哪些特点？
数据挖掘源自《从数据库中发现知识》（缩写为KDD）。它首次出现在1989年8月在底特律举行的第十一届国际联合人工智能会议上。为了统一理解，Fayyad，Piatetsky-Shapiro和Smyth在权威文章集《知识发现与数据进展》中给出了KDD和数据挖掘…
kaggle数据挖掘——以Titanic为例介绍处理数据大致步骤
Titanic是kaggle上的一道just for fun的题，没有奖金，但是数据整洁，拿来练手最好不过。
本文以 Titanic 的数据，使用较为简单的决策树，介绍处理数据大致过程、步骤
注意，本文的目的，在于帮助你…
softmax回归(Softmax Regression)
Softmax Regression 注：这篇博客是看NG的UFLDL_Tutorial写的博客笔记，其中大量文字和公式来自该网页，自己只添加了公式推导和实验编程部分。网址为：Link。本文主要从下几个方面介绍softmax回归（softmax regression&…
支持向量回归SVR实例
支持向量回归（Support Vector Regression，简称SVR）是一种机器学习算法，用于解决回归问题。与传统的回归方法不同，SVR通过使用支持向量机（Support Vector Machine，简称SVM）的思想&…
数据分析--NumPy
NumPy多维数组对象：ndarray对象ndarray对象的创建ndarray对象的数据类型ndarray对象的索引，切片和迭代ndarray对象的shape操作ndarray对象的基础操作不足多维数组对象：ndarray对象
ndarray对象保存同一类型的数据，访问方式类似于…
数据分析--数据分析是什么？
数据分析是什么？数据分析与数据挖掘之间的关系数据分析数据挖掘数据分析的基本步骤python和数据分析数据分析就是通过得到的数据，来发现各种规律之间的关系数据分析与数据挖掘之间的关系
数据分析
定义：简单来说，数据分析就是对…
2022年第五届中青杯赛题浅评
本周将有两场数学建模竞赛开赛，分别是中青杯和数据统计分析竞赛，今天中青杯开赛，下面我将为大家对每个题目进行分析，分析每个题目大家再做题时可能会遇到的问题，以及处理方法，希望能够帮到大家。
AB题资料…
Python获取某品牌加盟数据采集实现可视化数据分析
前言
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 开发环境 : python 3.8 运行代码 pycharm 2022.3 辅助敲代码 jupyter 数据分析使用软件
模块使用 ： requests 数据请求模块 需要安装 parsel 数据解析模块 csv pandas pyecharts
第三方模块安装…
数据挖掘实战经验——交通大数据预测
最近在天池打了一个大数据比赛，还是和之前打过的KDD CUP一样的交通流预测，但是这次做的时候没有简单粗暴的使用规则型方式导出结果，而是选择了提取特征后建模的方法，在初赛取得了73/1716的成绩，感觉有一些收获在这里记…
明明加了唯一索引，为什么还是产生了重复数据？
前言
前段时间我踩过一个坑：在mysql8的一张innodb引擎的表中，加了唯一索引，但最后发现数据竟然还是重复了。
到底怎么回事呢？
本文通过一次踩坑经历，聊聊唯一索引，一些有意思的知识点。 1.还原问题现场 …
数据挖掘与数据分析之统计知识篇
1、自由度是什么？怎么确定？
统计学上，自由度是指当以样本的统计量估计总体的参数时，样本中独立或能自由变化的数据个数叫自由度。一般来说，自由度等于独立变量减掉其衍生量数。举例来说，变异数的定义是样本…
学习数据挖掘决策树ID3算法
一个月前的C语言程序设计课上学习了决策树ID3算法 然后自己用了两个多星期的时间开始用C语言实现，结果由于过程太过于复杂，写出来的东西就跟屎一样。 可能是自己对于这个算法理解的不够深刻，或者是在设计的时候没有构思好。 所以决定在这里写…
移动端数据可视化设计
在做APP设计的时候，难免会遇到一些需要展示数据的场景。使用传统的表格和文档展示数据不仅难看，也影响用户理解数据的含义。而数据可视化设计能将数据以更加直观的方式展现出来，使数据更加客观、更有说服力。
在移动应用中，数据可…
大数据分析：某日头条搜索java的分词报告
前言：之前做了好多爬虫例子，就是为了获取大量数据，然后，就没有然后了，说好的数据挖掘了？ 思路： 使用爬虫爬取某日头条所有关于java的文章资料文本信息 对文本进行分词处理，计算词频…
Hadoop大数据存算分离需要什么样的存储？
据IDC预测，到2021年，至少50%的全球GDP将由数字化驱动。面对海量数据，企业亟需通过更加现代化、敏捷、高性能的IT基础设施来推进业务持续发展。
当今世界，只有很少的数据得到了分析，还有巨大的待开发潜能，在…
数据挖掘——第一章：概述
文章目录1. 数据分析与数据挖掘1.1 数据分析1.2 数据挖掘1.3 知识发现（KDD）的过程1.4 数据分析与数据挖掘的区别1.5 数据分析与数据挖掘的联系2. 分析与挖掘的数据类型2.1 数据库数据2.2 数据仓库数据2.3 事务数据2.4 数据矩阵2.5 图和网状结构2.6 其他类…
人工智能如何才能工程化？
【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘微信群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。正文开始人工智能几乎是近几年…
数据处理时如何解决噪声数据？
一、什么是噪声 在机器学习中我们在独立随机抽样的时候会出现一些搞错的信息，这些错误的数据我们称之为杂讯（或者噪音 noise），一般可以归结为一下两种（以二分为例）：
输出错误：
1.…
机器学习常见算法思想的面试宝典
本文转载自机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）
前言： 找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向…
【数据挖掘与分析】python网络爬虫学习及实践记录 | part02-网络请求（11-16）
老规矩，上笔记先上视频的清单，这里截图来一张。 加一波资源，因为有几天还有一点点视频没有看，索性把视频全都分类转码传上了B站，祈祷哪天有网没事干，或者梦里醒来有段代码看不懂，对着在线资源再…
知识图谱在小米的应用与探索
【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘微信群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。正文开始导读：小米…
高效实现数据可视化呈现
现在数据分析越来越卷了。再也不是excel就能摆平的了。为什么，因为可视化！
举例说明一下：现在要对一家公司上半年的利润额进行分析，如果只是你分析的时候只能罗列数字的话，根本就没有办法吸引老板的注意，甚…
NLP系列(4)_朴素贝叶斯实战与进阶
作者： 寒小阳 && 龙心尘 时间：2016年2月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/50629608 http://blog.csdn.net/longxinchen_ml/article/details/50629613 声明：版权所有，转载请联系作者…
深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数
作者：寒小阳 && 龙心尘 时间：2016年1月。 出处： http://blog.csdn.net/han_xiaoyang/article/details/50447834 http://blog.csdn.net/longxinchen_ml/article/details/50448267 声明：版权所有，转载请联系…
商业智能BI软件所涉及的核心技术
现在越来越多的企业开始使用商业智能BI软件，用来整合企业中现有的各种数据，对这些数据按照不同的需求进行处理分析，并快速准确地形成分析报告，为企业决策提供数据支持，帮助企业做出明智的业务经营决策。
目前市面上的…
BI工具不仅是数据可视化，数据挖掘和处理才是核心
随着数字化时代的来临，企业面临的数据处理与分析问题越来越多，近几年冒出了众多的BI工具，都着重强调其数据可视化效果有多好。诚然，数据可视化效果是很重要，清晰亮丽的各类图表，狂拽酷炫的动态大屏展示&…
企业如何利用大数据做好大数据分析？
数据分析的概念对于大家来说早已司空见惯，数据分析技能目前也已成为求职者和工作场所人员的一个亮点。对于面对自身累积的庞大财务数据，业务数据和运营数据，流量数据及其他数据资产的公司，公司如何利用大数据并进行大数据分析&…
寒冬之下，互联网金融的数据化建设心得
序一：行业回顾 互联网金融从2007年开始发展，短短数年，经历了波峰波谷的骤然转变。2007年到2013年上半年还处于发展缓慢，逐步破土的阶段；2013年到2015年上半年，互联网金融就如潮水般涌入市场；但2…
4大案例分析金融机构如何“驾驭”大数据
就“大数据金融”思维利用而言，国外金融机构有着十足丰富的体现，已经将大数据技术在风险控制、运营管理、销售支持及商业模式创新等领域进行了全面的尝试。 案例一：汇丰银行-风险管理 汇丰银行在防范信用卡和借记卡欺诈的基础上，利…
Python读取word中的图片并按照一定顺序进行命名
图片命名顺序在一张excel的第一列 先爬取word中的所有图片 接着创建图片序列名称字段 遍历文件夹中的图片进行重命名
import docx
import os, re
import xlwt
import openpyxl
from openpyxl import Workbook, workbook
from openpyxl import load_workbook
import zipfile
im…
数据对比分析法，看这篇就够了！
任何事物都有对立面，站在不同的角度去分析问题，不仅是数据分析的方法，也是各行各业都会用到的思维模式。今天就来聊一下对比分析。01时间上的对比1纵比同一空间条件下，对不同时期数据的比较。如下图2018年1月到8月全国的订单数量柱…
云计算与大数据——大数据的概念
对于“大数据”麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 大数据技术的战略意义不在于掌握庞…
机器学习和数据挖掘招聘
平台研究类 数据计算平台搭建，基础算法实现，当然，要求支持大样本量、高维度数据，所以可能还需要底层开发、并行计算、分布式计算等方面的知识； 算法研究类 文本挖掘，如领域知识图谱构建、垃圾短信过滤等&a…
2021CCF推荐国际学术会议A类及相关领域介绍
前言：CCF推荐会议包括以下分类● 计算机体系结构/并行与分布计算/存储系统● 计算机网络● 网络与信息安全● 软件工程/系统软件/程序设计语言● 数据库/数据挖掘/内容检索● 计算机科学理论● 计算机图形学与多媒体● 人工智能● 人机交互与普适计算● 交叉/综合/新…
表情包数据挖掘 | Mix群聊
No.06- AI DISCOVERY -eva有人知道????是什么意思吗？Chauncy Guo不就是哭吗。。eva错，????是笑得满地打滚Chauncy Guo那我考考你，说说????是什么意思。。eva???? 它和笑脸表情几乎是一样的。然而，这个表情符号有一…
AI做的美食，味道如何？
小编每次做饭时，脑子中总在思考，本次做的菜中，加入另一种新型食材混搭下会是什么效果，多放或少放点各种调味料会是什么效果。就这样在好奇心的驱使下，制作出了超多的黑暗料理。在试吃时，心中总是默想&#…
双12，智能设计，带我职场打怪升级！
国家出台各项政策，支持互联网发展，时代也正展开双手拥抱懂得并擅长运用技术的人。今年年初一位设计领域硕士即将毕业的朋友跟我说，她现阶段特别迷茫，正处于毕业即失业的边缘。我推荐她找shadow咨询职业规划。目前她已经进了某大厂…
你所认为公平的游戏真的公平么？ | MixLab人工智能
摘自论文：Donald Duck Holiday Game: A numerical analysis of a Game of the Goose role-playing varianthttp://arxiv.org/pdf/2001.04513v1- 提炼这是一款桌游，游戏的目标是成为第一个到达位于最后一个广场上的露营地的玩家，但这是一条充满…
数据分析---开发环境
数据分析开发环境介绍anacondajupyterjupyter的基本使用anaconda anaconda官网地址集成好了数据分析和机器学习中所需要的全部环境 jupyter
jupyter就是anaconda提供的一个基于浏览器的可视化开发工具
jupyter的基本使用
启动：在终端输入 jupyter notebook的指令…
学习率：余弦退火衰减策略（附代码+在cifar10上采用余弦退火衰减）
学习率会在刚开始的时候上升，加快模型的收敛速度，寻找最优点位置，到达一定step后，学习率下降，此时我们可以认为这是一个模型在微调的过程。上升采用线性上升，下降采用cos函数下降。
step （训练…
生成专题2 | 图像生成评价指标FID
文章转自微信公众号：机器学习炼丹术作者：陈亦新（欢迎交流共同进步）联系方式：微信cyx645016617 文章目录2.1 感性理解2.2 代码实现2.1 感性理解
FID是Frchet Inception Distance。
FID依然是表示生成图像的多样性和质…
MQTT技术：为物联网而生
Facebook上周四发布了新版iOS应用，当中采用了一种可能对物联网的未来产生重大影响的技术。这种技术叫做MQTT（Message Queuing Telemetry Transport——消息队列遥测传输），是一项为物联网而设计的消息传递技术，由 IBM开…
INtess客户服务中心的商业智能的应用
INtess客户服务中心的商业智能的应用
2002/10/15 摘要：本文围绕着如何更好地利用客户服务中心的业务数据展开探讨，论述了客户服务中心引入数据分析的必要性，介绍了华为INtess客户服务中心的商业智能的应用。 近年来，客户服务中…
数据挖掘( Data Mining )和统计学：有什么联系？
数据挖掘( Data Mining )和统计学：有什么联系？ J.H.Friedman 斯坦佛大学统计系及线性加速中心 摘要：DM（数据挖掘）是揭示存在于数据里的模式及数据间的关系的学科，它强调对大量观测到的数据库的处理。它是涉…
对话微众CEO王震：不懂数据挖掘的微博营销就是耍流氓
作为一个以技术起家的微博营销企业CEO，微众王震一直坚持着将自己从事多年的信息检索技术带到社会化营销中来。在雷锋网的专访中，王震认为现在的企业在微博营销中走了两条弯路，而数据挖掘能更好的让企业进行精准化营销，为用户带来主…
雷锋网专访纵贯科技陈钢强：交友应用本身要尊重、亲近用户
随着移动互联网的发展，我们曾经能看见许多新型的初创公司的迅速诞生，但在种种因素下未能得到一个好的发展，随后也从大家的视野中渐渐消失。 虽然只是短短的8个月，但是基于地理位置的移动社交应用“遇见”已经成功的站稳了自己的脚…
《Unity 2020游戏开发快速上手》图书介绍
#好书推荐##好书奇遇季#《Unity 2020游戏开发快速上手》京东当当天猫都有发售。 Unity是由Unity Technologies开发互动内容的多平台综合型开发工具，不仅在游戏开发、动画制作方面应用广泛，而且越来越多地应用于增强现实、虚拟现实、数字孪生等内容的开发…
《Python数据分析与挖掘实战》示例源码免费下载
《Python数据分析与挖掘实战》 在当今大数据驱动的时代，要想从事机器学习、人工智能、数据挖掘等前沿技术，离不开数据跟踪与分析，通过NumPy、Pandas等进行数据科学计算，通过Seaborn、Matplotlib等进行数据可视化展示，…
基于MLP分类器的Python实现
MLP分类器-Python
sklearn.neural_network.MLPClassifier
前提警告:
MLP实现不适用于大规模应用程序。特别是，scikit-learn不提供GPU支持。关于更快的，基于gpu的实现，以及提供更多灵活性来构建深度学习架构的框架，请参阅相关项…
python处理excel
Python可以通过使用第三方库来处理Excel文件。 一种常用的库是 pandas，它可以轻松地读取和写入Excel文件： import pandasas pd# 读取Excel文件
df pd.read_excel(file.xlsx)# 写入Excel文件
df.to_excel(file.xlsx, indexFalse)另一种常用的库是 openpy…
2023影响因子发布！小心！这4本期刊被镇压，有你关注的期刊吗？
每年随着影响因子的正式发布，JCR还会一同发布镇压期刊名单，今天我们来看一下2022JCR的情况。
重磅！2023年JCR正式发布（附影响因子名单下载）科睿唯安2023年期刊引证报告正式发布刚刚，2023年6月28日…
BI－SSAS简介篇
一、是什么？ SSAS是用于SQLServer数据库用于BI的组件，通过SSAS可以创建多维数据库，并在之上进行数据挖掘操作。本文我们主要介绍一些关于SSAS数据分析的知识。接下来就让我们来一起了解一下吧。 商业智能提供的解决方案能够从多种数据源获取数…
交叉学科，大势所趋 ！| 520 Mixlab 福利超值放送
520 ♡ 文末 Mixlab 社区双重福利 超值送送送 跨学科技能对未来世界的重要性，具体已经表现在，各国都陆续开始对学校课程进行改革：中央美术馆学院 实验艺术学院院长邱志杰说：“只有当一件作品有科技水准时，它才可能是…
你真的了解Python吗？这篇文章可以让你了解90%
人们为什么使用Python？
之所以选择Python的主要因素有以下几个方面：
软件质量：在很大程度上，Python更注重可读性、一致性和软件质量，从而与脚本语言世界中的其他工具区别开发。此外，Python支持软件开发的…
Kaggle介绍，数据分析
集成学习总结： 案例来源：kaggle 泰坦尼克号船员获救预测项目
数据
import pandas
titanic pandas.read_csv("titanic_train.csv")
titanic# 空余的age填充整体age的中值
titanic["Age"] titanic["Age"].fillna(t…
《机器学习》慕课版课后习题-第1章
中国工信出版集团、人民邮电出版社出版的赵卫东、董亮编著的《机器学习》慕课版
第1章 机器学习概述
1.机器学习的发展历史上有哪些主要事件？
解：机器学习发展分为知识推理期、知识工程期、浅层知识期和深度学习几个阶段。
知识推理期时，…
图神经网络GNN 原理 详解 （一）
图神经网络（GNN）
一.背景
图神经网络的概念首先由 Gori 等人（2005）[16] 提出，并由 Scarselli 等人（2009）[17] 进一步阐明。这些早期的研究以迭代的方式通过循环神经架构传播邻近信息来学习目标…
数据挖掘原理与实践 第六章作业
6.1
为什么离群点挖掘是重要的？ 答：离群点是指与大部分其它对象不同的对象，在数据的散布图中，它们远离其它数据点，其属性值显著地偏离期望的或常见的属性值。 (1) 因为离群点可能是度量或执行错误所导致的，…
数据挖掘原理与实践 第四章作业
P147
4.2
假设数据挖掘的任务是将如下的8个点（用 (x,y) 代表位置）聚类为三个簇：A1 (2,10)，A2(2,5)，A3(8,4)，B1(5,8)，B2(7,5)，B3(6,4)，C1(1,2)，C2(4,9)。距离…
【图解AES加密算法】AES算法的Python实现 | Rijndael-128 | 对称加密 | 物联网安全
系列索引：【图解安全加密算法】加密算法系列索引 Python保姆级实现教程 | 物联网安全 | 信息安全 完整代码已更新 文章目录一、AES的前世今生二、AES简介三、初始变换Initial round四、字节代换SubBytes五、行移位ShiftRows六、列混合MixColumns七、轮秘钥加AddRoun…
从B站源码里探索推荐算法的奥义
这两天闲来无事，回顾了一下前几年B站沸沸扬扬的代码泄露事件，大致翻阅了一些泄露的代码发现了一些有意思的事情，其中就包括 B站视频推荐 加权部分算法 的相关代码。 不过后期 B站官方辟谣说是老版本代码，并且已经进行相应的防御措…
未来已来，7000字详解机器学习平台
首先，本文所指机器学习平台是：为提升机器学习效率，降低机器学习应用门槛，提供从数据导入、模型训练到模型部署、模型监控功能的一站式机器学习平台。为避免概念混乱，特别说明TensorFlow、PyTorch、Caffe、CNTK、MXNet、…
NLP中文数据分析干货！！！——针对Chinese分析模版、苏宁空调评论分析实战（提供数据）
NLP中文数据分析一、全套中文预处理代码去掉文本中多余的空格去除多余符号，保留指定中英文和数字繁体转简体分词去除停用词预处理封装二、统计词频词云图分析统计词频词云图分析三、情感分析SnowNLP情感分析实战四、主题分析LDA前数据预处理LDA主题模型五、实战演练…
广州大学机器学习与数据挖掘实验四：Apriori算法
相关资料
广州大学机器学习与数据挖掘实验一：线性回归 广州大学机器学习与数据挖掘实验二：决策树算法 广州大学机器学习与数据挖掘实验三：图像分类 广州大学机器学习与数据挖掘实验四：Apriori算法 四份实验报告下载链接…
学会就能效率翻倍的数组公式，到底怎么用？
↑ 点击上方 “可乐的数据分析之路” 关注 星标 ~ 大概率每天早8点更新 你好，我是可乐Excel的数组公式很好用，能解决很多普通公式解决不了的问题，因此这篇文章就来聊聊数组公式，也是填上篇文章的坑Excel里关于if的9个函数&#…
112篇数据分析原创内容合辑
↑ 点击上方 “可乐的数据分析之路” 关注 星标 ~ 大概率每天早8点25更新 哈喽，大家好，我是可乐这是 可乐的数据分析之路 公众号112篇原创文章，内容涵盖Excel、SQL、Python、统计学、数据分析思维方法、读书笔记、笔试面试等内容࿰…
Python实现LRFM模型分析客户价值
作者：Dake1. 分析背景 这是一份某电商平台的销售数据，数据包含2010年4月22到2014年7月24的销售数据。分析该销售数据，可以发现客户价值。现利用KMeans聚类实现LRFM模型来分析客户的价值，便于客户分群，针对性推广&#…
一份电商数据分析案例
作者：Dake1. 分析背景这是一份巴西Olist（2016年8月-2018年8月）电商数据平台的数据。这里只筛选了2017-2018年的数据来进行分析。分析该数据可以看出近两年的销售业绩，店铺的经营状况，客户的区域分布，客户的…
Python数据分析实战：缺失值处理
写在前面上周我们读取完了数据（Python数据分析实战：获取数据），下面就要对数据进行清洗了，首先是对缺失值的处理。缺失值也就是空值，先找出来再处理。查看缺失值可以使用isnull方法来查看空值，得…
【史上最全】如何建立模型
**
【史上最全】如何建立模型
** 战略性资源 学习：构建一颗知识树 提炼概念 建立连接 结构分析 纵向拆解 横向拆解 加强连接
每个人都有天生的学习能力，所以都能学习 —— 但是学习了如何学习，能让我们更聪明、更高效地学习
如果不能把知…
IDM下载器插件 让浏览器不在限速
IDM下载器 可提速（2到n倍）的使用方法，让浏览器不在限速
前言
IDM 最佳的 Windows 下载工具
官方网址: http://www.internetdownloadmanager.com/. 尽管现在要用到「下载工具」的时间相比过去有所减少，但电脑上总要备一款以防不…
实例：水质评价分类-支持向量机
1、数据划分。
对样本进行抽样，抽取80%作为训练样本，剩下的20%作为测试样本。
2、建模
R语言实现：
traindata read.csv("trainData.csv")head(traindata)
输出结果如下： traindata transform(traindata,class a…
2023深圳杯A题完整代码模型
已更新深圳杯A题全部版本，文末获取！
摘要
现代社会，随着生活方式的变化和工作压力的增大，慢性非传染性疾病日益成为威胁公众健康的主要问题。心脑血管疾病、糖尿病、恶性肿瘤及慢性阻塞性肺病等慢性病的发病率呈现出上升趋势。为…
每天一个电商API分享：获取拼多多订单数据接口
拼多多是国内知名的社交电商平台，为商家提供了订单接口以便更好地管理和处理订单。本文将详细介绍拼多多官方订单接口的接入指南，帮助商家快速接入并正确使用订单接口。 接入准备 在接入拼多多官方订单接口之前，商家需要完成以下准备工作&…
（3）原神角色数据分析-3
绘图类 在名为“WRITEPHOT.py”的文件中，定义如下绘图方式，则在主页面(app.py)文件中，可通过如下方式调用：
from WRITEPHOTO import WriteScatter,WriteFunnel,WriteBarData,WritePie,WriteLineBar
代码如下：
"…
智能优化算法--灰狼算法
文章目录简介算法二进制灰狼算法代码参考文献简介
灰狼优化算法（GWO）模拟了自然界灰狼的领导和狩猎层级，在狼群中存在四种角色，α\alphaα狼负责领导是最具有智慧的在狩猎当中可以敏锐的知道猎物的位置，β\betaβ狼可…
python学习易忘易混淆笔记
文章目录python基础1.range()与np.arange()的区别数据采集（爬虫）可视化matplotlibpyecharts大屏可视化数据预处理pandas时间数据处理pd.to_datetime()建模算法python基础
1.range()与np.arange()的区别
range()返回的是range object，而np.a…
2023年加湿器市场数据分析（天猫数据分析怎么做）
随着人们生活水平提高、空调广泛使用，导致皮肤紧绷、口舌干燥、咳嗽感冒等空调病的滋生。可以看出，空气湿度与人体健康以及日常生活有着密切的联系。而加湿器作为室内空气湿度控制的重要工具，在近年来受到了越来越多的重视。根据鲸参谋电商数…
开课啦 | 百度专家行业大咖畅谈AI技术与落地应用
这是 AI 应用的时代。工厂：高速照相机拍下传送带上的零部件，机器识别出有缺陷的零件剔除；农场：拍摄虫体照片，识别害虫名称和数量并能防控虫害，减少农药使用量，发展绿色农业；小区&…
别让坏人骗走你的钱 AI反欺诈成为主流
俗话说得好：“借钱看人心，还钱见人品。”即便我们不惮于以最坏的恶意来揣测人性，在借贷、保险等领域，各类欺诈手段依然层出不穷。比如，保险领域的骗保行为屡禁不止，而金融行业流行的“逃废债”一词…
想让投研员拥有“外接大脑”，智能投研了解一下
一谈起金融行业，不免让人想到，北京金融街、上海陆家嘴行走的西装革履的精英人群。而在这群人光鲜亮丽的外表之下，隐藏的却是一般人不能承受的工作压力。尤其是投研领域，虽然国内不少证券和基金公司都设有专门的研究部门࿰…
核密度估计原理及sparkpython实现
核密度估计属于非参数估计，它主要解决的问题就是在对总体样本的分布未知的情况，如何估计样本的概率分布。 像平时，我们经常也会用直方图来展示样本数据的分布情况，如下图： 但是，直方图有着明显的缺点&…
5 Pandas数据库
5.1 Pandas介绍
1. 概述
2008年WesMcKinney开发出的库专门用于数据挖掘的开源python库以Numpy为基础，借力Numpy模块在计算方面性能高的优势 基于matplotlib，能够简便的画图独特的数据结构
2.为什么使用Pandas
增加图表可读性，numpy创建nd…
智慧社区的魔力：数据可视化的引领之力
在迅猛发展的科技时代，数据可视化作为一种强大的工具，为智慧社区的建设提供了无限可能。它不仅改变了我们对信息的获取方式，更为社区管理、居民生活等方面注入了新的活力。下面我就以可视化从业者的角度，简单聊聊这个话题。 数据可…
Python学习计划
学习方向： 以下为本人对Python的学习方向。
应用所学知识基础知识基本语法、re爬虫request、selenium、xpath、前端知识数据分析numpy、pandas、pyecharts机器学习sklearn、matplotlib深度学习pytorch大数据pyspark、pyhdfs数据库pymysql、redis后端开发flask、js…
定量分析---频率分布直方图（groupby，agg，round具体用法）
对数据集“捞起生鱼片”做定量分析 穿插pandas的cut，groupby，agg方法 定量数据分布分析
对于定量数据而言，选择组数与组宽是做评率分布分析时最主要的问题，步骤如下：
-第一步：求极差【max-min】
-…
python将GPS时间戳批量转换为日期时间(年月日时分秒)
#将GPS时间戳数据批量转化为日期时间
import numpy as np
import pandas as pd
import time#设置Spyder右侧console区的print输出行列数无限制
pd.set_option(display.max_columns, None)
pd.set_option(display.max_rows, None)
#读取数据
datapd.read_excel(C:/Users/Adminis…
【天池题解】题解：CAAI-BDSC2023社交图谱链接预测（任务一：社交图谱小样本场景链接预测）
【天池题解】题解：CAAI-BDSC2023社交图谱链接预测（任务一：社交图谱小样本场景链接预测） 文章目录 【天池题解】题解：CAAI-BDSC2023社交图谱链接预测（任务一：社交图谱小样本场景链接预测…
大数据处理流水线_数据处理生产线_大数据处理公司
当下有出现很多比较热门的技术名词，例如：BI、推荐系统、机器学习模型、高管驾驶舱等，在这些名词的背后，就是我们所说的“数据”。这些数据不是简简单单的数据，并不是单一的，我们需要在这些数据中经过复杂的…
实在智能RPA@你，那些被电商RPA“淘汰”的电商运营去哪儿了？免费RPA机器人告诉你
”RPA大规模应用之后，有多少人会因此失业？他们会去向哪里？“，这是很多来自财务、人力、电商等行业的朋友经常会问到的问题，但是事实果真如此吗？
在这个被焦虑笼罩的年代，诸如此类的信息充斥了我…
数据挖掘-基于Kmeans算法、MBSAS算法及DBSCAN算法的newsgroup18828文本聚类器的JAVA实现(上)
(update 2012.12.28 关于本项目下载及运行的常见问题 FAQ见 newsgroup18828文本分类器、文本聚类器、关联分析频繁模式挖掘算法的Java实现工程下载及运行FAQ )
本文要点如下：
对newsgroup文档集进行预处理，按照DF法及SVD分解法抽取特征词，实现…
论文学习——时间序列数据挖掘中的动态时间弯曲研究综述
文章目录1 摘要（分析本文步骤）2 引言2.1 DTW的进一步研究方向3 DTW的基本原理3.1 DTW介绍要求3.2 实现方式3.3 举个例子4 DTW的缺点5 结束阅读，有兴趣可以下载自己看看~写在前面：《控制与决策》；月刊；主办单…
Flink 六脉神剑秘诀
Flink是什么?
Flink是一款实时计算框架，能够实现ms级别甚至更低的延时计算（流式处理 -- 有状态的计算处理），不少同学肯定会提及spark streaming(可认为是批处理，类似Hive -- 无状态计算；这几个框架只能做…
2019阿里校招数据研发/算法工程师 hr面
2018-08-22更：下午6点接到hr电话，进行了25min左右的面试
主要问题如下：
1、你是控制专业，我不是很了解控制专业，你能大概给我讲解一下吗？并且告诉我这两天还要加面一轮交叉面，不知道是为什么&…
2019校招阿里数据研发/数据挖掘三面总结
2018/8/20：阿里三面总结
写在前面：面试是在13号进行的，面试时长15min左右，之前约的是视频面试1h左右的，面试官太忙了，因此转为了电话面试，主要围绕项目和个人未来规划，出去转了两天…
2019阿里校招数据挖掘/数据开发一面总结
前两天刚面完一面，明天面二面，趁着印象还算深刻，记录下来，不管个人成功与否，希望对你们有参考意义；
面试7点40开始，是一位小姐姐来电面的（二面得知，这个小姐姐是二面小哥…
爱奇艺机器学习算法实习面试总结
2018/3/9更新，实习已录用，很开心！大家有问题可以问我。
2018.3.1面试了爱奇艺机器学习算法实习生岗位，面了2个小时左右，两轮；现在把问题分享给大家，希望对大家以后的面试有帮助
第一轮面试问题…
关于使用对d2l 画图过程中出现cannot import name ‘_check_savefig_extra_args‘ from ‘matplotlib.backend_bases‘
今天在用对d2l.train6进行图片分类的训练时候出现了cannot import name _check_savefig_extra_args from matplotlib.backend_bases的错误。导致不能可视化训练过程。
在全网搜索一番过后发现可能是matplotlib版本的问题。使用老版本即可
我是在colab中使用的d2l包࿰…
如何评估企业的数据质量
在如今火爆的数智化时代，企业都在利用大数据创新业务、获得价值；然而，数据能否更好地赋能业务，取决于企业数据质量的好坏。好的数据质量，经过数据分析、挖掘、机器学习等手段，可以更好地辅助业务决策、帮助…
文本聚类分析效果评价及文本表示研究
简单信息
论文专业：
计算机软件与理论论文主题：文本聚类 聚类分析 聚类评价 文本表示 信息检索论文分类：
TP391.3
TP317.2论文形态：共 82 页 约 66,174 个字符 约 5.822 M内容其他说明：论文作者及其毕业院校、导师…
C++ 倒排索引的实现
1.1基本介绍 倒排索引的概念很简单：就是将文件中的单词作为关键字，然后建立单词与文件的映射关系。当然，你还可以添加文件中单词出现的频数等信息。倒排索引是搜索引擎中一个很基本的概念，几乎所有的搜索引擎都会使用到倒排索引。…
数据挖掘中所需的概率论与数理统计知识
数据挖掘中所需的概率论与数理统计知识 （
关键词：微积分、概率分布、期望、方差、协方差、数理统计简史、大数定律、中心极限定理、正态分布
） 导言：本文从微积分相关概念，梳理到概率论与数理统计中的相关知识…
这 10 条河，「贡献」了全球 95% 的海洋塑料污染
世界经济论坛在 2016 年发布的报告显示，每年全球有 800 万吨塑料流入海洋，相当于每分钟就有一卡车塑料被倒入海里。 直接受到塑料垃圾影响的沿海及海洋生物种类高达 800 多种，每年就会有 100 万只海鸟和 10 万只海洋哺乳动物死于塑料垃圾。 海…
历时两年，秘鲁四人调查团队发布反腐 AI
在博尔赫斯的一篇小说《博闻强识的富内斯》中，描写了一个具有超凡观察力和记忆力的天才——富内斯（Funes）。 年轻的 Funes 在一次坠马意外后，获得了惊人的记忆力和观察力。他能够回忆出过往经历的每一个细节，书里的每一…
人类的悲欢虽不相通，但情感分析模型读得懂
By 超神经内容提要：社交媒体逐渐成为当今人们生活的一部分，而它也成为心理学家们进行研究的重要数据来源。与此同时，研究者也尝试利用自然语言处理、机器学习技术，来预测社交媒体用户的情绪波动。关键词：自然语言处理 …
大数据初学--大数据概念、Apache Flink概念和运行机制
背景：考研结束，面临找实习工作和可能会来临的复试压力
先定个小目标，每日一更，记录自己每一天的进步。
没有写过这种有系统的更新文章，说话并没有什么逻辑，这种更新确实挺难的，我也会慢慢看别…
生信豆芽菜——配对型的复杂箱线图使用说明
网站：http://www.sxdyc.com/visualsBoxHalfPlot 一、配对型的复杂箱线图简介 配对型的复杂箱线图原理与箱线图相同，常见于配对样本的数据分析中，在日常研究中，我们会碰到配对资料，例如同一病人治疗前后的变化ÿ…
GPT-4助力数据分析：提升效率与洞察力的未来关键技术 | 京东云技术团队
摘要
随着大数据时代的到来，数据分析已经成为企业和组织的核心竞争力。然而，传统的数据分析方法往往无法满足日益增长的数据分析需求的数量和复杂性。在这种背景下，ChatGPT-4作为一种先进的自然语言处理技术，为数据分析带来了革命…
30 | 中国高校数据分析
一、数据源
本项目使用了两个csv的数据文件，一个是中国高校（大学）的数据，一个是中国高校专业设置的数据 数据基本栏位：高校（大学）的数据高校专业设置的数据学校学校省份专业类别城市专业名称地址国家特色专业水平层次办学类别办学类型985211双一流二、数据分析目标
本…
2023年京东按摩仪行业数据分析（京东销售数据分析）
近年来，小家电行业凭借功能与颜值，取代黑电和白电，成为家电市场的主要增长点。在这一市场背景下，颜值更高、功能更丰富、品种更齐全的各类按摩仪，借助新消费和电子商务的风潮，陆续被推上市场。今年…
29 | 广州美食店铺数据分析
广州美食店铺数据分析
一、数据分析项目MVP加/价值主张宣言 随着经济的快速发展以及新媒体的兴起，美食攻略、美食探店等一系列东西进入大众的眼球，而人们也会在各大平台中查找美食推荐，因此本项目做的美食店铺数据分析也是带有可行性的。首先通过对广东省的各市美食店铺数量…
22 | 书籍推荐数据分析
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn import neighbors
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import
21 | 朝阳医院数据分析
朝阳医院2018年销售数据为例，目的是了解朝阳医院在2018年里的销售情况，通过对朝阳区医院的药品销售数据的分析，了解朝阳医院的患者的月均消费次数，月均消费金额、客单价以及消费趋势、需求量前几位的药品等。 import numpy as np
from pandas import Series,DataFrame
impo…
淘宝商品历史价格查询接口（获取商品销量、历史价格）
item_history_price-获取商品历史价格信息
taobao.item_history_price 公共参数
名称类型必须描述keyString是调用key（获取key）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,ite…
（6）所有角色数据分析-6
http://t.csdn.cn/KrurEhttp://t.csdn.cn/KrurE
（5）中的页面，倾向于向用户展示所有数据，但却没有对数据进行比较、分析，用户不能直观的感受到各种数据之间的关系与变化幅度，所以，下面将向用户提…
2023京东酒类市场数据分析（京东数据开放平台）
根据鲸参谋平台的数据统计，今年7月份京东平台酒类环比集体下滑，接下来我们一起来看白酒、啤酒、葡萄酒的详情数据。
首先来看白酒市场。
鲸参谋数据显示，7月份京东平台白酒的销量为210万，环比下滑约49%；销售额将近19…
【图像分类】 理论篇（1） 图像分类的测评指标
对于分类模型的性能评估通常采用混淆矩阵的方式和计算准确率、正确率、召回率和 F1 分数。本文详细介绍图像分类的测评指标 在二分类问题中，样本有正负两个类别，模型对样本的预测结果存在四种组合：真阳性，即预测为正&#x…
33 | 美国总统数据分析
在这个数据分析项目中，利用Pandas等Python库对美国2020年7月22日至2020年8月20日期间的超过75万条捐赠数据进行了深入的探索和分析。通过这一分析，他们揭示了这段时间内美国选民对总统候选人的偏好和捐款情况。以下是对文章中的主要步骤和内容的进一步描述： 数据集处理： 作…
基于weka手工实现K-means
一、K-means聚类算法
K均值聚类（K-means clustering）是一种常见的无监督学习算法，用于将数据集中的样本划分为K个不同的类别或簇。它通过最小化样本点与所属簇中心点之间的距离来确定最佳的簇划分。
K均值聚类的基本思想如下：
…
41 | 京东商家书籍评论数据分析
京东作为中国领先的电子商务平台，积累了大量商品评论数据，这些数据蕴含了丰富的信息。通过文本数据分析，我们可以了解用户对产品的态度、评价的关键词、消费者的需求等，从而有助于商家优化产品和服务，以及消费者作出更明智的购买决策。
本文将详细阐述如何获取京东商家评…
NeuralNLP-NeuralClassifier的使用记录（二），训练预测自己的【中文文本多分类】
NeuralNLP-NeuralClassifier的使用记录，训练预测自己的【中文文本多分类】
数据准备：
与英文的训练预测一致，都使用相同的数据格式，将数据通过代码处理为JSON格式，以下是我使用的一种，不同的原数据情况…
【海量数据挖掘/数据分析】之 决策树模型（决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例）
【海量数据挖掘/数据分析】之 决策树模型（决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例） 目录
【海量数据挖掘/数据分析】之 决策树模型（决策树模型、决策树构成、决策树常…
NeuralNLP-NeuralClassifier的使用记录（一），训练预测自己的【英文文本多分类】
NeuralNLP-NeuralClassifier的使用记录，训练预测自己的英文文本多分类
NeuralNLP-NeuralClassifier是腾讯开发的一个多层多分类应用工具，支持的任务包括，文本分类中的二分类、多分类、多标签，以及层次多标签分类。支持的文本编码…
36 | 银行贷款数据分析
本文将以银行贷款数据分析为主题，深入探讨如何运用数据科学的方法，揭示银行贷款领域的内在规律和趋势。通过对贷款数据的分析，我们能够洞察不同类型贷款的分布情况、贷款金额的变化趋势，以及借款人的特征和还款情况等关键信息。
通过运用Python编程语言及相关的数据分析工…
40 | NBA球员信息数据分析
本文将以NBA球员薪资数据并进行数据分析为例，展示如何获取网络上的数据资源，并通过数据处理和可视化方法揭示有关NBA球员薪资的信息。我们将使用提供的URL（www.espn.com/nba/salaries）来抓取NBA球员薪资数据，然后运用数据分析工具，对数据进行清洗、整理和计算，最终通过条…
【EI/SCOPUS检索】第三届计算机视觉、应用与算法国际学术会议（CVAA 2023)
第三届计算机视觉、应用与算法国际学术会议（CVAA 2023)
The 3rd International Conference on Computer Vision, Application and Algorithm 2023年第三届计算机视觉、应用与算法国际学术会议（CVAA 2023）主要围绕计算机视觉、计算机应用、计…
工程监测振弦采集仪采集到的数据如何进行分析和处理
工程监测振弦采集仪采集到的数据如何进行分析和处理 振弦采集仪是一个用于测量和记录物体振动的设备。它通过测量物体表面的振动来提取振动信号数据，然后将其转换为数字信号，以便进行分析和处理。在实际应用中，振弦采集仪是广泛应用于机械、建…
【数据分析 - 基础入门之NumPy①】Anaconda安装及使用
知识目录 前言一、 Anaconda是什么二、为什么使用Anaconda三、安装步骤3.1 下载安装3.2 配置conda源 结语 前言
大家好！我是向阳花花花花，本期给大家带来的是 Anaconda 安装及使用。
每日金句分享：故事不长，也不难讲。』—— 「…
手把手教你使用 Python 调用电商API
Python是一门广泛应用于数据分析、网络爬虫和自动化任务的编程语言。随着电商行业的蓬勃发展，越来越多的开发者需要使用Python来调用电商API来获取商品信息、下单、查询订单等操作。本篇文章将介绍如何利用Python调用电商API，并通过实例详细教你如何进行…
38 | 浦发银行股票分析案例
本文将通过一个浦发银行股票分析案例，探讨如何从多个维度对股票进行分析，包括基本面、技术面和市场环境等因素。我们将深入挖掘浦发银行的财务数据、业务模式以及市场定位，以了解其内在价值和潜在风险。同时，我们还将考察技术面的指标，如价格走势、均线形态等，以揭示市场…
易基因：ChIP-seq等揭示转录因子NRF1调控原始生殖细胞发育、增殖和存活的表观遗传机制｜科研进展
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。
原始生殖细胞（Primordial germ cell，PGC）是生殖细胞前体，可以产生卵母细胞和精子，确保生命延续。尽管PGC特化（PGC …
生信豆芽菜-单基因表达比较
网址：http://www.sxdyc.com/panCancerExpCom 该工具主要用于查看单基因在泛癌的癌组织和癌旁组织中表达比较，可以只选择TCGA数据库，也可以选择TCGAGTEx数据库（GTEx数据库，存放了正常组织全基因的表达谱）
…
Python中使用隧道爬虫ip提升数据爬取效率
作为专业爬虫程序员，我们经常面临需要爬取大量数据的任务。然而，有些网站可能会对频繁的请求进行限制，这就需要我们使用隧道爬虫ip来绕过这些限制，提高数据爬取效率。本文将分享如何在Python中使用隧道爬虫ip实现API请求与响应的技…
数据分析--帆软报表--大数据大屏
进入国企公司学习有一段时间了，岗位是数据分析方向------ 母前使用的是帆软工具进行的开发。 可以进行大数据大屏 也可使嵌入到手机端。 下面是例子
生信豆芽菜-多种算法计算免疫浸润
网址：http://www.sxdyc.com/immuneInfiltration 一、使用方法 1、数据准备 一个全编码蛋白的表达谱基因，其中行为基因，列为样本
第一列为基因为行名，不能重复 2、选择计算的方法（这里提供了5种免疫计算的方法&#x…
2023年7月京东美妆护肤品小样行业数据分析（京东数据挖掘）
如今，消费者更加谨慎，消费决策也更加理性。在这一消费环境下，美妆护肤市场中，面对动辄几百上千的化妆品，小样或体验装无疑能够降低消费者的试错成本。由此，这门生意也一直备受关注。
并且，小样…
VGG分类实战：猫狗分类
关于数据集
数据集选择的是Kaggle上的Cat and Dog，猫狗图片数量上达到了上万张。你可以通过这里进入Kaggle下载数据集Cat and Dog | Kaggle。
在我的Github仓库当中也放了猫狗图片各666张。
VGG网络
VGG的主要特点是使用了一系列具有相同尺寸 3x3 大小的卷积核进…
数据可视化和数字孪生相互促进的关系
数据可视化和数字孪生是当今数字化时代中备受关注的两大领域，它们在不同层面和领域为我们提供了深入洞察和智能决策的机会，随着两种技术的不断融合发展，很多人会将他们联系在一起，本文就带大家浅谈一下二者之间相爱相杀的关系。
…
这场大学生竞赛中，上百支队伍与合合信息用AI共克难题
目录 0 校企联合共克难题1 北京林业大学：文档格式转换2 浙江中医药大学：个性化题库3 中南林业科技大学：交互场景挖掘4 重庆邮电大学：大模型赋能智能文档5 总结 0 校企联合共克难题
近日，中国大学生服务外包创新创业大…
拟合、过拟合、欠拟合
在学习机器学习、神经网络的时候，我们最开始学的内容之一就是过拟合和欠拟合的概念。而这一概念也将会伴随着机器学习的始终，下面我来帮助大家，也帮助我自己区分一下什么是拟合？什么是过拟合？什么是欠拟合？…
【数据分析入门】Numpy进阶
目录 一、数据重塑1.1 透视1.2 透视表1.3 堆栈/反堆栈1.3 融合 二、迭代三、高级索引3.1 基础选择3.2 通过isin选择3.3 通过Where选择3.4 通过Query选择3.5 设置/取消索引3.6 重置索引3.6.1 前向填充3.6.2 后向填充 3.7 多重索引 四、重复数据五、数据分组5.1 聚合5.2 转换 六、…
中期国际：MT4数据挖掘与分析方法：以数据为导向，制定有效的交易策略
在金融市场中，制定有效的交易策略是成功交易的关键。而要制定一份可靠的交易策略，数据挖掘与分析方法是不可或缺的工具。本文将介绍如何以数据为导向，利用MT4进行数据挖掘与分析，从而制定有效的交易策略。 首先，我们需…
大数据：什么是数据分析及环境搭建
一、什么是数据分析
当今世界对信息技术的依赖程度在不断加深，每天都会有大量的数据产生，我们经常会感到数据越来越多，但是要从中发现有价值的信息却越来越难。这里所说的信息，可以理解为对数据集处理之后的结果，是从数据集中提炼出的可用于其他场合的结论性的东西，而从…
【数据分析入门】Jupyter Notebook
目录 一、保存/加载二、适用多种编程语言三、编写代码与文本3.1 编辑单元格3.2 插入单元格3.3 运行单元格3.4 查看单元格 四、Widgets五、帮助 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。 …
数据分析15——office中的Excel基础技术汇总
0、前言：
这部分总结就是总结每个基础技术的定义，在了解基础技术名称和定义后，方便对相关技术进行检索学习。笔记不会详细到所有操作都说明，但会把基础操作的名称及作用说明，可自行检索。本文对于大部分读者有以下作用…
领英宣布开源数据挖掘软件WhereHows
领英称即将开源他们内部的应用软件WhereHows，一个企业级的数据挖掘软件。
准确的说，领英称它为“数据发现软件”。从商业角度讲，WhereHows的目标是从分布式的多种元数据中进行挖掘。
据领英发布的资料显示，WhereHows已经挖掘了50&…
PyTorch Geometric基本教程
PyG官方文档 # Install torch geometric
!pip install -q torch-scatter -f https://pytorch-geometric.com/whl/torch-1.10.2cu102.html
!pip install -q torch-sparse -f https://pytorch-geometric.com/whl/torch-1.10.2cu102.html
!pip install -q torch-geometricimport t…
【李沐3】3.5、图像分类数据集
# %matplotlib inline
# 上述代码是一个注释，用于在Jupyter Notebook等环境中显示Matplotlib绘图的结果在单元格内部显示，而不是弹出新的窗口。import torch
import torchvision
from torch.utils import data
from torchvision import transforms
from …
使用 Amazon Redshift Serverless 和 Toucan 构建数据故事应用程序
这是由 Toucan 的解决方案工程师 Django Bouchez与亚马逊云科技共同撰写的特约文章。 带有控制面板、报告和分析的商业智能（BI，Business Intelligence）仍是最受欢迎的数据和分析使用场景之一。它为业务分析师和经理提供企业的过去状态和当前状…
Pandas快乐学习之-变形
所有资料可以参考：https://github.com/datawhalechina/joyful-pandas 本章学习建议提前观看视频：https://www.bilibili.com/video/BV1aA41147Vw?fromsearch&seid5957324151785881971 https://www.bilibili.com/video/BV1ST4y1g7He?fromsearch&…
强势回归！再说回归分析
↑ 点击上方 “可乐的数据分析之路” 关注 星标 ~ 大概率每天早8点25更新 哈喽大家好，我是可乐今天要再说回归分析咦，我为什么要说 再 呢？当然是因为之前写过回归分析的文章了-> 细说回归分析高尔顿发现了“向平均回归”，一个…
2023年京东儿童智能手表行业数据分析（京东销售数据分析）
儿童消费市场向来火爆，儿童智能手表作为能够实现定位导航，信息通讯，SOS求救，远程监听，智能防丢等多功能的智能可穿戴设备，能够通过较为精准的定位功能和安全防护能力保障儿童的安全，因而广受消费…
阿里巴巴国际站商品详情接口，商品列表接口（免费测试）
随着全球经济的发展和互联网技术的进步，跨境电商已经成为了许多企业拓展市场、实现增长的重要方式。阿里巴巴国际站作为全球知名的跨境电商平台，为各类企业和消费者提供了便捷高效的贸易服务。其中，商品详情接口和商品列表接口是阿里巴巴国际…
【人物访谈·03期】关于对数据分析前辈的一次行业探讨
小飞象人物访谈 做一个独立的人，不要依赖别人，独立会给你的魅力加分。 出品｜小飞象人物访谈 嘉宾｜冰冰老师 采访/整理｜木兮 排版｜木兮 背景 本期03访谈邀请到了小飞象社群特别嘉宾——冰冰（个人…
softmax回归+损失函数+图片分类数据集
知识点积累
# mnist_train[0][0].shape，mnist_train[0] 表示 MNIST 训练集中的第一个样本，而 [0] 则表示取该样本的第一个元素。
# 在 MNIST 数据集中，每个样本由一对输入特征和标签组成。因此，mnist_train[0] 表示第一个样本&am…
Code Lab - 2
pip install torch-scatter -f https://pytorch-geometric.com/whl/torch-1.10.2cu102.html
pip install torch-sparse -f https://pytorch-geometric.com/whl/torch-1.10.2cu102.html
pip install torch-geometric
pip install ogb 1. PyG Datasets PyG有两个类，用…
机器学习基础09-审查分类算法（基于印第安糖尿病Pima Indians数据集）
算法审查是选择合适的机器学习算法的主要方法之一。审查算法前并 不知道哪个算法对问题最有效，必须设计一定的实验进行验证，以找到对问题最有效的算法。本章将学习通过 scikit-learn来审查六种机器学习的分类算法，通过比较算法评估矩阵的结果…
拼多多淘宝大量缓存商品数据用什么格式提供比较好？
众所周知，淘宝拼多多是我国主流的电商平台，其上有大量的商品数据。很多商家会通过API来访问他们的商品数据，根据API的调用次数收费。第三方数据公司提供电商数据接口API，采集实时数据。但是，在他们的服务器上有大量的缓…
一文速学-让神经网络不再神秘，一天速学神经网络基础-激活函数（二）
前言
思索了很久到底要不要出深度学习内容，毕竟在数学建模专栏里边的机器学习内容还有一大半算法没有更新，很多坑都没有填满，而且现在深度学习的文章和学习课程都十分的多，我考虑了很久决定还是得出神经网络系列文章，…
提速换挡 | 至真科技用技术打破业务壁垒，助力出海破局增长
各个行业都在谈出海，但真正成功的又有多少？
李宁出海十年海外业务收入占比仅有1.3%，走出去战略基本失败。
京东出海业务磕磕绊绊，九年过去国际化业务至今在财报上都不配拥有姓名。
几百万砸出去买量，一点水花都没有…
机器学习基础10-审查回归算法(基于波士顿房价的数据集)
上一节介绍了如何审查分类算法，并介绍了六种不同的分类算法，还 用同一个数据集按照相同的方式对它们做了审查，本章将用相同的方式对回归算法进行审查。 在本节将学到：
如何审查机器学习的回归算法。如何审查四种线性分类算法。如…
淘宝app商品详情原数据接口API（支持高并发请求/免费测试）
item_get_app-获得淘宝app商品详情原数据
一、引言
随着移动互联网的迅速发展，移动电商应用的需求也在不断增长。淘宝作为中国最大的电商平台之一，每天需要处理大量的商品数据和用户访问请求。为了提供更加优质的用户体验，淘宝开放了商品详…
数据分析基础-数据可视化01-数据类型
名义数据
名义数据是一种数据类型，用于标识不同的类别、群组或种类，但这些类别之间没有任何特定的顺序或等级关系。名义数据只表示不同的分类，而不提供关于类别之间差异的信息。因此，名义数据的测量单位通常是标签或名称…
【数据分析入门】【淘宝电商API接入与电商数据分析】初识Web API(一)
今天开始我们将学习如何使用Web应用变成借口(API)自动请求网站到特定信息而不是整个网站，再对这些信息进行可视化。由于这样编写到程序始终使用最新到数据来生成可视化，因此即便数据瞬息万变，它呈现到信息也都是最新的。比如，我们…
时空数据挖掘精选23篇论文解析【AAAI 2023】
今天和大家分享时空数据挖掘方向的资料。
时空数据挖掘是人工智能技术的重要分支，是一种采用人工智能和大数据技术对城市时空数据进行分析与挖掘的方法，旨在挖掘时空数据，理解城市本质，解决城市问题。
目前，时空数据…
一个程序员眼中的API调用（淘宝/天猫/1688/拼多多API）
在程序员眼中，API调用是一种重要的编程概念，它允许开发人员通过预先定义好的接口和规范，调用其他应用程序或服务的功能。API调用是现代软件开发中不可或缺的一部分，它使得开发人员能够快速构建出复杂的应用程序，同时避…
一文速学-让神经网络不再神秘，一天速学神经网络基础-前向传播（三）
前言
思索了很久到底要不要出深度学习内容，毕竟在数学建模专栏里边的机器学习内容还有一大半算法没有更新，很多坑都没有填满，而且现在深度学习的文章和学习课程都十分的多，我考虑了很久决定还是得出神经网络系列文章，…
Gorilla LLM：连接海量 API 的大型语言模型
如果你对这篇文章感兴趣，而且你想要了解更多关于AI领域的实战技巧，可以关注「技术狂潮AI」公众号。在这里，你可以看到最新最热的AIGC领域的干货文章和案例实战教程。 一、前言
在当今这个数字化时代，大型语言模型（LLM…
Code Lab - 34
GAT里面有一些地方看的不是太懂（GAT里Multi Attention的具体做法），暂时找了参考代码，留一个疑问 1. 一个通用的GNN Stack
import torch_geometric
import torch
import torch_scatter
import torch.nn as nn
import torch.nn.fun…
淘宝商品API使用示例：如何通过调用外部API来获取淘宝商品价格销量主图详情数据
淘宝上的商品信息量非常之大，商品的详情信息也很齐全。如何通过调用外部API来实现批量获取商品价格销量主图详情等信息呢？上周刚好完成了一个完整的淘宝商品采集项目，今天特来分享一下。
接口名称：item_get
请求地址：…
【二等奖方案】大规模金融图数据中异常风险行为模式挖掘赛题「Aries」解题思路
第十届CCF大数据与计算智能大赛（2022 CCF BDCI）已圆满结束，大赛官方竞赛平台DataFountain（简称DF平台）正在陆续释出各赛题获奖队伍的方案思路，欢迎广大数据科学家交流讨论。
本方案为【大规模金融图数据中…
2023京东口腔护理赛道行业数据分析（京东销售数据分析）
近年来，口腔护理逐渐成为年轻人重视的健康领域，从口腔护理整体市场来看，牙膏和牙刷等基础口腔护理产品仍占据主导地位。不过，随着口腔护理市场逐步朝向精致化、专业化、多元化等方向发展，不少新兴口腔护理产品受到消费…
数据时代的必备利器：数据可视化工具的崭新价值
在当今信息时代，数据扮演着越来越重要的角色，而数据的可视化呈现正是一种强大的工具，能够帮助我们更好地理解和利用这些数据。虽然Excel和PPT在处理数据方面有着不可否认的作用，但在处理大规模、复杂数据时，数据可视化…
数据可视化与数字孪生：理解两者的区别
在数字化时代，数据技术正在引领创新，其中数据可视化和数字孪生是两个备受关注的概念。尽管它们都涉及数据的应用，但在本质和应用方面存在显著区别。本文带大探讨数据可视化与数字孪生的差异。
概念
数据可视化： 数据可视化是将复…
统计学补充概念19-交叉验证
概念
交叉验证（Cross-Validation）是一种用于评估机器学习模型性能的统计技术。其主要目的是评估模型在未见过的数据上的泛化能力，即模型在新数据上的表现如何，而不仅仅是在训练数据上的性能。
交叉验证的基本思想是将可用的数据…
数据分析基础-数据可视化07-用数据分析讲故事
如何构建⼀个引⼈⼊胜的故事？
⾸先：要想象什么？ 可视化什么⽐如何可视化更重要 统计分析：GIGO（垃圾输⼊，垃圾输出） 在可视化分析环境中： 吉⾼ → 您⽆法从可视化的不适当数据中获…
WGCNA分析教程 | 代码四
写在前面
WGCNA的教程，我们在前期的推文中已经退出好久了。今天在结合前期的教程的进行优化一下。只是在现有的教程基础上，进行修改。其他的其他并无改变。
前期WGCNA教程 WGCNA分析 | 全流程分析代码 | 代码一 WGCNA分析 | 全流程分析代码 | 代码二 …
植物根系基因组与数据分析
1.背景
这段内容主要是关于植物对干旱胁迫的反应，并介绍了生活在植物体内外以及根际的真菌和细菌的作用。然而，目前对这些真菌和细菌的稳定性了解甚少。作者通过调查微生物群落组成和微生物相关性的方法，对农业系统中真菌和细菌对干旱的抗性…
人工智能深度学习，100天掌握所有人工智能深度学习 –第二章：（ 第 1 – 10 天第一节线性代数-线性方程组）
矩阵的迹：设A=[a ij ] nxn是n阶方阵，则对角元素之和称为矩阵的迹，记为tr(A)。tr(A) = a 11 + a 22 + a 33 + ……….+ a nn
矩阵迹的性质：设A和B为任意两个n阶方阵，则 tr(kA) = k tr(A) 其中 k 是标量。 tr(A+B) = tr(A)+tr(B) tr(AB) = tr(A)-tr(B) tr(AB) = tr(BA)…
分类算法系列⑤：决策树
目录
1、认识决策树
2、决策树的概念
3、决策树分类原理
基本原理
数学公式
4、信息熵的作用
5、决策树的划分依据之一：信息增益
5.1、定义与公式
5.2、⭐手动计算案例
5.3、log值逼近
6、决策树的三种算法实现
7、API
8、⭐两个代码案例
8.1、决策树…
一文速学-让神经网络不再神秘，一天速学神经网络基础(六)-基于数值微分的反向传播
前言
思索了很久到底要不要出深度学习内容，毕竟在数学建模专栏里边的机器学习内容还有一大半算法没有更新，很多坑都没有填满，而且现在深度学习的文章和学习课程都十分的多，我考虑了很久决定还是得出神经网络系列文章，…
Rust免杀 Shellcode加载与混淆2
前言
这是半年前我学习Rust和免杀时的一些记录，最近打开知识库看到了这篇半年前的笔记，并且发现我常逛的安全社区都比较少有人分享Rust以及Rust免杀的帖子，于是想着将这篇笔记分享出来供大家参考和指正。由于我写这篇文章时也刚刚开始接触Ru…
数据分析技能点-数据数据分析是什么？
在数字化日益普及的今天，数据已经渗透到了我们生活的各个角落。从推送的个性化广告到健康追踪应用的反馈，从社交网络的朋友推荐到在线购物的产品建议，数据分析在背后默默地影响着我们的决策和体验。
但数据分析究竟是什么？它如何工作？又应如何正确地使用数据来进行分析和…
基于win32实现TB登陆滑动验证
这里写目录标题 滑动验证触发条件：失败条件：解决方法:清除cooKie 滑动验证方式一：win32 api获取窗口句柄，选择固定位置 成功率高方式二： 原自动化滑动，成功率中 案例 先谈理论，淘宝 taobao.com …
预制菜行业数据分析（京东数据挖掘）
最近一段时间，关于预制菜进校园事件的讨论热度高涨。而这两天，核酸大王“张核子”转行开预制菜公司卖方便米饭的消息又被传出，直接让预制菜市场饱受关注。
“预制菜是近两年的风口”，这个结论鲸参谋早在以往的内容中专门讨论过&a…
GPT4科研实践技术与AI绘图
GPT对于每个科研人员已经成为不可或缺的辅助工具，不同的研究领域和项目具有不同的需求。如在科研编程、绘图领域：1、编程建议和示例代码: 无论你使用的编程语言是Python、R、MATLAB还是其他语言，都可以为你提供相关的代码示例。2、数据可视化…
API接口请求电商数据平台参数获取淘宝商品描述示例
淘宝商品描述详细信息API接口是一个用于获取淘宝商品详细信息的API，通过它可以获取到商品的标题、价格、图片等信息。通过淘宝商品描述详细信息API接口，开发者可以方便地获取宝贝的相关信息，并将它们用于各种应用场景中。淘宝商品描述详细信息…
数据分析技能点-正态分布和其他变量分布
在数据驱动的世界里，了解和解释数据分布是至关重要的。不同类型的数据分布，如正态分布、二项分布和泊松分布，具有不同的特性和应用场景。这些分布不仅在统计学和数据科学中有广泛应用，而且在日常生活和商业决策中也起着关键作用。 文章目录 正态分布正态分布和偏差其他常见…
数据分析技能点-多元分析和应用
在这个数据驱动的时代，多元分析已经成为了一个不可或缺的工具，用于从复杂和多维的数据中提取有用的信息。不论是在营销策略、金融投资，还是在社会科学研究中，多元分析都有广泛的应用。然而多元分析并不仅仅是一种数学工具或计算方法，它更是一种思维方式，一种用于解决复杂…
【DTEmpower案例操作教程】智能数据挖掘
DTEmpower是由天洑软件自主研发的一款通用的智能数据建模软件，致力于帮助工程师及工科专业学生，利用工业领域中的仿真、试验、测量等各类数据进行挖掘分析，建立高质量的数据模型，实现快速设计评估、实时仿真预测、系统参数预警、设…
一文读懂集合竞价，建议收藏，读完少交学费
集合竞价每个时间段交易规则及作用都不一样，了解集合竞价的规则，有利于琢磨主力的意图。
大部分同学都不是很关心集合竞价，也不知道如何利用集合竞价买卖股票。如上图所示，有同学在9点15看着股票涨停，立马冲进去&…
GPT-4科研实践：数据可视化、统计分析、编程、机器学习数据挖掘、数据预处理、代码优化、科研方法论
查看原文>>>GPT4科研实践技术与AI绘图
GPT对于每个科研人员已经成为不可或缺的辅助工具，不同的研究领域和项目具有不同的需求。例如在科研编程、绘图领域：1、编程建议和示例代码: 无论你使用的编程语言是Python、R、MATLAB还是其他语言&#x…
详解4种类型的爬虫技术
聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序，而通用网络爬虫则是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分，主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 增量抓取意…
推进数据要素化，数据云为何是“加速器”？
随着数字化时代的到来，数据已经成为了现代社会和商业活动的核心驱动力之一。然而，数据的管理和利用也变得越来越复杂，这导致了许多组织寻求新的方式来加速数据的处理和分析。在这个背景下，数据要素化和数据云成为了热门话题。本文…
一文速学-让神经网络不再神秘，一天速学神经网络基础(七)-基于误差的反向传播
前言
思索了很久到底要不要出深度学习内容，毕竟在数学建模专栏里边的机器学习内容还有一大半算法没有更新，很多坑都没有填满，而且现在深度学习的文章和学习课程都十分的多，我考虑了很久决定还是得出神经网络系列文章，…
ARTS第五周：S - 数据编织 Data fabric
Brife 数据编织/数据经纬（Data Fabric）是一种新型的数据管理和治理方法，旨在连接和整合所有数据源和数据目标，实现数据的无缝移动和访问。它是一种跨平台、跨云、跨技术的解决方案，可以连接各种类型的数据࿰…
jvs-智能bi（自助式数据分析）9.1更新内容
jvs-智能bi更新功能
1.报表增加权限功能（服务、模板、数据集、数据源可进行后台权限分配）
每个报表可以独立设置权限，通过自定义分配，给不同的人员分配不同的权限。 2.报表新增执行模式
可选择首次报表加载数据为最新数据和历…
前后端分离开发，API接口这样写才简洁
一、枚举概述 枚举，用来管理常量，在日常生活中很常见，比如一个人的姓名只能是男或女，一周的星期只能是7天中的一个等等，类似这种当一个变量有多种固定可能的取值时，就可以将它定义为枚举类型。在JDK1.5之前…
【无监督学习之聚类】
聚类 0.简介距离 和 相似度1. K均值聚类(kmeans)模型算法特点 2. 谱聚类(Spectral clustering)算法思想特点谱聚类的具体步骤：算法步骤： 3.小结参考资料 0.简介
聚类：针对给定的样本，依据他们的属性的相似度或距离，将…
点云从入门到精通技术详解100篇-点云多尺度分类网络（续）
目录
基于 FPN 与 Blending 算法的点云分类方法
4.1 问题分析
4.2 基于 FPN 与 Blending 方法的分类算法
2023国赛数学建模E题思路代码 黄河水沙监测数据分析
E 题 黄河水沙监测数据分析 黄河是中华民族的母亲河。研究黄河水沙通量的变化规律对沿黄流域的环境治理、气候变化和人民生活的影响，以及对优化黄河流域水资源分配、协调人地关系、调水调沙、防洪减灾等方面都具有重要的理论指导意义。 附件 1 给出了位于小浪底水库…
2023 年高教社杯全国大学生数学建模竞赛题D 题 圈养湖羊的空间利用率
2023 年全国大学生数学建模竞赛题D 题 圈养湖羊的空间利用率思路详解Python源码
昨天已经将E题第一二问的详解和思路源码都写了出来，大家如果想从E题下手的话推荐参考本人文章，个人认为E题在建模上是优于D题的，毕竟有给出数据而且有明确的建…
2023 年全国大学生数学建模竞赛题D 题 圈养湖羊的空间利用率思路详解+Python源码(二)
昨天已经将E题第一二问的详解和思路源码都写了出来，大家如果想从E题下手的话推荐参考本人文章，个人认为E题在建模上是优于D题的，毕竟有给出数据而且有明确的建模思路，E题我直接提供了Python源码直接可以运行即可：
202…
淘宝用户购物行为数据分析
一、项目背景与目的 1.1项目背景 UserBehavior是阿里巴巴提供的一个淘宝用户行为数据集，用于隐式反馈推荐问题的研究。数据集包含了2017年11月25日至2017年12月3日之间，有行为的约一百万随机用户的所有行为（行为包括点击、购买、加购、喜欢&a…
2023年7月京东白酒行业品牌销售排行榜（京东数据平台）
鲸参谋监测的京东平台7月份白酒市场销售数据已出炉！
鲸参谋数据显示，今年7月份，京东平台白酒的销量为210万，同比增长21%；销售额将近19亿，同比增长超过85%。可以看到，同比去年同期，今…
【9月比赛合集】9场可报名的「创新应用」、「数据分析」和「程序设计」大奖赛，任君挑选！
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
创新应用赛（2场比赛）程序设计赛&#…
2023年天猫婴幼儿羊奶粉市场数据分析（天猫数据分析怎么做）
随着消费者健康意识的大幅度提高，婴幼儿奶粉消费需求不断细分并升级，越来越多的家庭不仅关注奶源质量、添加的营养成分，还希望通过获取羊奶、有机奶、A2蛋白奶等稀缺乳资源来提升婴幼儿健康水平。
羊乳作为三大乳品来源之一，在丰…
分类模型训练pil、torchvision.transforms和opencv的resize
参考：https://blog.csdn.net/weixin_41012399/article/details/126049885 https://www.cnpython.com/qa/1291644 https://blog.csdn.net/weixin_44966641/article/details/125084573 https://blog.csdn.net/IEEE_FELLOW/article/details/115536987 训练时用pil读取图…
点云从入门到精通技术详解100篇-ICESat-2 光子点云去噪分类（续）
目录
3.3.2 光子点云去噪
3.4 基于箱线图的离散噪声光子检测
3.5 实验结果与分析
3.5.1 精度评估方法
【2023】数据挖掘课程设计：基于TF-IDF的文本分类
目录
一、课程设计题目 基于TF-IDF的文本分类
二、课程设计设置
1. 操作系统
2. IDE
3. python
4. 相关的库
三、课程设计目标
1. 掌握数据预处理的方法，对训练集数据进行预处理；
2. 掌握文本分类建模的方法，对语料库的文档进行建模…
ChatGPT在电子健康记录和医疗信息查询中的应用前景如何？
电子健康记录（EHRs）和医疗信息查询在现代医疗保健系统中起着至关重要的作用。它们有助于提高患者护理的质量，提高医疗保健的效率，减少错误，促进患者参与，并促进医学研究和数据驱动的决策。ChatGPT作为一种人…
API接口接入京东平台获取商品详情数据、价格、销量、商品标题、产品属性参数指南
京东平台商品详情接口是开放平台提供的一种API接口，通过调用API接口，开发者可以获取京东商品的标题、价格、库存、月销量、总销量、库存、详情描述、图片等详细信息 。
获取商品详情接口API是一种用于获取电商平台上商品详情数据的接口，通过…
【数据分析】Python:处理缺失值的常见方法
在数据分析和机器学习中，缺失值是一种常见的现象。在实际数据集中，某些变量的某些条目可能没有可用的值。处理缺失值是一个重要的数据预处理步骤。在本文中，我们将介绍如何在 Pandas 中处理缺失值。
我们将探讨以下内容： 什么是缺…
【数据分析入门】Seaborn[散点图、条形图、计数图、热力图、箱型图、小提琴图]
这里写目录标题 一、数据二、画布外观2.1 Seaborn样式2.2 上下文函数2.3 调色板 三、使用 Seaborn 绘图3.1 坐标轴栅格3.2 各类图形3.2.1 散点图3.2.2 条形图3.2.3 计数图3.2.4 点图3.2.5 箱型图3.2.6 小提琴图 3.3 回归图3.4 分布图3.5 矩阵图 四、深度自定义4.1 Axisgrid 对象…
淘宝app商品详情API 获取淘宝app商品销量价格主图详情API （可获取测试key）
item_get_app-获得淘宝app商品详情原数据
公共参数
点此获取调用key&secret
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_…
数据挖掘实验-主成分分析与类特征化
数据集&代码https://www.aliyundrive.com/s/ibeJivEcqhm
一.主成分分析
1.实验目的 了解主成分分析的目的，内容以及流程。 掌握主成分分析，能够进行编程实现。
2.实验原理
主成分分析的目的
主成分分析就是把原有的多个指标转化成少数几个代表…
【OJ比赛日历】快周末了，不来一场比赛吗？ #09.09-09.15 #15场
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
2023-09-09（周六） #5场比赛2023-09-10…
PHP调用API接口的方法及实现(内附电商平台商品详情接口案例）
随着互联网、云计算和大数据时代的到来，越来越多的应用程序需要调用第三方的API接口来获取数据，实现数据互通和协同工作。PHP作为一种常用的服务器端语言，也可以通过调用API接口来实现不同系统的数据交互和整合。本文将介绍PHP调用API接口的方…
回归与聚类算法系列④：岭回归
目录
1. 背景
2. 数学模型
3. 特点
4. 应用领域
5. 岭回归与其他正则化方法的比较
6、API
7、代码
8、总结 🍃作者介绍：双非本科大三网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发、数…
提升运营效率：仓储可视化的实时监控与优化
当今，仓储管理已经不再是简单的储存和分发商品的过程。随着供应链的复杂性增加，企业需要更高效的方式来管理和优化其仓储运营。在这个背景下，仓储可视化成为了一项关键的技术，它利用先进的数字化工具和数据分析来提升仓储管理的效…
(源码版)2023全国大学生数学建模竞赛E题黄河水沙监测数据分析详解+Python代码源码SARIMA模型
前言
比赛结束了不知道大家情况如何，就我个人而言的话，由于工作任务比较繁重仅完成了对D题和E题的思路解答和建模，还是比较遗憾的。一个人要完成多题的建模和分析确实不是一件容易的事情，当然我向大家做出承诺历年的建模比赛我都…
31 数据分析（中）numpy介绍
文章目录 工具excelTableauPower Queryjupytermatplotlibnumpy安装导入包快速掌握（bushi）array和list的相互转化 np的range多维数组的属性array的改变形状array升降维度array内元素的类型数和array的运算array之间的加减法认识轴切片条件与逻辑修改值app…
睿思BI制作数据分析报告并导出到word中
数据分析报告是一种常用的分析应用文体，它是数据分析项目的目的、方法、过程、结论以及可行性建议等内容的完整展示，是数据背后真实的业务水平的客观体现，是管理者做出科学、严谨决策的依据。睿思BI在数据报表中配置数据分析报告，…
抓住数字经济投资机会，应该关注哪些领域？
数字经济正在全球范围内迅速崛起，成为了投资者们的焦点。随着科技的不断进步，越来越多的领域和机会涌现，为那些渴望参与数字经济繁荣的投资者提供了各种选择。在这篇文章中，我们将探讨一些应该关注的关键领域，以便更好…
探索科技地图：通向未来的科技之路
科技地图是一张连接现实与未来的路线图，它标示着创新的方向和科技的潜力。在这个信息爆炸的时代，我们深陷于新技术和新理念的海洋中，科技地图为我们提供了一颗指南针，帮助我们更好地了解和探索科技的前沿。 科技地图的起源&#x…
GraphBase基础原理
一、GraphBase简介
互联网时代，随着网络技术的发展，企业积累的数据越来越多。伴随着数据集的不断增加，传统的关系型数据库查询性能会随之变差，特别是针对一些特殊的业务场景，所以迫切的需要一种新的解决方案去应对这种…
如何处理ChatGPT在文本生成中的语法错误和不合理性？
ChatGPT是一种强大的自然语言处理模型，但它并不是完美的，有时会产生语法错误或不合理的文本。这些问题可能会影响模型生成的内容的质量和可信度。在处理ChatGPT中的语法错误和不合理性时，有许多方法和策略可以采用，以下是一些详细…
京东手机销售数据：2023年9月京东手机行业TOP10品牌排行榜
鲸参谋监测的京东平台9月份手机市场销售数据已出炉！ 9月份，手机市场销售整体呈现下滑。鲸参谋数据显示，今年9月，京东平台手机销量为300万，环比下降约20%，同比下降约18%；销售额为92亿，…
API接口采集电商平台阿里巴巴中国站获得1688商品评论数据货品评分、评价内容接口调用指南
淘宝API商品评论接口，主要用于获取某个商品的评价信息。通过该接口，我们可以获取到商品的所有评价内容、评价时间、评价等级等相关信息，帮助我们更好地了解用户对商品的反馈，进而进行数据分析和业务优化。
1688.item_review-获得…
关于硬盘质量大数据分析的思考
近日，看到Backblaze分享了一遍关于硬盘运行监控数据架构的文章，觉得挺有意义的，本文就针对这方面跟大家聊聊。 作为一家在2021年在美国纳斯达克上市的云端备份公司，Backblaze一直保持着对外定期发布HDD和SSD的故障率稳定性质量报告…
二分类问题的解决利器：逻辑回归算法详解（一）
文章目录 🍋引言🍋逻辑回归的原理🍋逻辑回归的应用场景🍋逻辑回归的实现 🍋引言 逻辑回归是机器学习领域中一种重要的分类算法，它常用于解决二分类问题。无论是垃圾邮件过滤、疾病诊断还是客户流失预测&…
R语言非线性方程数值分析生物降解、植物生长数据：多项式、渐近回归、米氏方程、逻辑曲线、Gompertz、Weibull曲线...
全文链接：https://tecdat.cn/?p33742 在选择最佳拟合实验数据的方程时，可能需要一些经验。当我们没有文献信息时该怎么办？我们建立模型的方法通常是经验主义的。也就是说，我们观察过程，绘制数据并注意到它们遵循一定的…
如何进行销售漏斗管理?
本文将为大家讲解：如何进行销售漏斗管理？
销售漏斗管理是现代销售管理的核心概念之一。它将销售过程分解为一系列阶段，从而帮助销售团队更有效地跟踪和管理潜在客户。本文将深入探讨销售漏斗管理的方法，并结合简道云CRM的实际应用…
【量化小技巧】Python通过统计数据来进行过滤tushare涨停Dataframe，df.loc，或许有些启示与帮助
Python通过统计数据来进行过滤tushare涨停Dataframe 库的引入前导发生了什么事儿？上代码将日期设定好将列值提前设置好我们现在来调取tushare的涨停板信息接下来我们稍微进行一个过滤筛选 即将发生的事儿我的考虑错误的方法 总结 库的引入
from datetime import da…
年度顶级赛事来袭：2023 CCF大数据与计算智能大赛首批赛题上线！
久等了！
大数据与人工智能领域年度顶级盛事——2023 CCF大数据与计算智能大赛——首批赛题已上线，大赛火力全开，只等你来挑战！ 大赛介绍
CCF大数据与计算智能大赛（CCF Big Data & Computing Intelligence Contes…
举个栗子~Tableau 技巧（258）：使用参数高亮文本表中的行
经常有数据粉咨询：如何高亮文本表中的某一行，像 Excel 那样给数据行增加底色，达到突出显示的效果。
其实，可以通过参数来实现这个需求。如下示例，在参数中键入不同的行数，视图就高亮对应的数据行。 那么&…
KNN（下）：数据分析 | 数据挖掘 | 十大算法之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
朴素贝叶斯分类（下）：数据挖掘十大算法之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。 🐴欢迎小伙伴们点赞👍🏻、收藏⭐️、…
第81步 时间序列建模实战：Adaboost回归建模
基于WIN10的64位系统演示
一、写在前面
这一期，我们介绍AdaBoost回归。
同样，这里使用这个数据：
《PLoS One》2015年一篇题目为《Comparison of Two Hybrid Models for Forecasting the Incidence of Hemorrhagic Fever with Renal Syndr…
2023年最新云存储工具排行榜：找到适合你的云存储服务
随着数据规模的不断增长，传统的本地存储已经无法满足用户的需求。云存储工具通过提供灵活、安全和高效的数据存储服务，成为了现代化的数据管理方式。在众多云存储工具中，有一些在功能和性能方面表现出色，成为用户首选。下面是2023…
数据分析--观察数据处理异常值
引包：
import pandas as pd
import numpy as np
读取文件：
dfpd.read_csv(./HR.csv)
文件见绑定资源（来自kaggle的HR.csv）
处理过程：
一、从df中拿出处理对象
二、找出缺失值的位置并删除
s1_sdf[satisfactio…
数据挖掘（2）数据预处理
一、数据预处理
1.1概述
数据预处理的重要性 杂乱性：如命名规则。重复性：同一客观事再不完整性：噪声数据：数据中存在错误或异常的现象。 数据预处理的常见方法 数据清洗：去掉数据中的噪声，纠正不一致。数…
主流的图像—文本的多模态技术实现方法有哪些？
大体上可划分为3类：
1）训练中间层以对齐视觉模块和语言模型。该类方法首先预训练视觉模块，将这些视觉模块与LLM冻结，然后在视觉模块与LLM之间插入可训练的中间层，构建多模态模型。接着在大规模的图像—文本对数据集上…
2023年全球市场数字干膜测量仪总体规模、主要生产商、主要地区、产品和应用细分研究报告
内容摘要 按收入计，2022年全球数字干膜测量仪收入大约149.2百万美元，预计2029年达到191.6百万美元，2023至2029期间，年复合增长率CAGR为 3.6%。同时2022年全球数字干膜测量仪销量大约 ，预计2029年将达到 。2022年中国市…
ComplexHeatmap热图专栏 | 1.1 基础热图绘制
1 写在前面
最近在作图，一直在寻找《小杜的生信笔记》前期发表的代码。众所周知，小杜的教程基本都是平时自己用到的绘图教程，也是自己一个分享和总结。
自己在后期作图的时候，也会去寻找自己前期的教程作为基础，进行…
京东数据分析平台：9月中上旬白酒消费市场数据分析
9月份，围绕白酒的热点不断。9月5日，瑞幸咖啡官微发布消息称，瑞幸与贵州茅台跨界合作推出的酱香拿铁刷新单品纪录，首日销量突破542万杯，销售额破1亿元。9月14日，贵州茅台官微发布消息称与德芙推出联名产品“…
这15个海运提单的雷区 你知道吗？
海运提单中英文对照 海运提单主要项目填制说明 1、托运人(Shipper)：即与承运人签订运输契约，委托运输的货主，即发货人。在信用证支付方式下，一般以受益人为托运人;托收方式以托收的委托人为托运人。另外，根据《UCP500》…
决策树算法——C4.5算法
目录
1.ID3算法
2.C4.5算法
3.信息增益率
（1）信息增益率
（2）案例
4.决策树的剪枝
5.总结
（1）优点与改进
（2）缺点
（3） 总结及展望 近年来决策树方…
2023上半年京东运动鞋服市场数据分析（京东数据运营）
大众线下运动生活恢复，掀起新一轮户外潮流，运动热潮迭起。由此产生的运动鞋服及专业装备需求，为运动品牌们带来了诸多增长机会。近日各大运动品牌陆续发布上半年财报，回答了品牌对复苏机遇、发展挑战的应对情况。接下来结合具体数…
京东获取推荐商品列表 API
item_recommend-获取推荐商品列表
请求参数
请求参数：type
参数说明：type:推荐类型
进入API测试页 响应参数
Version: Date:
名称类型必须示例值描述 items items[]0获取推荐商品列表 num_iid Bigint010021415166448宝贝ID detail_url String0http…
EDA(Exploratory Data Analysis)探索性数据分析
EDA(Exploratory Data Analysis)中文名称为探索性数据分析，是为了在特征工程或模型开发之前对数据有个基本的了解。数据类型通常分为两类：连续类型和离散类型，特征类型不同，我们探索的内容也不同。
1. 特征类型
1.1 连续型特征 …
【码银送书第八期】《Python数据挖掘：入门进阶与实用案例分析》
摘要：本案例将主要结合自动售货机的实际情况，对销售的历史数据进行处理，利用pyecharts库、Matplotlib库进行可视化分析，并对未来4周商品的销售额进行预测，从而为企业制定相应的自动售货机市场需求分析及销售建议提供参…
决策树（中）：数据挖掘十大算法之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
CART 算法——决策树
目录
1.CART的生成：
（1）回归树的生成
（2）分类树的生成
①基尼指数
②算法步骤
2.CART剪枝：
（1）损失函数
（2）算法步骤： CART是英文“class…
kaggle新赛：写作质量预测大赛【数据挖掘】
赛题名称：Linking Writing Processes to Writing Quality
赛题链接：https://www.kaggle.com/competitions/linking-writing-processes-to-writing-quality
赛题背景
写作过程中存在复杂的行为动作和认知活动，不同作者可能采用不同的计划修…
数字孪生和数据分析：数字化时代的力量结合
在当今数字化时代，数据是无处不在的。企业、政府和个人不仅生成了大量数据，还寻求从中获取有价值的信息以进行更好的决策。在这个背景下，数字孪生和数据分析成为了迎合这一需求的两个关键概念。本文带大家一起探讨二者之间相辅相成的关系。 一…
1688拍立淘API接口分享
拍立淘接口，顾名思义，就是通过图片搜索到相关商品列表。通过此接口，可以实现图片搜索爆款商品等功能。
接口地址：1688.item_search_img
公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中&…
BI工具：让数据分析井然有序一望而知
BI（Business Intelligence）工具是一类专门用于数据分析和决策支持的软件工具。
它们能够将企业内部和外部的数据进行整合、处理和可视化，帮助用户从海量数据中获取有价值的见解和洞察，并以直观、易懂的方式展示给决策者和相关人员…
「五度情报站」网罗全量企业情报，找客户、查竞品、寻商机！
在当下严峻的市场经济环境下，准确、及时的情报信息，就如同指引企业前行的明灯，能够让企业在风起云涌的市场大潮中保持敏锐的洞察力，掌握最新的市场动态，洞悉竞争对手的一举一动，先知先动，保持竞…
优化|优化处理可再生希尔伯特核空间的非参数回归中的协变量偏移
原文：Optimally tackling covariate shift in RKHS-based nonparametric regression. The Annals of Statistics, 51(2), pp.738-761, 2023. 原文作者：Cong Ma, Reese Pathak, Martin J. Wainwright 论文解读者：赵进 编者按： …
京东数据平台：2023年服饰行业销售数据分析
最近看到有些消费机构分析，不少知名的运动品牌都把“主战场”放到了冲锋衣，那么羽绒服市场就比较危险了。但其实羽绒服市场也有机会点可寻。
先来说冲锋衣。的确，从今年的销售数据以及增长情况，冲锋衣的确会是今年冬天的大热门品…
高斯过程回归 | 高斯过程回归（Python）
高斯过程（Gaussian Processes，GP）是一种强大的非参数化模型，通常用于回归和分类任务。
它允许我们以一种灵活的方式建模数据的不确定性，并在小样本情况下表现出色。 高斯过程是一种用于建模函数的分布的非参数方法。
在高斯过程回归中，咱们试图建立一个连续的随机函数，…
chatGLM2-6B模型LoRA微调数据集实现大模型的分类任务
【TOC】
1.chatglm介绍
ChatGLM 模型是由清华大学开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 General Language Model（GLM）架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。
ChatGLM 具备以下特点：
充…
生物标志物发现中的无偏数据分析策略
目录 0. 导论基本概念 1. 生物标志物发现的注意事项2. 数据预处理2.1 高质量原始数据和缺失值处理2.2 数据过滤2.3 数据归一化 3. 数据质量评估3.1 混杂因素3.2 类别分离3.3 功效分析3.4 批次效应 4. 生物标志物发现4.1 策略4.2 数据分析工具4.3 模型优化策略 0. 导论
组学技术…
Cluster聚类算法大比拼：性能、应用场景和可视化对比总结
聚类分析是一种无监督学习方法，广泛应用于各种领域，包括市场细分、社交网络分析、生物信息学和推荐系统等。通过将相似的对象组合在一起，聚类有助于揭示数据的内在结构，从而为进一步的数据分析和决策提供有用的洞见。本文深入探讨了14种不同的聚类算法，包括KMeans、DBSCAN…
【NLP文本分类算法集锦】零基础入门经典文本分类项目实战（附代码+数据集）
前言
大家好，我是阿光。
本专栏整理了《NLP文本分类算法集锦》，内包含了各种常见的中英文文本分类算法，以及常见的NLP任务：情感分析、新闻分类以及谣言检测等。 文本分类是NLP的必备入门任务，在搜索、推荐、对话等场…
使用轮廓分数提升时间序列聚类的表现
我们将使用轮廓分数和一些距离指标来执行时间序列聚类实验，并且进行可视化
让我们看看下面的时间序列: 如果沿着y轴移动序列添加随机噪声，并随机化这些序列，那么它们几乎无法分辨，如下图所示-现在很难将时间序列列分组为簇: 上面…
GEO生信数据挖掘（九）肺结核数据-差异分析-WGCNA分析（900行代码整理注释更新版本）
第六节，我们使用结核病基因数据，做了一个数据预处理的实操案例。例子中结核类型，包括结核，潜隐进展，对照和潜隐，四个类别。第七节延续上个数据，进行了差异分析。 第八节对差异基因进行富集分析。…
保序回归与金融时序数据
保序回归在回归问题中的作用是通过拟合一个单调递增或递减的函数，来保持数据点的相对顺序特性。
一、保序回归的作用
主要用于以下情况：
1. 有序数据：当输入数据具有特定的顺序关系时，保序回归可以帮助保持这种顺序关系。例如&…
【数据挖掘】数据挖掘、关联分析、分类预测、决策树、聚类、类神经网络与罗吉斯回归
目录 一、简介二、关于数据挖掘的经典故事和案例2.1 正在影响中国管理的10大技术2.2 从数字中能够得到什么？2.3 一个网络流传的笑话(转述)2.4 啤酒与尿布2.5 网上书店关联销售的案例2.6 数据挖掘在企业中的应用2.7 交叉销售 三、数据挖掘入门3.1 什么激发了数据挖掘…
【大数据实训】基于赶集网租房信息的数据分析与可视化(七)
温馨提示：文末有 CSDN 平台官方提供的博主 的联系方式，有偿帮忙部署 基于赶集网租房信息的数据分析与可视化
一、实验环境
（1）Linux： Ubuntu 16.04 （2）Python: 3.6 （3）…
Apriori（关联规则挖掘算法）
关联规则分析 事务库 上表所示的购物篮数据即是一个事务库，该事务库记录的是用户行为的数据。 事务 上表事务库中的每一条记录被称为一笔事务。在购物篮事务中，每一次购物行为即为一笔事务，例如第一行数据“用户1购买商品A,B,C”即为一条事…
PyTorch实战：实现Cifar10彩色图片分类
目录
前言
一、Cifar10数据集
class torch.utils.data.Dataset torch.utils.data.DataLoader
二、定义神经网络
普通神经网络:
定义损失函数和优化器 训练网络-Net
CPU训练
模型准确率
编辑
GPU训练
训练网络-LeNet
模型准确率
点关注，防走丢&#x…
信息检索与数据挖掘 | （二）布尔检索与倒排索引
文章目录 📚词项-文档关联矩阵🐇相关名词🐇词项-文档关联矩阵的布尔查询处理 📚倒排索引🐇关于索引🐇建立索引🐇基于倒排索引的布尔查询处理🐇查询优化 📚字典数据结构&a…
Python数据挖掘实用案例——自动售货机销售数据分析与应用
🚀欢迎来到本文🚀 🍉个人简介：陈童学哦，目前学习C/C、算法、Python、Java等方向，一个正在慢慢前行的普通人。 🏀系列专栏：陈童学的日记 💡其他专栏：CSTL&…
AWK语言第二版 第3章.探索性数据分析 3.1泰坦尼克号的沉没
这章也是第一版没有，第二版新增的。 3. 探索性数据分析
上一章给出了一些个人使用的小脚本，通常是特制或专用的。在本章中，我们还会展示Awk在现实中的典型使用场景：使用Awk和其他工具来非正式地探索一些真实的数据，目…
分类网络-类别不均衡问题之FocalLoss
有训练和测代码如下：(完整代码来自CNN从搭建到部署实战) train.py
import torch
import torchvision
import time
import argparse
import importlib
from loss import FocalLossdef parse_args():parser argparse.ArgumentParser(training)parser.add_argument(-…
2022年京东双11食品饮料品类数据回顾
2022年双11，根据京东官方发布的数据显示，京东百货中，京东新百货的589个品类10025个品牌成交额同比增长100%。而在食品饮料行业中，也有一些在大促期间成交额同比涨幅超过100%的品牌。 下面，结合鲸参谋平台提供的数据&am…
【数据科学赛】2023全球智能汽车AI挑战赛 #￥95000 #LLM文档问答 #视频理解
CompHub[1] 最新的比赛会第一时间在群里通知，欢迎加群交流比赛经验！（公众号回复“加群”即可） 以下内容由AI辅助生成，可能存在错误，可进入比赛主页[2]查看更多(文末阅读原文) 比赛主办方
吉利汽车集团、阿…
信息检索与数据挖掘 | （五）文档评分、词项权重计算及向量空间模型
目录
📚词项频率及权重计算
🐇词项频率
🐇逆文档频率
🐇tf-idf权重计算
📚向量空间模型
🐇余弦相似度
🐇查询向量
🐇向量相似度计算
📚其他tf-idf权值计算方法 …
2022年京东双十一手机数码全品类数据回顾
2023年双十一临近，特此带大家回顾一下去年双十一热门品类的一些战况数据。这一期是京东手机电脑数码。 整体表现来看，2022年双11大促京东手机、电脑、数码类产品并没有想象中的增长状态，无论是电脑中的笔记本、数码中的相机，或者是…
提升药店效率：山海鲸医药零售大屏的成功案例
在医药行业中，特别是医药零售领域，高效的药品管理和客户服务至关重要。随着科技的飞速发展，数字化解决方案已经成为提高医药零售管控效率的有效工具之一。其中，医药零售管控大屏作为一种强大的工具，正在以独特的方式改…
京东（天猫）数据分析：2023下半年茶饮料市场高速增长，东方树叶一骑绝尘
当前在食品饮料行业中，整体的增长放缓，且各个细分品类上都已经充分竞争。但茶饮料市场例外，近两年呈现高增长的态势，一来取决于行业头部企业也在积极推动茶饮料不断升级，另外是主打更健康、更时尚的茶饮料深受年轻消费…
Pandas数据分析系列9-数据透视与行列转换
Pandas 数据透视表 当数据量较大时，为了更好的分析数据特征，通常会采用数据透视表。数据透视表是一种对数据进行汇总和分析的工具，通过重新排列和聚合原始数据，可以快速获得更全面的数据洞察。数据透视表在Excel中也是经常使用的一个强大功能，在Pandas模块，其提供了pivot…
非侵入式负荷检测与分解：电力数据挖掘新视角
电力数据挖掘 概述案例背景分析目标分析过程数据准备数据探索缺失值处理 属性构造设备数据周波数据模型训练 性能度量推荐阅读 主页传送门：📀 传送 概述 摘要：本案例将根据已收集到的电力数据，深度挖掘各电力设备的电流、电压和功…
超好用的数据可视化工具推荐，小白也适用！
Excel、Tableau……可以做数据可视化的工具不少，但简单、好用又高效，甚至连无SQL基础的小白也能轻松使用的就真没几个。奥威BI数据可视化工具是少有的操作难度低、成本支出低、灵活自助分析能力强的BI工具。
1、操作难度低
奥威BI数据可视化工具的操作…
上海市道路数据，有63550条数据（shp格式和xlsx格式）
数据地址：
上海市道路https://www.xcitybox.com/datamarketview/#/Productpage?id391
基本信息.
数据名称: 上海市道路数据
数据格式: Shpxlsx
数据时间: 2020年
数据几何类型: 线
数据坐标系: WGS84坐标系
数据来源：网络公开数据
数据字段&am…
【Python】基于非侵入式负荷检测与分解的电力数据挖掘
文章目录 前言一、案例背景二、分析目标三、分析过程四、数据准备4.1 数据探索4.2 缺失值处理 五、属性构造5.1 设备数据5.2 周波数据 六、模型训练七、性能度量文末送书：《Python数据挖掘：入门、进阶与实用案例分析》 前言
本案例将根据已收集到的电力…
数据分析必备原理思路（三）
文章目录 四、图文并茂的数据汇报与观点表达1. 什么是数据表达?2. 数据表达的目的是什么?3. 为什么要基于数据进行表达?4. 如何基于图表进行优质的数据表达？（1）提炼文字观点（2）制作完善图表a. 视觉映射原理与可视化…
数据分析和互联网医院小程序：提高医疗决策的准确性和效率
互联网医院小程序已经在医疗领域取得了显著的进展，为患者和医疗从业者提供了更便捷和高效的医疗服务。随着数据分析技术的快速发展，互联网医院小程序能够利用大数据来提高医疗决策的准确性和效率。本文将探讨数据分析在互联网医院小程序中的应用…
GEO生信数据挖掘（十一）STRING数据库PPI蛋白互作网络 Cytoscape个性化绘图【SCI 指日可待】
GEO生信数据挖掘（十）肺结核数据-差异分析-WGCNA分析（900行代码整理注释更新版本）
通过 前面十篇文章的学习，我们应该已经可以获取到一个”心仪的基因列表“了，相较于原始基因数量，这个列表的数…
数据分析实战 - 2 订单销售数据分析（pandas 进阶）
题目来源：和鲸社区的题目推荐：
刷题源链接（用于直接fork运行 https://www.heywhale.com/mw/project/6527b5560259478972ea87ed
刷题准备
请依次运行这部分的代码（下方4个代码块），完成刷题前的数据准备
…
数据分析过程中，发现数值缺失，怎么办？
按照数据缺失机制，数据分析过程中，我们可以将其分为以下几类： （1）完全随机缺失（MCAR）：所缺失的数据发生的概率既与已观察到的数据无关，也与未观察到的数据无关。 &#x…
京东大数据平台（京东数据分析）：9月京东牛奶乳品排行榜
鲸参谋监测的京东平台9月份牛奶乳品市场销售数据已出炉！ 9月份，牛奶乳品市场销售呈大幅上涨。鲸参谋数据显示，今年9月，京东平台牛奶乳品市场的销量为2000万，环比增长约65%，同比增长约3%；销售额为…
统计学习方法 逻辑斯蒂回归与最大熵模型
文章目录 统计学习方法 逻辑斯蒂回归与最大熵模型逻辑斯蒂回归逻辑斯蒂分布二项逻辑斯蒂回归多项逻辑斯蒂回归 最大熵模型原理定义学习极大似然估计 统计学习方法 逻辑斯蒂回归与最大熵模型
学习李航的《统计学习方法》时，关于逻辑斯蒂回归与最大熵模型的笔记。
逻…
数据可视化报表分享：区域管理驾驶舱
在零售数据分析中，区域管理驾驶舱报表是用来分析企业运营数据，以制定销售策略和提高利润。因此这张报表需要整合大量数据，数据整合、分析、指标计算的工作量极大，在讲究高效率、高度及时性的大数据时代，BI数据可视化分…
京东数据平台：2023年9月京东智能家居行业数据分析
鲸参谋监测的京东平台9月份智能家居市场销售数据已出炉！ 9月份，智能家居市场销售额有小幅上涨。根据鲸参谋电商数据分析平台的相关数据显示，今年9月，京东平台智能家居的销量为37万，销售额将近8300万，同比增…
亚马逊哪个站点好做？亚马逊全球站点介绍！
前言
亚马逊全球有18个站点，其中七大站点分别为：北美站、欧洲站、日本站、澳洲站、印度站、中东站、新加坡站。按照国家和地区分为中国、美国、加拿大、墨西哥、英国、德国、法国、西班牙、意大利、澳大利亚、日本、印度、土耳其、中东和巴西。不同的站…
Apriori介绍及代码批注
一、Apriori原理解析
1. 概述
关联规则分析是数据挖掘中最活跃的研究方法之一，目的是在一个数据集中找到各项之间的关联关系，而这种关系并没有在数据中直接体现出来。以超市的销售数据为例，当存在很多商品时，可能的商品组合数量…
数字转型下的保险业：可视化大屏的光明未来
在当今不确定性充斥的世界中，保险行业扮演着关键的社会角色。无论是财产保险、健康保险还是生命保险，它们都提供了一种安全网，帮助个人和企业在不可预测的风险面前保护自己。然而，随着信息时代的来临，数据变得愈发重要…
零代码复现-TCGA联合GEO免疫基因结合代谢基因生信套路（二）
零代码复现-TCGA联合GEO免疫基因结合代谢基因生信套路（二）-关键基因集的获取和生存数据准备
前面的分析中，下载TCGA和GEO的数据，并进行简单的处理，接下来就是相关基因集的获取和整理，为后期聚类和降维做准…
数据可视化：动态柱状图
终于来到最后一个数据可视化的文章拿啦~~~
在这里学习如何绘制动态柱状图 我先整个活 (๑′ᴗ‵๑)Ｉ Lᵒᵛᵉᵧₒᵤ❤ 什么是pyecharts？
答：
Python的Pyecharts软件包。它是一个用于Python数据可视化和图表绘制的库，可用于制作…
2023年内衣行业分析：京东大数据平台-服饰内衣市场解析
如今，女性消费力的提升正在推动国内女性内衣市场份额逐年提升。而今年，内衣市场更是进入了存量之战，增长趋势明显减弱。 根据鲸参谋数据显示，今年1月至9月，京东平台内衣（文胸）累计销量约500万件…
AI：63-基于Xception模型的服装分类
🚀 本文选自专栏：AI领域专栏 从基础到实践，深入了解算法、案例和最新趋势。无论你是初学者还是经验丰富的数据科学家，通过案例和项目实践，掌握核心概念和实用技能。每篇案例都包含代码实例，详细讲解供大家学习。 📌📌📌在这个漫长的过程，中途遇到了不少问题，但是…
三、机器学习基础知识：Python常用机器学习库（SKlearn）
文章目录 1、Scikit learn简介2、主要步骤3、数据预处理4、模型选择与算法评价 1、Scikit learn简介
Scikit learn 的简称是 SKlearn，专门提供了 Python 中实现机器学习的模块。Sklearn 是一个简单高效的数据分析算法工具，建立在 NumPy、SciPy和 Matplo…
数据分析相关知识整理_--秋招面试版
一、关于sql语句(常问）
1）sql写过的复杂的运算
聚合函数，case when then end语句进行条件运算，字符串的截取、替换，日期的运算，排名等等；行列转换；
eg：行列转换
SELE…
针对图像分类的数据增强方法，离线增强，适合分类，无标签增强
针对图像分类的数据增强方法，离线增强，适合分类，无标签增强
代码：
改变路径即可使用 # 本代码主要提供一些针对图像分类的数据增强方法# 1、平移。在图像平面上对图像以一定方式进行平移。
# 2、翻转图像。沿着水平或者垂直方向…
基于显著性的无人机多光谱图像语义杂草检测与分类
Saliency-Based Semantic Weeds Detection and Classification Using UAV Multispectral Imaging(2023） 摘要1、介绍2、相关工作2.1 监督学习2.2 半监督学习2.3 无监督学习 3、方法3.1 贡献3.2 PC/BC-DIM NEURAL NETWORK（预测编码/有偏竞争-分裂输入调制…
第三章:人工智能深度学习教程-基础神经网络(第五节-了解多层前馈网络)
让我们了解反向传播网络 (BPN) 中的误差是如何计算的以及权重是如何更新的。
考虑下图中的以下网络。 反向传播网络（BPN） 上图中的网络是一个简单的多层前馈网络或反向传播网络。它包含三层，输入层有两个神经元 x 1和 x 2，隐藏层有两个神经元 z 1和 z 2，输出层有一个神经…
基于自然语言处理的结构化数据库问答机器人系统
温馨提示：文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介 知识库，就是人们总结出的一些历史知识的集合，存储、索引以后，可以被方便的检索出来供后人查询/学习。QnA Maker是用于建立知识库的工具，使用…
各省市90米分辨率DEM数据，多图可下载
之前给大家推了30米分辨率dem数据，有些小伙伴反应也需要90米的，于是今天就给大家推荐一个新数据 —— 各省市90米分辨率DEM数据！
各省市90米分辨率DEM数据广泛应用于国土资源调查、水利水电工程、地质灾害预警、城市规划等领域，对…
notes_质谱蛋白组学数据分析基础知识
目录 蛋白组学方法学液相-质谱法基本原理bottom-up策略的基本流程 PEA/Olink 质谱数据分析1. 原始数据格式2. 分析过程1）鉴定2）定量3）预处理 3. 下游分析 参考附录 蛋白组学方法学
目前常见的蛋白组学方法学如下图。
液相-质谱法 2001年&a…
基于情感分析+聚类分析+LDA主题分析对服装产品类的消费者评论分析（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
【Python爬虫】网页抓取实例之淘宝商品信息抓取
之前我们已经说过网页抓取的相关内容
上次我们是以亚马逊某网页的产品为例
抓取价格、品牌、型号、样式等 该网页上价格、品牌、型号、样式等
都只有一个
如果网页上的目标内容
根据不同规格有多个
又该怎么提取呢？
▼如下图所示 当机身颜色、套餐、存储容量…
「MobileNet V3」70 个犬种的图片分类
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。 🍎个人主页：小嗷犬的个人主页 🍊个人网站：小嗷犬的技术小站 🥭个人信条：为天地立心&…
基于飞浆resnet50的102分类
目录 1.数据预处理 2.数据导入 3.模型导入 4.批训练 5. 输出结果 6.结果参考 1.数据预处理 Ttransforms.Compose([transforms.Resize((250,250)),transforms.RandomCrop(size224),transforms.RandomHorizontalFlip(0.5),transforms.RandomRotation(degrees15),transforms.Color…
数字孪生技术与VR：创造数字未来
在当今数字化浪潮中，数字孪生和虚拟现实（VR）技术是两大亮点，它们以独特的方式相互结合，为各个领域带来了创新和无限可能。本篇文章将探讨数字孪生与VR之间的关系，以及它们如何共同开辟未来的新前景。
数字…
PyGWalker ：数据分析中最优秀工具库！
假设你在 Jupyter Notebook 中有一堆数据需要分析和可视化。PyGWalker 就像一个神奇的工具，使这一切变得非常容易。它接受你的数据并将其转换成一种特殊的表格，你可以像使用 Tableau 一样与之交互。
你可以通过视觉方式探索数据，进行互动&am…
15天开发一个新客户，回复率也飙至50%！完美开发信的细节都藏在这里！
开发信要有特点，有卖点，很容易看出的卖点。 01
转变思路，吸引到客户就算成功
第一次被回复开发信： 先介绍下自己，毕业后一直做外贸跟单的工作，21年从厦门回到到老家，开始做业务开发的工作。 公…
箱线图(boxplot)
箱线图 boxplot 简述原理绘制方法python - matplotlib加载功能模块加载数据绘制boxplot python - seaborn加载功能模块加载数据绘制boxplot R - ggplot加载功能模块加载数据绘制boxplot 简述
因图形形状如箱子而得名。箱线图常用于展示一组连续型数据的分散情况。学术界普遍认…
如何使用API接口对接淘宝获取店铺销量排序，店铺名称等参数
要接入淘宝官方开放平台API接口获取店铺销量排序，店铺名称等参数，需要按照以下步骤进行操作：
找到可用的API接口：首先，需要找到支持查询店铺信息的API接口。可以在电商数据平台的开放平台上查找相应的API接口。注册并…
# 聚类系列(一)——什么是聚类？
目前在做聚类方面的科研工作, 看了很多相关的论文, 也做了一些工作, 于是想出个聚类系列记录一下, 主要包括聚类的概念和相关定义、现有常用聚类算法、聚类相似性度量指标、聚类评价指标、 聚类的应用场景以及共享一些聚类的开源代码 下面正式进入该系列的第一个部分ÿ…
自组织竞争网络在模式分类中的应用——患者癌症发病预测
大家好，我是带我去滑雪！ 自组织神经网络可以通过对客观事件的反复观察、分析与比较，自行提示内在规律，并对具有共同特征的事物进行正确的分类。该网络更与人脑中生物神经网络的学习模式类似，即可以通过自动寻找样本中的…
5个用于地理空间数据分析的Python包
大家好，地理空间数据分析在城市规划、环境研究、农业和交通等行业中至关重要。不断增长的需求导致Python包在各种地理数据分析要求上的使用增加，例如分析气候模式、研究城市发展或跟踪疾病传播等，评估和选择具有快速处理、修改和可视化能力的…
通过京东商品ID获取京东优惠券信息，京东优惠券信息接口，京东优惠券API接口，接口说明接入方案
京东商品详情API接口的作用是通过接口获取京东平台上商品的详细信息，包括商品的标题、价格、描述、图片、库存等信息。该接口可以供开发者或第三方使用，以便在自己的应用程序、网站或平台中展示和销售京东的商品。
Java请求示例
import java.io.Buffer…
印刷企业使用数字工厂管理系统前后有什么变化
随着科技的飞速发展，数字工厂管理系统已经逐渐渗透到印刷企业的各个环节。本文将通过分析印刷企业在使用数字工厂管理系统前后的变化，探讨这一技术如何为印刷行业带来革新。 一、使用前的状况
在使用数字工厂管理系统之前，印刷企业的生产方式…
数据分析 - 分散性与变异的量度
全距 - 极差 处理变异性
方差度量 数值与均值的距离，也就是数据的差异性 标准差描述：典型值 和 均值的距离的方法，数据与均值的分散情况
Shopee选品工具软件——知虾，助您轻松把握市场趋势
在如今竞争激烈的电商市场中，了解市场趋势和数据分析是成功的关键。对于Shopee虾皮平台上的商家来说，知虾是一款强大的选品工具软件，它提供了全面的数据分析服务，帮助商家快速了解大盘走势，并挖掘潜力行业类目。本文将…
基于记忆与模型协同过滤的电影推荐系统研究与实践（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
CDGA考试-2022年最新模拟题一套100道题（含答案）
CDGA考试-2022年最新模拟题一套100道题（含答案），最新考试题每道题四个答案。
1.根据DMBOK2,在实施数据治理时,要注重数据标准的建设;以下关于数据标准的描述,错误的选项是哪个?
A.数据标准必须得到有效沟通、监控，并被定期审查和更新; 最重要的是，必须有强制手段，对数…
【数据挖掘 机器学习 | 时间序列】时间序列必备工具箱: 自相关与偏相关检验
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
【数据挖掘 机器学习 | 时间序列】时间序列必学模型: ARIMA超详细讲解
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
数据分析思维与模型：群组分析法
群组分析法，也称为群体分析法或集群分析法，是一种研究方法，用于分析和理解群体内的动态、行为模式、意见、决策过程等。这种方法在社会科学、心理学、市场研究、组织行为学等领域有广泛应用。它可以帮助研究人员或组织更好地理解特定群体的特…
三、机器学习基础知识：Python常用机器学习库（图像处理相关库）
文章目录 1、OpenCV1.1 窗口操作函数1.2 图像处理1.3 图像捕获与人脸检测 2、PIL2.1 主要函数2.2 表情图像合成2.3 手写数字转换2.4 滤波查找图像边缘 1、OpenCV
OpenCV Python是一个用于解决计算机视觉问题的Python库，是用基于C实现的OpenCV构成的Python包。OpenC…
Excel数据可视化—波士顿矩阵图【四象限图】
EXCEL系列文章目录 Excel系列文章是本人亲身经历职场之后萌发的想法，为什么Excel覆盖如此之广，几乎每个公司、学校、家庭都在使用，但是它深藏的宝藏功能却很少被人使用，PQ、BI这些功能同样适用于数据分析；并且在一些需…
如何打造适用的MES管理系统解决方案
在当前的制造业领域，项目型生产企业面临着独特的挑战。尽管国外的大型软件公司提供了某些解决方案，但由于地域、文化和制度的差异，这些方案并不完全满足企业的实际需求。为了解决这一难题，我们必须以客户为中心，围绕他…
t检验（连续变量）和卡方检验（分类变量）
目录
情形
不同种类的萼片差异
数据类型查看：
差异分析：
不同萼片的种类差异
数据准备
二分类卡方检验
绘图 情形
：当有两列数据进行分析比较时，一列为连续变量，一列数据为分类变量。
rm(list ls())
libra…
多视图聚类论文阅读（二）
Deep multi-view semi-supervised clustering with sample pairwise constraints
Neuro Compucting
基于样本对约束的深度多视图半监督聚类
1.1 聚类的相关工作
典型相关分析(CCA)[13]寻求两个投影，将两个视图映射到一个低维公共子空间，其中两个视图…
猫12分类：使用yolov5训练检测模型
前言： 在使用yolov5之前，尝试过到百度飞桨平台（小白不建议）、AutoDL平台（这个比较友好，经济实惠）训练模型。但还是没有本地训练模型来的舒服。因此远程了一台学校电脑来搭建自己的检测模型。配置…
时间序列与 Statsmodels：预测所需的基本概念（1）
后文：时间序列与 statsmodels：预测所需的基本概念（2）-CSDN博客 一、说明 本博客解释了理解时间序列的基本概念：趋势、季节性、白噪声、平稳性，并使用自回归、差分和移动平均参数进行预测示例。这是理解任何…
提高车联远控异常分析效率的设想
提高车联远控异常分析效率的设想
前言
随着汽车集成度、智能化、软件功能越来越丰富，用户车辆使用已不是传统的出行、驾驶等物理场景，更多的人与车的互动功能的场景。其中车联远控功能使用日益增多。技术人员开展排查车联远控问题时，往往需…
jvs-智能bi（自助式数据分析）11.21更新功能上线
jvs智能bi更新功能
新增:
1.字段设置节点新增自定义时间格式功能；
自定义功能允许用户根据需要自定义日期和时间字段的显示格式，为用户提供了更大的灵活性和便利性 2.图表时间搜索条件新增向下兼容模式；
时间搜索条件的向下兼容模式允许用…
京东数据平台：2023年Q3季度黄金市场数据分析
继9月国内黄金市场持续上涨后，进入10月中下旬后，黄金行情再度反转，多家品牌金饰价格再次突破600元/克，达到611元/克。 今年以来，黄金行情不断走俏，销售市场也有明显增长。根据鲸参谋平台的数据显示…
![[点云分割] 条件欧氏聚类分割](https://img-blog.csdnimg.cn/e9ca0fe1d5824918a7b508ee5621ccc4.png)
[点云分割] 条件欧氏聚类分割
介绍
条件欧氏聚类分割是一种基于欧氏距离和条件限制的点云分割方法。它通过计算点云中点与点之间的欧氏距离，并结合一定的条件限制来将点云分割成不同的区域或聚类。
在条件欧氏聚类分割中，通常会定义以下两个条件来判断两个点是否属于同一个聚类&…
【11月比赛合集】48场可报名的数据挖掘大奖赛，任君挑选！
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
Kaggle（9场比赛）阿里天池（…
小红书关键词搜索商品列表API接口（分类ID搜索商品数据接口，商品详情接口）演示案例
通过关键词搜索商品API接口，电商平台可以为消费者提供一个简单、快捷的商品搜索功能。用户只需输入关键词，就可以得到与该关键词相关的商品列表。关键词搜索商品API接口还可以提供给第三方开发者一个便捷的商品搜索服务。开发者可以利用该接口࿰…
Course1-Week2-多输入变量的回归问题
Course1-Week2-多输入变量的回归问题 文章目录 Course1-Week2-多输入变量的回归问题1. 向量化和多元线性回归1.1 多维特征1.2 向量化1.3 用于多元线性回归的梯度下降法 2. 使梯度下降法更快收敛的技巧2.1 特征缩放2.2 判断梯度下降是否收敛2.3 如何设置学习率 3. 特征工程3.1 选…
玻色量子“揭秘”之多项式回归问题与QUBO建模
摘要：多项式回归（Polynomial Regression）是一种回归分析方法，通过拟合一个多项式方程来模拟自变量与因变量之间的非线性关系。多项式回归的目标是找到一组多项式系数，使得拟合曲线尽可能地接近数据点。这种方法可以用于…
不知道数据可视化大屏选什么工具？看这一篇就够了！
数据可视化大屏现在是越来越受欢迎了，逐渐成为各行业决策者、数据分析师的重要工具。 数据可视化大屏不仅能将复杂的数据以简单直观的方式呈现，帮助用户更好地理解数据、分析数据、解决数据孤岛的问题，从而做出更明智的决策，第…
优化数据分析——理解与运用各类指标
写在开头
数据分析在当今信息时代扮演着至关重要的角色，而指标则是我们理解数据、揭示模式、支持决策的关键工具。本文将深入讨论各类指标的应用场景和解读方法，以帮助更全面、深入地理解数据。
1. 中心趋势指标
1.1 均值：更深层次的理解 …
Postgresql WAL日志解析挖掘（walminer 3.0）
1.walminer介绍
WalMiner是PostgreSQL的WAL(write ahead logs)日志解析工具，旨在挖掘wal日志所有的有用信息，从而提供PG的数据恢复支持。
目前主要有如下功能： 从waL日志中解析出SQL，包括DML和少量DDL。 解析出执行的SQL语句的工…
京东数据采集接口推荐（京东大数据分析工具）
随着京东电商平台的不断发展，平台中店铺数量也越来越多，对于电商卖家而言，在电商运营过程中如何做好数据分析也越来越重要。而电商运营数据往往多而杂，想要高效的完成电商数据分析，品牌需要借助一些电商数据分析软件。…
箱型图 Box Plot 数据分析的法宝
文章目录 一、箱形图的介绍二、六大因数三、Box plot的应用四、箱形图的优劣势五、图形拓展 一、箱形图的介绍
箱形图又称为盒须图、盒式图、盒状图或箱线图，是一种用作显示一组数据分散情况资料的统计图。因型状如箱子而得名。在各种领域也经常被使用，…
基于数据挖掘的智能停车场运营数据分析系统（毕业论文）
点击完整下载 基于数据挖掘的智能停车场运营数据分析系统 "A Data Mining-Based Intelligent Parking Lot Operational Data Analysis System" 目录 目录 2 摘要 3 关键词 4 第一章 绪论 4 1.1 研究背景 4 1.2 研究意义 5 1.3 主要研究内容 7 1.4 研究方法与流程 8 1…
这才是BI大数据分析工具的正确打开方式！
这两年经济下行给各行各业造成不小的发展困扰，为此企业积极自救，希望通过数字化降本增效，提高业绩水平。BI大数据分析工具就是企业数字化转型中常用到的一种商业智能BI工具，主要作用是缩短数据分析时间，提升企业数据分…
“SRP模型+”多技术融合在生态环境脆弱性评价模型构建、时空格局演变分析与RSEI 指数的生态质量评价及拓展
近年来，国内外学者在生态系统的敏感性、适应能力和潜在影响等方面开展了大量的生态脆弱性研究，他们普遍将生态脆弱性概念与农牧交错带、喀斯特地区、黄土高原区、流域、城市等相结合，评价不同类型研究区的生态脆弱特征，其研究内容…
PHP调用API接口的方法及实现（一键采集淘宝商品详情数据）
随着互联网、云计算和大数据时代的到来，越来越多的应用程序需要调用第三方的API接口来获取数据，实现数据互通和协同工作。PHP作为一种常用的服务器端语言，也可以通过调用API接口来实现不同系统的数据交互和整合。本文将介绍PHP调用API接口的方…
【数据挖掘】国科大刘莹老师数据挖掘课程作业 —— 第二次作业
Written Part
1. 给定包含属性｛Height, Hair, Eye｝和两个类别｛C1, C2｝的数据集。构建基于信息增益（info gain）的决策树。 HeightHairEyeClass1TallBlondBrownC12TallDarkBlueC13TallDarkBrownC14ShortDark…
python实现炫酷的屏幕保护程序！
今天写了桌面保护程序。先来看看效果吧。
完全可以作为屏保程序了，老方式：以下是实现的代码： from tkinter import *from time import strftimedef update_time():global i, j current_time strftime(%H:%M:%S)time_label.config(textcu…
城市交通领域的新趋势：地铁列车可视化
随着城市化进程的不断加速，地铁作为一种便捷、快速的城市交通方式，受到了越来越多人的青睐。地铁列车可视化，作为地铁运营管理中的一项重要工作，不仅可以提高列车运行效率和安全性，还可以为乘客提供更加舒适、便捷的乘…
京东数据运营-京东数据平台-京东店铺数据分析-2023年10月京东烘干机品牌销售榜
鲸参谋监测的京东平台10月份烘干机市场销售数据已出炉！ 10月份，烘干机市场整体销售上涨。鲸参谋数据显示，今年10月份，京东平台上烘干机的销量将近5万件，环比增长约77%，同比增长约22%；销售额将近…
数据挖掘实战-基于word2vec的短文本情感分析（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
Kaggle-水果图像分类银奖项目 pytorch Densenet GoogleNet ResNet101 VGG19
一些原理文章
卷积神经网络基础（卷积，池化，激活，全连接） - 知乎
PyTorch 入门与实践（六）卷积神经网络进阶（DenseNet）_pytorch conv1x1_Skr.B的博客-CSDN博客GoogLeNet网…
线性回归既是一种数据挖掘与建模算法，也是统计学领域、计量经济学领域的常用学术建模方法，有何不同？
一.线性回归的基本形式
线性回归既是一种数据挖掘与建模算法，也是统计学领域、计量经济学领域的常用学术建模方法。在数据挖掘与建模领域，线性回归算法是一种较为基础的机器学习算法，其基本思想是将响应变量（因变量、被解释变量&…
【数据分析】数据指标的分类及应用场景
数据分析之数据指标的分类
数据分析离不开对关键指标的分析与跟踪，这些指标通常与具体的业务直接相关。好的指标能够促进业务的健康发展，因为指标与业务目标是一致的，此时指标就能反映业务变化，指标发生变化，行动也发…
商业银行信贷客户违约量化评估与预测方法--Python/SPSS机器学习
商业银行作为经营风险的金融机构，经营特色在于通过承担适当风险，获取与风险相匹配的收益。常见的盈利途径，比如通过承担信用风险，吸收存款、发放贷款来获取收益；又比如通过承担流动性风险，借短放长、期限错…
高光谱遥感影像分类项目开源
热烈欢迎大家在git上star！！！冲鸭！！！
我研究生期间主要是做高光谱遥感影像分类的，毕业论文也是基于深度学习的高光谱遥感影像分类课题，转眼间已经毕业四年了，如今把这块材…
数据挖掘实战-基于word2vec的短文本情感分析
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
Pytorch深度学习实战2-1：详细推导Xavier参数初始化(附Python实现)
目录 1 参数初始化2 Xavier参数初始化原理2.1 前向传播阶段2.2 反向传播阶段2.3 可视化思考 3 Python实现 1 参数初始化
参数初始化在深度学习中起着重要的作用。在神经网络中，参数初始化是指为模型中的权重和偏置项设置初始值的过程。合适的参数初始化可以帮助模型…
让业务带着问题去分析，用大数据分析工具
随着企业数字化转型进程的加快，企业大数据分析的需求也水涨船高，不少企业都在尝试上线BI大数据分析工具，让各业务人员带着业务问题去分析数据，获取解决问题的数据信息。而各高校也在搭建大数据分析教学平台，与时俱进提…
单细胞seurat-细胞比例分析-画图详细教程
大家好，今天我们来画单细胞中最简单的细胞比例图~
1.老规矩，先加载pbmc数据
dir.create("~/gzh/细胞比例")
setwd("~/gzh/细胞比例")subset_datareadRDS("~/gzh/pbmc3k_final.rds")
table(stringr::str_split(string c…
数据可视化软件的兴起：背后的驱动力
在当今信息时代，数据变得比以往任何时候都更为重要。数据可视化软件的广泛应用成为了一种趋势。那么，为什么越来越多的人选择使用数据可视化软件呢？今天我就以自己的工作经验为基础，进行简单的分析。
数据可视化软件能将枯燥的数…
![[ndss 2023]确保联邦敏感主题分类免受中毒攻击](https://img-blog.csdnimg.cn/direct/8163200e253d4d4ca31a599048128579.png)
[ndss 2023]确保联邦敏感主题分类免受中毒攻击
Securing Federated Sensitive Topic Classification against Poisoning Attacks 摘要
我们提出了一种基于联邦学习 (FL) 的解决方案，用于构建能够检测包含敏感内容的 URL 的分布式分类器，即与健康、政治信仰、性取向等类别相关的内容。尽管这样的分类器…
做数据分析为何要学统计学（9）——什么是回归分析
回归分析（regression analysis)是量化两种或两种以上因素/变量间相互依赖关系的统计分析方法。回归分析根据因素的数量，分为一元回归和多元回归分析；按因素之间依赖关系的复杂程度，可分为线性回归分析和非线性回归分析。我们通过…
2023年医疗器械行业分析（京东医疗器械运营数据分析）：10月销额增长53%
随着我国整体实力的增强、国民生活水平的提高、人口老龄化、医疗保障体系不断完善等因素的驱动，我国的医疗器械市场增长迅速。 根据鲸参谋电商数据分析平台的相关数据显示，今年10月份，京东平台上医疗器械市场的销量将近1200万，环比…
4.Pandas行列进阶操作
1.新增列
1.1 assign
Pandas中提供的assign()函数不仅可以实现不该表原数据情况下新增列，而且可以同时新增多列，还可以配合链式操作使用一行代码完成多个新增列的创建，使得代码非常整洁。
函数
import numpy as np
import pandas as pd
d…
如何利用视频号爆款数据分析平台，实现播放变现？
利用视频号爆款数据分析平台了解当下视频号热点视频，以及那个分类更有潜力，可以即使进行预判， 变现是近年来非常流行的一种商业模式。视频号爆款数据分析平台是视频下载plus的一个功能，可以让用户通过每天都热点数据以及热门榜单…
大数据HCIE成神之路之数据预处理（1）——缺失值处理
缺失值处理 1.1 删除1.1.1 实验任务1.1.1.1 实验背景1.1.1.2 实验目标1.1.1.3 实验数据解析 1.1.2 实验思路1.1.3 实验操作步骤1.1.4 结果验证 1.2 填充1.2.1 实验任务1.2.1.1 实验背景1.2.1.2 实验目标1.2.1.3 实验数据解析 1.2.2 实验思路1.2.3 实验操作步骤1.2.4 结果验证 1…
探索性数据分析（EDA）：从数据中发现洞察力
写在开头
在数据科学的世界中，探索性数据分析（Exploratory Data Analysis，EDA）是一项至关重要的任务，它能够帮助我们深入了解数据、发现潜在的模式，并为进一步的分析和建模提供基础。本篇博客将介绍探索性数据分析的基本技术和方法，通过具体的数字、场景和代码，帮助读…
2022年全国大学生数据分析大赛医药电商销售数据分析求解全过程论文及程序
2022年全国大学生数据分析大赛
医药电商销售数据分析
原题再现： 问题背景 20 世纪 90 年代是电子数据交换时代，中国电子商务开始起步并初见雏形，随后 Web 技术爆炸式成长使电子商务处于蓬勃发展阶段，目前互联网信息碎片化以…
挑选数据可视化工具：图表类型、交互功能与数据安全
作为一名数据分析师，我经常需要使用各种数据可视化工具来将数据以直观、清晰的方式呈现出来，以便更好地理解和分析。在市面上的众多可视化工具中，我根据实际需求和项目特点进行选择。本文将从以下几个角度对市面上的数据可视化工具进行对比&a…
数据科学实践：探索数据驱动的决策
写在前面
你是否曾经困扰于如何从海量的数据中提取有价值的信息？你是否想过如何利用数据来指导你的决策，让你的决策更加科学和精确？如果你有这样的困扰和疑问，那么你来对了地方。这篇文章将引导你走进数据科学的世界，探索数据驱动的决策。
1.数据科学的基本原则
在我们…
Facebook的DINO，无监督模型，可用于分类和分割任务
Facebook的DINO 参考：https://blog.csdn.net/hello_dear_you/article/details/133695006 代码：https://github.com/facebookresearch/dino/tree/main DINO本质上是一种自监督学习方法，其核心思想是通过在大规模的无标签数据集上进行对比学习&…
《PySpark大数据分析实战》-07.Spark本地模式安装
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
《PySpark大数据分析实战》-04.了解Spark
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
【生物信息学】scRNA-seq数据分析（一）：质控~细胞筛选~高表达基因筛选
文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、实验内容0. 导入必要的库1. 质控2. 细胞筛选3. 高表达基因筛选 一、实验介绍 质控~ 细胞筛选 ~高表达基因筛选
二、实验环境
1. 配置虚拟环境 可使用如下指令：
conda create -n bio python3.…
Python数据科学视频讲解：Python字典
2.13 Python字典 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解2.13节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程，包括数据科学应用…
Python数据科学视频讲解：Python数据清洗基础
3.1 Python数据清洗基础 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解3.1节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程，包括数据科…
《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
【数据分析之Numpy】Numpy随机抽样函数random.choice()的使用方法
一、简介 numpy.random.choice() 是 NumPy 库中的一个函数，用于从给定的数组或整数范围中随机选择一个元素或数组。这个函数可以用于生成随机数、随机选择数组中的元素等。
二、基本语法 函数的基本语法如下：
numpy.random.choice(a, sizeNone, replac…
【机器学习】线性模型-logistic 回归
一、逻辑（logistic）回归原理 1.1 逻辑回归的数学原理 1.2 logistic回归的L2正则化原问题 1.3 逻辑回归的L2正则化原问题使用可信域牛顿法求解 1.4 logistic 回归L2正则化的对偶问题 1.4.1 logistic回归的拉格朗日对偶问题和利用KKT条件求解 1.4.2 逻辑回…
天猫数据分析-天猫查数据软件-11月天猫平台饮料市场品牌及店铺销量销额数据分析
今年以来，饮料是快消品行业中少数保持稳定增长的品类之一。 11月份，饮料市场同样呈现较好的增长态势。根据鲸参谋电商数据分析平台的相关数据显示，今年11月份，天猫平台上饮料市场的销量为2700万，环比增长约42%…
Python实战：信用卡客户历史数据挖掘与分析
Python实战：信用卡客户历史数据挖掘与分析 引言数据获取与预处理描述性分析模型建立与评估结果分析Web应用展示（可选） 引言
信用卡客户历史数据分析是金融领域中的重要课题之一。通过对公开数据集的挖掘，本文将利用Python编程语言…
天猫数据分析-天猫分析工具-天猫数据在哪里看-11月天猫宝宝辅食行业销售分析报告
随着居民可支配收入的增长，家长对宝宝健康的关注程度也随之上涨，尽管出生率下降，但越来越多的家长逐渐认可外购辅食的价值，因此辅食也逐渐“刚需化”，辅食市场也保持着较大的市场规模。 根据鲸参谋电商数据分析平台的相…
金融数据可视化大屏，开启数字时代的金融新篇章
随着数字化时代的到来，金融行业的数据量正在迅速增长。如何有效处理、分析和呈现这些数据，成为了一个亟待解决的问题。而金融数据可视化大屏的出现，正是为了解决这一问题，让金融行业的数据处理和分析更加直观、高效。 一、金融数据…
京东数据分析（京东大数据运营）：10月取暖器行业迎来消费热潮，销额环比增长约570%！
随着气温降低，御寒用品开始热销。 气温的下降对取暖器的销售有明显的拉动效果，环比来看，10月份取暖器的销量销额均呈现三位数增长。鲸参谋数据显示，今年10月，京东平台取暖器的销量将近28万，环比增长572%&am…
跟随山海鲸开发者，深入了解智慧城市解决方案的核心技术
随着科技的飞速发展，数字孪生技术逐渐成为智慧城市建设的重要手段。作为山海鲸开发者，我们深知数字孪生技术在智慧城市中的应用价值，因此致力于开发出高效、便捷的数字孪生智慧城市解决方案。因此本文将带大家了解山海鲸智慧城市解决方案。
…
【数据分析之Numpy】Numpy中复制函数numpy.repeat()与numpy.tile()的使用方法及区别
一、简介 numpy.repeat()与numpy.tile()都是Numpy库中的复制函数，用于将数组中的元素重复指定的次数。 numpy.repeat()函数接受三个参数：要重复的数组、重复的次数和重复的轴。 numpy.tile()函数接受两个参数：要重复的数组和重复的次数。
二…
深入挖掘：Python中的Statsmodels库高级应用
写在开头
随着数据科学的发展，解决更为复杂问题的关键往往在于深入了解数据并采用更高级的分析工具。本文将带您深入探讨Python中的Statsmodels库，并引入一些高级功能，为更深入的数据挖掘奠定基础。
1 方差分析
1.1 方差分析概念
方差分析…
【机器学习】线性模型-线性支持向量机
一、常用二分类损失函数 二、三种不同的正则化器（L2-正则化，L1-正则化和Lp-范数）的性质 三、线性支持向量机原理 L1正则化L1-loss SVC原问题 L2正则化L2-loss SVC原问题 L2正则化SVC对偶问题 L1正则化L2-loss SVC原问题 多分类线性支持向量机…
企业级实战项目：基于 pycaret 自动化预测公司是否破产
本文系数据挖掘实战系列文章，我跟大家分享一个数据挖掘实战，与以往的数据实战不同的是，用自动机器学习方法完成模型构建与调优部分工作，深入理解由此带来的便利与效果。
1. Introduction 本文是一篇数据挖掘实战案例，…
基因表达差异分析R工具包DESeq2的详细使用方法和使用案例
DESeq2是一种常用的差异表达基因分析工具，可用于RNA-seq数据的差异表达分析。下面是DESeq2的详细使用步骤和全部脚本示例。
文章参考
Moderated estimation of fold change and dispersion for RNA-seq data with DESeq2 | Genome Biology | Full Text (biomedcen…
Python数据科学视频讲解：特征选择的概念、原则及方法
4.1 特征选择的概念、原则及方法 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解4.1节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程，包…
数字化生活：数据可视化的力量
数据可视化已经逐渐渗透到我们的日常生活中，并在许多方面为我们提供了便利与启发。它不仅仅是数据的图形展示，更是一种改变我们对信息理解方式的工具。下面我就以可视化从业者的角度出发，简单聊聊如何让数据可视化为我们的生活服务。 首先&am…
工具系列：PyCaret介绍_多分类代码示例
👋 工具系列：PyCaret介绍_多分类代码示例
PyCaret 介绍
PyCaret是一个开源的、低代码的Python机器学习库，可以自动化机器学习工作流程。它是一个端到端的机器学习和模型管理工具，可以大大加快实验周期并提高生产效率。
与其他开…
什么是数据仪表板？数据可视化仪表盘怎么制作？
在数据经济时代，分析数据是每个企业做出最佳决策的关键。但是，手动分析和解释大量数据是不可行的。数据可视化对于分析数据中存在的各种有价值信息至关重要，包括可见趋势和隐藏趋势等。仪表盘显示可视化趋势和信息，例如 KPI、趋势…
Spark Machine Learning进行数据挖掘的简单应用（兴趣预测问题）
数据挖掘的过程
数据挖掘任务主要分为以下六个步骤：
1.数据预处理2.特征转换3.特征选择4.训练模型5.模型预测6.评估预测结果
数据准备
这里准备了20条关于不同地区、不同性别、不同身高、体重…的人的兴趣数据集（命名为hobby.csv)：
id,h…
动物分类识别教程+分类释义+界面展示
1.项目简介
动物分类教程分类释义界面展示
动物分类是生物学中的一个基础知识，它是对动物进行分类、命名和描述的科学方法。本教程将向您介绍动物分类的基本原则和方法，并提供一些常见的动物分类释义。
动物分类的基本原则
动物分类根据动物的形态、…
《PySpark大数据分析实战》-18.什么是数据分析
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
TCGA超过1G的病理wsi数据下载-gdc-client
使用网页端下载TCGA超过1G的病理wsi数据，数据下载到1G后就不能完整下载。遂采用gdc-client下载。
Win 环境下新建这个文件夹放在系统盘进行储存，否则会报错：ERROR: Unable to write state file: [WinError 17] 系统无法将文件移到不同的磁盘…
数据探查系列：如何进行有意义的探索性数据分析（EDA）
如何进行有意义的探索性数据分析（EDA） 目录 1. 设置 1.1 导入库1.2 导入数据1.3 数据集特征1.4 数据集属性 2. 探索训练集和测试集 2.1 训练集 - 快速概览2.2 训练集 - 基本统计2.3 测试集 - 快速概览2.4 测试集 - 基本统计 3. 特征分布4. 数据不平衡检查…
数据分析-23--糖尿病预测（线性回归模型）（包含数据代码）
文章目录 0. 数据代码下载1. 项目介绍2. 数据处理1. 导入数据2. 处理数据 3. 建立模型4. 考察单个特征 0. 数据代码下载
关注公众号：『AI学习星球』 回复：糖尿病预测 即可获取数据下载。 算法学习、4对1辅导、论文辅导或核心期刊可以通过公众号或➕v&am…
电商平台商品销量API接口，30天销量API接口接口超详细接入方案说明
电商平台商品销量API接口的作用主要是帮助开发者获取电商平台上的商品销量信息。通过这个接口，开发者可以在自己的应用或网站中实时获取商品的销量数据，以便进行销售分析、库存管理、市场预测等操作。
具体来说，电商平台商品销量API接口的使…
大数据与人工智能|万物皆算法（第三节）
要点一：数据与智能的关系 1. 一切的核心都是数据，数据和智能之间是密切相关的。 数据是对客观现实的描述，而信息是数据转化而来的。 例如，24是数据，但说“今天的气温是24摄氏度”是信息，而说“班可以分成24…
计算机毕设：网民社交网络数据的分析与挖掘
1.读数据表
首先，我们读取原始数据，并查看各字段基本情况。
gradyeargenderagefriendsbasketballfootballsoccersoftballvolleyballswimmingcheerleadingbaseballtennissportscutesexsexyhotkisseddancebandmarchingmusicrockgodchurchjesusbiblehaird…
ChatGPT4和python完美融合，快速完成数据分析与可视化、人工智能建模及论文高效撰写
2022年11月30日，可能将成为一个改变人类历史的日子——美国人工智能开发机构OpenAI推出了聊天机器人ChatGPT3.5，将人工智能的发展推向了一个新的高度。2023年4月，更强版本的ChatGPT4.0上线，文本、语音、图像等多模态交互方式使其在…
山海鲸可视化软件：引领航空业数字化转型的智慧机场解决方案
作为山海鲸可视化软件的开发者，我们深知在当今数字化时代，数据可视化的重要性。特别是在航空业，数据可视化不仅可以提高运营效率，还能为决策者提供更准确、实时的信息。为此，我们推出了一款专为智慧机场设计的可视化解…
数据可视化能为我们带来哪些好处？
在信息爆炸的时代，数据量呈指数级增长，企业和个人都面临着处理大量信息的挑战。在这个背景下，数据可视化崭露头角，成为解决复杂数据呈现和理解难题的得力工具。那么，数据可视化究竟能为我们带来哪些好处呢？…
拆东墙补西墙-中国金融风控多头借贷数据分析
引言
在中国的金融行业中，多头借贷是一个备受关注的话题。多头借贷是指一个借款人同时从多个金融机构借款，这种行为可能会增加借款人的还款压力，也会增加金融机构的风险。因此，对多头借贷的风险进行有效的监控和分析对于金融机构…
数据分析为何要学统计学（2）——如何估计总体概率分布
明确总体的概率分布类型及参数是进行数据分析的基础，这项工作称为分布推断与参数估计。在总体分布及其参数不明确的情况下，我们可以利用手头掌握的样本来完成这项工作。具体过程由以下步骤组成。
第一步，样本统计特性直观估计
我们采用Seab…
自然语言处理5——发掘隐藏规律 - Python中的关联规则挖掘
目录 写在开头1. 了解关联规则挖掘的概念和实际应用1.1 关联规则挖掘在市场分析和购物篮分析中的应用1.2 关联规则的定义和基本原理1.3 应用场景2. 使用Apriori算法和FP-growth算法进行关联规则挖掘2.1 Apriori算法的工作原理和实现步骤2.2 FP-growth算法的优势和使用方法2.3 A…
传感数据分析——高通滤波与低通滤波
传感数据分析——高通滤波与低通滤波 文章目录 传感数据分析——高通滤波与低通滤波前言一、运行环境二、Python实现总结 前言
对于传感信号而言，我们可以提取其中的高频信息和低频信息，低频信息往往是信号的趋势，高频信息往往是一些突变或异…
传说中的数据挖掘工程师，究竟是做什么的？
数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省**泳衣最多等。
进一步，可以基于用户的浏览、点击、收…
使用主题模型和古老的人类推理进行无监督文本分类
一、说明 我在日常工作中不断遇到的一项挑战是在无法访问黄金标准标签的情况下标记文本数据。这绝不是一项微不足道的任务，在本文中，我将向您展示一种相对准确地完成此任务的方法，同时保持管道的可解释性和易于调整。 一些读者可能已经开始考…
HubSpot CRM与数字化营销的完美融合
随着企业数字化转型的推进，HubSpot CRM作为领先的客户关系管理工具，与数字化营销实现了无缝的融合。这种协同作用为企业提供了更全面、智能的客户管理解决方案，推动了销售和市场营销的卓越发展。 数字化营销的潮流
数字化营销已经成为企业推…
从单细胞数据分析的最佳实践看R与Python两个阵营的博弈
R与Python，在生物信息学领域的博弈异常激烈。许多生信分析，两个阵营都发展出了自己的方法，比如单细胞数据分析，R有Seurat，Python就有Scanpy。这些层出不穷的方法不断地吸引着吃瓜群众的眼球，同时也让人患上…
基于Python的影视数据智能分析系统
1. 前言
数据分析与可视化是当今数据分析的发展方向，大数据时代，数据资源具有海量特征，数据分析和可视化主要通过Python数据分析来实现。
基于Python的数据分析可视化和技术实现是目前Python数据分析的主要目的，Python可以为数据…
【机器学习基础】集成学习
🚀个人主页：为梦而生~ 关注我一起学习吧！ 💡专栏：机器学习 欢迎订阅！相对完整的机器学习基础教学！ ⭐特别提醒：针对机器学习，特别开始专栏：机器学习python实战…
2024趋势：ERP中数据分析的五大要点
2024 年，数据分析不仅仅是 ERP 实施中的一个额外功能;这就像第一步，将最终确定整个 ERP 实施项目的成功之路。忘记笨重的电子表格和无休止的报告——准备好驾驭这五种新兴趋势的浪潮： 一、人工智能和机器学习 (ML) 的兴起
人工智能驱动的数据…
离散型制造企业为什么要注重MES管理系统的实施
离散型制造企业经常面临三个核心问题：生产什么、生产多少以及如何生产。尽管许多企业都实施了ERP系统，但仍然绕不开MES管理系统的话题。本文将从三个方面详细解释为什么离散型企业需要实施MES管理系统。 一、生产线经常出现的问题
在离散型企业中&#…
BikeDNA（三） OSM数据的内在分析2
BikeDNA（三） OSM数据的内在分析2
1.数据完整性
见上一篇BikeDNA（二） OSM数据的内在分析1
2.OSM标签分析
见上一篇BikeDNA（二） OSM数据的内在分析1
3.网络拓扑结构
本节探讨数据的几何和拓扑特征。 例…
【量化金融】证券投资学
韭菜的自我修养 第一章： 基本框架和概念1.1 大盘底部形成的技术条件1.2 牛市与熊市1.3 交易系统1.3.1 树懒型交易系统1.3.2 止损止损的4个技术 第二章：证券家族4兄弟2.1 债券（1）债券，是伟大的创新（2&#x…
Python数据科学视频讲解：特征归一化、特征标准化、样本归一化
5.1 特征归一化、特征标准化、样本归一化 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解5.1节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程&#…
我用 Python 自动生成图文并茂的数据分析报告
reportlab是Python的一个标准库，可以画图、画表格、编辑文字，最后可以输出PDF格式。它的逻辑和编辑一个word文档或者PPT很像。有两种方法：
1）建立一个空白文档，然后在上面写文字、画图等； 2）建…
自然语言处理3——玩转文本分类 - Python NLP高级应用
目录 写在开头1. 文本分类的背后原理和应用场景1.1 文本分类的原理1.2 文本分类的应用场景 2. 使用机器学习模型进行文本分类（朴素贝叶斯、支持向量机等）2.1 朴素贝叶斯2.1.1 基本原理2.1.2 数学公式2.1.3 一般步骤2.1.4 简单python代码实现 2.2 支持向量…
深入探索Spring Boot的核心功能：快速构建原生程序响应式处理数据（文末送书）
🎬 鸽芷咕：个人主页 🔥 个人专栏:《linux深造日志》《粉丝福利》 ⛺️生活的理想，就是为了理想的生活! ⛳️ 写在前面参与规则 ✅参与方式：关注博主、点赞、收藏、评论，任意评论（每人最多评论…
学习笔记：数据挖掘与机器学习
文章目录 一、数据挖掘、机器学习、深度学习的区别（一）数据挖掘（二）机器学习（三）深度学习（四）总结 二、数据挖掘体系三、数据挖掘的流程四、典型的数据挖掘系统 一、数据挖掘、机器学…
pythonPandas三： 数据清洗和预处理
让我们通过几个案例来学习如何使用Pandas进行数据清洗和预处理，包括处理缺失值、异常值，进行数据转换和规范化，以及处理重复数据等操作。 处理缺失值： # 创建包含缺失值的DataFrame
data {姓名: [张三, 李四, None, 赵六],年龄: …
地理空间分析3——数据可视化与地理空间
写在开头
数据可视化是将数据以图形形式呈现，使其更易于理解和分析的过程。在地理空间分析中，数据可视化不仅能够展示地理位置信息，还能够有效地传达地理空间数据的模式、趋势和关联。本文将探讨数据可视化在地理空间分析中的作用，介绍Python中常用的数据可视化工具，并深…
【数据挖掘】模型融合
模型融合是指将多个不同的机器学习模型组合起来，通过综合多个模型的预测结果来得到更准确的预测结果。模型融合可以提高模型的鲁棒性，减小模型的方差，提高模型的泛化能力。
常见的模型融合方法包括平均法、投票法和堆叠法。 平均法(Averagin…
数据挖掘中的数据属性特点、描述性统计度量与相似度计算
目录
1. 引言
2. 数据挖掘中的数据属性
2.1 数值属性
2.2 标称属性
2.3 有序属性
2.4 无序属性
3. 描述性统计度量
3.1 中心趋势度量
3.2 离散程度度量
3.3 分布形状度量
4. 相似度计算
4.1 欧氏距离
4.2 余弦相似度
4.3 Jaccard
5. 数据挖掘中的案例应用
5.1 …
KNN 分类（选择最佳的 K 值，并可视化模型精度与 n_neighbors 的关系）
import matplotlib.pyplot as plt
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier# 导入乳腺癌数据集
cancer load_breast_cancer()# 划分训练集和测试集
X_tra…
2023年国庆节深圳市节假日人口迁出数据，shp/excel格式
基本信息
数据名称: 深圳市节假日人口迁出数据
数据格式: Shp、excel
数据时间: 2023年国庆节
数据几何类型: 线
数据坐标系: WGS84
数据来源：网络公开数据
数据字段：
序号字段名称字段说明1a0928迁出人口占迁出深圳市人口的比值（…
数据分析求职-岗位介绍
这是咱们干货开始的第一篇文章，后续我尽量会保持日更的节奏和大家做分享~
在未来所有分享的内容展开之前，咱们有必要先彻底、深入地了解下数据分析这个岗位。如果你还在犹豫是否要走数据分析的路，或者你已经拿了数据分析的offer想了解下将来…
数据分析-25-电商用户行为可视化分析
文章目录 0. 数据代码获取1. 项目介绍1.1 分析背景1.2 分析目的1.3 分析思路 2. 数据清洗2.1 加载必要的库2.2 读取数据2.3 统计缺失值2.4 处理数据a. 删除重复值b. 转换时间格式c. 提取日期和时间d. 转换数据类型 3. 分析内容3.1 用户活跃规律a. 日均pv与uvb. 日新增pv、uv趋势…
何谓跨境电商？跨境电商平台物流、金流、交易模式比较一篇搞懂
什么是跨境电商？
跨境电商的全名是跨境电子商务（Cross Border E-Commerce），从字面上分为两个元素：「跨境」与「电子商务」：
跨境：指的是跨越国家与国家之间的边境
电子商务：指的是…
地理空间分析4——空间模式分析与Python
写在开头
空间模式分析是地理信息科学和数据科学领域中的一个重要分支，它主要关注地理现象的分布和变化模式。而Python，作为当今数据分析和数据挖掘的重要工具，为空间模式分析提供了丰富的方法和库。本文将带您深入了解Python在空间模式分析中的应用。
1.集聚分析
集聚分…
阿里巴巴国际站商品采集API商品列表API商品详情数据API
阿里巴巴国际站（Alibaba.com）是阿里巴巴集团旗下的一个全球贸易平台，旨在连接全球买家和供应商，并促进国际贸易。它是目前世界上最大的B2B（企业对企业）在线交易市场之一。 阿里巴巴国际站提供了广泛的产品类…
Python数据分析案例31——中国A股的月份效应研究(方差分析，虚拟变量回归)
案例背景
本次案例是博主本科在行为金融学课程上做的一个小项目，最近看很多经管类的学生作业都很需要，我就用python来重新做了一遍。不弄那些复杂的机器学习模型了，经管类同学就用简单的统计学方法来做模型就好。 研究目的
有效市场假说是现…
推荐收藏！48道数据分析师高频面试题汇总！
大家好，最近很多小伙伴私信我，讲一下数据分析的面试题，今天给大家整理了48道数据分析师面试时被频繁问到的题目，找数据分析岗位的同学一定要码住认真看。
想了解最新的面试动态、最新高频考点、技术交流的同学，可以文…
关于标准那些事——第十篇 分类标准
最近要赶一个极其重要的CANS认证项目，这会是全中国第一个完全数字化CNAS认证的实验室项目，内容分享进度会比较慢。其实，大多数情况也并不是没有时间，俗话说：时间嘛，挤挤总是有的！其实影响进度更…
图形背后的故事：数据可视化如何改变我们的视角
数据可视化，作为一种信息传递和理解的工具，已经深刻地影响着我们的生活。无论是个人生活还是社会运转，数据可视化都在为我们呈现更清晰、更直观的画面。下面我就以可视化从业者的角度，简单说说这个话题。 生活中，我们时…
数据分析-Pandas如何处理表格中的文本数据
数据分析-Pandas如何处理表格中的文本数据
数据分析和处理中，难免会遇到文本数据，比如人名，地名，还有其他的场景描述等等。金融数据，风控数据，营销数据等等，莫不如此。如何用pandas处理文本数据…
实体识别与分类方法综述
目录 前言1 实体识别简介2 基于模板和规则的方法3 基于序列标注的方法3.1 常见序列标注模型3.2 模型参数估计和学习问题3.3 常见序列预测模型 4. 基于深度学习的实体识别方法5 基于预训练语言模型的实体识别5.1 BERT、GPT等预训练语言模型5.2 解码策略 6 特殊问题与挑战6.1 标签…
基于python flask茶叶网站数据大屏设计与实现，可以做期末课程设计或者毕业设计
基于Python的茶叶网站数据大屏设计与实现是一个适合期末课程设计或毕业设计的项目。该项目旨在利用Python技术和数据可视化方法，设计和开发一个针对茶叶行业的数据大屏，用于展示和分析茶叶网站的相关数据。 项目背景 随着互联网的快速发展，越…
智慧用电，同为云（TOWE Cloud）平台为机房供配电提供数字化赋能
随着现代数字经济的快速发展，机房智能供配电监控系统是所有电源和电气设备统一管理监控的重要核心部分，除了可以确保电源和动力系统正常运行外，还可以大大提高工作效率，节省能源消耗。智能供配电监控系统通过传感器、数据采集器等…
【数据分析】numpy基础第五天
文章目录 前言Z-Score标准化Z-Score应用示例 Min-Max归一化Min-Max应用示例 总结 前言
第五天是我们的numpy学习计划中的最后一天。
在数据处理和数据分析中，数据预处理是非常重要的一步。我们不可能完全靠肉眼来分析数据，总会有用到各种算法模型的时候…
2023年深圳市节假日人口迁入数据，shp/excel格式，需要自取！
基本信息.
数据名称: 深圳市节假日人口迁入数据
数据格式: Shp、excel
数据时间: 2023年国庆节
数据几何类型: 线
数据坐标系: WGS84
数据来源：网络公开数据
数据字段：
序号字段名称字段说明1a0928迁入人口占迁入深圳市人口的比值࿰…
扩展卡尔曼滤波（Extended Kalman Filter, EKF）：理论和应用
扩展卡尔曼滤波（Extended Kalman Filter, EKF）：理论、公式和应用
引言
卡尔曼滤波是一种广泛应用于估计动态系统状态的技术，但当系统的动态模型或测量模型是非线性的时候，传统的卡尔曼滤波方法就显得无能为力。扩展卡…
Softmax回归（多类分类模型）
目录 1.对真实值类别编码：2.预测值：3.目标函数要求：4.使用Softmax模型将输出置信度Oi计算转换为输出匹配概率y^i：5.使用交叉熵作为损失函数：6.代码实现： 1.对真实值类别编码： y为真实值…
喜报，思迈特荣获DCMM稳健级认证，数据管理能力达国家标准
近日，经中国电子信息行业联合组织主办的数据管理能力成熟度评估（简称DCMM）专家评审会的严格审查，思迈特成功取得DCMM稳健级（乙方三级）证书。这一成就标志着在数据战略和执行方面，思迈特取得了显…
【电商平台API】拍立淘接口以图搜款API以图搜图API（支持淘宝1688）
按图搜索淘宝商品（拍立淘） API
taobao.item_search_img
请求参数
请求参数：imgidhttp://g-search3.alicdn.com/img/bao/uploaded/i4/O1CN01IDpcD81zHbpHs1YgT_!!2200811456689.jpg&cat&page1
参数说明：imgid:图片地址…
数据分析-Pandas如何转换产生新列
数据分析-Pandas如何转换产生新列
时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。此处选择巴黎、伦敦欧洲城市空气质量监测 N O 2 NO_2 NO2数据作为样例。
python数据分析-数据表读写到pandas
经典…
MiniTab的拟合回归模型的分析
拟合回归模型概述
使用拟合回归模型和普通最小二乘法可以描述一组预测变量和一个连续响应之间的关系。可以包括交互作用项和多项式项、执行逐步回归和变换偏斜数据。
例如，房地产评估人员想了解城市公寓与多个预测变量（包括建筑面积、可用单元数量、建…
Pandas实践指南：从基础到高级数据分析
Pandas实践指南：从基础到高级数据分析 引言Pandas基础1. 安装和基本配置2. DataFrame和Series的基础3. 基础数据操作 数据清洗与预处理1. 缺失值处理2. 数据转换3. 数据过滤 数据分析与操作1. 数据聚合和分组操作2. 时间序列数据处理3. 条件逻辑和数据分割 高级数据…
机器学习——支持向量机SVM
1 摘要：
支持向量机（SVM）是一种二类分类模型，其基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大，间隔最大使它有别于感知机，支持向量机也可通过核技巧使它成为非线性分类器。支持…
数据分析入门指南：用 Python 开启数据之旅
文章目录 前言发现宝藏为什么选择 Python 进行数据分析？准备工作数据分析基础1. 数据加载2. 数据探索3. 数据清洗4. 数据可视化 探索更多可能性好书推荐总结 前言
为了巩固所学的知识，作者尝试着开始发布一些学习笔记类的博客，方便日后回顾。…
高光谱分类论文解读分享之HybridSN：基于 3-D–2-D CNN 的高光谱分类（经典回顾）
IEEE GRSL 2019：HybridSN：基于 3-D–2-D CNN 的高光谱分类
题目
HybridSN: Exploring 3-D–2-D CNN Feature Hierarchy for Hyperspectral Image Classification
作者
Swalpa Kumar Roy, Student Member, IEEE, Gopal Krishna, Shiv Ram Dubey , Mem…
面试必备！回归模型最强总结，内容太通透了！
昨天发布了关于分类算法的一些总结，不少人给予了反馈。
令我没想到的是，居然足足有一半的人想要看关于回归的总结，今天它来了！~
先来进行一个简单的介绍，回归算法的重要性体现在其能够建立特征与目标之间的关系模型&…
MiniTab的拟合回归模型的系列参数设置
为拟合回归模型指定模型项
统计 > 回归 > 回归 > 拟合回归模型 > 模型
可以向模型添加交互作用项和多项式项。默认情况下，模型仅包含在主对话框中输入的预测变量的主效应。添加项的方法有很多。假设预测变量列表具有 3 个连续变量 X、Y、Z 和 2 个类别…
XGBoost系列2——深入了解XGBoost参数
写在开头
XGBoost（Extreme Gradient Boosting）是在机器学习领域中备受推崇的算法之一。为了更好地利用XGBoost，我们需要深入了解其关键参数及其调优方法。在本文中，我们将结合XGBoost模块中的函数和方法，以及实际数据…
图搜api按图搜索淘宝商品接口拍立淘API接口精准搜索商品代码调用案例
淘宝按图搜索淘宝商品（拍立淘）API接口接入入口的主要作用是帮助用户快速找到他们想要的商品。用户只需要上传一张包含所需商品的图片，该接口就会自动识别图片中的商品，并在淘宝平台上搜索出相应的商品。这不仅大大提高了用户的购物…
【大数据分析与挖掘技术】Mahout推荐算法
目录
一、推荐的定义与评估
（一）推荐的定义
（二）推荐的评估
二、Mahout中的常见推荐算法
（一）基于用户的推荐算法
（二）基于物品的推荐算法
（三）基于S…
【头歌-数据分析与实践-python】数据分析与实践-python——python基础
注意 ： 本文档仅供参考使用，本章节程序绝大多数程序面向对象输出，一旦测试用例改变，会导致无法通过，请悉知 ! ! ! 请勿盲目使用 数据分析与实践-python——python基础 数据分析与实践-python——python基础 数据分析与…
数据分析的理念、流程、方法、工具（上）
一、数据的价值
1、数据驱动企业运营
从电商平台的「猜你喜欢」到音乐平台的「心动模式」，大数据已经渗透到了我们生活的每一个场景。不论是互联网行业，还是零售业、制造业等，各行各业都在依托互联网大数据（数据采集、数据存储、…
怎么提升数据分析能力？——功法篇（下）
先来复习一下上篇提到的3个疑问： 为什么我做出来的分析总觉得没有别人的那么高级？ 老板为什么总说我的分析“太浅了”？ 数据分析师每天的工作就是取数做需求？ 看完上篇讲的金字塔原理，如果你还有疑问，不妨再…
信息检索与数据挖掘 | （十二）聚类
文章目录 📚聚类📚KMeans📚层次聚类🐇层次聚类概述🐇dendrogram-树状图🐇linkages-衡量两个类之间的距离🐇Lance-Williams算法🐇K-means VS 层次聚类 📚DBSCAN …
将多个excel文件中的特定数据汇总到一个excel中
比如5000个excel文件中都有1月2日的交易数据。现在需要将每个文件中1月2日的数据提出来，组成一个新的excel文件，即1月2日的交易数据文件，以1月2日命名。下面的程序是将5000只股票1月2日的交易数据提出来，形成一个1月2日所有股票的…
第三章第11节：EXCE利用柱状图和条形图去直观数据分析 (二)
柱状图和条形图-图形简介
01,柱状图 柱状图是使用垂直的柱子显示类别之间的数值比较，其中一个轴(横轴)表示需要对比的分类维度，另一个轴(纵轴)表示相应维度下的数值。 02,条形图 条形图是柱状图的转置，工作中柱状图应用居多。 03,柱状图和条…
三款精选数字孪生产品大比拼
作为一名数据可视化领域的资深用户，我接触过众多数据可视化产品。本文将介绍三款备受关注的数据可视化工具，并对它们进行详细的比较。
首先，让我们了解一下数据可视化产品的核心价值。在信息爆炸的时代，数据可视化成为快速理解复…
2023年天猫食用油市场行业分析（电商数据查询软件）：市场细分，营养调和油高速成长
食用油是人类膳食的重要组成部分，除了为日常饮食提供美味外，也是人体所需脂肪和能量的重要来源，对人体健康发挥着重要作用。因此，作为日常生活中的刚需品，食用油市场的整体规模也较大。
首先来看食用油市场的年度销售…
【脑电信号处理与特征提取】P5-彭薇薇：脑电信号的预处理及数据分析要点
彭薇薇：脑电信号的预处理及数据分析要点
脑电
脑电是神经活动的测量方法，在不同位置测量有不同的方法。比如大脑皮层表面测量的是ECoG，在头皮测量的是EEG。除了EEG是无损的，其他都是有损的。
脑电信号采集系统
下面是完整的…
基于大数据的B站数据分析系统的设计与实现
摘要：随着B站（哔哩哔哩网）在国内视频分享平台的崛起，用户规模和数据量不断增加。为了更好地理解和利用这些海量的B站数据，设计并实现了一套基于Python的B站数据分析系统。该系统采用了layui作为前端框架、Flask作为后端…
干货 | 大模型在图数据分析、推荐系统和生物科学中的综合应用
点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 图机器学习、推荐系统与大语言模型的融合正成为新的前沿热点。图机器学习通过利用图结构数据，能够有效地捕捉和分析复杂关系和模式。同时，推荐系统正逐步成为我们日常生活的一部分&#…
数字巨轮航行大数据海洋：数据可视化引领时代潮流
在大数据时代的潮流中，数据可视化如同一艘畅行无阻的科技巨轮，引领我们穿越数字浩瀚的大海，使我们在信息的航程中游刃有余。下面我就从可视化从业者的角度，来简单说说数据可视化是如何帮助我们在大数据时代畅行无阻的。 数据可视化…
鸿蒙开发者的必修课：进程、线程、协程的深度剖析
博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能！ 专栏链接： 🔗 精选专栏： 《面试题大全》 — 面试准备的宝典！《IDEA开发秘籍》 — 提升你的IDEA技能！《100天精通Golang》…
【金蝶BI方案】用一张报表，分析生产完成情况
当老板问生产完成地怎样？难道还能拿出一叠报表让老板逐个细看？奥威-金蝶BI方案只用一张BI数据可视化报表就把整个生产完成情况给讲明白了。甚至还能满足老板想从不同角度进行分析的需求。
奥威-金蝶BI方案-BI生产完成情况报表 这张报表总结计算了生产合…
数据可视化市场概览：五款主流工具的优缺点解析
在数据可视化的世界中，选择一款合适的工具对于提升工作效率和洞察力至关重要。本文将为您介绍五款主流数据可视化工具，包括山海鲸可视化、Echarts、D3.js、Tableau和Power BI，并进行详细比较，帮助您做出明智的选择。
山海鲸可视化…
目标检测及相关算法介绍
文章目录 目标检测介绍目标检测算法分类目标检测算法模型组成经典目标检测论文 目标检测介绍
目标检测是计算机视觉领域中的一项重要任务，旨在识别图像或视频中的特定对象的位置并将其与不同类别中的对象进行分类。与图像分类任务不同，目标检测不仅需要…
机器学习中常用的性能度量—— ROC 和 AUC
什么是泛化能力？
通常我们用泛化能力来评判一个模型的好坏，通俗的说，泛化能力是指一个机器学期算法对新样本（即模型没有见过的样本）的举一反三的能力，也就是学以致用的能力。
举个例子，高三的…
###C语言程序设计-----C语言学习（9）#函数基础
前言：感谢您的关注哦，我会持续更新编程相关知识，愿您在这里有所收获。如果有任何问题，欢迎沟通交流！期待与您在学习编程的道路上共同进步。 一. 基础知识的学习 1.函数的定义 函数是一个完成特定工作的独立程序模块&…
2024数据分析管理、数字经济与教育国际学术会议(ICDAMDEE2024)
会议简介
2024年数据分析管理、数字经济和教育国际学术会议（ICDAMDEE 2024）将在武汉举行。会议不仅展示了来自世界各地的研究专家围绕数据分析管理、数字经济和教育的最新科研成果，还为来自不同地区的代表们提供了面对面的交流意见和实验经验…
年货大数据（年货节数据/电商行业数据）：龙年再添两个黑马食品饮料品类，增长11倍！
年货零食三大件：牛奶、糖果和炒货。今年再多两大件，礼品卡券和腊味。
根据鲸参谋数据显示，今年坚果炒货、糖果、牛奶乳品、饮料等品类依然是长期的年货热门品类。1月前三周，牛奶乳品销量环比增长68%，销售额环比增长55…
龙年春节福利来了！海量数据分析视频课畅学14天
2024年龙年春节假期将至
是时候给自己充电了！
经过一年的辛勤工作 是不是觉得应该好好利用这个假期
为新的一年充电？
还在纠结假期怎么过吗？
与其宅在家里刷剧打游戏
不如安排学习数据分析技能 让假期过得更有意义。
你是否对如何快…
用Python实现创建十二星座数据分析图表
下面小编提供的代码中，您已经将pie.render()注释掉，并使用了pie.render_to_file(十二星座.svg)来将饼状图渲染到一个名为十二星座.svg的文件中。这是一个正确的做法，如果您想在文件中保存图表而不是在浏览器中显示它。
成功创建图表…
《Git 简易速速上手小册》第1章：Git 基础（2024 最新版）
文章目录 1.1 Git 简介：版本控制的演变1.1.1 基础知识讲解1.1.2 重点案例：协作开发流程优化案例：功能开发与分支策略 1.1.3 拓展案例 1：代码审查与合并1.1.4 拓展案例 2：冲突解决 1.2 安装和配置 Git：首次设…
常见的Python项目目录结构规范
Python项目目录结构规范
涉及Python开发的项目，均需依照下列目录结构进行设计与开发：
|—— 1.References # 参考文献目录
|—— 2.Project # 项目代码|——— conf/ # 项目配置目录，所有的静态参数、文件路径、数据库配置等全…
每天一个数据分析题（一百五十三）
对于执行edu_class变量数据编码和缺失值填充的代码，以下哪个Python代码片段不能正确实现所提供的操作？
A. data_raw[‘gender’] data_raw[‘gender’].replace({‘Male’: 1, ‘Female’: 0})
B. data_raw[‘edu_class’] data_raw[‘edu_class’].…
WWW 2024 | 时间序列（Time Series）和时空数据（Spatial-Temporal）论文总结
WWW 2024已经放榜，本次会议共提交了2008篇文章，research tracks共录用约400多篇论文，录用率为20.2%。本次会议将于2024年5月13日-17日在新加坡举办。
本文总结了WWW 2024有关时间序列（Time Series）和时空数据…
《MySQL 简易速速上手小册》第7章：MySQL监控和日志分析（2024 最新版）
文章目录 7.1 配置和使用 MySQL 监控工具7.1.1 基础知识7.1.2 重点案例：使用 Python 和 Prometheus 监控 MySQL 性能7.1.3 拓展案例 1：自动化 MySQL 慢查询日志分析7.1.4 拓展案例 2：实时警报系统 7.2 解读 MySQL 日志文件7.2.1 基础知识7.2.…
MATLAB实现随机森林回归算法
随机森林回归是一种基于集成学习的机器学习算法，它通过组合多个决策树来进行回归任务。随机森林的基本思想是通过构建多个决策树，并将它们的预测结果进行平均或投票来提高模型的准确性和鲁棒性。
以下是随机森林回归的主要特点和步骤： 决策树…
AI论文速读 |【综述】城市基础模型回顾与展望——迈向城市通用智能
最近申请了一个公众号，名字为“时空探索之旅”。之后会同步将知乎有关时空和时序的论文总结和论文解读发布在公众号，更方便大家查看与阅读。欢迎大家关注，也欢迎多多提建议。 🌟【紧跟前沿】“时空探索之旅”与你一起探索时空奥秘…
阿里文档类图像的智能识别，文档分类自定义分类器
阿里云文档类图像智能识别服务为用户提供了强大的文档处理能力，可以将文档图像中的文本内容、表格数据和结构化信息自动识别并提取出来。而自定义分类器则允许用户根据自己的需求，训练出更适合自己场景的文档分类模型。本文将详细介绍阿里云文档类图像智…
基于LightGBM的回归任务案例
在本文中，我们将学习先进的机器学习模型之一：Lightgbm。在对XGB模型进行了越来越多的改进以获得更好的性能之后，XGBoost是一种极限梯度提升机器，但通过lightgbm，我们可以在没有太多计算的情况下实现类似或更好的结果&a…
《区块链公链数据分析简易速速上手小册》第5章：高级数据分析技术（2024 最新版）
文章目录 5.1 跨链交易分析5.1.1 基础知识5.1.2 重点案例：分析以太坊到 BSC 的跨链交易理论步骤和工具准备Python 代码示例构思步骤1: 设置环境和获取合约信息步骤2: 分析以太坊上的锁定交易步骤3: 跟踪BSC上的铸币交易 结论 5.1.3 拓展案例 1：使用 Pyth…
《区块链公链数据分析简易速速上手小册》第6章：区块链数据的应用（2024 最新版）
文章目录 6.1 市场趋势分析6.1.1 基础知识6.1.2 重点案例：分析比特币市场趋势准备工作实现步骤步骤1: 加载和预处理数据步骤2: 可视化价格和交易量趋势步骤3: 分析链上活动步骤4: 综合分析 结论 6.1.3 拓展案例 1：链上活动分析准备工作实现步骤步骤1: 加…
RapidMiner数据挖掘2 —— 初识RapidMiner
本节由一系列练习与问题组成，这些练习与问题有助于理解多个基本概念。它侧重于各种特定步骤，以进行直接的探索性数据分析。因此，其主要目标是测试一些检查初步数据特征的方法。大多数练习都是关于图表技术，通常用于数据挖掘。 为此…
TenorFlow多层感知机识别手写体
文章目录 数据准备建立模型建立输入层 x建立隐藏层h1建立隐藏层h2建立输出层 定义训练方式建立训练数据label真实值 placeholder定义loss function选择optimizer 定义评估模型的准确率计算每一项数据是否正确预测将计算预测正确结果，加总平均 开始训练画出误差执行结…
《Linux 简易速速上手小册》第5章: 用户与群组管理（2024 最新版）
文章目录 5.1 管理用户账户5.1.1 重点基础知识5.1.2 重点案例：创建一个新的开发者账户5.1.3 拓展案例 1：禁用用户登录5.1.4 拓展案例 2：设置账户到期 5.2 群组概念与管理5.2.1 重点基础知识5.2.2 重点案例：为项目团队设置群组5.2.…
如何实现批量获取电商数据自动化商品采集？如何利用电商数据API实现业务增长？
随着电子商务的快速发展，数据已经成为了电商行业最重要的资产之一。在这个数据驱动的时代，电商数据API（应用程序接口）的作用日益凸显。通过电商数据API，商家能够获取到大量关于消费者行为、产品表现、市场趋势等有价值…
【解决（几乎）任何机器学习问题】：处理分类变量篇（上篇）
这篇文章相当长，您可以添加至收藏夹，以便在后续有空时候悠闲地阅读。 本章因太长所以分为上下篇来上传，文章末尾有下篇链接 很多⼈在处理分类变量时都会遇到很多困难，因此这值得⽤整整⼀章的篇幅来讨论。在本章中，我将…
每天一个数据分析题（一百六十六）
关于指标体系的构件组成，说法正确的是（）。
A. 指标体系由度量和维度构件组成的。
B. 指标体系由标签和维度构件组成的。
C. 指标体系由指标和标签构件组成的。
D. 指标体系由指标和维度构件组成的。
题目来源于CDA模拟题库
点击此处获取…
智慧医疗新篇章：山海鲸可视化引领行业变革
随着科技的不断发展，智慧医疗已经成为医疗行业的新趋势。山海鲸可视化以其独特的视角和前沿的技术，为智慧医疗提供了全方位的解决方案。其强大的数据可视化能力，使得医疗数据更加直观、易于理解。无论是病例分析、手术模拟，还是患…
基于jieba、TfidfVectorizer、LogisticRegression的垃圾邮件分类，模型平均得分为0.98左右（附代码和数据集）
基于jieba、TfidfVectorizer、LogisticRegression的垃圾邮件分类，模型平均得分为0.98左右（附代码和数据集）。
垃圾邮件分类识别是一种常见的文本分类任务，旨在将收件箱中的邮件分为垃圾邮件和非垃圾邮件。以下是一些常用的技术和方法用于垃圾邮件分类识别： 基于规则的过…
应用回归分析：逻辑回归
逻辑回归（Logistic Regression）是一种广泛应用于分类问题的统计方法，特别是在二分类问题中表现突出。尽管名为回归，逻辑回归实际上是解决分类问题的一种强大工具。本文将深入探讨逻辑回归的原理、应用场景以及如何在实际问题中应用…
数据分析Pandas专栏---第四章＜Pandas几个处理元素的函数＞
前言:
在处理series和Dataframe对象中的元素的时候,经常会用到一些逻辑运算函数; 那么这些逻辑运算怎么用?有哪些? 我认为这六个都比较重要!!!
正文:
1.apply
apply函数可以用于Series或DataFrame对象，用于将自定义函数应用于每个元素或每一列/行。
对于Ser…
数据分析 - 机器学习
1：线性回归 线性回归是一种统计技术用于对输出变量与一个或多个输入变量之间的关系进行建模 用外行人的话来说，将其视为通过某些数据点拟合一条线，如下所示 以便在未知数据上进行预测，假设变量之间存在线性关系 点和线之间存在微小…
【金蝶BI方案】做生产订单分析，要分析哪些指标？
一般来说，做生产订单分析要做量大部分的内容。一个是分析总的计划生产数据和实际完成情况、良品情况；另一个则是详细分析每种产品的订单量、计划生产数量、实际完工数量等。从而让运营管理者更加直接地了解到生产订单情况，更好地安排生产任务…
突出最强算法模型——回归算法 ！！
文章目录 1、特征工程的重要性 2、缺失值和异常值的处理 （1）处理缺失值 （2）处理异常值 3、回归模型的诊断 （1）残差分析 （2）检查回归假设 （3）Cooks 距离 4、学…
智能风控体系之Y定义与样本选择(A卡)
评分卡模型设计里面，最重要的一环就是Y的定义和好坏样本的选择，即样本范围选择和Y变量确定。一般来说，产品评分卡开发需要有需求、设计、开发、测试、部署上线等过程。需要思考几个问题：
1.需要做几个评分卡模型，根据…
读书笔记-增强型分析：AI驱动的数据分析、业务决策与案例实践
目录
前言
运用人工智能技术，可以使人类社会变得更美好。人们总是期待产品更适合、服务更贴心、生活更便利。在实践中，技术给企业赋能，企业通过优质的产品和服务满足社会，提升人类福祉。很多金融企业已经开始尝试向潜在客户推送…
数据分析Pandas专栏---第三章＜Pandas合并list和字典＞
正文:
在处理数据时，经常会遇到需要操作和转换DataFrame的场景。特别是当涉及到从单个或多个字典合成DataFrame，以及合并多个DataFrame时，适当的方法和技巧可以极大地简化程序逻辑并提高代码的可读性与效率。此外，数据操作过程中…
CVPR 2023: DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields
我们使用以下 6 个分类标准来解释本文的研究主题：
1. 神经表示: 隐式: 这种表示使用神经网络直接将空间中的 3D 点映射到其颜色和密度。网络充当“黑盒”函数，其内部工作原理无法直接解释。示例包括 NeRF、MPR-NeRF 和 Plenoxels。显式: 这种表示将每个体素或顶点的颜色和密…
集成学习之Boosting方法系列_XGboost
文章目录 【文章系列】【前言】【算法简介】【正文】（一）XGBoost前身：梯度提升树（二）XGBoost的特点（三）XGBoost实际操作1. 前期准备（1）数据格式（2）…
Kaggle竞赛系列_SpaceshipTitanic金牌方案分析_数据分析
文章目录 【文章系列】【前言】【比赛简介】【正文】（一）数据获取（二）数据分析1. 缺失值2. 重复值3. 属性类型分析4. 类别分析5. 分析目标数值占比 （三）属性分析1. 对年龄Age分析（1）…
【30秒看懂大数据】变量
简单说
变量是指研究或观察中可能发生变化的事物、属性或特征，它们可以用来描述数据或现象的不同方面。 举例理解
一位热衷于烹饪的大厨老李，经常尝试不同的菜肴来满足不同顾客的口味。
1. 老李明白，每种食材都等同于一个重要的变量…
数据可视化工具选择指南：六款主流工具的综合评测
随着大数据时代的来临，数据可视化已成为各行业不可或缺的工具。本文将为您介绍市面上六款主流数据可视化工具，包括山海鲸可视化、Echarts、D3.js、Tableau、Power BI和Funnel.io，帮助您更好地了解并选择适合您的工具。
山海鲸可视化
山海鲸…
数据分析（二）自动生成分析报告
1. 报告生成思路概述
怎么快速一份简单的数据分析报告，注意这个报告的特点：
--网页版，可以支持在线观看或者分享HTML文件
--标题，动图，原始数据应有尽有
--支持交互，比如plotly交互画面，数据…
用Python实现学生成绩数据分析
我的代码使用了pygal库来创建一个简单的折线图，并将其保存为SVG格式的文件。下面是对您代码的分析：
学生成绩数据分析表： 分析代码： 导入库：您导入了pygal库，这是一个用于生成可缩放矢量图形（S…
贝叶斯核机器回归拓展R包：bkmrhat
1.摘要 bkmrhat包是用于扩展bkmr包的贝叶斯核机器回归（Bayesian Kernel Machine Regression, BKMR）分析工具，支持多链推断和诊断。该包利用future, rstan, 和coda包的功能，提供了在贝叶斯半参数广义线性模型下进行identity链接和 …
探索LightGBM：监督式聚类与异常检测
导言
监督式聚类和异常检测是在监督学习框架下进行的一种特殊形式的数据分析技术。在Python中，LightGBM提供了一些功能来执行监督式聚类和异常检测任务。本教程将详细介绍如何使用LightGBM进行监督式聚类和异常检测，并提供相应的代码示例。
监督式聚类…
智慧城市系统的开发流程
智慧城市是城市地区使用不同类型的电子方法和传感器来收集数据。从这些数据中获得的见解可用于有效地管理资产、资源和服务作为回报，这些数据将用于改善整个城市的运营。智慧城市系统的开发流程涉及多个阶段和步骤，以下是一个一般性的开发流程࿰…
天一个数据分析题（一百七十三）
聚类算法的主要应用场景是用户分群，聚类是一种无监督方法，以下哪个不是衡量聚类效果好坏的评估方法（）。
A. 轮廓系数
B. 平方根标准误差
C. ARI(调整的兰德系数)
D. 相关系数
题目来源于CDA模拟题库
点击此处获取答案
如何利用HubSpot出海营销CRM实现品牌建设与传播的有效管理？
利用HubSpot出海营销CRM优化客户互动和沟通可以通过以下方式实现：
个性化客户管理：
利用HubSpot的客户管理功能，集中管理客户信息，并根据客户的行为、偏好和历史数据等信息进行个性化分类和标记。这样可以更好地了解客户需求&am…
2024年1月京东奶粉行业销售数据分析（TOP10奶粉品牌排行榜）
鲸参谋监测的京东平台1月份奶粉市场销售数据已出炉！
根据鲸参谋电商数据分析平台显示，今年1月份，京东平台上奶粉的销量约740万件，环比上个月增长33%，同比去年增长10%；销售额约27亿元，环比上个月…
【Python爬虫+数据分析】采集电商平台数据信息采集|电商API数据采集接口接入
前言
随着电商平台的兴起，越来越多的人开始在网上购物。而对于电商平台来说，商品信息、价格、评论等数据是非常重要的。因此，抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序&a…
使用pyannote-audio实现声纹分割聚类
使用pyannote-audio实现声纹分割聚类
# GitHub地址
https://github.com/MasonYyp/audio1 简单介绍
pyannote.audio是用Python编写的用于声纹分割聚类的开源工具包。在PyTorch机器学习基础上，不仅可以借助性能优越的预训练模型和管道实现声纹分割聚类，还…
全面整理！机器学习常用的回归预测模型
Datawhale干货 作者：曾浩龙，Datawhale意向成员 前言 回归预测建模的核心是学习输入 到输出 （其中 是连续值向量）的映射关系。条件期望 是 到 的回归函数。简单来说，就是将样本的特征矩阵映射到样本标签空间。 图…
（三）softmax分类--九五小庞
softmax分类
对数几率回归解决的是二分类的问题，对于多个选项的问题，我们可以使用softmax函数，它是对数几率回归在N个可能不同的值上的推广 softmax各样本分量之和为1，当只有两个类别时，与对数几率回归完全相同
损失…
数据分析Pandas专栏---第五章＜Pandas缺失值的处理(1)＞
前言: 当进行数据清洗和处理时，缺失值处理是一个非常重要的步骤。缺失值是指在数据集中某些位置缺少数值或信息。处理缺失值的目标是确保数据的完整性和准确性，以便能够进行后续的分析和建模。
正文:
I. 简介 A. 什么是缺失值
当某个特定数据点未能被…
数据可视化原理-腾讯-散点图
在做数据分析类的产品功能设计时，经常用到可视化方式，挖掘数据价值，表达数据的内在规律与特征展示给客户。 可是作为一个产品经理，（1）如果不能够掌握各类可视化图形的含义，就不知道哪类数据该用…
每天一个数据分析题（一百八十六）
现有名为df的数据框，若想要将其中列名为A和B的列删除，则下列方法可行的是（）
A. df.drop([‘A’, ‘B’])
B. df.drop(columns [‘A’, ‘B’])
C. df.drop([‘A’, ‘B’], axis0)
D. df.drop([‘A’, ‘B’], axis1)
题目来…
数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(代码部分）
文章： 数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(一） 数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(二） 数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(总） 代码： 数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(代码…
hnust 湖南科技大学 2022 数据挖掘课设 完整代码+报告+图源文件+指导书
hnust 湖南科技大学 2022 数据挖掘课设 完整代码报告图源文件指导书
目录
实验一 Apriori算法设计与应用 - 1 -
一、 背景介绍 - 1 -
二、 实验内容 - 1 -
三、 实验结果与分析 - 2 -
四、 小结与心得体会 - 3 -
实验二 KNN算法设计与应用 - 4 -
一、 背景介绍 - 4 -
二、 实…
基于ERNIR3.0的文本多分类
还在用BERT做文本分类？分享一套基于预训练模型ERNIR3.0的文本多分类全流程实例【文本分类】_ernir 文本分类-CSDN博客
/usr/bin/python3 -m pip install --upgrade pip
python3-c"import platform;print(platform.architecture()[0]);print(platform.machine…
Python网络爬虫实战：从入门到进阶
Python网络爬虫是一种自动化程序，用于从互联网上抓取、解析和提取数据。这种技术广泛应用于数据分析、机器学习、搜索引擎优化等领域。下面是一个Python网络爬虫的入门到进阶的实战指南：
入门篇 环境准备 安装Python和pip安装必要的库：reque…
Meta AI | 指令回译：如何从大量无标签文档挖掘高质量大模型训练数据？
Meta AI | 指令回译：如何从大量无标签文档挖掘高质量大模型训练数据？ 文章来自Meta AI，self-Alignment with Instruction Backtranslation[1]：通过指令反向翻译进行自对准。 一种从互联网大量无标签数据中挖掘高质量的指令遵循数据…
应用回归分析：贝叶斯回归
贝叶斯回归是一种统计方法，它利用贝叶斯定理来更新对回归参数的估计。这种方法不仅考虑了数据的不确定性，还考虑了模型参数的不确定性，为预测提供了一个更加全面的框架。在本文中，我们将深入探讨贝叶斯回归的基本概念、如何实现它…
AI论文速读 | STG-LLM 大语言模型如何理解时空数据？
论文标题：How Can Large Language Models Understand Spatial-Temporal Data?
论文链接：https://arxiv.org/abs/2401.14192
作者：Lei Liu, Shuo Yu, Runze Wang, Zhenxun Ma, Yanming Shen（申彦明）
关键词…
数据分析Pandas专栏---第七章＜Pandas缺失值的处理(3)＞
前言:
数据分析Pandas专栏---第五章＜Pandas缺失值的处理(1)＞-CSDN博客
数据分析Pandas专栏---第六章＜Pandas缺失值的处理(2)＞-CSDN博客
正文:
A. 数据预处理技术的选择
在利用Pandas处理数据时，首先了解数据集的基…
AI论文速读 | 【综述】（LLM4TS）大语言模型用于时间序列
题目：Large Language Models for Time Series: A Survey
作者：Xiyuan Zhang , Ranak Roy Chowdhury , Rajesh K. Gupta and Jingbo Shang
机构：加州大学圣地亚哥分校（UCSD）
网址：https://arxiv.org/abs/…
「哈哥赠书活动 - 48期」-『商业分析思维与实践：用数据分析解决商业问题宣传文案』
⭐️ 赠书 - 《商业分析思维与实践》 ⭐️ 内容简介 本书以业务为导向，详细地讲解了如何通过大数据分析来解决商业问题。其目的在于运用大数据分析思维，帮助读者把学术知识应用于真实的业务场景，解决实际的业务问题。本书基于业务问题&#x…
数据可视化引领智慧工业新时代
在智慧工业的大潮中，数据可视化崭露头角，以其直观、清晰的方式赋能工业生产，为智慧工业的高效运转提供了强有力的支持。下面我就以可视化从业者的角度，简单聊聊这个话题。
数据可视化首先在智慧工业的生产监控中大显身手。通过将…
京东数据分析|京东销售数据怎么查|京东销售数据查询软件分享！
京东销售数据分析对商家来说具有多方面的重要作用，主要体现在以下几个方面：
市场趋势分析：
分析京东平台上的商品销量、销售额和价格走势等数据，可以帮助商家了解当前市场的整体需求趋势，以及不同品类的季节性变化、…
第九篇 – 过程发现（Process Discovery）是如何赋能数字化市场营销全过程？- 我为什么要翻译介绍美国人工智能科技巨头IAB公司
IAB平台，使命和功能 IAB成立于1996年，总部位于纽约市。 作为美国的人工智能科技巨头社会媒体和营销专业平台公司，互动广告局（IAB- the Interactive Advertising Bureau）自1996年成立以来，先后为700多家媒体…
【python】爬取链家二手房数据做数据分析【附源码】
一、前言、 在数据分析和挖掘领域中，网络爬虫是一种常见的工具，用于从网页上收集数据。本文将介绍如何使用 Python 编写简单的网络爬虫程序，从链家网上海二手房页面获取房屋信息，并将数据保存到 Excel 文件中。
二、效果图&#…
C#，无监督的K-Medoid聚类算法（K-Medoid Algorithm）与源代码
1 K-Medoid算法
K-Medoid（也称为围绕Medoid的划分）算法是由Kaufman和Rousseeuw于1987年提出的。中间点可以定义为簇中的点，其与簇中所有其他点的相似度最小。 K-medoids聚类是一种无监督的聚类算法，它对未标记数据中的对象进行聚…
数据分析---Python基础
目录 Python中，有哪些数据结构Python中，元组和集合的区别Python中，for和while循环的区别Python的pandas，如何实现排序Python的pandas，如何计算某列的平均值和中位数Python中，有哪些数据结构 列表（List）：有序、可变、可重复的数据集合，使用方括号 [] 表示。可以通过索…
【OJ比赛日历】快周末了，不来一场比赛吗？ #03.02-03.08 #11场
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
2024-03-02（周六） #4场比赛2024-03-03…
![[回归指标]R2、PCC（Pearson’s r ）](https://img-blog.csdnimg.cn/direct/39f0c9ad0e72430ebdf2082666e0b95c.png)
[回归指标]R2、PCC（Pearson’s r ）
R2相关系数
R2相关系数很熟悉了，就不具体解释了。
皮尔逊相关系数（PCC）
皮尔逊相关系数是研究变量之间线性相关程度的量，R方和PCC是不同的指标。R方衡量x和y的接近程度，PCC衡量的是x和y的变化趋势是否相同。R方是不…
数据仓库与数据挖掘概述
目录
一、数据仓库概述
（一）从传统数据库到数据仓库
（二）数据仓库的4个特征
（三）数据仓库系统
（四）数据仓库系统体系结构
（五）数据仓库数据的粒度与组织…
【Educoder数据挖掘实训】了解数据
【Educoder数据挖掘实训】了解数据
开挖
T1 数据集中有多少条数据？
按题目直接输出行数即可
import pandas as pd
df pd.read_csv("deaths.csv")
#### Begin ####
print(df.shape[0])
#### End ####T2 查看数据中的列名
题目里给了 h e a d head he…
数据分析Pandas专栏---第十二章＜Pandas数据聚合与分组(2)＞
前言:
继续上一章数据分析Pandas专栏---第十一章＜Pandas数据聚合与分组(1)＞-CSDN博客
正文:
数据分组与聚合的高级应用
多级分组操作和索引层级
多级分组操作是指在数据分析中，我们可以根据多个列的值进行分组，并形成索引层级…
使用R语言进行Logistic回归分析（2）
一、数据集描述，问题要求
下表是40位肺癌病人的生存资料，X1表示生活行为能力平分（1到100），X2为病人的年龄（年），X3由诊断到进入研究的时间（月），X4…
2024数字中国创新大赛·数据要素赛道“能源大数据应用赛”正式上线！参赛指南请查收
近日，由国网福建电力承办的2024数字中国创新大赛能源大数据应用赛正式上线发布。赛事按照数字中国建设、能源革命的战略要求，围绕能源数据要素x、能源数字技术、能源商业模式等热点设置赛题，诚邀社会各界为加快建成新型电力系统出谋划策&…
数据分析-Pandas数据的画图设置
数据分析-Pandas数据的画图设置
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&#x…
Python数据分析案例38——我国个人工作总收入影响因素分析
案例背景
偶然之间找到了CSFP(中国家庭追踪调查)的数据集，一个很全的家庭调查数据集。所以就想对大家现在最关心的工资和其影响因素做一点分析。
得到的结论还挺有价值的，有符合逻辑的，也有反直觉的。 数据来源
CFPS由北京大学中国社会科学…
每天一个数据分析题（一百九十）
关于主成分分析和因子分析，下列说法正确的是（）
A. 各个主成分之间是相互正交的
B. 各个因子之间不是相互正交的
C. 各个主成分的含义通常是明确的
D. 各个因子的含义通常是明确的
题目来源于CDA模拟题库
点击此处获取答案
数据可视化原理-腾讯-3D网格热力图
在做数据分析类的产品功能设计时，经常用到可视化方式，挖掘数据价值，表达数据的内在规律与特征展示给客户。 可是作为一个产品经理，（1）如果不能够掌握各类可视化图形的含义，就不知道哪类数据该用…
易基因：NAR：RCMS编辑系统在特定细胞RNA位点的靶向m5C甲基化和去甲基化研究｜项目文章
喜讯！易基因表观转录组学RNA-BS技术服务见刊《核酸研究》
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。
2024年2月15日，吉林大学张涛、赵飞宇、李金泽为共同第一作者，吉林大学李占军、隋婷婷及赖良…
分类算法入门：以鸢尾花数据集为例
近两年人工智能技术蓬勃发展，OpenAI连续放出ChatGPT、Sora等“王炸”产品，大模型、AIGC等技术带来了革命性的提升，很多人认为人工智能将引领第四次工业革命。国内各大互联网公司也是重点投资布局，从个人角度来说要尽快跟上时代的潮…
第九篇：– 过程发现（Process Discovery）是如何赋能数字化市场营销全过程？- 我为什么要翻译介绍美国人工智能科技巨头IAB公司
IAB平台，使命和功能 IAB成立于1996年，总部位于纽约市。 作为美国的人工智能科技巨头社会媒体和营销专业平台公司，互动广告局（IAB- the Interactive Advertising Bureau）自1996年成立以来，先后为700多家媒体…
App Inventor 2 Personal Image Classifier (PIC) 拓展：自行训练AI图像识别模型，开发图像识别分类App
这里仅仅介绍一下AI图像识别App的实现原理，AI的基础技术细节不在本文讨论范围。通过拓展即可开发出一款完全自行训练AI模型，用于特定识别场景的App了。
我们都知道，人工智能AI的基本原理是事先准备好样本数据（这里指的是图片&…
爬虫与DataFrame对象小小结合
import pandas as pd
import requests
from lxml import etree
#数据请求
url"https://www.maigoo.com/brand/list_1715.html"
headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 Safari…
数据仓库作业一：第1章 绪论
目录 一、给出下列英文短语或缩写的中文名称，并简述其含义。二、简述操作型数据与分析型数据的主要区别。三、简述数据仓库的定义。四、简述数据仓库的特征。五、简述主题的定义。六、简述元数据的概念。七、简述数据挖掘的主要任务。八、简述数据挖掘的主要步骤。九…
数据分析-Pandas两种分组箱线图比较
数据分析-Pandas两种分组箱线图比较
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&am…
数据挖掘助力零售业务增长：从数据分析到策略制定的全过程
在数字化时代，数据挖掘已经成为企业获取竞争优势的关键手段之一。通过深入挖掘和分析海量数据，企业能够洞察消费者行为、市场趋势和潜在商机，从而制定更为精准和有效的业务策略。本文将通过一个具体的零售业务案例，分析数据挖掘的应用过程，展示如何从数据中发现价值，并将…
分类算法(Classification algorithms)
逻辑回归(logical regression）：
逻辑回归这个名字听上去好像应该是回归算法的，但其实这个名字只是在历史上取名有点区别，但实际上它是一个完全属于是分类算法的。
我们为什么要学习它呢？在用我们的线性回归时会遇到一…
MATLAB环境下基于图像处理的计算病理学图像分割（MATLAB R2021B）
人工智能是病理学诊断和研究的重要新兴方法，其不仅可用于病理形态数据分析，还可整合免疫组化、分子检测数据和临床信息，得出综合的病理诊断报告，为患者提供预后信息和精准的药物治疗指导。计算病理学是病理学与AI、计算机视觉等信…
创新驱动！HubSpot引领CRM革命
在当今高速发展的数字化时代，企业的国际化布局和市场开拓已经成为了一种必然的趋势。随着企业出海步伐的加快，有效的客户关系管理（CRM）和营销自动化工具变得尤为重要。这就是HubSpot发力的领域。HubSpot，作为一家领先的…
【目标分类图像增强方法】
图像增强方法及其原理
目标分类图像增强是一种用于提高深度学习模型泛化能力的技术，通过在训练过程中对原始图像进行各种变换来增加模型所见数据的多样性。以下是几种常见的图像增强方法及其原理： 几何变换： 旋转（Rotation&#…
林业数据可视化新篇章：山海鲸软件看板设计心得
可视化看板作为一种直观、高效的数据展示工具，对于提升管理水平和决策效能具有重要意义。作为一名山海鲸可视化软件的资深用户，我深知其设计方面的强大实力和便捷性，同时由于其免费可视化编辑、免费私有化部署的特点，使我能自由探…
稀疏表示分类（Sparse Representation for Classification，SRC）
稀疏表示分类（Sparse Representation for Classification，简称SRC）是一项在模式识别和信号处理中应用广泛的技术。它基于这样一个概念：一个信号（比如图像、语音等）可以用一个较大的字典中的一些基向量稀疏地…
【Educoder数据挖掘实训】异常值检测-3σ法
【Educoder数据挖掘实训】异常值检测-3σ法 开挖！ 这个异常值检测基于的是两点：
数据往往遵循正态分布在正态分布中， [ μ − 3 σ , μ 3 σ ] [\mu - 3\sigma, \mu 3\sigma] [μ−3σ,μ3σ]包含了正态分布中 99.74 % 99.74\% 99.74%的数…
每天一个数据分析题（一百八十三）
以下哪一项不是逻辑回归模型的特点？
A. 因变量通常为二分类型变量
B. 自变量可以是分类型或连续型变量
C. 适用于处理连续自变量与二分类型因变量之间的关系
D. 通过logit转换，输出结果为实数域内的数值
题目来源于CDA模拟题库
点击此处获取答案
【Educoder数据挖掘实训】异常值检测-箱线图
【Educoder数据挖掘实训】异常值检测-箱线图
开挖！ 关于箱线图，核心理念就是找出上四分位数和下四分位数，定义二者的差为 I Q R IQR IQR。上下四分位数分别向上下扩展 1.5 I Q R 1.5IQR 1.5IQR定义为上界和下界，在此之外的数据被…
光谱下的养殖业：数据可视化的现代变革
在数字化时代，数据可视化在养殖业中崭露头角，为这一传统行业注入了新的活力。无论是家禽养殖还是水产养殖，数据可视化都以其直观、高效的特点，为养殖业带来了全新的发展机遇。下面我就以可视化从业者的角度，简单聊聊这…
机器学习笔记 探索性数据分析(EDA) 中的配对图详述
一、介绍 在数据科学领域，理解和分析数据的第一步涉及全面的探索性数据分析（EDA）。这个过程对于识别模式、识别异常和建立假设至关重要。在 EDA 可用的众多工具中，配对图作为一种基本可视化技术脱颖而出，可提供多方面的数据视图。本文探讨了机器学习中的配对图，并解释了如…
python统计分析——泊松回归
参考资料：用python动手学统计学 概率分布为泊松分布、联系函数为对数函数的广义线性模型叫作泊松回归。解释变量可以有多个，连续型和分类型的解释变量也可以同时存在。
1、案例说明 分析不同气温与啤酒销量的关系。构造不同气温下的销量的数学模型&…
电商API接口与数据分析、数据挖掘的结合
电商API接口与数据分析的结合为电子商务领域带来了革命性的变化。这种结合不仅提高了数据的可用性和价值，还为商家提供了深入的市场洞察和决策支持。
以下是电商API接口与数据分析结合的几个关键点：
实时数据获取：API接口使得电商平台能够实…
探索1688 API接口：实现商品数据自动化处理
在数字化浪潮的推动下，电子商务领域正经历着前所未有的变革。对于希望在这场变革中保持竞争力的企业而言，能够高效地管理和利用商品数据变得至关重要。阿里巴巴旗下的1688平台提供的API接口，就是一把打开商品数据自动化处理大门的钥匙。
168…
电商数据分析17——电商平台评价系统的数据分析与管理
电商平台评价系统的数据分析与管理
在数字经济时代，电商平台已成为消费者购物的首选。随之而来，评价系统作为连接消费者与产品的重要桥梁，对于购买决策和产品改进起着至关重要的作用。通过数据分析来优化评价管理，不仅可以提升产…
数据可视化原理-腾讯-分类散点图
在做数据分析类的产品功能设计时，经常用到可视化方式，挖掘数据价值，表达数据的内在规律与特征展示给客户。 可是作为一个产品经理，（1）如果不能够掌握各类可视化图形的含义，就不知道哪类数据该用…
1688商品采集API轻松实现商品上传上货搬家
item_get-获得1688商品详情
公共参数
请求地址: 1688/item_get
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,…
20个Python函数程序实例
前面介绍的函数太简单了： 以下是 20 个不同的 Python 函数实例
下面深入一点点： 以下是20个稍微深入一点的，使用Python语言定义并调用函数的示例程序：
20个函数实例
简单函数调用
def greet():print("Hello!")greet…
家居设计软件系统的特点
在国内，有一些家居设计软件比较常见，它们通常具有不同的特点和适用场景。以下是一些常见的国内家居设计软件和平台，它们各自具有不同的特点和适用场景，用户可以根据自己的需求和偏好选择合适的软件进行家居设计和装修规划。北京木…
可视化图表：柱坐标系与对应图表详解
一、柱坐标系及其构成
柱状坐标系是一种常见的可视化图表坐标系，用于显示柱状图（也称为条形图）的数据。它由两个相互垂直的轴组成，一个是水平轴（X轴），另一个是垂直轴（Y轴࿰…
ChatGPT数据分析应用——热力图分析
ChatGPT数据分析应用——热力图分析
热力图分析既可以算作一种可视化方法，也可以算作一种分析方法，主要用于直观地展示数据的分布情况。接下来我们让ChatGPT解释这个方法的概念并提供相应的案例。发送如下内容给ChatGPT。 ChatGPT收到上述内容后&…
【目标分类检测测试指标】
目标分类指标
目标分类指标是指在机器学习和深度学习中，用于衡量模型对目标类别预测准确度的一系列评价标准。以下是一些常见的目标分类指标及其详细说明，并附上Python代码示例（以PyTorch为例）： 准确率（Ac…
学习笔记Day8：GEO数据挖掘-基因表达芯片
GEO数据挖掘 数据库：GEO、NHANCE、TCGA、ICGC、CCLE、SEER等 数据类型：基因表达芯片、转录组、单细胞、突变、甲基化、拷贝数变异等等
常见图表
表达矩阵 一行为一个基因，一列为一个样本，内容是基因表达量。
热图
输入数据…
中国焦化市场营销创新与企业未来发展展望报告2024-2030年
中国焦化市场营销创新与企业未来发展展望报告2024-2030年
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&& 《报告编号》: BG474995 《出版时间》: 20…
【数据分析】在Python中，使用apriori算法挖掘药材的频繁项集，并挖掘关联规则
本文代码及数据下载 文章目录 使用Pandas和Mlxtend进行关联分析：从药物处方数据到关联规则开始之前加载和准备数据发现频繁项集生成关联规则美化输出保存结果到Excel绘制关联规则网络图 使用Pandas和Mlxtend进行关联分析：从药物处方数据到关联规则
关联…
数据挖掘（作业4--异常值检测
异常检测方法通常可分为使用参数的方法和基于距离的方法。
1. 使用参数的异常检测方法
1.1 基础理论 使用参数的异常检测方法基于假设数据符合特定的分布（如高斯分布、二项分布）或模型（如混合模型）。这些方法通常通过对数据进行…
数据挖掘案列分析---LightGBM实战贷款违约预测
在今天的机器学习时代，各种算法和工具层出不穷，其中LightGBM凭借其出色的性能和速度，在众多机器学习算法中脱颖而出。本次实战项目，将通过一个简单但不简约的案例，展示如何使用LightGBM进行建模，并通过网格…
快速高效地数据分析处理：QtiPlot for Mac中文直装版 兼容M
QtiPlot 是一个用于数据分析和可视化的跨平台科学应用程序。由于其多语言支持，QtiPlot 被积极用于世界各地学术机构的教学。许多研究科学家信任 QtiPlot 来分析他们的数据并发布他们的工作结果。来自各个科学领域和行业的数千名注册用户已经选择了 QtiPlot 来帮助他…
直观与交互：山海鲸可视化软件与Excel传统表格的对比
作为一名长期使用Excel进行数据处理和分析的用户，最近我尝试了一款名为山海鲸的可视化软件，发现它与Excel传统表格之间存在诸多明显的差异。接下来，我将从个人体验视角出发，谈谈这两种工具的不同之处。
首先，从数据呈…
一起学数据分析_3（模型建立与评估_1）
使用前面清洗好的数据来建立模型。使用自变量数据来预测是否存活（因变量）？
（根据问题特征，选择合适的算法）算法选择路径： 1.切割训练集与测试集
import pandas as pd
import numpy as np
impo…
R语言：microeco:一个用于微生物群落生态学数据挖掘的R包，第八：trans_func class
# 生态学研究人员通常对微生物群落的功能特征感兴趣，因为功能或代谢数据对于解释微生物群落的结构和动态以及推断其潜在机制是强有力的。 # 由于宏基因组测序复杂且昂贵，利用扩增子测序数据预测功能谱是一个很好的选择。 # 有几个软件经常用于此目标&…
python爬虫基础实验：通过DBLP数据库获取数据挖掘顶会KDD在2023年的论文收录和相关作者信息
Task1 读取网站主页整个页面的 html 内容并解码为文本串（可使用urllib.request的相应方法），将其以UTF-8编码格式写入page.txt文件。
Code1
import urllib.requestwith urllib.request.urlopen(https://dblp.dagstuhl.de/db/conf/kdd/kdd202…
河南大学数据分析可视化实验-数据分析基础
计算机与信息工程学院实验报告 姓名： 杨馥瑞 学号：2212080042专业：数据科学与大数据分析技术 年级： 2022
课程： 数据分析和可视化 主讲教师： 周黎鸣
辅导教师： 周黎鸣 …
你要的个性化生信分析服务今天正式开启啦！定制你的专属解决方案！全程1v1答疑！
之前在 干货满满 | 给生信小白的入门小建议 | 掏心掏肺版 中有提到，如果小伙伴们真的想学好生信，那编程能力是必须要有的！但是可能有些小伙伴们并没有那么多的时间从头开始学习编程，又或是希望有人指导或者协助完成生信分析工作&a…
掌握增长转化漏斗策略的秘诀：打造高效营销之道
在不断发展的销售和营销领域，传统战略通常遵循一条可预测的路径，引导潜在客户通过漏斗，最终实现销售。然而，一种有趣的方法颠覆了这一传统模式：增长漏斗策略。这种创新方法重新规划了客户旅程，强调了培养现…
Android Launcher开发注意事项
在开发Android Launcher时，需要关注性能、用户体验、权限管理、兼容性等方面，同时遵循相关的开发者政策和最佳实践。有几个重要的注意事项，希望对大家有所帮助。北京木奇移动技术有限公司，专业的软件外包开发公司，欢迎…
Introduction to Data Mining 数据挖掘
Why Data Mining? • The Explosive Growth of Data: from terabytes to petabytes — Data collection and data availability ◦ Automated data collection tools, database systems, Web, computerized society — Major sources of abundant data ◦ Business: Web, e-co…
2024年1月粮油调味行业分析（TOP品牌/店铺/商品销售数据分析）
鲸参谋监测的某东1月份粮油调味市场销售数据已出炉！
根据鲸参谋电商数据分析平台显示，今年1月份，某东平台上粮油调味品的销量约6200万件，环比上个月增长45%，同比去年下滑15%；销售额约25亿元，环…
数据可视化助力林业智能管理
数据可视化是当下科技发展中的一项重要工具，它在各行各业都展现了强大的应用价值。在智慧林业领域，数据可视化更是发挥了独特的作用，为林业管理和生态保护提供了有效的支持和解决方案。下面我就以可视化从业者的角度，来简单聊聊这…
什么是R语言？什么是R包？-R语言001
R语言是一种专为统计计算和图形而设计的编程语言和环境。它最初由罗斯伊哈卡和罗伯特亨特尔在1993年创建，灵感来源于S语言。R语言已经发展成为统计学、数据分析、科学研究以及许多其他领域中最受欢迎和广泛使用的工具之一。R语言的核心是一个开源的解释型语言&#…
探索性数据分析EDA的数据可视化
大家好，数据可视化是探索性数据分析的重要组成部分，因为它有助于分析和可视化数据，以获得对数据分布、变量之间的关系和潜在异常值的启示性见解。Python具有丰富的库，可以快速高效地创建可视化。
在Python中，通常使用…
电商数据分析18——电商广告投放的数据分析与优化
目录 写在开头1. 电商广告投放的挑战与机遇1.1 广告投放的主要目标与挑战1.2 广告数据分析的价值 2. 数据分析在广告投放中的应用2.1 目标受众分析与精准定位2.2 广告效果评估与ROI分析2.3 A/B测试与广告内容优化 3. 广告投放优化的实践案例3.1 案例分享：精准定向提…
数据分析师必备：五款数据可视化工具对比与推荐
在数字化时代，数据可视化产品成为了企业和个人进行数据分析、信息呈现的重要工具。市面上涌现了众多数据可视化产品，它们各具特色，功能各异。本文为大家简要介绍五款市面上热门的数据可视化产品。
一、Tableau
Tableau是一款功能强大的数据…
【Educoder数据挖掘实训】用广义Jaccard系数计算相似度
【Educoder数据挖掘实训】用广义Jaccard系数计算相似度 开挖！！！！ 相似度就是比较两个事物的相似性。一般通过计算事物的特征之间的距离，如果距离小，那么相似度大；如果距离大，那么相似…
投后管理系统的功能模块
投后管理系统的技术难点可能包括以下几个方面，这些技术难点需要综合考虑，并结合具体的业务需求和技术实现，才能构建出高效、安全、稳定的投后管理系统。北京木奇移动技术有限公司，专业的软件外包开发公司，欢迎交流合作…
mmlspark.lightgbm.LightGBMClassifier参数说明
LightGBMClassifier参数说明 mmlspark.lightgbm.LightGBMClassifier 是一个用于二元分类和多类分类的机器学习模型，它是基于 Microsoft ML for Apache Spark (MMLSpark) 库的。这个类是为了在Spark环境中使用LightGBM实现，提供了大量的参数用于调整模型。…
R语言：microeco:一个用于微生物群落生态学数据挖掘的R包,第四：trans_beta class
trans_beta class：利用trans_beta类可以变换和绘制beta分集的距离矩阵。该类中涉及到beta多样性的分析主要包括排序、群距、聚类和方差分析。我们首先使用PCoA显示排序。
> dataset$cal_betadiv()
The result is stored in object$beta_diversity ...
> t1 &…
R语言聚类分析-K均值聚类与系统聚类法
一、数据集为firm.csv，给出了22家美国公用事业公司的相关数据集，各数据集变量的名称和含义如下：X1为固定费用周转比（收入/债务），X2为资本回报率，X3为每千瓦容量成本，X4为年载荷因子&…
R语言：microeco:一个用于微生物群落生态学数据挖掘的R包：第七：trans_network class
# 网络是研究微生物生态共现模式的常用方法。在这一部分中，我们描述了trans_network类的所有核心内容。 # 网络构建方法可分为基于关联的和非基于关联的两种。有几种方法可以用来计算相关性和显著性。 #我们首先介绍了基于关联的网络。trans_network中的cal_cor参数…
数据分析-Pandas序列时间移动窗口化操作
数据分析-Pandas序列时间移动窗口化操作
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表…
【DL经典回顾】深度学习概述
深度学习概述
一、引言
在过去的几年里，深度学习已经从学术研究的领域走向了主流，彻底改变了我们对人工智能的认识和应用。这种强大的技术，以其独特的能力模仿人脑处理和分析复杂数据的方式，不仅在科学界引起了革命，…
【Educoder数据挖掘实训】用SMC相似度计算文本之间的相似度
【Educoder数据挖掘实训】用SMC相似度计算文本之间的相似度 开挖！ 还是计算文本之间相似度的实训，跟前两关区别不大。 需要注意的是 S M C SMC SMC的计算方式 s f 11 f 00 f 11 f 00 f 10 f 01 s \frac{f11f00}{f11f00f10f01} sf11f00f10f01f11f00…
【数据挖掘】练习2：数据管理2
课后作业2：数据管理2 一：上机实验2
# 编写函数stat，要求该函数同时计算均值，最大值，最小值，标准差，峰度和偏度。 install.packages("timeDate") library(timeDate) stat <- func…
二 超级数据查看器 讲解稿 导入功能
二 超级数据查看器 讲解稿 导入功能 APP下载地址 百度手机助手 下载地址4
讲解稿全文： 大家好。
今天我们对 超级数据查看器的 导入信息功能 做一下详细讲解。
首先，我们打开 超级数据查看器。 我们这个系统要实现的是，快速生…
数据分析-Pandas如何画图验证数据随机性
数据分析-Pandas如何画图验证数据随机性
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表…
金蝶云星空，怎么做BI数据可视化分析？
金蝶云星空是一个流程管理方面的软件，如果想要做BI数据可视化分析，还就需要一套BI方案，即一套奥威BI软件金蝶云星空BI方案。
奥威BI软件，负责提供平台和技术；金蝶云星空BI方案，则提供标准化的数据分析模型…
3 数据分析--Numpy
Numpy：用于存储和处理大型矩阵，比python自身的嵌套列表结构要高校很多
anaconda：是一个开源的python发行版本，包括conda，python以及一大堆安装好的工具包 ipython 开发环境，解释器 jupyter notebook是编辑…
2024 年（第 12 届）“泰迪杯”数据挖掘挑战赛——A 题：生产线的故障自动识别与人员配置具体思路以及源代码分析
一、问题背景 随着新兴信息技术的大规模应用，工业生产线的智能化控制技术日益成熟。自动生产线 可以自动完成物品传送、物料填装、产品包装和质量检测等过程，极大地提高了生产效率和 产品质量，减少了生产成本。自动生产线融入故障智能报警…
AI论文速读 | TPLLM：基于预训练语言模型的交通预测框架
论文标题：TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models
作者：Yilong Ren（任毅龙）, Yue Chen, Shuai Liu, Boyue Wang（王博岳）,Haiyang Yu（于海洋&#x…
【数据挖掘】实验3：常用的数据管理
实验3：常用的数据管理
一：实验目的与要求
1：熟悉和掌握常用的数据管理方法，包括变量重命名、缺失值分析、数据排序、随机抽样、字符串处理、文本分词。 二：实验内容
【创建新变量】
方法1： mydata <…
数据分析-Pandas多维数据平行坐标可视化
数据分析-Pandas多维数据平行坐标可视化
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表…
COX回归影响因素分析的基本过程与方法
在科学研究中，经常遇到分类的结局，主要是二分类结局（阴性/阳性；生存/死亡），研究者可以通过logistic回归来探讨影响结局的因素，但很多时候logistic回归方法无法使用。如比较两种手段治疗新冠肺炎…
1月笔记本电脑行业分析：多品牌下滑但ThinkPad逆势增长！
2024年1月，笔记本行业市场格局出现较大的变化。长期在京东平台保持头部联想和惠普，被ThinkPad挤下（虽然是联想旗下品牌），排名掉至第二和第三。ThinkPad以超2.7亿的月销售额成绩拿下第一，市占比16%。
与去年…
神策分析 Copilot 成功通过网信办算法备案，数据分析 AI 化全面落地
近日，神策数据严格遵循《互联网信息服务深度合成管理规定》，已完成智能数据问答算法备案。该算法基于大模型技术，专注于为客户提供数据指标查询和数据洞察方面的专业回答。 神策分析 Copilot 运用神策数据智能数据问答算法，聚焦分…
【第五章】简单网络实现手写数字分类-梯度下降算法
前言
现在我们有了神经网络的设计，它该如何学习识别数字呢？我们首先需要一个数据集来学习，即所谓的训练数据集。我们将使用MNIST数据集，其中包含数万张手写数字的扫描图像，以及它们的正确分类。MNIST的名称源于它是美…
【Educoder数据挖掘实训】用Cosine计算相似度
【Educoder数据挖掘实训】用Cosine计算相似度 开挖挖挖挖 这个题目跟上一个实训很类似，区别在于本关旨在计算文本的相似度。 这里虽然说的是文本相似度但是却没有提及顺序的问题，比如否定句“不喜欢”和疑问句“喜欢不”在本实训中认为是完全相同的。
首…
低代码与数据分析：重塑软件开发与数据分析的未来
随着技术的不断进步和数字化转型的加速，软件开发和数据分析已经成为了许多企业不可或缺的核心能力。在这个过程中，低代码平台以其高效、灵活的特性，正逐渐在软件开发领域崭露头角。同时，数据分析技术也在不断发展，为企…
金蝶BI方案能解决云星空数据分析痛点吗？
金蝶云星空作为一个主攻企业管理流程的软件确实立下了汗马功劳，但一到数据分析方面那就阻碍重重了。直接的感受是分析步骤多且复杂，数据展现不够直观易懂，有些分析指标的计算真的很难实现，跨部门跨组织计算指标、合并账套什么的能…
R语言数据挖掘-关联规则挖掘（1）
一、分析目的和数据集描述
要分析的数据是美国一区域的保险费支出的历史数据。保险费用数据表的每列分别为年龄、性别、体重指数、孩子数量、是否吸烟、所在区域、保险收费。
本文的主要目的是分析在年龄、性别、体重指数、孩子数量、是否吸烟、所在区域中这些因素中…
电商数据分析20——电商平台用户分层与细分策略的数据分析
目录 写在开头1. 用户分层与细分的重要性1.1 用户分层与细分的定义1.2 对电商营销策略的影响2. 数据分析在用户分层与细分中的应用2.1 用户行为数据的收集与分析2.1.1. 数据收集机制2.1.2. 关键用户行为指标2.2 用户属性和行为的聚类分析2.2.1. 聚类分析在用户细分中的应用2.2.…
深度解析：如何运用山海鲸可视化软件制作高效销售数据看板
在数字化时代，数据可视化已经成为企业决策和运营的重要工具。作为一名长期使用山海鲸可视化软件的资深用户，我深知其在制作销售数据可视化看板方面的优势。今天，我想分享一些我在使用山海鲸可视化软件制作销售数据可视化看板过程中的经验和感…
【史上最详细教程】数据分析三剑客之numpy
目录
一、numpy模块介绍
二、环境搭建
三、numpy创建数组
3.1 创建一维数组
3.2 创建二维数组
3.3 数组和列表的区别是什么？
3.4 其它快速创建数组的方式
四、numpy爆破属性
五、numpy索引与切片
5.1 索引
5.2 切片
六、统计&聚合&矩阵操作
6.…
数据科学详解与人工智能关系
一、数据科学是什么 数据科学是一个混合交叉学科，它涉及数学、统计学、计算机科学和领域知识，旨在从数据中提取有意义的信息和知识。数据科学家利用各种技术和工具来收集、处理、分析和解释大量的数据，以便为组织和企业做出决策和预测。数据科…
【Educoder数据挖掘实训】用Jaccard系数计算文本之间的相似度
【Educoder数据挖掘实训】用Jaccard系数计算文本之间的相似度 开挖！！ 这个题就是上两个实训的应用，关于 J a c c a r d Jaccard Jaccard系数之前的实训有介绍过。
这里的分词跟上个实训没任何区别，只不过写成了两步。
之后关于相…
HubSpot出海CRM入门指南：利用HubSpot扩展国际业务
随着全球化的推进，越来越多的企业开始寻求海外市场的拓展。在这个过程中，如何有效地管理客户关系、提升销售业绩，成为了企业关注的焦点。HubSpot作为一套功能强大的CRM系统，为企业提供了出海业务的全方位支持。本文将为您介绍如何…
8个常用数据分析方法，轻松搞定各种业务分析
对于数据分析思路的培养是一个不断练习积累的过程，刚入行的小白可以先套用一些常用的数据分析方法或模型，掌握基础的分析思路。本文给大家讲解8个常见的数据分析方法，帮助大家快速上手数据分析，解决实际工作问题。 1、杜邦分析法…
数据分析-Pandas的Andrews曲线可视化解读
数据分析-Pandas的Andrews曲线可视化解读
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据…
数据挖掘与大数据的结合
随着大数据技术的不断发展和普及，数据挖掘在大数据环境下的应用也变得更加广泛和深入。以下将探讨大数据技术对数据挖掘的影响，以及如何利用大数据技术处理海量数据并进行有效的数据挖掘，同时分析大数据环境下的数据挖掘挑战和解决方案。
1.…
数据挖掘简介与应用领域概述
数据挖掘，作为信息技术领域中的重要分支之一，旨在从大量数据中发现潜在的模式、关联和趋势，以提取有用的信息和知识。在信息爆炸时代，大量数据的积累成为了常态，数据挖掘技术的出现填补了人们处理这些数据的空白&#…
AI论文速读 |（Mamba×时空图预测！） STG-Mamba：通过选择性状态空间模型进行时空图学习
（来了来了，虽迟但到，序列建模的新宠儿mamba终于杀入了时空预测！） 论文标题：STG-Mamba: Spatial-Temporal Graph Learning via Selective State Space Model
作者：Lincan Li, Hanchen Wang&…
数据分析-Pandas最简单的方法画矩阵散点图
数据分析-Pandas直接画矩阵散点图
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&…
【Educoder数据挖掘实训】相似度与相异度
【Educoder数据挖掘实训】相似度与相异度 开挖！！！！！！ T1 用相关系数计算直线之间的相似度
这关分为没啥关系的三部分，分别是欧几里得相关系数、余弦相关系数和泊松相关系数。 他们的公式都比较…
【数据挖掘】实验2：R入门2
实验2：R入门2 一：实验目的与要求
1：熟悉和掌握R数据类型。
2：熟悉和掌握R语言的数据读写。 二：实验内容
1：R数据类型
【基本赋值】
Eg.1代码： x <- 8 x Eg.2代码： a city …
【2024第十二届“泰迪杯”数据挖掘挑战赛】B题基于多模态特征融合的图像文本检索—解题全流程（持续更新）
2024 年(第 12 届)“泰迪杯”数据挖掘挑战赛B题 解题全流程（持续更新）
-----基于多模态特征融合的图像文本检索
一、写在前面：
本题的全部资料打包为“全家桶”， “全家桶”包含：数据、代码、模型、结果csv、教程…
用Origin快速拟合荧光寿命、PL Decay (TRPL)数据分析处理
需要准备材料：Origin、PL Decay数据txt文件
首先打开Origin画图软件
导入数据，按照下图箭头操作直接导入
双击你要导入的PL Decay的txt数据文件，然后点OK
继续点OK
数据导入后首先删除最大光子数之前的无效数据，分析的时候用…
每天一个数据分析题（一百九十六）
在多元线性回归模型的自变量选择方法中，关于向后回归法和逐步回归法的描述，以下哪些是正确的？
A. 向后回归法开始时包含所有自变量，并逐步剔除每个不显著的变量。
B. 逐步回归法结合了向前回归法和向后回归法，可以在…
数据分析-Pandas分类数据的类别排序和顺序
数据分析-Pandas类别的排序和顺序
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&…
PMAT：使用低覆盖度HiFi测序数据的高效植物线粒体组装工具包-文献精读分享2
PMAT: an efficient plant mitogenome assembly toolkit using low-coverage HiFi sequencing data ，一篇关于线粒体组装工具包的文献 PMAT：使用低覆盖度HiFi测序数据的高效植物线粒体组装工具包
植物的完整线粒体基因组（mitogenomes&#x…
数据分析 -- numpy
文章目录 numpy库简介numpy操作数组创建数组属性数组变更 numpy库简介
开源的Python库，它提供了高性能的多维数值计算能力；由“Numerical Python”缩写而来，并且它是Pandas库的基础；NumPy提供了许多有用的功能，例如数…
生信数据分析——绘制差异热图
生信数据分析——绘制差异热图 差异分析的热图（Heat Map）在生物信息学数据分析中，特别是在基因表达差异分析中，是一个非常直观和有用的工具。
本教程将从导入的数据结构开始，一步步带大家在R中绘制好看的热图，最后对热图进行解读，确保读者理解代码的同时学会解读热图里…
Kaggle:收入分类
先看一下数据的统计信息
import pandas as pd # 加载数据（保留原路径，但在实际应用中建议使用相对路径或环境变量）
data pd.read_csv(r"C:\Users\11794\Desktop\收入分类\training.csv", encodingutf-8, encoding_errorsrepl…
每天一个数据分析题（二百五十一）
作为一种比较新颖的微调方法，LoRA的核心思想是什么？
A. 为预训练模型增加额外的参数
B. 对模型中的某些部分进行重新加权
C. 通过使用辅助任务进行微调
D. 在预训练模型的基础上添加定位的线性层
题目来源于CDA模拟题库
点击此处获取答案
scRNA+bulk+MR：动脉粥样硬化五个GEO数据集+GWAS，工作量十分到位
今天给大家分享一篇JCR一区，单细胞bulkMR的文章：An integrative analysis of single-cell and bulk transcriptome and bidirectional mendelian randomization analysis identified C1Q as a novel stimulated risk gene for Atherosclerosis 标题&…
金蝶BI方案的报表，主打做得快、易理解
金蝶做数据分析报表慢、步骤多、数据不够直观？但奥威-金蝶BI方案的报表就不一样了，不仅做得快，还十分好理解，因为它做出来的是随时可以按需自助的BI智能数据可视化分析报表。
有多快？
注册奥威BI SaaS平台࿰…
商业分析师BA与数据分析有什么关系？
文章主题:BA工作与数据分析
分享嘉宾：丛珊
职业：某事业单位BA分析师
在实际工作中，需求分析工作可以有多种分类方法，对于大型、集成型信息系统的需求分析，通常可以区分为业务需求、功能需求、数据需求、性能需求与安…
【机器学习】K-近邻算法（KNN）介绍、应用及文本分类实现
一、引言
1.1 K-近邻算法（KNN）的基本概念 K-近邻算法（K-Nearest Neighbors，简称KNN）是一种基于实例的学习算法，它利用训练数据集中与待分类样本最相似的K个样本的类别来判断待分类样本所属的类别。KNN算法…
单细胞RNA测序（scRNA-seq）SRA数据下载及fastq-dumq数据拆分
单细胞RNA测序（scRNA-seq）入门可查看以下文章：
单细胞RNA测序（scRNA-seq）工作流程入门
单细胞RNA测序（scRNA-seq）细胞分离与扩增
1. NCBI查询scRNA-seq SRA数据
NCBI地址： https…
一文介绍回归和分类的本质区别 ！！
文章目录 前言 1、回归和分类的本质 （1）回归（Regression）的本质 （2）分类（Classification）的本质 2、回归和分类的原理 （1）回归（Regression&#x…
基于注意力整合的超声图像分割信息在乳腺肿瘤分类中的应用
基于注意力整合的超声图像分割信息在乳腺肿瘤分类中的应用 摘要引言方法 Segmentation information with attention integration for classification of breast tumor in ultrasound image 摘要
乳腺癌是世界范围内女性最常见的癌症之一。基于超声成像的计算机辅助诊断&#x…
SaTransformer：用于乳腺癌分类和分割的Semantic-aware Transformer
现有方法将分类和分割作为两个独立的任务来处理，忽略了分类和分割任务之间的潜在联系。SaTransformer支持通过一个统一的框架同时执行两个任务。与现有方法不同的是，分割和分类信息在语义上是交互的，在特征表示学习过程中相互促进，…
海量文档分类算法选择与实现
处理海量文档的分类是一个复杂而又重要的问题，因为在我实际编程应用中，文档可能包含大量的文本和信息。具体怎么操作，可以看下我们这样做。以下是选择和实现海量文档分类算法的一般步骤和建议： 1、问题背景
问题描述：…
数合建模平台简介--4月新版
数合建模平台是一个综合性的数据建模及可视化平台，旨在为用户提供一站式全链路数据生命周期管理解决方案。该平台不仅能够帮助用户有效管理数据资产，还能深入挖掘数据价值，为政府机构、企业、科研机构以及第三方软件服务商等不同客户群体提供…
excel统计分析——多项式回归
参考资料：生物统计学 多项式回归属于单变量曲线回归，但其形式和求解方法与多元线性回归相似。多项式回归的数学模型为： 令，，，，则 由于X不可逆，两边同时乘以X得，ÿ…
特征工程(I)--探索性数据分析
有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。
特征工程是数据分析…
解密辛普森悖论：如何在数据分析中保持清醒头脑
解密辛普森悖论：如何在数据分析中保持清醒头脑
之前也参加fine Bi的 培训，学到了辛普森悖论，今天为大家介绍一下 文章目录 解密辛普森悖论：如何在数据分析中保持清醒头脑前言我们来举一个例子数据分析解释管理应用的启示 前言
什…
数据分析 | NumPy
NumPy，全称是 Numerical Python，它是目前 Python 数值计算中最重要的基础模块。NumPy 是针对多维数组的一个科学计算模块，这个模块封装了很多数组类型的常用操作。
使用numpy来创建数组
import numpy as npdata np.array([1, 2, 3])
print…
数据分析面试题（11~20）
11、对数据分析的看法，你怎么理解数据分析师这个职业？
①职责是收集、处理和分析大量的数据，并从中提取出有用的信息。
②工作范围包括数据清洗、数据建模、数据可视化等。 数据收集和清洗：收集各种来源的数据，并清洗…
ChatGPTGPT4科研应用、数据分析与机器学习、论文高效写作、AI绘图技术教程
原文链接：ChatGPTGPT4科研应用、数据分析与机器学习、论文高效写作、AI绘图技术教程https://mp.weixin.qq.com/s?__bizMzUzNTczMDMxMg&mid2247598506&idx2&sn14f96667bfbeba5f51366a1f019e3d64&chksmfa82004dcdf5895bba2784ba10f6715f6f5e4c59c9b1…
JAX 来构建一个基本的人工神经网络（ANN）进行分类任务
import jax.numpy as jnp
from jax import grad, jit, vmap
from jax import random
from jax.experimental import optimizers
from jax.nn import relu, softmax# 构建神经网络模型
def neural_network(params, x):for W, b in params:x jnp.dot(x, W) bx relu(x)return s…
小样本情况下医学图像分类
数据增强、基于度量学习、基于元学习 数据增强通过扩充训练集的样本数目和增强数据的多样性来提高模型的学习能力。
数据增强的操作有：旋转、翻转、裁剪和给图像添加噪声。同时还有一种特征增强的方式：通过一个编码器-解码器网络将样本的特征映射到另一…
数据挖掘终篇！一文学习模型融合！从加权融合到stacking, boosting
模型融合：通过融合多个不同的模型，可能提升机器学习的性能。这一方法在各种机器学习比赛中广泛应用， 也是在比赛的攻坚时刻冲刺Top的关键。而融合模型往往又可以从模型结果，模型自身，样本集等不同的角度进行融合。 数据…
用BI来做金蝶的数据分析，真能随时自助分析？
BI数据分析快的事，大家都知道，那用BI来分析金蝶ERP上的数据也很快，也能随时想怎么分析就怎么分析，想分析哪些数据就分析哪些数据吗？
用BI分析金蝶数据，不仅可随时自助分析，还可极大提高分析效率…
数据分析之POWER Piovt的KPI设置
内容总结： 1.两个表格关联不上：需要添加辅助列，建立关联 2.添加辅助列后还关联不上：将虚线变为实线 3.根据需求要增加一些度量值 4.设置KPI后，绝对值选1后设定百分比 5.在透视表里面加入KPI状态 导入所关联的数据后建立…
数据挖掘|数据预处理|基于Python的数据标准化方法
基于Python的数据标准化方法 1. z-score方法2. 极差标准化方法3. 最大绝对值标准化方法 在数据分析之前，通常需要先将数据标准化（Standardization），利用标准化后的数据进行数据分析，以避免属性之间不同度量和取值范围差…
基于SVM的PLOSAR图像分类
🎀个人主页： https://zhangxiaoshu.blog.csdn.net 📢欢迎大家：关注🔍点赞👍评论📝收藏⭐️，如有错误敬请指正! 💕未来很长，值得我们全力奔赴更美好的生活&…
基于Python的电商特产数据可视化分析与推荐系统
温馨提示：文末有 CSDN 平台官方提供的学长 QQ 名片 :) 1. 项目简介 利用网络爬虫技术从某东采集某城市的特产价格、销量、评论等数据，经过数据清洗后存入数据库，并实现特产销售、市场占有率、价格区间等多维度的可视化统计分析，并…
数字化坚鹏：小熊电器面向数字化转型的大数据顶层设计实践培训
小熊电器面向数字化转型的大数据顶层设计实践培训圆满结束
——努力打造“数据技术营销”三轮驱动的数字化领先企业
小熊电器股份有限公司由李一峰创立于2006年，是一家专业从事创意小家电研发、设计、生产和销售的实业型企业。2019年8月23日正式在深交所挂牌上市。…
【概率基础】从概率角度去解释回归和分类的主要区别是什么?
1. 从概率角度去解释回归和分类的主要区别是什么?
从概率角度来看，回归和分类任务的主要区别在于它们各自预测的目标变量的性质，以及如何使用概率来对这些预测进行建模。
回归
回归任务旨在预测一个连续值的目标变量。在概率术语中，回归模…
生物信息学文章中常见的图应该怎么看？
目录 火山图
热图
箱线图
森林图
LASSO回归可视化图（套索图）
交叉验证图
PCA图
ROC曲线图 这篇文章只介绍这些图应该怎么解读，具体怎么绘制，需要什么参数，怎么处理数据，会在下一篇文章里面给出
火山…
数据分析之Power BI
POWER QUERY 获取清洗 POWER PIVOT建模分析 如何加载power pivot 文件-选项-加载项-com加载项-转到 POWER VIEW 可视呈现 如何加载power view 文件-选项-自定义功能区-不在功能区中的命令-新建组-power view-添加-确定 POWER MAP可视地图
【python】获取4K壁纸保存到本地文件夹【附源码】
图片信息丰富多彩，许多网站上都有大量精美的图片资源。有时候我们可能需要批量下载这些图片，而手动一个个下载显然效率太低。因此，编写一个简单的网站图片爬取程序可以帮助我们高效地获取所需的图片资源。
目标网站： 如果出现模…
训练自己的分类数据集
文章目录 1.数据集准备2. 数据集划分3.设计模型进行训练1. 随便乱写的网络2. 借鉴优秀的网络模型（MobileNetV3） 分析：练习： 1.数据集准备
准备你要进行分类的数据集，可以自己拍摄，可以网上进行爬取。
将不…
R 生存分析3：Cox等比例风险回归及等比例风险检验
虽然Kaplan-Meier分析方法目前应用很广，但是该方法存在一下局限: 对于一些连续型变量，必须分类下可以进行生存率对比 是一种单变量分析，无法同时对多组变量进行分析 是一种非参数分析方法，必须有患者个体数据才能进行分析
英国…
API接口开发lazada获得lazada商品详情API采集商品详情页实时数据、实时销量、库存等参数接入演示
要获取Lazada商品详情页的实时数据、实时销量和库存等参数，你需要使用Lazada的API接口。以下是一个简单的Python示例，展示了如何使用requests库调用Lazada API并解析返回的数据：
# coding:utf-8
"""
Compatible for python2.…
R使用netmeta程序包实现二分类数据的频率学网状meta分析
该研究检索了Cochrane对照试验中心注册，CINAHL，Embase，LILACS数据库，MEDLINE，MEDLINEIn-Process，PsycINFO，监管机构网站，以及从一开始就发布和未发表的双盲随机对照试验的国际注册20…
2024年2月吸尘器行业线上电商（京东天猫淘宝）综合排行榜
鲸参谋监测的线上电商平台（淘宝天猫京东）2月吸尘器行业销售数据公开。
根据鲸参谋电商数据平台显示，吸尘器行业2月销量累计约53万件，环比上个月下滑29%，同比去年下滑19%；销售额累计约4亿，环比上…
把CIFAR-10数据集分类保存成图片
一：cifar10数据集简介
CIFAR-10数据集是一个广泛用于计算机视觉领域的数据集，主要用于图像分类任务。该数据集由Hinton的学生Alex Krizhevsky和Ilya Sutskever整理得到。它包含10个不同类别的RGB彩色图片，每个图片的尺寸为32 32像素。这10个…
大数据导论-大数据分析——沐雨先生
【实验目的】
掌握Pthon/R语言进行大数据分析，包括分类任务和聚类任务。掌握kNN、决策树、SVM分类器、kmeans聚类算法的Python或R语言编程方法。
【实验内容】
使用Python或R语言完成大数据分析任务 1、使用kNN、决策树、SVM模型，对iris数据集进行分类…
网络安全新视角：数据可视化的力量
在当今数字化时代，网络安全已成为各大企业乃至国家安全的重要组成部分。随着网络攻击的日益复杂和隐蔽，传统的网络安全防护措施已难以满足需求，急需新型的解决方案以增强网络防护能力。数据可视化技术，作为一种将复杂数据转换为图…
3.Python数据分析—数据分析入门知识图谱索引(知识体系中篇)
3.Python数据分析—数据分析入门知识图谱&索引-知识体系中篇 一个人简介二数据获取和处理2.1 数据来源：2.2 数据清洗：2.2.1 缺失值处理：2.2.2 异常值处理： 2.3 数据转换：2.3.1 数据类型转换：2.3.2 数据…
数据分析-Pandas序列滑动窗口配置参数
数据分析-Pandas序列滑动窗口配置参数
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&…
【数据分析案列】--- 北京某平台二手房可视化数据分析
一、引言
本案列基于北京某平台的二手房数据，通过数据可视化的方式对二手房市场进行分析。通过对获取的数据进行清冼（至关重要），对房屋价格、面积、有无电梯等因素的可视化展示，我们可以深入了解北京二手房市场的特点…
代码+视频，手动绘制logistic回归预测模型校准曲线（Calibration curve）（1）
校准曲线图表示的是预测值和实际值的差距，作为预测模型的重要部分，目前很多函数能绘制校准曲线。 一般分为两种，一种是通过Hosmer-Lemeshow检验，把P值分为10等分，求出每等分的预测值和实际值的差距. 另外一种是calibra…
【3月比赛合集】5场可报名的「创新应用」、「数据分析」和「程序设计」大奖赛，任君挑选！
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
创新应用赛（2场比赛）数据分析赛&#…
大模型与数据分析：探索Text-to-SQL
当今大模型如此火热，作为一名数据同学，持续在关注LLM是如何应用在数据分析中的，也关注到很多公司推出了AI数智助手的产品，比如火山引擎数智平台VeDI—AI助手、 Kyligence Copilot AI数智助理、ThoughtSpot等，通过接入人…
7种2024年算法优化BP，实现回归，单/多变量输入，单/多步预测功能，机器学习预测全家桶再更新！...
截止到本期MATLAB机器学习预测全家桶，一共发了19篇关于机器学习预测代码的文章。算上这一篇，一共20篇！参考文章如下： 1.五花八门的机器学习预测？一篇搞定不行吗？ 2.机器学习预测全家桶，多步预测…
【数据挖掘】实验5：数据预处理（2）
验5：数据预处理（2） 一：实验目的与要求
1：熟悉和掌握数据预处理，学习数据清洗、数据集成、数据变换、数据规约、R语言中主要数据预处理函数。 二：实验知识点总结
1：数据集成是将多个…
数据挖掘篇【 alias方法 和 隐式转换 】
目录
介绍
隐式转换
alias方法 介绍
在 Apache Spark 中，.alias 是一个方法，用于给 DataFrame 的列或表达式指定一个新的别名。当你需要对列进行重命名或者在 SQL 表达式中使用更易读的名称时，这个方法非常有用。
.alias 方法通常与 Dat…
数据挖掘入门项目二手交易车价格预测之特征工程
文章目录 目标常见的特征工程具体步骤1. 导入数据2. 删除异常值3. 特征构造3.1 为树模型构造特征3.2 为LR NN 之类的模型构造特征 4. 特征筛选过滤式包裹式嵌入式 5. 总结 本文数据集来自阿里天池：https://tianchi.aliyun.com/competition/entrance/231784/informat…
机器学习每周挑战——旅游景点数据分析
数据的截图，数据的说明：
# 字段 数据类型
# 城市 string
# 名称 string
# 星级 string
# 评分 float
# 价格 float
# 销量 int
# 省/市/区 string
# 坐标 string
# 简介 string
# 是否免费 bool
# 具体地址 string拿到数据…
python项目练习——7.网站访问日志分析器
项目功能分析：
这个项目可以读取网站的访问日志文件，统计访问量、独立访客数、访问来源等信息，并以图表或表格的形式展示出来。这个项目涉及到文件操作、数据处理、数据可视化等方面的技术。 示例代码： import re from collectio…
数字孪生技术在健康医疗的应用
数字孪生技术在健康医疗领域的应用前景广阔，它通过创建物理实体或工作过程的虚拟版本，为医疗健康领域带来了革命性的变化。以下是数字孪生在医疗健康领域的一些关键应用，希望对大家有所帮助。北京木奇移动技术有限公司，专业的软件…
第九篇【传奇开心果系列】Python自动化办公库技术点案例示例：深度解读Python处理PDF文件
传奇开心果博文系列 系列博文目录Python自动化办公库技术点案例示例系列 博文目录前言一、重要作用介绍二、Python库处理PDF文件基础操作和高级操作介绍（一）基础操作介绍（二）高级操作介绍 三、Python库处理PDF文件基础操作示例代码…
数据分析之Tebleau可视化：折线图、饼图、环形图
1.折线图的绘制 方法一： 拖入订单日期和销售金额，自动生成一个折线图 方法二： 选中订单日期和销售金额（摁住ctrl可以选择多个纬度） 点击右边的智能推荐，选择折线图 2.双线图的绘制、双轴的设置 方法一&…
人脸聚类原理和算法解释
人脸聚类是指将大量人脸图像根据它们的相似性分组到不同的群集中的过程。人脸聚类通常利用人脸的特征向量表示来度量人脸之间的相似性，并将相似的人脸图像聚集在一起。
以下是人脸聚类的一般原理： 人脸特征提取：对每张人脸图像提取特征向量。…
GIS与数字孪生共舞，打造未来智慧场景
作为一名数字孪生资深用户，近日我深刻理解到GIS（地理信息系统）在构建数字孪生体中的关键作用。
数字孪生技术旨在构建现实世界的虚拟镜像，而GIS则是这一镜像中不可或缺的空间维度框架和导航灯塔。数字孪生的核心是通过数字化方式…
SBCFormer：能够在单板计算机上以每秒1帧的速度进行全尺寸ImageNet分类的轻量级网络
文章目录 摘要1、引言2、 相关工作2.1、用于移动设备的卷积网络2.2、移动设备上的ViT和CNN-ViT混合模型2.3、评估指标3、CNN-ViT 混合模型在低端CPU上的应用3.1、设计原则3.2、SBCFormer的整体设计3.3、SBCFormer块3.4、改进的注意力机制4、实验结果4.1、实验设置4.2、ImageNet…
每天一个数据分析题（二百三十二）
在Transformer架构中，以下哪个组件负责捕获输入序列中的位置信息？
A. Multi-head Attention
B. Feed-forward Neural Network
C. Positional Encoding
D. Layer Normalization
题目来源于CDA模拟题库
点击此处获取答案
数据分析之Power Pivot多表数据建模
Power Pivot 介绍： 可以融合多个数据表可夺标关联搭建复杂数据模型一次建模，一键刷新DAX函数编写公式计算可将数据模型轻松移植到PBI和SQL中 1.将数据导入power pivot(power pivot------添加到数据模型)
2.导入其他表格，并有一定的关联 导入…
【第十二届“泰迪杯”数据挖掘挑战赛】【2024泰迪杯】B题基于多模态特征融合的图像文本检索—解题全流程（持续更新）
2024 年(第 12 届)“泰迪杯”数据挖掘挑战赛B题 解题全流程（持续更新）
-----基于多模态特征融合的图像文本检索
一、写在前面：
本题的全部资料打包为“全家桶”， “全家桶”包含：模型数据、全套代码、训练好的模…
数据分析POWER BI之power query
1.导入数据 ctrla全选--数据--获取数据--其他来源--来自表格/区域 导入数据，进入编辑模式 2.整理与清除 清除：删除所选列的非打印字符 转换--格式--清除 修整：删除前面和后面的空格 转换---格式---修整（修整后前面后面的空格没有了…
Excel全套213集教程
Excel全套213集教程
包含技术入门93集
图表17集
数据透视35集
公式函数68
基础入门 93节 https://www.alipan.com/s/cMxuPstkS1x 提取码: 77dd 点击链接保存，或者复制本段内容，打开「阿里云盘」APP ，无需下载极速在线查看，视…
2024年泰迪杯数据挖掘B题详细思路代码文章教程
目前b题已全部更新包含详细的代码模型和文章，本文也给出了结果展示和使用模型说明。
同时文章最下方包含详细的视频教学获取方式，手把手保姆级，模型高精度，结果有保障！
分析： 本题待解决问题
目标&#…
【详解算法流程+程序】DBSCAN基于密度的聚类算法+源码-用K-means和DBSCAN算法对银行数据进行聚类并完成用户画像数据分析课设源码资料包
DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。 与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇， 并可在噪声的空间数据…
基于数据挖掘的微博事件分析与可视化大屏分析系统
设计原理，是指一个系统的设计由来，其将需求合理拆解成功能，抽象的描述系统的模块，以模块下的功能。功能模块化后，变成可组合、可拆解的单元，在设计时，会将所有信息分解存储在各个表中࿰…
《Pandas 简易速速上手小册》第8章：Pandas 高级数据分析技巧（2024 最新版）
文章目录 8.1 使用 apply 和 map 函数8.1.1 基础知识8.1.2 重点案例：客户数据清洗和转换8.1.3 拓展案例一：产品评分调整8.1.4 拓展案例二：地址格式化 8.2 性能优化技巧8.2.1 基础知识8.2.2 重点案例：大型销售数据分析8.2.3 拓展案…
【OpenCV】OpenCV：计算机视觉的强大工具库
摘要 OpenCV是一个广泛应用于计算机视觉领域的开源工具库，为开发者提供了丰富的图像处理和计算机视觉算法。本文将介绍OpenCV的功能和应用领域，并探讨它在实践中的重要性和前景。 计算机视觉的强大工具库 一、什么是OpenCV？二、OpenCV的功…
数据分析：当当网书籍数据可视化分析
当当网书籍数据可视化分析 作者：i阿极 作者简介：Python领域新星作者、多项比赛获奖者：博主个人首页 😊😊😊如果觉得文章不错或能帮助到你学习，可以点赞👍收藏📁评论&…
《Python 网络爬虫简易速速上手小册》第4章：Python 网络爬虫数据抓取技术（2024 最新版）
文章目录 4.1 解析 HTML 与 CSS4.1.1 重点基础知识讲解4.1.2 重点案例：使用 BeautifulSoup 解析博客文章4.1.3 拓展案例 1：使用 lxml 和 XPath 解析产品信息4.1.4 拓展案例 2：动态加载内容的抓取挑战 4.2 动态内容抓取技术4.2.1 重点基础知识…
数据挖掘实战-基于决策树算法构建北京市空气质量预测模型
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
机器学习中为什么需要梯度下降
在机器学习中，梯度下降是一种常用的优化算法，用于寻找损失函数的最小值。我们可以用一个简单的爬山场景来类比梯度下降的过程。 假设你被困在山上，需要找到一条通往山下的路。由于你是第一次来到这座山，对地形不熟悉，你…
六个字总结用友U8 BI方案：不加班、涨业绩
首先，聊聊不加班：用了用友U8 BI方案后，简单操作即可立即生成BI数据可视化分析报表。这些报表的特点是实用、直观、灵活分析，也是这些特点直接降低了重复性操作，提升数据分析灵活性、及时性，让上至老板&…
利用PaddleNLP进行文本数据脱敏
最近在脱敏一些客服数据，同事用正则进行了一些处理，但是感觉针对人名、数量等信息还是无法处理，例如“北方种植了很多李子树”，李子树有可能被识别为人名，又如“美国采购坦克1005台，价值4500万比索”&#…
Python||五城P.M.2.5数据分析与可视化_使用复式柱状图分析各个城市的P.M.2.5月度差异情况（中）
目录 4.上海市空气质量月度差异 5.沈阳市空气质量月度差异 五城P.M.2.5数据分析与可视化_使用复式柱状图分析各个城市的P.M.2.5月度差异情况 4.上海市空气质量月度差异
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt#读入文件
sh pd.read_csv(./S…
每天一个数据分析题（一百五十六）
在数据建模过程中，对于变量的筛选与维度归约，以下哪项描述是正确的？
A. 主成分分析适用于可解释性较强的预测模型，因为它减少了变量间的相关性。
B. 变量聚类旨在通过保留所有变量来减少信息损失，适合于所有类型的数…
每天一个数据分析题（一百五十七）
当对多个连续型变量进行主成分分析（PCA）以降维并且简化数据时，以下哪项原则通常被用来决定应当保留多少个主成分？
A. 保留的主成分个数应当使得累积方差解释比例至少达到50%。
B. 保留的主成分个数应当使得每个主成分的特征值大…
《统计学简易速速上手小册》第6章：多变量数据分析（2024 最新版）
文章目录 6.1 主成分分析（PCA）6.1.1 基础知识6.1.2 主要案例：客户细分6.1.3 拓展案例 1：面部识别6.1.4 拓展案例 2：基因数据分析 6.2 聚类分析6.2.1 基础知识6.2.2 主要案例：市场细分6.2.3 拓展案例 1&…
Homicide+Reports1980-2014连环凶案数据，CSV格式
这个数据集提供了关于谋杀案件的详细信息，包括涉及的机构、受害者和肇事者的信息，以及犯罪的其他细节。下面是每个字段的详细解释：
Record ID: 记录的唯一标识符。Agency Code: 执行机构的代码。Agency Name: 执行机构的名称。Agency Type: …
《统计学简易速速上手小册》第10章：案例研究和未来趋势（2024 最新版）
文章目录 10.1 统计学成功案例分析10.1.1 基础知识10.1.2 主要案例：药物临床试验10.1.3 拓展案例 1：市场趋势分析10.1.4 拓展案例 2：社会行为研究 10.2 统计学的伦理考量10.2.1 基础知识10.2.2 主要案例：个性化医疗研究10.2.3 拓展…
sklearn：机器学习 分类特征编码category_encoders
文章目录 category_encoders简介OrdinalEncoder 序列编码OneHotEncoder 独热编码TargetEncoder 目标编码Binary Encoder 二进制编码BaseNEncoder 贝叶斯编码LeaveOneOutEncoder 留一法HashingEncoder 哈希编码CatBoostEncoder catboost目标编码CountEncoder 频率编码WOEEncoder…
梯度提升树系列8——GBDT与其他集成学习方法的比较
目录 写在开头1. 主要集成学习算法对比1.1 GBDT1.2 随机森林1.3 AdaBoost1.4 整体对比2. 算法性能的比较分析2.1 准确率与性能2.2 训练时间和模型复杂度2.3 应用实例和案例研究3. 选择合适算法的标准3.1 数据集的特性3.1.1 数据规模与维度3.1.2 数据质量3.2 性能需求3.2.1 准确…
python爬虫代码示例:爬取京东详情页图片
python爬虫代码示例:爬取京东详情页图片 一、Requests安装及示例
爬虫爬取网页内容首先要获取网页的内容，通过requests库进行获取。 GitHub: https://github.com/requests/requests PyPl: https://pypi.python.org/pypi/requests 官方文档:http://wwwpython-requ…
MATLAB实现朴素贝叶斯分类
朴素贝叶斯（Naive Bayes）是一种基于贝叶斯定理的分类算法，它假设特征之间相互独立，从而简化了计算复杂性。该算法常用于文本分类、垃圾邮件过滤、情感分析等应用场景。 MATLAB实现鸢尾花数据集分类代码如下：
clear
lo…
Qlik Sense : 条形图
条形图
“条形图适合比较多个值。维度轴显示所比较的类别条目，度量轴显示每个类别条目的值。”
Qlik Sense中的条形图是一种数据可视化工具，用于展示不同类别或维度之间的比较。它通过水平或垂直的条形表示数据，并根据数值的大小进行排序。…
EXCEL中如何调出“数据分析”的菜单
今天发现，原来WPS还是和EXCEL比，还是少了“数据分析”这个日常基本做统计的菜单，只好用EXCEL了，但奇怪发现我的EXCEL中没发现这个菜单，然后查了下，才发现，要用如下的方法打开： 1&…
部分意图分类【LLM+RAG】
在生成人工智能领域工作最有价值的事情之一就是发现新兴技术如何融入新的解决方案。 举个例子：在为北美顶级金融服务公司之一设计对话式人工智能助手时，WillowTree 的数据和人工智能研究团队 (DART) 发现，将意图分类与大型语言模型 (LLM) 结合…
XGBoost系列7——XGBoost的性能优化策略
目录 写在开头1. XGBoost的并行计算原理1.1 特征并行1.2 数据并行1.3 参数调整优化并行性能1.4 多线程和分布式计算2. 大规模数据集的分布式训练2.1 分布式训练原理2.2 集群配置2.3 参数调整2.4 数据并行与模型并行2.5 优势与挑战3. 内存优化与缓存策略3.1 内存管理3.2 缓存策略…
数据分析 - python 数据处理
数据处理
去除重复数据
# 删除重复值 保留重复行 第一行的数据
data.drop_duplicates(inplaceTrue, keepfirst)数据格式转化
日期格式化
data[order_date] pd.to_datetime(data[order_dt], format%Y%m%d)data[销售时间] pd.to_datetime(data[销售时间]) # 交货时间 销售…
探索Pyecharts：绘制多彩日历图的艺术与技巧
Pyecharts绘制多种炫酷日历图参数说明代码实战
导言
在数据可视化领域，日历图是一种直观展示时间和数据关系的方式。Pyecharts是一个基于Echarts的Python库，可以方便地绘制各种图表，包括炫酷的日历图。本篇博客将介绍Pyecharts中绘制多种炫…
将一个excel文件里面具有相同参数的行提取后存入新的excel
功能描述：
一个excel里面有很多行数据，其中“交易时间”这一列有很多交易日期，有些行的交易日期是一样的，那么就把所有交易日期相同的行挑出来，形成一个新的以交易日期命名的文件。import pandas as pd
import os# 读取…
多元统计分析课程论文-聚类效果评价
数据集来源：Unsupervised Learning on Country Data (kaggle.com)
代码参考：Clustering: PCA| K-Means - DBSCAN - Hierarchical | | Kaggle
基于特征合成降维和主成分分析法降维的国家数据集聚类效果评价
目录
1.特征合成降维
2.PCA降维
3.K-Mean…
《MySQL 简易速速上手小册》第9章：高级 MySQL 特性和技巧（2024 最新版）
文章目录 9.1 使用存储过程和触发器9.1.1 基础知识9.1.2 重点案例：使用 Python 调用存储过程实现用户注册9.1.3 拓展案例 1：利用触发器自动记录数据更改历史9.1.4 拓展案例 2：使用 Python 和触发器实现数据完整性检查 9.2 管理和查询 JSON 数…
Python爬虫获取淘宝商品详情页数据|实现自动化采集商品信息
近年来，随着互联网的发展，越来越多的数据以网页的形式存在于各个网站上。对于数据分析师、研究员或者仅仅是对数据感兴趣的人来说，如何高效地提取和分析网页数据成为了一项重要的技能。Python作为一门强大的编程语言，通过其丰富的…
梯度提升树系列7——深入理解GBDT的参数调优
目录 写在开头1. GBDT的关键参数解析1.1 学习率（learning rate）1.2 树的数量（n_estimators）1.3 树的最大深度（max_depth）1.4 叶子节点的最小样本数（min_samples_leaf）1.5 特征选择的比例（max_features）1.6 最小分裂所需的样本数（min_samples_split）1.7 子采样比例（…
数据分析与SAS学习笔记4
INPUT语句：格式修饰符：
“:” 修饰符。表示从下一个非空格列读入数据，直到:1 遇到再下一个空格列； 2 读到预先定义的变量长度； 3 数据行结束。哪个先出现就在哪儿结束。
“&” 修饰符。表示从下一个非空格列读入…
《CSS 简易速速上手小册》第4章：视觉美学（2024 最新版）
文章目录 4.1 颜色理论在 CSS 设计中的应用：网页的调色盘4.1.1 基础知识4.1.2 重点案例：创建一个具有情感设计的登录页面4.1.3 拓展案例 1：使用颜色增强信息的可视化表示4.1.4 拓展案例 2：利用颜色创建网站的品牌身份 4.2 字体与文…
API设计：电子商务API稳定性与安全性保障
在这次深入探讨中，我们将深入了解API设计，从基础知识开始，逐步进阶到定义出色API的最佳实践。
作为开发者，你可能对许多这些概念很熟悉，但我将提供详细的解释，以加深你的理解。
API设计：电子商…
sklearn缺失值处理：SimpleImputer模块 补全缺失值
文章目录 SimpleImputer参数详解参数含义常用方法sklearn.impute工具介绍SimpleImputer参数详解
class sklearn.impute.SimpleImputer(*, missing_values=nan, strategy=‘mean’, fi
举个栗子~Tableau 技巧（242）：学做 条形图 和 桑基图 的组合图表
在应用模板：超市数据分析模型 中，产品分析仪表板（如下图）的右侧视图呈现出：各类别及其子类别产品的销售总额排列——各类别产品的销售总额、子类别的销售额占比。
许多数据粉希望学习这个图表的实现方法。其实&#…
如何运用R语言在生物群落生态学中的数据统计分析
R 语言作的开源、自由、免费等特点使其广泛应用于生物群落数据统计分析。生物群落数据多样而复杂，涉及众多统计分析方法。本次以生物群落数据分析中的最常用的统计方法回归和混合效应模型、多元统计分析技术及结构方程等数量分析方法为主线，通过多个来自…
Pyecharts | 《白蛇2:青蛇劫起》20000+数据分析可视化
文章目录🏳️🌈 1. 导入模块🏳️🌈 2. Pandas数据处理2.1 读取数据2.2 数据大小2.3 查看索引、数据类型和内存信息🏳️🌈 3. Pyecharts数据可视化3.1 评分等级分布3.2 每日评论量3.3 每小时评论量3.4…
Simulink建模：位运算
本文研究Simulink中常用的按位运算的建模方法。 文章目录1 引入2 位运算模块2.1 移位模块2.1 按位逻辑运算3 位运算的应用3.1DBC矩阵解析3.2 bool信号打包4 总结1 引入
在计算机的基础课中，学过把一个十进制数转换成二进制数。例如，十进制的63转换为二进…
毕业设计 基于大数据的高校校园学生一卡通数据分析
文章目录0 项目简介任务 1数据导入与预处理任务 1.1 探查数据质量并进行缺失值和异常值处理1.1.2检查重复值1.1.3数据内容总览1.1.4数据分布总览1.1.5消费金额和消费次数观察消费金额和消费次数的散点图1.1.6观察 CardCount 特征的分布情况任务2 食堂就餐行为分析任务 2.2 食堂…
跨境电商无货源如何实现自动化对接1688货源商品上架？1688商品采集API来帮你
阿里巴巴集团旗下的B2B电子商务网站，提供海量优质商品，为采购商和供应商提供交流、合作、采购等服务，是很多没有货源优势的电商卖家首选的货源途径，也是国内最大、货源种类最齐全的货源网站。
不少做跨境电商无货源的朋友都想要直…
智能风控体系之逻辑回归
逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。在信贷风控领域最常用的广义线性模型就是逻辑回归。其实逻辑回归线性可分…
每天一个数据分析题（一百七十八）
在大样本（样本量为n）下进行某一列数据（A列）均值的区间估计时，假设点估计的值计算为a，显著性水平为0.05，z0.025为给定的显著性水平下的正态分布的临界值，则使用EXCEL的计算方法正确的…
R语言使用names函数为dataframe数据中的所有列重命名
R语言使用names函数为dataframe数据中的所有列重命名 目录
R语言使用names函数为dataframe数据中的所有列重命名
#导入包和库
仿真数据1</
为什么python量化书籍都不讲金融只讲编程？
如果我们买一本Python量化的书籍来看，就会发现当中基本上都在说怎样编程，但是很少会提到金融的部分，难道说搞量化的都不需要会金融了吗？ 那是因为讲Python编程非常容易，讲金融太复杂。书是要卖的，不了解量化…
业务数据分析最佳案例！旅游业数据分析！⛵
💡 作者：韩信子ShowMeAI 📘 数据分析实战系列：https://www.showmeai.tech/tutorials/40 📘 本文地址：https://www.showmeai.tech/article-detail/388 📢 声明：版权所有，转…
基于五等均分法和Bob Stone法衡量RFM顾客价值
最近学习了衡量RFM模型的两种顾客价值的方法，即五等均分法和Bob Stone法。仅以此博客记录我的学习过程，后序学习到了其他方法再来补充。关于RFM实战案例可参考我的其他文章大数据分析案例-基于RFM模型对电商客户价值分析
大数据分析案例-用RFM模型对客户…
大数据开发工程师要求高么？有前景么
Python近段时间一直涨势迅猛，在各大编程排行榜中崭露头角，得益于它多功能性和简单易上手的特性，让它可以在很多不同的工作中发挥重大作用。
正因如此，目前几乎所有大中型互联网企业都在使用 Python 完成各种各样的工作࿰…
理论上BI软件适配任何行业，但为什么有些行业做不了？
BI商业智能是一种通用的数据类技术解决方案。理论上来说，BI商业智能的核心是数据。只要企业有数据累积，就可以在BI软件上展开一系列的数据开发，获取决策所需的数据依据。但在现实中，却会发现有些BI软件对特定的行业束手无策&#…
一文速学-GBDT模型算法原理以及实现+Python项目实战
目录
前言
一、GBDT算法概述
1.决策树
2.Boosting
3.梯度提升 使用梯度上升找到最佳参数
二、GBDT算法原理
1.计算原理
2.预测原理
三、实例算法实现 1.模型训练阶段
1）初始化弱学习器 2）对于建立M棵分类回归树： 四、Python实现 …
干货系列：高通量测序后的下游实验验证方法——m6A RNA甲基化篇｜易基因
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。此前，我们分享了m6A RNA甲基化研究的数据挖掘思路（点击查看详情），进而筛选出m6A修饰目标基因。做完MeRIP-seq测序后，如果需要对分…
pandas使用dropna函数删除dataframe数据中多个数据列的内容至少包含一个缺失值的数据行（使用subset参数指定多个数据列）
pandas使用dropna函数删除dataframe数据中多个数据列的内容至少包含一个缺失值的数据行（使用subset参数指定多个数据列） 目录
数百个模型放在面前，金融机构要如何高效管理
疫情推动金融机构加速数字化转型。依托人工智能、大数据等技术，金融机构建立各类模型，特别是以机器学习为代表的数据模型，被广泛运用在风险计量、客户准入、资本计量、拨备计提、客户管理、反洗钱、反欺诈、精准营销等领域。在用户行为模式改…
股票价、量走势图绘制
在证券投资分析领域中价、量走势分布图是投资者常用的一个参考方面。本案例主要介绍股票每日收盘价格、成交量的走势图以及月交易量分布饼图的绘制技能，并进一步介绍了子图的绘制方法。今有股票代码600000行情交易数据表（trd.xlsx）࿰…
实战四十六：基于LightGBM的广告点击预测 代码+数据
配库：
1. 读取原始数据, 将时间信息分解为天和分钟
2. 特征工程
3. 五折交叉验证训练模型
4. 特征重要性
5. 做出最终预测
非专业人士如何完成数据采集？纯干货，一文看懂
写在前面：
本教程能够解决大部分人的数据采集及分析需求，实用、简单，尤其适合Excel大户、办公族、业务人员，或者不会编程、不懂数据分析理论的技术小白……
来不及看的可以先点赞收藏！
01 点对点的采集：…
基于BERTopic模型的中文文本主题聚类及可视化
文章目录 BERTopic简介模型加载地址文本加载数据处理BERTopic模型构建模型结果展示主题可视化总结BERTopic简介
BERTopic论文地址：BERTopic: Neural topic modeling with a class-based TF-IDF procedure
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我…
数据挖掘，计算机网络、操作系统刷题笔记50
数据挖掘，计算机网络、操作系统刷题笔记50
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开 测开的话，你就得学数据库，sql，orac…
2023年美国大学生数学建模A题:受干旱影响的植物群落建模详解+模型代码(二)
前言
资源放CSDN上面过不了审核，都快结束了都没过审真的麻了，订阅专栏的同学直接加我微信直接发你。我只打造优质专栏。专注建模四年，博主参与过大大小小数十来次数学建模，理解各类模型原理以及每种模型的建模流程和各类题目分析方法。此专栏的目的就是为了让零基础快速使…
数据分析-1.必备的三大能力
一、数据分析价值观
如何看待数据分析的价值。要想真正吃透这一点，必须在价值认同、工作定位和商业模式三点上取得突破。 数据分析的价值观
（一）数据分析的价值认同
做好数据分析，首先要认同数据的意义和价值。一个不认同数据、…
pandas 中如何按行或列的值对数据排序?
在处理表格型数据时，常会用到排序，比如，按某一行或列的值对表格排序，要怎么做呢？
这就要用到 pandas 中的 sort_values() 函数。
一、 按列的值对数据排序
先来看最常见的情况。
1.按某一列的值对数据排序
以下面…
数据集市与数据仓库的区别
数据仓库是企业级的，能为整个企业各个部门的运作提供决策支持；而数据集市则是部门级的，一般只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。
1、两种数据集市结构
数据集市按数据的来源分为以下两种
&#x…
mesoscale hydrologic model (mHM) 和multiscale parameter regionalization (MPR)
文章目录常见问题what is mesoscale hydrologic model (mHM)how does the mHm model upscale the parameterswhat is the multiscale parameter regionalization (MPR)how does MPR aggregating the parameters at a small scale to the parameters at the regional scale<3…
什么是百分比堆积条形图？
条形图实际上范围很广，它是以横置图形展示数据的一种图表类型。百分比堆积条形图即以堆积条形图的形式来显示多个数据序列，但是每个堆积元素的累积比例始终总计为 100%。它主要用于显示一段时间内的多项数据占比情况。 百分比堆叠条形图将多个数据集的条…
数据挖掘——RFM客户价值模型及航空公司客户分析实例
引言
背景信息时代的来临使得企业营销焦点从产品转向了客户，客户的管理关系成为企业的核心问题。客户的关系管理问题是客户分群。通过客户分群，进而区分无价值客户和高价值客户。高价值客户代表他们的消费会给企业带来利益最大。企业需要针对不同类别的…
技能提升：Python技术应用工程师职业技能提升
职业技术培训-Python技术应用工程师分为高级培训班、中级培训班及初级培训班。 Python是一种跨平台的计算机程序设计语言，是一个高层次的结合了解释性、编译性、互动性和面向对象的语言。最初被设计用于编写自动化脚本Shell（适用于Linux操作系统…
机器学习：逻辑回归原理
逻辑回归模型是一种广泛应用于分类问题的统计方法。尽管名为“回归”，但它实际上是一种分类算法，主要用于预测观察对象属于某个类别的概率。逻辑回归模型特别适用于二分类问题，但也可以通过一些策略扩展到多分类问题。
逻辑回归的应用与优化…
【Paraview教程】第一章安装与基础介绍
1 Paraview介绍
1.1基本介绍
ParaView是一个开源的，跨平台的数据处理和可视化程序。ParaView用户可以迅速的建立起可视化环境利用定量或者是定性的手段去分析数据。利用它的批量处理能力可以在三维空间内在工具栏和展示界面中进行交互操作，从而实现“数…
四、分类算法 - 随机森林
目录
1、集成学习方法
2、随机森林
3、随机森林原理
4、API
5、总结 sklearn转换器和估算器KNN算法模型选择和调优朴素贝叶斯算法决策树随机森林
1、集成学习方法 2、随机森林 3、随机森林原理 4、API 5、总结
![[M二叉树] lc889. 根据前序和后序遍历构造二叉树(递归建树+思路转换+分类讨论+好题)](https://img-blog.csdnimg.cn/direct/7a8f2db7074b4cb8903ca1b96e3f843b.png)
[M二叉树] lc889. 根据前序和后序遍历构造二叉树(递归建树+思路转换+分类讨论+好题)
文章目录 1. 题目来源2. 题目解析 1. 题目来源
链接：889. 根据前序和后序遍历构造二叉树
相关问题：
[M二叉树] lc106. 从中序与后序遍历序列构造二叉树(递归建树迭代建树经典问题二叉树建树总结)[M二叉树] lc105. 从前序与中序遍历序列构造二叉树(递归…
DataFrame API入门操作及代码展示
文章目录DataFrame风格编程DSL风格编程代码示例相关API相关代码示例SQL风格编程代码示例相关API相关代码Fucntions包基于SparkSQL的WordCount代码编写DataFrame风格编程
DataFrame支持两种风格进行编程 DSL风格SQL风格 DSL称之为领域特定语言，其实就是指DataFrame特…
R语言使用rpart包拟合随机森林回归模型：rpart函数进行决策树的生长、prune函数来对决策树进行剪枝、plot函数可视化决策树结构图
R语言使用rpart包拟合随机森林回归模型：rpart函数进行决策树的生长、prune函数来对决策树进行剪枝、plot函数可视化决策树结构图 目录
数据挖掘Java——DBSCAN算法的实现
一、DBSCAN算法的前置知识
DBSCAN算法：如果一个点q的区域内包含多于MinPts个对象，则创建一个q作为核心对象的簇。然后，反复地寻找从这些核心对象直接密度可达的对象，把一些密度可达簇进行合并。当没有新的点可以被添加到任何簇时…
Dropout详解：Dropout解决过拟合问题
Dropout 是一种能够有效缓解过拟合的正则化技术，被广泛应用于深度神经网络当中。但是被 dropout 所丢掉的位置都有助于缓解过拟合的吗？ 中山大学 和 Meta AI 在 NeurIPS 2022 接收的论文在研究了注意力中的 dropout 后发现：不同注意力位置对过…
巧用数据分析表达式，让数据指标创建更简单
实现数据业务一体化的指标分析
从零售系统进化史get 数据统计的需求变更
零售系统需要的数据统计需求 V1.0
只需要获取当日累计的销售额，于是店老板就用 Excel或者纸质的表格创建了一个表，表中包含销售的日期时间，销售的产品，销…
利用元胞自动机-人工神经网络模型预测城市未来土地利用
近年来，土地利用/土地覆盖已成为全球和区域范围内的重要问题。对全球变暖和气候变化的担忧可以作为其原因。土地覆盖/利用的时空分析在规划研究中具有重要地位，可以为未来几年环境问题的进程提供线索。在本研究中，我们将尝试根据马尼萨省2006年和2018年的土地利用情况制作20…
职场数据汇总，数据汇报，动态大屏可视化制作与数据分析
大屏可视化模板。 动态大屏可视化的制作方法与详细操作步骤
如下操作：
AIGC ChatGPT 职场案例 AI 绘画 与 短视频制作 PowerBI 商业智能 68集 Mysql 8.0 54集 Oracle 21C 142集 Office 2021实战应用 Python 数据分析实战， ETL Informatica 数据仓库案…
2022年度笔记本十大热门品牌销量排行榜
近年来，由于大环境的改变，线上教育、线上办公等的需求使得平板电脑出货量逐步提升。同时，5G时代来临，万物互联是未来的趋势，手机由于操作系统和交互上的局限性，笔记本电脑将会扮演更加重要的角色。未来&…
尚医通（九）数据字典模块前后端 | EasyExcel
目录一、数据字典介绍1、什么是数据字典2、页面展示效果3、数据字典表设计4、数据分析5、根据页面效果分析数据接口二、搭建数据字典模块三、数据字典列表接口1、model模块添加数据字典实体2、添加数据字典mapper3、添加数据字典service4、添加数据字典controller四、数据字典列…
2022年38女神节大促美妆、珠宝、母婴、保健电商数据回顾
近期，我们陆续接收到了品牌商家朋友们对于2022年女神节大促期间部分品类的数据需求，希望能对今年的大促活动有一个更宏观的认知、更精准的预测，从而拿到更好的数据效果。 为此，在距离大促开启一个月的备货阶段，鲸参谋决…
每天一个数据分析题（一百六十八）
在使用Python做用户画像时有如下代码： sns.boxplot(x ‘type’，y ‘trans count’，data Creditcard) sns表示seaborn,下面关于代码的描述错误的是（）。
A. data参数传入的可能是一个pandas 的dataframe对象。
B. 该…
半监督节点分类-graph learning
半监督节点分类相当于在一个图当中，用一部分节点的类别上已知的，有另外一部分节点的类别是未知的，目标是使用有标签的节点来推断没有标签的节点
注意 半监督节点分类属于直推式学习，直推式学习相当于出现新节点后，需要…
抖音上货API订单API：自动化上架商品批量获取商品详情信息
随着移动互联网的迅猛发展，短视频平台逐渐成为了全球用户的新宠。在中国，抖音作为一款短视频分享应用，凭借其独特的内容形式和创新的社交模式，迅速俘获了亿万用户的心。为了满足不断增长的用户需求和开发者社区的创新需求…
【PMP】项目各阶段分别运用什么工具与技术汇总
做项目管理是一条漫漫长路，所有的本事，都是靠一个个项目，一点点积累而来的，并不存在“迅速上手”的方法论。一名普通项目经理的成长，都要经过一定时间的修炼。
数据收集
头脑风暴
在短时间内获得大量创意࿰…
易基因：全基因组CpG密度和DNA甲基化分析方法比较（MeDIP、RRBS和WGBS）| 研究综述
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。
CpG密度（CpG density）与各种组织中的DNA甲基化相关。基因组按CpG密度分为：CpG岛（CpG island，CGI）、CpG岛上下游2kb…
淘宝/天猫店铺订单数据导出、销售报表、数据分析
最近有厂商提出想把天猫店铺的数据拿到后台ERP管理系统中，并能实现线下打印电子面单功能。接手这个需求按照度娘给的指引，申请天猫开发者帐号，但是。。。大厂把订单传送接口关了，只对厂商自研软件开放，还需要租用聚石塔…
项目管理（PMP）真题解析（一）
请点击↑关注、收藏，本博客免费为你获取精彩知识分享！有惊喜哟！！
1.项目可行性研究确定了应该创建什么产品。现在，开发与原始需求冲突的另一种产品的一项变更请求，已经获得批准，在变更请求获得…
淘宝模拟登录 +淘宝商品详情数据、淘宝商品列表数据爬取
PYTHON环境：
* requests库
* time库
* re库
实现思路：
* 检查此账号需不需要验证（滑动验证/验证码）
* 浏览器/工具 获取ua和加密后的密码(一劳永逸的方法)
* post请求登录url获取st申请url
* 根据获得的st申请地址获取st…
可视化图表API格式要求有哪些？Sugar BI详细代码示例（2）
Sugar BI中的每个图表可以对应一个数据 API，用户浏览报表时，选定一定的过滤条件，点击「查询」按钮将会通过 API 拉取相应的数据；前面说过，为了确保用户数据的安全性，Sugar BI上的所有数据请求都在Sugar BI的…
【数据挖掘与商务智能决策】第八章 K近邻算法
第八章 K近邻算法
1.K近邻算法简单代码演示
import pandas as pd
df pd.read_excel(葡萄酒.xlsx)
df原始样本酒精含量(%)苹果酸含量(%)分类0样本15201样本26102样本34103样本48314样本51021
# 特征变量和目标变量的切分
X_train df[[酒精含量(%),苹果酸含量(%)]]
y_train …
如何将GIS地图和可视化结合使用实现更好的数据呈现
GIS（地理信息系统）和可视化（visualization）是两个紧密相关的领域。GIS是一种用于管理、分析和展示地理空间数据的技术，而可视化则是一种用图形、图表、动画等形式展示数据的方式。GIS地图则是指基于地理信息系统技术&a…
[架构之路-160]-《软考-系统分析师》-10-系统分析-7-数据与数据流程分析、需求规格说明书
目录
第 10章 现有系 统 分 析
10 . 7 数据与数据流程分析
10.7.1数据汇总分析
10.7.2 数据属性分析
1 . 数 据 静 态 分 析
2 . 数 据 动 态 分 析
3 . 数 据 的 存 储 分 布
10.7.3 数据流程分析
1 0 . 8 系统需求规格说明
1 . 系统需求规格说明书的内容和格式
2 …
自学python有推荐的么
大学生自学那必然是首推B站大学哇能称之为大学不是没有道理的，看看各个领域的学习分享都是非常多的，关键是看着弹幕就感觉像是在和一帮志同道合的小伙伴一起学习，自学的道路也不再孤单了，遇见不会的没准还能在弹幕和评论区找到答案…
制造业升级转型：制造业上市公司-智能制造词频统计数据集
发展智能制造，关乎中国制造业转型升级的成效。基于中国制造业上市公司年报，通过文本数据挖掘，提取关键词反映企业对智能制造的关切焦点，进而运用词频及共词网络分析，洞察中国智能制造的发展态势。
研究发现࿰…
LINUX之链接命令
链接命令学习目标能够说出软链接的创建方式能够说出硬链接的创建方式1. 链接命令的介绍链接命令是创建链接文件，链接文件分为:软链接硬链接命令说明ln -s创建软链接ln创建硬链接2. 软链接类似于Windows下的快捷方式，当一个源文件的目录层级比较深&#x…
收藏|一文掌握数据分析在企业的实际流程
一、数据分析概念
1.1 数据分析
是指用适当的统计分析方法对收集来的大量数据进行分析，将他们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。
1.2 数据分析包括
描述性数据分析（初级数据分析）…
数据分析与SAS学习笔记6
数据集整理：
目的：对数据集中的数据进行预处理，使数据更适合统计分析过程对数据格式的要求；
常见整理要求：
1）建立新的变量，衍生变量，删除某些原变量；
2）…
易基因：禾本科植物群落的病毒组丰度/组成与人为管理/植物多样性变化的相关性 | 宏病毒组
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。
现代农业通过简化生态系统、引入新宿主物种和减少作物遗传多样性来影响植物病毒的出现。因此，更好理解农业生态中种植和未种植群落中的病毒分布，以及它们之间的病…
【ClickHouse系列】如何用 ClickHouse 生成随机测试数据
从 22.10 开始，ClickHouse 增加了强大的功能来生成具有高度灵活性的随机数据。
均匀随机分布
randCanonical
ClickHouse 具有所有数据库和编程语言都具有的规范随机函数。使用randCanonical函数可以返回 [0, 1) 区间均匀分布的伪随机值：
SELECT rand…
Differentially Private Spatial Decompositions
Abstract
最近，差异性隐私已经成为私人数据发布的事实标准。这使得对发布数据的隐私和效用提供强有力的理论保证成为可能。虽然人们对如何在这种保证下发布基于计数和简单函数的数据已经很了解，但仍然需要提供对更多种类的查询有用的通用技术。在本文中…
因果推断7--深度因果模型综述（个人笔记）
目录
0摘要
1介绍
2预习
3治疗和指标
4深层因果模型的发展
4.1发展时间表 4.2模型分类
5典型的深层因果模型
6实验指南
6.1数据集
6.2code
6.3实验
7结论
参考
编码
1.自编码器(AE)：
2.去噪自编码器(DAE)
3.变分自编码器VAE
4.去耦变分自编码 文章…
企业舆情监测系统包括哪些，TOOM舆情监测公司服务方案?
企业舆情监测系统是一种可以跟踪、收集、分析和管理与企业相关的媒体报道、社交媒体信息、公共评论和其他信息的系统。以下是从不同角度详细分析企业舆情监测系统包括哪些：
数据来源企业舆情监测系统可以从多个数据来源收集信息，包括新闻媒体、社交媒体…
2月天猫彩妆类目销量排行榜：销额近16亿，国货品牌入围TOP3
伴随我国经济的不断发展，居民收入水平的不断提高，在欧美及日韩大牌化妆品公司对中国市场的开拓，以及国货彩妆品牌的不断崛起下，国内消费者的化妆品消费理念逐步增强，国内化妆品市场规模迅速扩大。 同时，今年…
提取道路 | EXCEL中从地址中提取道路名称等信息
一 前言 EXCEL是我们日常工作学习数据处理的办公软件，操作易上手，几乎人人都会用，EXCEL表格是处理表格数据的最佳选择。 小O地图EXCEL插件提供 地理工具 / 地址提取 功能，能够从地址文字中按分类提取地址词，用户可根据…
数仓、数据湖、湖仓一体、数据网格
第一代：数据仓库 定义
为解决数据库面对数据分析的不足，孕育出新一类产品数据仓库。数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策和信息的全局共享。
数…
零售数据分析之操作篇6：时间筛选
各位数据的朋友，大家好，我是老周道数据，和你一起，用常人思维数据分析，通过数据讲故事。
上期回顾与作业解答
上一讲讲了两种零售行业比较常见和近期相关的场景，一种是近期计算，一种是近期筛选…
2023年泰迪杯数据挖掘挑战赛B题--产品订单数据分析与需求预测（数据处理）
1. 前言
本题相对来说比较适合新手，包括针对数据的预处理，数据分析，特征提取以及模型训练等多个步骤，完整的做下来是可以学到很多东西的。
2.问题一思路分析
本题要求利用附件中的训练数据进行深入的分析，由于本题的…
联邦学习与安全多方计算
联邦学习与安全多方计算1. 联邦学习2. 安全多方计算3. 联系与区别1. 联邦学习
联邦学习（FL，Federated Learning）是谷歌于2016年提出的一种分布式机器学习框架，可以在保护个人数据隐私的前提下，联合多方用户的数据实现…
shopee商品详情数据（支持多站点）封装接口代码教程
shopee.item_get-根据ID取商品详情接口
shopee.item_get
公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥 （复制v:taobaoapi2014)api_nameString是API接口名称（包括在请求地址中…
零基础可以学python么
零基础自然是可以学习python的，Python具有简单、易学、免费、开源、可移植、可扩展、面向对象等优点，斩获无数程序员的喜爱，也有了“人生苦短，我选Python”的名言。
近几年Python一路高歌猛进，受欢迎程度有目共睹&…
一文速学数模-集成预测模型Boost(提升方法)原理以及框架+模型速览
目录
前言 一、Boosting算法起源
强学习
弱学习
二、Boosting算法核心思想
举例案例
类推
三、Boosting算法框架
四、Boosting算法种类
AdaBoost
GBDT
XGBoost
LighGBM
1.数据划分
2.直方图梯度提升决策树（Histogram-based Gradient Boosting Decisio…
零售数据分析之操作篇10：销售排名与TOP分析
各位数据的朋友，大家好，我是老周道数据，和你一起，用常人思维数据分析，通过数据讲故事。
上期回顾与作业解答
上一讲讲了如何通过历史聚合与其他聚合一起使用的场景，包括历史聚合唯一计数组合以及历史聚合…
数据仓库与数据库的区别
数据库与数据仓库的区别实际讲的是 OLTP 与 OLAP 的区别。
操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing，），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作&…
【Redis】十大数据类型（下篇）
文章目录redis位图(bitmap) --- 底子还是string基本命令图示setbit key offset value setbit 键 偏移位 只能零或者1getbit key offset 查看获取字符串长度 strlen统计key中包含1的个数 bitcount keybitop 统计两个比特key是否都为1技术落地：打卡签到，频…
终于见识到 Python 的天花板。。
Python 有很多衍生方向，比如 web 开发、网络爬虫、数据分析、数据挖掘、机器学习、人工智能等等，就业范围是很广的，Python 相较于别的编程语言对小白入门还是很友好的，
Python 入门推荐这份学习资料：PYTHON全案例实践…
Msray-Plus采集工具帮您轻松获取目标受众的数据，让您的市场营销更加便捷
市场营销是企业推广产品和服务的重要手段之一，是企业获取客户和提高销售业绩的关键环节。然而，传统的市场营销方式存在着很多弊端，如缺乏数据支持、信息不准确、效率低下等问题，这些问题直接影响了企业的市场营销效果。而随着互联…
数据分析：麦当劳食品营养数据探索并可视化
系列文章目录 作者：i阿极 作者简介：Python领域新星作者、多项比赛获奖者：博主个人首页 😊😊😊如果觉得文章不错或能帮助到你学习，可以点赞👍收藏📁评论📒关注…
Stata 回归结果详解
目录一、数据信息二、指标1.上半部分2.下半部分三、详细解释SSM - 模型平方和SSR - 残差平方和SST - 总平方和R-squared - R方 - 拟合系数Adj R-squared - 调整后的拟合系数df - 自由度MS - 均方差F - 总体显著性检验Prob > F - P值Root MSECoef.Std. Err.tP > | t |95% …
人工智能：定义、历史与未来展望
目录 1. 引言
2. 人工智能的定义
3 早期的人工智能
3.2 连接主义和神经网络
3.3 机器学习和深度学习
3.4 自然语言处理
3.5专家系统
3.6 机器学习
3.7深度学习
4. 人工智能的未来展望
4.1 可解释性与可信赖性
4.2 处理不确定性
4.3 多模态数据处理
4.4 迁移学习与…
智慧校园大数据云平台（2）
大数据教学创新应用 教学质量评估对学生给予教师的评价、学生活跃程度、学生成绩和教师授课情况等数据进行分析研究，帮助教师更好地进行教学活动。 上网行为对各年级同学上线次数、上网时间段、总流量以及在线课程的欢迎程度等数据进行分析研究，引导学生…
3. Special Topics
文章目录1. Foreign Exchange Market1.1 Quotes1.1.1 Foreign Exchange Quotes1.1.2 Spot Quotes1.1.3 Forward Quotes1.1.4 Futures Quotes1.2 Types of Trade1.3 Foreign Exchange Risk1.4 Interest Rate Parity2. Swaps2.1 Introduction to Swaps2.2 Comparative advantage2…
淘宝新店运营怎么选品？API接口助您高效选品
淘宝商家注册店铺很容易，但是注册成功了以后需要做好选品工作，也就是要确定好自己店铺卖什么产品，这一点非常难，那么淘宝新店运营怎么选品?下面为大家进行解答。
大家要在淘宝开店的话，需要提前做好相关的准备&#…
爬虫日常练习-艾图网多页面图片爬取
文章目录前言页面分析设计代码前言
欢迎回来兄弟们，想必各位都已经过了一遍上篇文章了吧，没过的兄弟们可以移步上篇文章指点一二，链接: 爬虫日常练习-艾图网单页面图片爬取 感谢xdm
昨天的内容想必已经挑起了大家的胃口，我们趁…
零售数据分析之操作篇12：子查询的应用
各位数据的朋友，大家好，我是老周道数据，和你一起，用常人思维数据分析，通过数据讲故事。
上期内容与作业
上一讲讲了占比相关内存计算的应用场景，包括占比、TOP占比、累计占比等，不同的占比&am…
python天阶斗技--数据挖掘之数据探索
目录
一数据质量分析
1.缺失值分析
2.异常值分析
2.1 简单统计量分析
2.2 3编辑原则
2.3 箱型图分析
2.4 一致性分析
3.数据特征分析
3.1分布分析
3.2对比分析
3.3统计量分析
3.4周期性分析
3.5贡献度分析
3.6性关系分析 当我们收集到数据后，接…
scDML：单细胞转录组数据的批次对齐
scRNA-seq支持在单细胞分辨率呈现基因表达谱，这提高了对已知细胞类型的检测，以及异质细胞与疾病失调的理解。然而，scRNA-seq技术的广泛应用产生了许多庞大而复杂的数据集，这给集成来自不同批次和平台的数据集带来了计算挑战。
来…
数据分析：SQL和Python
SQL
统计数据概况：计算样本总数、商家总数、用户总数、消费总数、领券总数等
selectcount(User_id) as 样本总数,count(distinct Merchant_id) as 商家总数,count(distinct User_id) as 用户总数,count(Date) as 消费总数,count(Date_received) as 领券总数,(sele…
查询淘宝商品历史价格（用Python记录商品每天价格变化）
taobao.item_history_price-获取淘宝天猫历史价格接口
思路：
第一步抓取商品的价格存入 Python 自带的 SQLite 数据库每天定时抓取商品价格使用 pyecharts 模块绘制价格折线图，让低价一目了然
接口说明：通过接口可以拿到整个平台࿰…
系统分析师之信息化技术（十一）
目录
一、企业信息化概述
1.1 信息系统的基本概念
1.1.1 什么是信息
1.1.2 什么是信息化
1.1.3 信息系统分类
二、企业信息化规划
2.1 信息化战略体系
2.2 企业战略与信息化战略集成方法
三、信息系统开发方法
3.1 信息系统开发方法
3.2 系统建模
四、信息系统战略…
数据分析与SAS学习笔记2
SAS在企业使用的情况： SAS是一个很昂贵的商业软件。在企业中使用SAS比较多，在企业界中是比较流行，在学术界使用R比较多。 SAS简介：统计分析系统 处理生物分析数据。
SAS成为统计领域的国际标准软件，服务全球50000多家…
内行才知道的大数据分析平台
随着这几年来市场需求的增长以及技术的更新，大数据分析平台越来越多地出现在大家的需求采购单上，但面对大数据分析平台，又有多少人知道他们之间的优势区别？今天就从尽量用小白的语言，聊聊内行眼里的大数据分析平台。
…
大模型为什么是深度学习的未来？
人工智能 | 数据分析 | Chat GPT
深度学习 | 数据挖掘 | 高性能计算 当今社会是科技的社会，是算力快速发展的时代。随着数据中心、东数西算、高性能计算、数据分析、数据挖掘的快速发展，大模型得到了快速地发展。大模型是“大算力强算法”相结合的产物&…
如何成为一名数仓工程师？
如何成为一名数仓工程师？
成为一名数据仓库工程师需要具备以下几个关键技能和知识：
数据库技术：数据仓库是一个数据库系统，因此需要具备扎实的数据库基础知识和数据库编程技能，包括SQL语言、数据库设计和优化等方面的…
1 Python数据分析概况
1 Python数据分析概况 1.1 认识数据分析1.2 熟悉Python数据分析的工具Python数据分析常用类库 1.3 Jupyter Notebook 快捷键 1.1 认识数据分析
数据分析是指用适当的分析方法对收集来的大量数据进行分析，提取有用信息和形成结论，对数据加以详细研究和概…
如何通过舆情监测系统加强数据分析和舆情管控?
舆情监测系统是一种可以帮助企业、政府等机构了解并掌握公众对其关注的程度，以及对其言论和行动的态度和反应的工具。随着社交媒体的兴起，舆情监测系统也越来越重要，越来越受到各个领域的关注和应用。本文将通过分析国内的具体案例࿰…
〖数据挖掘〗weka3.8.6的安装与使用
目录
背景
一、安装
二、使用explorer
1. 介绍
2.打开自带的数据集(Preprocess)
1.打开步骤
2.查看属性和数据编辑
3.classify
4.Cluster
5.Associate
6.Select attributes
7.Visualize
待补充 背景 Weka的全名是怀卡托智能分析环境（Waikato Environme…
GLM论文精读-自回归填空的通用语言模型
GLM作为ChatGLM的前期基础论文，值得精读。本文是对GLM论文的精读笔记，希望对大家有帮助。GLM主要思想概述，利用自回归填空的思想，基于transformer的编码器实现了同时在NLU和有无条件生成任务上较好的表现。
基本信息
原文&#…
天猫数据分析：2023年Q1天猫净水器品牌销售TOP10排行榜
水质的好坏更是与人们的身体健康密切相关。随着社会经济的发展，居民生活水平提升，人们对饮用水质量、安全性的要求也不断提高，净水器也因此逐渐成为现代生活的必需品。 根据鲸参谋电商数据显示，2023年Q1在天猫平台上，净…
LinkedIn领英在什么情况下容易被封，提前学习避免进坑
领英在什么情况下容易被封 01.同一个人注册使用多个领英帐号。 02.多个人共同使用同一个领英帐号。 03.虚假资料注册领英账号，常见于注册领英账号的时候初始姓名随便填写或胡编乱造，注册时使用了网络虚拟的手机号码或邮箱等。 04.领英帐号的个人档案资料…
真正的智能不仅仅是一个技术问题
智能并不是单一的技术问题，而是一个包括技术、人类智慧、社会制度和文化等多个方面的综合体，常常涉及技术变革、系统演变、运行方式创新、组织适应。智能是指人类的思考、判断、决策和创造等高级认知能力，可以通过技术手段来实现增强和扩展。…
系统分析师---论企业应用集成
论题：论企业应用集成
企业应用集成（Enterprise Application Integration，EAI）是完成在组织内、外的各种异构系统，应用和数据源之间共享和交换信息和协作的途径，方法学，标准和技术。企业应用集成所连接的应用包括各种电子商务系统，企业资源规划系统，客户关系管理系统，…
如何用ChatGPT分析品牌舆论传播概况，并给到处理建议？
该场景对应的关键词库（25个）： 舆论传播、数据分析、主题、事件、时间段、媒体渠道、数据来源、情感分析、关键词提取、主题挖掘、大众集中讨论的话题、讨论关注程度、舆论关注倾向、关联类似事件、聚焦某一种情绪、人群范围、事件涉及群体、谁…
探究GBDT算法：从Boosting到特征工程
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
20个Python使用小技巧，建议收藏~
1、易混淆操作
本节对一些 Python 易混淆的操作进行对比。
1.1 有放回随机采样和无放回随机采样
import random
random.choices(seq, k1) # 长度为k的list，有放回采样
random.sample(seq, k) # 长度为k的list，无放回采样1.2 lambda 函数的参数
…
【Python入门篇】——Python中循环语句（while循环的基础语法和基础案例）
作者简介： 辭七七，目前大一，正在学习C/C，Java，Python等 作者主页： 七七的个人主页 文章收录专栏： Python入门，本专栏主要内容为Python的基础语法，Python中的选择循环语句…
“华为杯”研究生数学建模竞赛2020年-【华为杯】B题：基于数据挖掘技术的汽油辛烷值优化研究（附获奖论文和python代码实现）
目录
摘 要：
一、问题重述
1.1 研究背景
1.2 问题的提出
二、问题分析
机器学习基础知识之分类性能评价指标
文章目录 分类性能基本概念1、准确率1、精确率2、召回率3、F1-score4、ROC曲线5、多分类问题中的相关指标6、混淆矩阵 分类性能基本概念
与预测性能评价指标相类似，分类性能评价指标同样也是将模型计算得出的标签值与实际的真实标签值通过数学统计上的公式进行计算…
Python数据分析：Pandas入门教程
Python数据分析：Pandas入门教程 一、Python数据分析简介1. 数据分析的定义与背景2. Python在数据分析中的优势 二、Pandas简介1 Pandas库的作用和优势2 Pandas的数据结构Series和DataFrame3 Pandas库的安装和使用 三、数据读取与导出1 读取本地CSV文件2 读取Excel文…
如何调用api接口获取其中的数据
part1.API接口可以运用到的场景，主要包括以下几个方面： 1. 应用程序集成：API可以使不同的应用程序相互之间进行集成，比如将某个应用程序的数据传递给另一个应用程序，或者调用另一个应用程序的功能。 2. 数据共享&#…
一站式数据分析学习，让你成为一名合格的数据分析师
一站式数据分析学习，让你成为一名合格的数据分析师 随着数字化时代的到来，数字经济已然成为了新的发展潮流，数据的重要性越发显著。加上大数据、人工智能、云计算等数字技术的发展，让数字化时代的步伐迈得更快，目前已经…
人为差错 （Human Error）（三）
第二章 人的差错研究这一章主要论证了一些对人类差错研究具有杰出贡献的理论。其主要目的是为了概括人类差错研究对之后章节（主要是第三到五章）中提到的论点所带来的主要影响。但笔者也希望能在这章介绍一下认知理论的研究现状给那些不是研究这个领域的读…
一文深度解读机器学习模型的评估方法
我们训练学习好的模型，通过客观地评估模型性能，才能更好实际运用决策。模型评估主要有：预测误差情况、拟合程度、模型稳定性等方面。还有一些场景对于模型预测速度（吞吐量）、计算资源耗用量、可解释性等也会有要求&…
20230518 美国知乎 Quora 旗下 Poe.com 上可以免费Claude试用 7 天。
🚀 美国知乎 Quora 旗下 Poe.com 上可以免费Claude试用 7 天。
最强竞品 Claude 最近实现了史诗升级，支持十万 token 上下文，并且可以处理英文书籍，但申请使用需要付费。
而在美国知乎 Quora 旗下 Poe.com 上可以免费试用 7 天。…
2023年数据分析的就业薪资水平情况
2023年数据分析的就业薪资水平情况 数据已经成为我们工作生活不可缺少的一部分，也成为企业提高竞争力的有效支撑。随着越来越的企业进行数字化转型，对于数据的需求也将越来越大，那么对于正在学习数据分析或者想学习数据分析的小伙伴来说&…
无效数据是什么，我们该怎么处理？
文章目录 一、介绍无效数据的概念1.1 概念和类别1.2 造成的影响1.3 如何识别 二、无效数据的处理方法2.1 阐述如何进行数据验证2.2 数据清洗的概念和方法2.3 好用的数据清洗工具2.4 无效数据处理的挑战和注意事项 三、如何减少无效数据3.1 阐述减少无效数据的方法 四、实际案例…
假设检验/T检验/F检验/Z检验/卡方检验
****显著性水平： 一个概率值，原假设为真时，拒绝原假设的概率，表示为 alpha 常用取值为0.01, 0.05, 0.10
****什么是P值？ p值是当原假设为真时样本观察结果及更极端结果出现的概率。 如果P值很小，说明这种情…
数据治理之数据标准管理
一、大数据标准体系
根据全国信息技术标准化技术委员会大数据标准工作组制定的大数据标准体系，大数据的标准体系框架共由七个类别的标准组成，分别为：基础标准、数据标准、技术标准、平台和工具标准、管理标准、安全和隐私标准、行业应用标准…
2023电工杯数学建模B题思路模型代码
占个位置吧，开始在本帖实时更新电工杯数学建模赛题思路代码，文章末尾获取！
持续为更新参考思路
赛题思路
会持续进行思路模型分析，下自行获取。
B题思路：
（比赛开始后第一时间更新）
竞赛开…
大数据挖掘企业服务平台（数据挖掘建模平台）产品概述
一、产品功能（一站式数据挖掘与人工智能建模服务平台）
TipDM数据挖掘建模平台
TipDM数据挖掘建模平台是由广东泰迪智能科技股份有限公司自主研发打造的可视化、一站式、高性能的数据挖掘与人工智能建模服务平台，致力于为使用者打通从数据接…
人工智能AI 计算平台介绍
人工智能AI计算平台介绍 产品及服务： 标准模块开源 核心模块及服务收费 资源齐全 服务支持 产品使用者： 自行扩充组件 快速二次开发 轻松搭建企业级 数据挖掘应用 自…
OpenAI Embedding：基于人工智能的搜索新篇章
theme: orange 本文正在参加「金石计划」 Embedding模型在许多应用场景中都有广泛的应用。在OpenAI中，文本嵌入技术主要用于衡量文本字符串之间的相关性。 什么是Embedding 嵌入(Embeddings)是一种将离散变量表示为连续向量的方法。它在机器学习中起到了不可或缺的作…
ERP原理与应用综合练习
ERP原理与应用期末综合练习一 一、单项选择题
1. 最早提出ERP概念的咨询公司在（ ）。
A.英国 B.美国 C.印度 D.中国
2. ERP实质是在（ ）基础上进一步发展而成的、面向供应链的管理思想。
A.MRPII …
2023年MathorCup数模D题赛题解题思路
MathorCup俗称妈杯，是除了美赛国赛外参赛人数首屈一指的比赛，而我们的妈杯今天也如期开赛。今年的妈杯难度，至少在我看来应该是2023年截至目前来讲最难的一场比赛。问题的设置、背景的选取等各个方面都吐露着我要难死你们的想法。难度是恒定的…
九、数据仓库详细介绍（元数据）
元数据的文章，网上已经有很多了，元数据相关概念有限所以重复度很高。 我这里只是做个概念汇集，争取给大家介绍的全面一点。 1. 元数据定义 元数据（Meta-data）是描述数据的数据（The data about data…
Python科研数据可视化
在过去的20 年中，随着社会产生数据的大量增加，对数据的理解、解释与决策的需求也随之增加。而固定不变是人类本身，所以我们的大脑必须学会理解这些日益增加的数据信息。所谓“一图胜千言”，对于数量、规模与复杂性不断增加的数据&…
掌握C++文件控制的基础和高级操作，可以提高程序的管理和处理文件的效率和可靠性。
C是一门拥有广泛应用的编程语言。在C中，我们可以通过控制文件的操作来读取、写入和处理文件中的数据。文件的操作可以让我们方便地对程序进行管理和数据的存储，为我们的程序功能带来更多的可能性。
C文件控制操作主要由文件的打开、读写和关闭等操作组成…
特征选择：从冗杂数据中找出真金
在机器学习项目中，特征选择是一个不可或缺的步骤。不论你面对的是分类问题，还是回归问题，适当的特征选择都能提升模型的性能，甚至能显著节约计算资源。接下来，我将为你详细讲解特征选择的重要性以及常用的特征选择技术…
![[数据分析与可视化] 基于matplotlib-scalebar库绘制比例尺](https://img-blog.csdnimg.cn/img_convert/e881b13a2a8148725a86e93c10834dbc.png)
[数据分析与可视化] 基于matplotlib-scalebar库绘制比例尺
matplotlib-scalebar是一个Python库，用于在matplotlib图形中添加比例尺。它允许用户指定比例尺的大小、位置、字体和颜色，以及比例尺的单位。该库支持不同的比例尺单位，例如米、英尺、英寸等。matplotlib-scalebar安装命令如下： p…
黑马在线教育数仓实战8
学生出勤主题看板
2.1 需求分析
回顾: 涉及维度, 指标, 涉及表, 字段, 以及需要清洗的内容, 需要转换的内容, 如果有多个表, 表与表关联条件 需求一: 统计指定时间段内，不同班级的出勤人数。打卡时间在上课前40分钟(否则认为无效)~上课时间点之内，且未…
【2023年第十一届泰迪杯数据挖掘挑战赛】C题：泰迪内推平台招聘与求职双向推荐系统构建 27页论文及实现代码
【2023年第十一届泰迪杯数据挖掘挑战赛】C题：泰迪内推平台招聘与求职双向推荐系统构建 27页论文及实现代码
相关链接
（1）建模方案
【2023年第十一届泰迪杯数据挖掘挑战赛】C题泰迪内推平台招聘与求职双向推荐系统构建 建模及python代码详解…
Kaggle_Titanic生存预测 -- 详细流程吐血梳理
版权声明：本文为博主原创文章，未经允许不得转载。 https://blog.csdn.net/Koala_Tree/article/details/78725881 作者： 大树先生 博客： http://blog.csdn.net/koala_tree 知乎：https://www.zhihu.com/people/dash…
SPSS如何进行均值比较和T检验之案例实训？
文章目录 0.引言1.均值过程2.单样本T检验3.独立样本T检验4.成对样本T检验 0.引言 因科研等多场景需要进行绘图处理，笔者对SPSS进行了学习，本文通过《SPSS统计分析从入门到精通》及其配套素材结合网上相关资料进行学习笔记总结，本文对均值比较…
车企降本求「药方」，智能化「回归」产业链分工
1990年出版的《改变世界的机器》一书，第一次把丰田的独特生产方式定名为Lean Production，即精益生产方式。此后，汽车产业掀起了一股学习精益生产方式的狂潮。
而在6年后出版的《精益思想》一书中，作者再次强调，“如果…
不会数据分析？无从下手？一文帮你打开数据分析思路
掌握了很多数据分析工具和技能，却依然做不好数据分析。
面对具体的业务问题，我们还是容易两眼一抹黑？除了数据和专业之外，还需要一定的方法论支撑。 文章有点长（误区解释方法论分享）但干货满满，…
同步辐射散射数据处理：从测量到分析的全流程解析
同步辐射散射数据处理：从测量到分析的全流程解析 同步辐射（Synchrotron radiation，SR）是指粒子在强磁场中受到加速或转向时所放出的辐射。这种辐射是一种非常强烈、具有非常高能量和亮度的电磁辐射。同步辐射散射（Sync…
异常检测进阶梳理1：Tabular AD视角
接触异常检测领域也有一年多的时间了，过程中遇到不少坑，知识体系也在不断更新完善，这里以专题的形式进行知识体系的梳理~ 异常检测（Anomaly Detection, AD）领域内的划分体系较多，这里基于异常检测最常用到的…
数据挖掘十大算法之分类算法(分类介绍及评价指标)
文章目录1. 分类相关知识1.1 分类的概念1.2 分类的流程1.3 分类模型评价标准2. 二分类分类案例参考文章：接上篇文章，接下来学习挖掘算法中的分类算法： 首先我们应该知道数据挖掘十大算法中可以简单的进行分类，分为分类算法&#x…
为什么我们需要API接口？API接口的核心又是什么？
API（Application Programming Interface）是一种连接不同软件之间的标准化的接口，可以让不同软件间进行数据交互和通信。API接口的作用很多，以下是几个主要的原因：
1.提高软件系统的灵活性和可扩展性。API接口可以将不…
浅谈数据分析中的数据预处理
作者：邓天佐
对于接触过数据分析或者从事大数据技术开发的人员，无论你是一名业务还是技术人员，想必你都清楚数据分析过程中最花时间的并不是“分析”阶段，而是数据预处理。 从众多的调查和专家言论中，数据预处理在数据…
R语言混合效应（多水平/层次/嵌套）模型及 贝叶斯实现技术
回归分析是科学研究中十分重要的数据分析工具。随着现代统计技术发展，回归分析方法得到了极大改进。混合效应模型（Mixed effect model），即多水平模型（Multilevel model）/分层模型(Hierarchical Model)/嵌套…
【数据挖掘与商务智能决策】第十六章 关联分析算法
16.1.3 Apriori算法的代码实现
1.apyori库代码实现关联规则
# apyori库的安装：将下面代码注释取消后运行
# !pip install apyoritransactions [[A, B, C], [A, B], [B, C], [A, B, C, D], [B, C, D]]from apyori import apriori
rules apriori(transactions, mi…
PAMAE: Parallel k-Medoids Clustering with High Accuracy and Efficiency论文复现
PAMAE: Parallel k-Medoids Clustering with High Accuracy and Efficiency论文复现
项目介绍
项目github地址：PAMAE项目
PAMAE: Parallel k-Medoids Clustering with High Accuracy and Efficiency 是SIGKDD2017一篇关于k-medoids并行聚类的论文，论文…
【数据挖掘】时间序列模型处理（一）
一、说明 序模型是一组按时间排序的数据点，用于预测未来。以下是您需要了解的所有信息。
无论我们希望预测金融市场趋势还是电力消耗，时间都是我们的模型中必须考虑的重要因素。例如，预测电力消耗高峰的时间会很有趣。这对于调整电价或电力生产可能很有用。
二、什么是时序…
jvs-rules 规则引擎-变量管理（函数式）的配置说明
JVS规则引擎变量管理
变量在规则引擎中的作用
数据存储和共享：变量配置允许在规则引擎中存储和访问数据。通过定义变量，可以将数据存储在规则引擎中，使其可供规则和决策过程使用。这样可以消除重复数据存储的需求，提高数据的共享…
数据挖掘--贝叶斯分类详解
贝叶斯分类是一种基于贝叶斯定理的分类方法，它通过先验概率和条件概率来计算后验概率，从而对数据进行分类。具体来说，对于一个待分类的数据样本，贝叶斯分类器会计算该样本属于每个类别的概率，并将其归为概率最大的那个…
一文秒懂BI是什么？
在数字化时代背景下，商业智能（Business Intelligence，简称BI）成为了信息化热词，我们经常能听到企业说“上BI”、“建设BI系统”、“构建BI决策平台”“BI数据分析”“BI可视化”等内容。
一、那么BI到底是什么呢&…
ACL 2023 | 用二分类解决无监督常识问答
常识推理最近在自然语言处理研究中引起了广泛关注，现有的常识推理方法一般分为两种：一种是在开源数据集上对大型语言模型进行微调 [1]，另一种是借助外部知识图谱来训练。然而，构建有标注的常识推理数据集既昂贵，又受限…
2023年Q1电商平台饮料行业数据分析报告
我国的饮料市场非常庞大，从碳酸饮料到茶饮料，从功能性饮料到水，各个品类都有广泛的消费者基础。加之如今饮料消费场景不断延伸，家庭囤货、户外即饮、运动健身等成为消费者饮料需求的新场景，新需求带动线上饮料市场持续…
python基础语法第2章变量和数据类型之11while循环
大家好，我是阿语，从今天开始每天更新8篇python教程从第一个基础语法开始每天更新一下基础内容，这些会分类出来，保持一天完整的python教程，有的人肯定会问 为什么最后才写爬虫了，阿语在这里声明一下…
数字孪生：数字世界与现实世界的交汇
数字孪生是一种崭新的技术，指将现实世界中的物理实体、系统或过程通过数字化技术在虚拟数字世界中建立起虚拟模型。数字孪生可以帮助人们以更小的成本地理解和预测现实世界中的物理实体、系统或过程的行为和性能，从而提高生产效率、降低成本、减少风险等。
如今数字孪生技术…
Live800:企业必修课｜新时代的全渠道营销解析（下）
接上文Live800:企业必修课｜新时代的全渠道营销解析（上） 三、全渠道营销的应用
理念变化：消费者和顾客转变为用户
在完整的全渠道体系中，企业需要重点建设数字化平台，将消费者、顾客转变为用户。哪怕企业的…
为工作透支身体值不值得？客服人有更好的选择
为工作透支身体值不值得？每个人都有自己的答案。
近日话题"为工作透支身体值不值得？"上了微博热搜，在《女人三十加》中，杨天真谈到妈妈嘱咐她"不要为了工作牺牲身体。"而她却认为："为什么不…
![“AI Earth”人工智能创新挑战赛：助力精准气象和海洋预测Baseline[2]：数据探索性分析（温度风场可视化）、CNN+LSTM模型建模](https://img-blog.csdnimg.cn/d553c7dadca54bdb82a3a234befb74d8.png#pic_center)
“AI Earth”人工智能创新挑战赛：助力精准气象和海洋预测Baseline[2]：数据探索性分析（温度风场可视化）、CNN+LSTM模型建模
【机器学习入门与实践】入门必看系列，含数据挖掘项目实战：模型融合、特征优化、特征降维、探索性分析等，实战带你掌握机器学习数据挖掘 专栏详细介绍：【机器学习入门与实践】合集入门必看系列，含数据挖掘项目实战：数据融合、特征优化、特征降维、探索性分析等，实战带你掌…
机器学习 | 降维问题
目录
一、主成分分析
二、奇异值分解
2.1 奇异值分解原理
2.2 奇异值分解实践
三、特征值与特征向量 一、主成分分析
主成分有如下特征：
每个主成分是原变量的线性组合；各个主成分之间互不相关；主成分按照方差贡献率从大到小依次排列&…
数据分析利器之python、IT应用架构规划详解（195页）、600多个人工智能AI工具汇总、营销革命5.0…| 本周精华...
▲点击上方卡片关注我，回复“8”，加入数据分析领地，一起学习数据分析，持续更新数据分析学习路径相关资料~（精彩数据观点、学习资料、数据课程分享、读书会、分享会等你一起来乘风破浪~）回复“小飞象”&…
新来个技术总监，把限流实现的那叫一个优雅，佩服！
在电商高并发场景下，我们经常会使用一些常用方法，去应对流量高峰，比如限流、熔断、降级，今天我们聊聊限流。
什么是限流呢？限流是限制到达系统的并发请求数量，保证系统能够正常响应部分用户请求࿰…
什么是大数据，常见的大数据应用领域？
现在大数据发展的如火如荼，也有不少小伙伴对于什么是大数据比较感兴趣，那么大数据在比较官方的定义是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力…
数据同步智能化！利用ETLCloud自动化流程实现钉钉OA系统数据自动同步至数仓
钉钉数据同步需求
钉钉是一款企业级通讯和协同办公应用软件，钉钉为企业提供包括聊天、通讯录、日程安排、考勤打卡、审批、通知公告、文件共享、会议等功能，很多企业都在使用钉钉。
很多情况下我们需要把钉钉的数据拉取到数据库中，然后再通…
《CDA-LEVEL-II考试大纲》解读--PART 5 数据分析模型
PART 5 数据分析模型 总体要求：领会模型基本原理，数值模型操作流程，懂得模型应用场景，能够完成数据建模分析报告。 数据分析模型 PART 5 数据分析模型1、主成分分析1.1、领会内容1.1.1、主成分分析的计算步骤1.1.2、主成分分析的…
机器学习｜监督学习｜无监督学习｜8:20~9:20
目录
一、监督学习(Supervised learning)
2.1分类(classification)
2.2回归(regression)
泛化能力 Generalization Ability
欠拟合
过拟合
不收敛
2.3 K近邻算法
k近邻分类
k近邻回归
KNN变种
二、无监督学习(Unsupervised learning)
2.1 聚类(c…
特征选择:过滤法，嵌入法，包装法
特征选择时首先要去除冗余特征。 它是由其他其他的特征中推演出来的。比如，一个球的体积，那么半径这个特征就是冗余的，因为我们可以由球的体积推算半径。冗余特征在很多时候都是不起作用的
过滤法
过滤方法通常用作预处理步骤，特…
数据挖掘工程师岗位的工作职责
数据挖掘工程师岗位的工作职责1 职责： 1.负责数据分析,数据挖掘相关的算法、应用的设计与开发; 2.负责公司产品各阶段数据的整理、分析、挖掘及提交数据报告，重点对车辆行为数据进行分析和挖掘，利用数据分析结论推动业务产品的优化; 3.对海量…
怎么通过电商数据分析选择好货源？
什么样的货源才算好货源？自然是拿货成本低、销售前景（趋势）好、利润度高、去库存快的。这就需要综合销售、库存、财务、采购等多部门环节的数据进行分析挖掘，最终才能找到符合需求的供货商以及商品清单。在这个过程中，…
经典：商业智能BI解读，值得收藏
关注新闻的朋友们可能注意到了，最近这段时间关于数据要素、数字经济、数字化转型的相关行动越来越多，一方面是各级政府的政策规划以及大规模的发展行动，另一方面是则是各行各业的企业开始探寻数字经济，通过数字化转型进行改革&…
第三章 GoogLeNet网络详解
系列文章目录
第一章 AlexNet网络详解
第二章 VGG网络详解
第三章 GoogLeNet网络详解
第四章 ResNet网络详解
第五章 ResNeXt网络详解
第六章 MobileNetv1网络详解
第七章 MobileNetv2网络详解
第八章 MobileNetv3网络详解
第九章 ShuffleNetv1网络详解
第十章…
如何知道调用电商API是否成功返回数据？查看错误码解释
在API调用过程中，系统可能会返回一些错误码。错误码能够帮助开发者快速准确地了解出现的异常情况。错误码的含义通常涉及到请求参数不合法、认证失败、服务器内部错误等各种问题，它们提供了有关API调用失败的信息和上下文，在错误排查和修复时…
数据处理神器tidyverse！教你如何秒速搞定数据处理！
一、前言 在R语言中，tidyverse是一个庞大的数据分析生态系统，它由一系列数据可视化和数据处理软件包组成，能够极大地提高数据分析的效率和准确性。 在使用 Tidyverse 的过程中，我们会经常用到以下几个工具： ggplot2&am…
电商API知识点整理（一）商品采集接口获取商品详情数据API
商品采集接口背景
电商商品采集接口是一种机器人软件接口，用于从电子商务网站上爬取商品信息。它的主要作用是将电商网站上的商品信息采集和整合，方便用户使用。传统的商品采集需要人工收集和整理，工作量大、效率低；而电商商品采…
TipDM数据挖掘建模平台产品功能特点
TipDM数据挖掘建模平台是可视化、一站式、高性能的数据挖掘与人工智能建模服务平台，致力于为使用者打通从数据接入、数据预处理、模型开发训练、模型评估比较、模型应用部署到模型任务调度的全链路。平台内置丰富的机器学习、深度学习、人工智能算法，可覆…
《Process Analytics 过程分析》读书笔记 第二章 业务过程范例
第二章 业务过程范例
毫无疑问，在过程管理中的研究和开发为技术革命铺平了道路。 更重要的是，过程管理技术在今天也同样重要，就像它在两三年前成立时一样。 然而，主要转移的是主要重点。 例如，在1990年代，…
RNAseq---Hisat2 标准输出中比对率信息解读
RNA-Seq—Hisat2 标准输出中比对率信息解读
本文具体解释部分（一）中内容复制自Biostar内容，后面附上我实际的例子，二者略有不同，整体理解上没大问题，有不合适之处可联系我。
（一）B…
多账号矩阵管理系统技术嫁接开发源代码
多账号矩阵管理系统技术嫁接开发源代码 文章目录 一、剪辑部分源代码开发示例二、发布投放部分源代码示例 1.账号绑定一码多扫技术应用开发代码示例2.定时挂载投放源代码示例 一、剪辑部分源代码开发示例
创建工程项目 */ public function createProjectAction() { …
离散序列的相似性度量
一 前言
离散序列通常是字符串序列，一个字符表示一种标签或者等级。这与定量型数据的相似性度量不同，定量型数据可以采用距离函数来度量相似度，而离散序列一般不具有数值计算的特性。故而，我们对离散序列的相似度量通常采用字符串…
价值驱动-数据分析价值逻辑与实践思考
月説小飞象交流会 未来是一片迷雾，令人胆怯，但不妨走下去，看看命运给我们准备了什么。 内部交流│25期 价值驱动 数据分析价值逻辑与实践思考 data analysis ●●●● 分享人：黄小伟 当今的企业，随着数字化技术日新月异…
![Just KNIME it [S2C13] 机器学习的可解释性](https://img-blog.csdnimg.cn/img_convert/c3b622d9f56fe851b866618972564bba.png)
Just KNIME it [S2C13] 机器学习的可解释性
朋友们，Just KNIME it 还有在跟进吗? 本季已经到 13 期啦。 本期探讨的主题是机器学习的可解释性问题，快随指北君一起看看吧。 挑战 挑战13：揭示犯罪率之迷 难度：中等 情境描述：作为一名在房地产公司任职的数据科学家…
关于数字化转型，你需要知道这几点
随着我国经济的高速发展，人们的物质生活水平如同火箭一般得到了飞速的提升，使得市场发展形成了明显的分层、分阶段的特征，让人们在这种环境下分化成了不同的群体，也形成了不同的兴趣习惯。互联网以及后续的移动互联网更是加速了这…
数据分析、数据挖掘、算法工程师、大数据分析师的区别是什么？爬招聘网站用数据来全方位分析
大数据行业经过几年的发展和沉淀，大数据项目岗位细分领域已经趋于完善，本文主要探讨在大数据分析这个领域，通过爬虫爬取各个招聘网站的相关数据，对细分岗位进行深入分析，本文的呈现，感谢科多大数据数据分析…
如何利用Smartbi电子表格进行财务常用账簿数据的联动查询
财务，是几乎所有企事业单位内部的核心组织。单位今年耗费几何，企业去年赚多少钱，平均成本在什么水平，为国家创造多少税收等等，所有这些信息，最终都通过财务账表的方式来体现。可以说，大家工作辛…
1688阿里巴巴中国站按关键字搜索抓取新品数据API接口展示示例（封装可高并发）（Java系列）
一、电商平台上新的重要性
电商平台上新非常重要。 首先，持续的新品上线可以吸引更多的用户访问平台和留存用户的兴趣。新品可以激发用户想要知道更多、购买更多的欲望，从而提高用户的使用频率和转化率。此外，新品上线也可以使电商平台更具…
ERP水平测度指标及综合评价
<iframe align"top" marginwidth"0" marginheight"0" src"http://www.zealware.com/46860.html" frameborder"0" width"468" scrolling"no" height"60"></iframe>不少同行业的朋…
SCADA组态软件标签和编辑框小数位
SCADA组态软件标签和编辑框小数位
SCADA组态软件标签和编辑框小数位
标签和编辑框显示浮点数小数位的问题,编辑框被误点后会弹出虚拟键盘,只能用标签 标签设置: 编辑框:
未来最具爆发潜力的13只大牛股（名单）
1) “最具成长性”是资本市场关注的永久主题，我们试图筛选出A股中未来两年最具成长性的品种。我们以次年净利润同比增长率、两年复合增长率以及PE/G来进行筛选。 同时我们已剔除了因微利、异常预测所引发的异常增长品种。考虑到研究报告的时滞问题，我们只…
广电信息：超跌低价本地股 业绩增长190%
http://www.jrj.com 2007年09月10日 17:10 金融界网站 【字体：大 中 小】 【页面调色版 】 周一大盘的表现正如我们上周末所谈到的一样，不排除周一大盘以阳包阴的态势展开。从周一股指止跌后展开的稳步盘升的走势来看，表明当前行情仍处…
纵横20年，我所经历的数据开放演化史 by 傅一平
现在数据开放成了数据治理的热点，但数据开放是没法一步到位的，每个企业都要基于实际需要走出自己的路，下面就讲讲我所经历的数据开放演化史，整个过程长达近20年，大致经历了五个阶段：（1&#x…
道听途说先生说长说短（线）
※道听途说先生从心理、理论上探讨了长线与短线的利弊得失，值得朋友们认真的思考一下。
(第31楼)回复:话说内幕消息 老股民兄好，今天一天没有过来，忙活一点私事。今日过来看了看回复感觉有些老朋友发生了分歧。对于观点，我是…
通俗易懂理解决策树算法、剪枝处理及Python代码实现
通俗讲解决策树算法一、算法概述二、划分选择2.1 ID3决策树算法与信息增益信息熵信息增益2.2 C4.5算法与信息增益率增益率2.3 CART决策树算法与基尼指数三、 剪枝处理预剪枝后剪枝四、连续值处理二分法五、python代码实现5.1 创建数据集。5.2 计算数据集的信息熵（香…
美团搜索——基于用户Session的Query改写
美团的搜索引擎主要是对店铺的主店名称，分店名称，地址，推荐菜，商品等进行分词，然后进行倒排索引。用户在搜索时会使用不同的Query去找到想要的结果，但用户的query与索引的内容可能存在差异导致无法召回&…
SQL和SQL server的区别
sql server和mysql的区别主要体现在下面这些方面：
一、本质区别是它们所遵循的基本原则
SQL服务器的狭隘的、保守的存储引擎，与MySQL服务器的开放的、可扩展的存储引擎是不同的。你虽然可以使用SQL的Sybase引擎，但MySQL可以提供更多的选择&…
Pandas模块-数据读取和数据类型
Pandas 是一个 Python 类库，用于数据分析、数据处理、数据可视化，它具有高性能的数据结构和数据分析工具，经常与 numpy（数学计算）、scikit-learn（机器学习） 结合使用。
1. Pandas 数据读取 Pan…
深入理解搜索引擎——详解query理解
【导语】当你在搜索框输入一串简短的文本后，搜索引擎立马会返回成千上万条结果，整个搜索过程看似简单，其实底层引擎大有文章。每一个简短的搜索词背后都隐藏着用户最真实的查询意图，需要搜索引擎使用很多不同策略去挖掘用户背后的…
深入理解搜索引擎——开篇
什么是搜索引擎？
搜索引擎，一般分为大搜和垂搜，其中大搜包含我们熟知的google、baidu、搜狗、神马及近期比较活跃的夸克，垂搜包含各领域门户网站的搜索引擎，例如电商搜索(淘宝、天猫、京东及拼多多等等)、本地生活搜索…
阿语python4-2 美多商城v5.0商品-商品列表页之第6.3.1节列表页分页和排序
列表页分页和排序# 按照商品创建时间排序
http://www.meiduo.site:8000/list/115/1/?sortdefault
# 按照商品价格由低到高排序
http://www.meiduo.site:8000/list/115/1/?sortprice
# 按照商品销量由高到低排序
http://www.meiduo.site:8000/list/115/1/?sorthot1. 查询列表…
数据挖掘比赛基本框架
目录0.前言1.基本框架1.1数据探索性分析（EDA）1.1.1 查看数据基本信息1.1.2 查看缺失值情况1.1.3 查看唯一值情况并删除唯一值1.1.4 筛选出不同数据类型1.1.5 画图观察数值型数据分布情况1.2 数据特征工程1.2.1 处理缺失值1.2.2 处理时间数据1.2.3 对数据…
tushare实战LSTM实现黄金价格预测
tushare实战LSTM实现黄金价格预测 文章目录tushare实战LSTM实现黄金价格预测拉取数据数据预处理训练模型模型预测及查看效果先看整体情况选取特定的一小段查看结果分析拉取数据
老样子，之前tushare实战分析黄金与美元收益率关系的时候也是这样,注意: pro_api中的东…
【java办公自动化（1）】-- Windows最好最快的查找文件神器
Windows最好最快的查找文件神器
前言
如果用本地的搜索栏搜索文件只能搜索名称或者扩张名，txt文件或java文件里面的字符却搜索不了，且慢。因此，开发一个“内部搜索引擎”是非常必要的，为了美观，加上高亮姨妈红
输入的方式有三种：’/’、 ‘\’ 、 r’’ os.chdir(‘C:…
学习朴素贝叶斯算法与交叉验证C实现
C语言程序设计课之朴素贝叶斯算法 第一次接触数据挖掘，觉得好有意思啊 测试了泰坦尼克号的数据，只取了年龄和性别这两个预测属性。
测试准确率78%
还是很棒棒的 算法核心： 朴素贝叶斯算法： 这个公式提供给了我们一个方法
当我…
一起艳学大数据Hadoop（一）——安装hadoop
前言：接下来带大家学习大数据的生态圈，以及数据挖掘。学习Hadoop,Hive,HBase,Pig,Spark,Oozie等大数据技术，带你装逼带你飞。
首先安装一下hadoop
下载hadoop
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hado…
HDLBits：在线学习 Verilog （十一 · Problem 50 - 54）
本系列内容来自于知乎专栏，链接如下：https://zhuanlan.zhihu.com/c_1131528588117385216本系列文章将和读者一起巡礼数字逻辑在线学习网站 HDLBits 的教程与习题，并附上解答和一些作者个人的理解，相信无论是想 7 分钟精通 Verilog…
构建板块个股业绩指标对比系统！股票量化分析工具QTYX-V2.1.8
财务指标选股在选股环节中，同一个板块下会有众多的个股，我们该如何去选择呢？选股还是要从多方位去对比，目的是找出价值高于当前价格的股票，此时买入才有获利的空间。我个人倾向于用量化的方式将大数据挖掘分析和基本面…
人类和超级人工智能的关系发展，多年来一直都是一个热门话题
人类和超级人工智能的关系发展，多年来一直都是一个热门话题，前段时间，在《人工智能研究杂志》上，又有一个国外的科学家团队通过理论计算，提出了新的警告：认为人类想要控制超级人工智能，基本上是…
数据挖掘 与 Web开发何去何从
（0）引子下面以现实生活中的一个实例引出本博客的探究点，也许类似的情况正发生在你的身边。
小弟工作5年了，最近有点迷茫。
上一份工作在一家比较大的门户网站做web开发和移动互联网数据挖掘(人手比较紧，同时做)。后来…
数据挖掘课件01-07
1、数挖的定义、产生原因，解决问题
数据挖掘就是寻找数据中隐含的知识并用于产生商业价值。 数据挖掘产生动因：海量数据、维度众多、问题复杂 解决问题：分类问题，聚类问题、回归问题、关联问题、
分类算法：C4.5&…
推荐系统：关联规则(1)
说到推荐系统，就不能不说关联规则。基于关联规则的推荐，是入门级的推荐技术实现，也是目前应用最广泛的一种推荐形式。就拿刚上线的“蚂蚁”来说吧，打开《引爆流行》的页面，稍微滚动两下鼠标，你就可以看到这…
数据挖掘方向研究生常用网站
目录
一：数据挖掘领域大佬网站和博客
二：数据挖掘教育领域
三：数据挖掘技术网站
四：基础变成工具和平台
五：一些技术csdn网站
六：机器学习
七：机器学习经典文章
八：数据挖掘…
我个人比较受用的一些习惯【转】
1.长期的任务，要尽早开始
一般来说，长期任务总是比较烦人，也有难度，而人心里总有逃避困难的趋势，最后的结果或者是最后干脆放弃，或者是剩下一点点时间手忙脚乱地赶工；我自己之前也有这样的教训…
告别StringUtil：使用Java 全新String API优化你的代码
前言 Java 编程语言的每一次重要更新，都引入了许多新功能和改进。 并且在String 类中引入了一些新的方法，能够更好地满足开发的需求，提高编程效率。
repeat(int count)：返回一个新的字符串，该字符串是由原字符串重复指…
iOS开发-2.OC对象的分类
1.OC对象的分类
a) instance对象（实例对象）b) class对象（类对象）c) meta-class对象（元类对象）2.instance对象（实例对象）
a) instance对象就是通过类alloc出来的对象，每…
详解ROC/AUC计算过程
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/ybdesire/article/details/51999995 ROC和AUC定义 ROC全称是“受试者工作特征”（Receiver Operating Characteristic）。ROC曲线的面积就是AUC&…
第1关：Pandas分组聚合
任务描述
本关任务：使用Pandas加载drinks.csv文件中的数据，根据数据信息求每个大洲红酒消耗量的最大值与最小值的差以及啤酒消耗量的和。 相关知识 *分组聚合的流程主要有三步：
分割步骤将DataFrame按照指定的键分割成若干组；应…
原 Sklearn中的StratifiedKFold与stacking模型的融合方法
前言：由于在学习泰坦尼克预测的案例时，借用到了stacking的模型融合的方法，其中对StratifiedKFold的方法感到不是很理解，于是网上搜索了一些教程，特地记录如下，同时在文尾也会附上stacking的具体代码作为补充…
【数据挖掘】使用sklearn优雅地进行数据挖掘
使用sklearn优雅地进行数据挖掘
from:http://www.cnblogs.com/jasonfreak/p/5448462.html
目录
1 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 1.2 数据初貌 1.3 关键技术 2 并行处理 2.1 整体并行处理 2.2 部分并行处理 3 流水线处理 4 自动化调参 5 …
tmdb数据集_数据科学第2部分的数据管道tmdb api数据搜寻器
tmdb数据集Distributed TMDb API Data Download using AWS Lambda.使用AWS Lambda的分布式TMDb API数据下载。 是否想偶尔听到有关Tensorflow，Keras，DeepLearning4J，Python和Java的抱怨？ (Wanna hear occasional rants about Tens…
python量化投资（三）——从tushare读取股票信息（stock_list ）数据
具体注册tushre，获取token不多在这里介绍了，官网对操作及接口描述很清晰tushare官网地址tushare从tushare返回的数据是pandas.DataFrame数据类型，为了能够将数据写入数据库，需要使用numpy将其转换成列表，逐行写入使用n…
聚类分析-Python
聚类分析-Python
K-均值聚类
#读取数据
import psycopg2
import os
import pandas as pd
import numpy as np
#import math
from sklearn.cluster import KMeans
#from sklearn import metrics
import matplotlib.pyplot as plt
#from sklearn.cluster import DBSCAN
#from …
kaggle:上输入手机号_过度优化：关于Kaggle的故事。
kaggle:上输入手机号I recently took a stab at a Kaggle competition. The premise was simple, given some information about insurance quotes, predict whether or not the customer who requested the quote will follow through and buy the insurance. Straight forw…
【数据挖掘】时间序列教程【二】
2.4 示例：颗粒物浓度 在本章中，我们将使用美国环境保护署的一些空气污染数据作为运行样本。该数据集由 2 年和 5 年空气动力学直径小于或等于 3.2017 \（mu\）g/m\（^2018\） 的颗粒物组成。 我们将特别关注来自…
【FATE联邦学习】非分类、回归任务，如何获得联邦模型的输出？
一般来说，从FATE框架中获得数据使用get_component(name).get_output_data()。 但是这样子在目前的1.x的FATE中，只能以分类、回归的格式输出才能获得。
如果是图片、文本、token embedding等，用这种方式根本拿不到模型的输出。
经过跟FATE社…
有关3S产业前景的一些思考
作者：朱金灿
来源：blog.csdn.net/clever101
<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />同学之间偶尔小聚，因为都是GIS专业毕业，便讨论起3S产业的前景。这是一个宏大的主题&…
数据挖掘--金融信用评分卡的制作(python)
金融风控模型之如何制作评分卡
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
import warnings
from imblearn.over_sampling im…
【数据挖掘】时间序列教程【一】
第一章 说明 对于时间序列的研究，可以追溯到19世纪末和20世纪初。当时，许多学者开始对时间相关的经济和社会现象进行研究，尝试发现其规律和趋势。其中最早的时间序列研究可以追溯到法国经济学家易贝尔（Maurice Allais）…
什么是爬虫，常见的java爬虫框架有哪些？-蛙课网
随着互联网的发展，编程程序语言也开始被越来越多的人所掌握，与此同时，java语言是使用范围最广的编程语言。今天我们一起了解一下什么是爬虫，java爬虫框架有哪些。
网络爬虫（又称为网页蜘蛛，网络机器人&…
生产制造行业如何选择CRM？有哪些优点？
生产制造行业的特点是市场竞争激烈、客户需求多变、产品更新快速。因此，需要有效地管理销售过程，提高客户满意度，才能提升企业的市场占有率和收益。使用CRM管理系统可以实现这些目标。下面说说生产制造企业CRM软件方案。
Zoho CRM对生产制造…
data.apply(pd.value_counts).fillna(0)用法
利用python进行数据分析data.apply(pd.value_counts).fillna(0)的意思data.apply(pd.value_counts).fillna(0)的意思
import pandas as pd
from pandas import Series, DataFramedata DataFrame({Qu1: [1, 3, 4, 3, 4],Qu2: [2, 3, 1, 2, 3],Qu3: [1, 5, 2, 4, 4]})result …
九、OLAP之多维分析
联机分析处理(On Line Analytical Proccessing，简称OLAP)是目前数据仓库上的重要应用之一，是决策分析的关键，也是数据仓库最重要的多维分析工具，它利用存储在数据仓库中的数据完成各种分析操作，并以直观易懂的形式将分析结果返回给决策人员。它的目标是满足决策支持或多维…
章硕士论文学习——第二章数据挖掘中的聚类方法+时间序列相似性分析
文章目录1 前言2 总结距离度量函数2.1 动态时间弯曲距离 DTW2.2 最长公共子序列距离 LCS2.3 **模式距离 PD1 前言 时间序列相似性度量，是高效时间序列相似比较分析的基础，建立何种度量函数来实现时间序列相似度量直观重要 —— 度量函数的选择!!! 考虑…
第十六章 ConvNeXt网络详解
系列文章目录 第一章 AlexNet网络详解
第二章 VGG网络详解
第三章 GoogLeNet网络详解
第四章 ResNet网络详解
第五章 ResNeXt网络详解
第六章 MobileNetv1网络详解
第七章 MobileNetv2网络详解
第八章 MobileNetv3网络详解
第九章 ShuffleNetv1网络详解
第十章…
千字提炼商业智能BI精髓，言简意赅
商业智能BI的发展和数据的增长有很强的关联性，而当前人工智能、大数据、云计算、物联网、互联网等技术和应用都对数据的增长有促进作用，所以商业智能BI也就伴随着数据的增长，在各行各业的企业中开始发挥作用。
商业智能（Business…
常见的机器学习数据挖掘知识点
常见的机器学习&数据挖掘知识点 Basis(基础)：
SSE(Sum of Squared Error, 平方误差和)SAE(Sum of Absolute Error, 绝对误差和)SRE(Sum of Relative Error, 相对误差和)MSE(Mean Squared Error, 均方误差)RMSE(Root Mean Squared Error, 均方根误差)RRSE(Root …
数据分析入门 | kaggle泰坦尼克任务（三）—＞探索数据分析
系列索引：数据分析入门 | kaggle泰坦尼克任务 文章目录一、探索性数据分析（1）创建一个模拟数据（2）排序（3）利用Pandas进行算术计算一、探索性数据分析
主要介绍利用Pandas进行排序、算术计算以及…
（转）数据挖掘从入门到进阶 要看什么书
做数据挖掘也有些年头了，写这篇文一方面是让我写篇文，朋友作为数据挖掘方面的参考，另一方面也是有抛砖引玉之意，希望能够和一些大牛交流，相互促进，让大家见笑了。 Q&A： Q:学习,最近在看集体…
数据挖掘之数据仓库详述
数据仓库和数据挖掘的OLAP 技术
构造数据仓库涉及数据清理和数据集成，可以看作数据挖掘的一个重要预处理步骤。此外，数据仓库提供联机分析处理(OLAP)工具，用于各种粒度的多维数据分析，有利于有效的数据挖掘。进一步讲，…
数据挖掘基础之数据库
最近出现的一种数据库结构是数据仓库（1.3.2 小节）。这是一种多个异种数据源在单个站点以统一的模式组织的存储，以支持管理决策。数据仓库
技术包括数据清理、数据集成和联机分析处理（OLAP）。OLAP 是一种分析技术&…
葡萄酒数据可视化分析
葡萄酒数据可视化分析
必应壁纸供图
数据集：https://download.csdn.net/download/weixin_53742691/87982219
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as pltwine pd.read_csv("wine_quality/wine_edited.csv")
wine.hea…
数据分析入门 | kaggle泰坦尼克任务（二）—＞pandas基础
系列索引：数据分析入门 | kaggle泰坦尼克任务 文章目录一、pandas基础（1）数据类型（2）基本操作（3）筛选的逻辑（4）loc函数和iloc函数：一、pandas基础
ÿ…
【数据挖掘】时间序列教程【五】
（说明：本文接上回：【数据挖掘】时间序列教程【四】_无水先生的博客-CSDN博客） 上面介绍的傅里叶变换的问题在于，无论是正弦/余弦回归模型形式还是复指数形式，它都需要 操作以计算所有傅里叶系数。有n 数据点和有n/2 可以计算傅里叶系数的频率。每个频率系…
广州大学机器学习与数据挖掘实验二：决策树算法
相关资料
广州大学机器学习与数据挖掘实验一：线性回归 广州大学机器学习与数据挖掘实验二：决策树算法 广州大学机器学习与数据挖掘实验三：图像分类 广州大学机器学习与数据挖掘实验四：Apriori算法 四份实验报告下载链接…
转瞬八年，回首我对要离职员工的四个承诺！
这是傅一平的第360篇原创【提醒：公众号推送规则变了，如果您想及时收到推送，麻烦右下角点个在看，或者把本号置顶】正文开始2012年的一天，我的团队一位核心骨干（以下简称A）敲门进来，说…
数据分析师必学第一课：构建完整的指标体系
正文开始掌握理论知识和编程知识可以被看作入职数据分析师的“敲门砖”。掌握了这些知识，表示候选人对于成为数据分析师有了良好的准备，可以说“万事俱备，欠东风”，而“东风”就是一些实际工作内容和相应的技巧。数据人员如何创造…
神经网络是不是分类算法,人工神经网络分类算法
1、 人工神经网络分类方法
从20世纪80年代末期，人工神经网络方法开始应用于遥感图像的自动分类。目前，在遥感图像的自动分类方面，应用和研究比较多的人工神经网络方法主要有以下几种：
（1）BP（…
深度学习与计算机视觉(11)_基于deep learning的快速图像检索系统
作者： 寒小阳 && 龙心尘 时间：2016年3月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/50856583 http://blog.csdn.net/longxinchen_ml/article/details/50903658 声明：版权所有，转载请联系…
机器学习系列(7)_机器学习路线图(附资料)
作者： 龙心尘 && 寒小阳 时间：2016年2月。 出处：http://blog.csdn.net/longxinchen_ml/article/details/50749614 http://blog.csdn.net/han_xiaoyang/article/details/50759472 声明：版权所有，转载请联系作者…
NLP系列(2)_用朴素贝叶斯进行文本分类(上)
作者：龙心尘 && 寒小阳
时间：2016年1月。
出处：
http://blog.csdn.net/longxinchen_ml/article/details/50597149
http://blog.csdn.net/han_xiaoyang/article/details/50616559
声明：版权所有，转载请联系…
手把手入门神经网络系列(2)_74行代码实现手写数字识别
作者： 龙心尘&&寒小阳 时间：2015年12月。 出处： http://blog.csdn.net/longxinchen_ml/article/details/50281247 http://blog.csdn.net/han_xiaoyang/article/details/50282141 声明：版权所有，转载请联系…
神经网络算法和遗传算法,数据挖掘神经网络算法
神经网络算法与进化算是什么关系?
。
应该没有太大的关系吧，我对遗传算法了解一点，遗传算法主要用来优化神经网络第一次运行时所用的连接权值，因为随机的连接权值往往不能对针对的问题有比较好的收敛效果（Matlab神经网络工具箱…
K-均值（means聚类）算法
K-均值算法 从上图中，我们可以看到，A，B，C，D，E是五个在图中点。而灰色的点是我们的种子点，也就是我们用来找点群的点。有两个种子点，所以K2。 然后，K-Means的算法如下&…
python数据挖掘相关扩展库
扩展库简介Numpy 提供数组支持，以及相应的高效处理函数。 Scipy、Matplotlib、Pandas等库都依赖于它。 Scipy 提供矩阵支持，以及矩阵相关的数值计算模块\ 包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理…
基于关联规则的足球比赛数据分析
1、明确分析的目的和思路
目的：目前，足球比赛作为大众娱乐项目的一种，越来越受到大家的喜爱，其中不乏一些球队死忠、球星铁粉以及“赌球狗”，而希望自己支持的球队获胜也是足球比赛中的一大关注点。针对这种情况&…
【爬虫计划】Scrapy框架的学习及跟课学习 | csdn_Part 01 认识Scrapy框架
【引言】
深夜的宁静，好像更适合学习，尤其是一个人的房间。晚上跟老朋友打了电话，谈论现在和未来。挺好的，比以前坦诚，比以前更相信努力有用。所以加上晚饭前后跟导师的讨论，包括技术栈的需要，…
数据挖掘之关联规则分析
关联规则分析也称为购物篮分析，最早是为了发现超市销售数据库中不同的商品之间的关联关系。
用于寻找数据集中各项之间的关联关系。根据所挖掘的关联关系，可以从一个属性的信息来推断另一个属性的信息。当置信度达到某一阈值时，可以认为规则…
【数据分析与挖掘】数据分析学习及实践记录 | part 05-numpy读取本地数据和索引
有一个人，好久不更博，就没有动力学习。
今天继续，numpy的操作学习。
01numpy读取本地数据
介绍numpy之前，先介绍一下轴的概念。 我是个没有感情的截图机器吗？居然没有笔记一直放截图。
其实是因为老师就是在用图讲…
【数据分析与挖掘】数据分析学习及实践记录 | part 04-numpy数组
在跟上一小节最后一部分视频的时候，太困了。趴着睡了会儿。【41:51】第一个视频真长啊。
01数组的计算和数组的计算
老师先介绍了一下在jupyter 中，数组练习。 很快，我也跟上老师的练习，这部分之前在机器学习的课上有涉及到&…
商业智能BI方案所具备的条件
数据发展的时代，对于企业而言，数据转化为利润的比率越来越大，因此，企业对于数据的依仗程度也越来越大，运用数据的有效手段之一便是商业智能BI，一个好的商业智能BI方案将会衡量各方面的数据来帮助企业领导者…
数据分析入门 | kaggle泰坦尼克任务
这个章节主要是参加DataWhale的数据分析项目过程中的记录，希望能对感兴趣的同学有一些帮助。 目录索引一、章节导航二、其他集合一、章节导航
数据分析入门 | kaggle泰坦尼克任务（一）—＞数据加载和初步观察数据分析入门 | kaggle…
数据分析的一些常见问题
数据分析和数据挖掘，是大数据应用的核心技术，也是大数据应用的关键所在。 数据分析重要，但是，很多时候却不知道该如何去做，面对大量的数据，却无从下手。概括起来，经常面临的困难有： …
企业为什么要使用商业智能?
生活在一个大数据时代之下，光是我们自身，每天都会产生各式各样的数据。对于企业来讲，更是如此。几乎每个大中型企业都有自己的OA系统或ERP系统，日积月累产生大量的数据。这些数据如何处理?如何利用这些数据产生更大的价值?用传统…
数据分析入门 | kaggle泰坦尼克任务（一）—＞数据加载和初步观察
系列索引：数据分析入门 | kaggle泰坦尼克任务 文章目录一、数据加载（1）载入数据（2）逐块读取二、初步观察一、数据加载
本次主要以实战的方式了解数据分析的流程和熟悉数据分析python的基本操作，完成kaggle…
联机分析处理（OLAP）到底是什么？
联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。 当今的数据处理大致可以分成两大类：联机事务处理OLTP、联机分析处理OLAP。OLT…
爬虫教程：如何批量采集知乎
采集网站
【场景描述】通过搜狗搜索的知乎搜索栏目，按关键词搜索采集知乎正文
【入口网址】https://zhihu.sogou.com 【采集内容】
本次采集的数据为知乎文章的标题和内容 l 思路分析
功能点总结：关键词配置链接、翻页、链接抽取、数据抽取
配置思路…
基于Bayesian网络结构学习及推理的转炉煤气调度_孙衎
基于Bayesian网络结构学习及推理的转炉煤气调度
##初衷 写本博客为了分享自己对论文内容的理解和学习，不当之处可以尽情指正。 1、什么是煤气管网？ 煤气管网类似于在地面上的错综复杂的下水道，有很多管道组成，它们为管发生环节叫…
数据分析系列 之3σ规则/依据拉依达准则来剔除异常值
1 相关原理 3σ原则为 数值分布在(μ-σ,μσ)中的概率为0.6827 数值分布在(μ-2σ,μ2σ)中的概率为0.9545 数值分布在(μ-3σ,μ3σ)中的概率为0.9973 可以认为，Y 的取值几乎全部集中在(μ-3σ,μ3σ)区间内，超出这个范围的可能性仅占不到0.3%.
2 代码…
复方药物配伍的复杂网络方法研究
http://journal.shouxi.net/html/qikan/zgyx/zgzyyxxzz/2008111511/zyyxxx/20100118091432206_502404.html 【关键词】 复杂网络；中药复方配伍；核心处方配伍结构 方剂是中医临床治疗疾病的主要手段,是在辨证、立法的基础上选药配伍而成的。在辨证确定病…
CRM发展三个新动态
CRM发展三个新动态
2004/08/18 目前，CRM在银行、电信、保险等行业越来越多地得到应用。纵观国际CRM市场的发展趋势，结合近几年国内CRM的应用的状况，以下几点值得深思和探讨。 1．业务需求方面，企业将关注点越来越多…
几个著名的web数据挖掘方向的公司介绍
转摘自：数据挖掘讨论组几个著名的web数据挖掘方向的公司介绍Net Perceotion公司： 这个公司在1996年7月成立，在吸引了众多风险投资后，于1999年4月在Nasdaq上市，其代号是NETP。这个公司有一大特色，它宣称在使…
监控系统和网络入侵Python流式数据异常检测
流式处理方法可以有效地处理实际应用程序的有限内存和处理时间要求。这些方法只存储和处理一个实例或最近实例的一个小窗口。近年来，已经为异常检测和流数据开发了各种免费和开源软件 (FOSS)。然而，这些软件包要么缺乏对异常检测的关注，要么是…
Python 地理空间分析
前文
我们将快速浏览 Python 的（空间）数据科学生态系统，并了解如何使用一些基本的开源 Python 包，例如：
pandas / geopandasshapelypysalpyprojosmnx / pyrosmmatplotlib (visualization)
如您所见，我们…
Python 高阶Lambda函数的四种常见错误
Lambda 函数是 Python 中的匿名函数。当你需要完成一件小工作时，在本地环境中使用它们可以让工作得心应手。有些人将它们简称为 lambdas，它们的语法如下：
lambda arguments: expression
lambda 关键字可以用来创建一个 lambda 函数&am…
MMSegmentation跑自己的数据进行二分类
官方文档：https://mmsegmentation.readthedocs.io/ 我的数据是RGB影像为.tif，标签影像为单通道（0-255）的.png影像，背景像素值为0，建筑物像素值为255 制作自己的数据集进行二分类步骤如下： 1、在…
streamlit快速部署-SCADA数据分析
通过建立一个SCADA数据分析的web app，简单介绍一下streamlit的使用及部署上线。 文中代码请详见GitHub: https://github.com/SooHooLee/test 项目的web app请详见： https://share.streamlit.io/soohoolee/test/data_analysis.py Streamlit快速部署1. 什么…
论文学习——水文时间序列模体挖掘
文章目录1 摘要2 引用2.1 模体挖掘的概念2.2 时间序列模体挖掘2.3 前人工作3 文献[9]模体挖掘算法分析3.1 经典符号化方法写在前面：期刊：《水利学报》；中国水利局；月刊；中文核心期刊
作者信息： 1 摘要 模…
R 与甲骨文数据挖掘
特点
使用 Oracle Data Miner 和 Oracle R Enterprise 自动化预测分析过程深入了解企业中常用的各种统计模型，以及如何使用各种 SQL、PLSQL、ORE、ODM 和本机 R 包将它们自动化以进行预测分析了解 ODM 工作流程中用于驾驶自动化的各种可用选项了解使用 PLSQL 集成 …
数据挖掘-基于机器学习的SNS隐私策略推荐向导分类器的C++及WEKA实现与评估
本文接《基于机器学习的SNS隐私保护策略推荐向导的设计与实现》，详细解析基于机器学习的SNS隐私策略推荐向导分类器的C及WEKA实现与评估结果，本文完整C程序及JAVA工程下载链接见点击打开链接，对数据挖掘和SNS感兴趣的朋友可以下载跑一下&…
强化学习(一)：简介——什么是强化学习？
本文将介绍强化学习的基本含义，了解什么是强化学习、强化学习的概念与基本框架以及强化学习中常见的问题类型。
什么是强化学习？ 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，…
数据分析入门 | kaggle泰坦尼克任务（四）—＞数据清洗及特征处理
系列索引：数据分析入门 | kaggle泰坦尼克任务 文章目录一、数据清洗及特征处理（1）数据清洗简述（2）观察缺失值（3）缺失值处理（4）重复值的处理（5）特征…
“摸鱼期间”！闲暇之余看看GitHub星标70K阿里大佬手写的Spring Boot实战手册，真不错！
Spring Boot作为目前开发者们的必备技能之一，怎样才能精通呢？
今天小编就给大家分享一份GitHub星标70K阿里大佬手写的Spring Boot实战手册：
手册总览： 篇幅限制，这里就不全部展示出来了。需要获取完整版Spring Boot实…
【机器学习-＞预处理】pandas数据预处理：读取csv、处理缺失数据、转换为tensor
pandas数据预处理
新建csv
import osos.makedirs(os.path.join(.., data), exist_okTrue)
data_file os.path.join(.., data, house_tiny.csv)
with open(data_file, w) as f:f.write(NumRooms,Alley,Price\n)f.write(NA,Pave,127500\n)f.write(2,NA,106000\n)f.write(4,NA,…
阿里数据研发/数据挖掘提前批录用
纪念一下今天，第一个OFFER，感谢阿里！秋招开始！大家加油！
面经和学习总结在其他博客里面有，欢迎相互讨论和学习！ 2019-12-11更：
又是一年的毕业季，希望师弟师妹们有个好…
入门机器学习必备课：一站搞定概念+算法+实践
了解更多Greenplum相关内容，欢迎访问Greenplum中文社区网站 “对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我称这个计算机程序在从经验E中学习”——Tom M. Mitchell 人工智能是计算机科学的一个…
机器学习系列(9)_机器学习算法一览（附Python和R代码）
本文资源翻译酒酒Angie：伊利诺伊大学香槟分校统计学同学，大四在读，即将开始计算机的研究生学习。希望认识更多喜欢大数据和机器学习的朋友，互相交流学习。
内容校正调整：寒小阳 && 龙心尘 时间：2…
加入BOINC——为人类科技做出你的贡献
文章目录什么是BOINC?如何利用你的计算机为BOINC做贡献？计算机的运行状况怎么证明你真的为了科学做出了一、、贡献？过年在家不知道干嘛？吃鸡老是落地成盒？王者老是送人头？不如来拿你的电脑or废旧手机做点高大上的志愿…
总说业务，到底业务常用的指标有哪些
↑ 点击上方 “可乐的数据分析之路” 关注 星标 ~ 大概率每天早8点25更新 今天和大家一起精读一本最近很火热的数据分析新书——《数据分析思维：分析方法和业务知识》，作者猴子数据分析学院。全书分为两大块，第一块内容是方法论，…
红包抽奖+送书，快来参与！
Hello，各位小伙伴，端午节快乐呀，端午节给大家送上3本书外加一个抽奖红包。送什么书要送给大家3本书，先来看看是哪3本，后面会奉上获取的方式。NO.1 赤裸裸的统计学 先说书吧，第一本是我曾经写过的读后感&…
怎样绘制漂亮的统计图表｜不一样的折线图
Hello大家好，怎样绘制漂亮的统计图表系列又和大家见面啦！上一期 怎样绘制漂亮的统计图表｜柱状图的正确打开方式 讲了柱状图，这期我们来聊一聊折线图。上期在『早起python』与『可乐的数据分析之路』公众号给大家提供了本期的练习数…
Python数据结构：字典那些事儿
写在前面本系列适合0基础的人食用，这是利用Excel学习Python系列的第5篇文章之前的列表都复习好了吗：python数据结构:列表are u ready？另一种数据结构：字典，要来了字典（dict），是用大括…
数据挖掘之时间序列分析
按时间顺序排列的一组随机变量X1,X2,…,Xt表示一个随机事件的时间序列。
时间序列分析的目的是给定一个已被观测了的时间序列，预测该序列的未来值。 表1 常用的时间序列模型模型名称描述平滑法 常用于趋势分析和预测，利用修匀技术，削弱短期随…
协同过滤推荐技术漫谈
如果说过去的十年是搜索技术大行其道的十年，那么个性化推荐技术将成为未来十年中最重要的革新之一。目前几乎所有大型的电子商务系统，如Amazon、CDNOW、Netflix等，都不同程度地使用了各种形式的推荐系统。而近来以“发现”为核心的网站正开始…
个人数据管理将改变行业格局
腾讯科技讯（清雨）北京时间8月2日消息，据国外媒体报道，许多科技初创企业正在个人数据管理这个新兴市场上展开竞争，寻找自己的立足之地，该市场的发展可能会对苹果、谷歌(微博)和微软等公司的业务产生巨大的影…
One-hot编码以及TF-IDF方法
One-hot编码
在进行机器学习的时候，我们通常是输入一组特征，然后经过算法，得到结果。机器学习的本质是通过已有的数据，从中得到规律，并且根据规律对未知的值进行预测。那么现实生活中我们想要学习数据，就算…
统计学专业未来从事大数据方向有优势吗？
根据现在工业界的大数据就业情况来说（对于一般同学而非牛人），统计从事大数据来说优势小。对一般数据分析甚至建模有一定优势。
我这篇回答面向的是大部分水平还可以的统计本科生，他们也努力学习了专业课，编程基础一般…
决策树学习 之 ID3算法原理
ID3算法是J. RossQuinlan在1975提出的分类预测算法，当时还没有数据挖掘吧，哈哈哈。该算法的核心是“信息熵”,属于数学问题，我也是从这里起发现数据挖掘最底层最根本的不再是编程了，而是数学，编程只是一种实现方式而已…
在线难例挖掘:Online Hard Example Mining (OHEM)
详细链接：https://erogol.com/online-hard-example-mining-pytorch/
OHEM通过减少计算成本来选择难例，提高网络性能。它主要用于目标检测。假设你想训练一个汽车检测器，并且你有正样本图像(图像中有汽车)和负样本图像(图像中没有汽车)。现在…
线性回归---波士顿房价数据集（改）
这里我们用到了特征筛，为什么要进行特征进行选择？ 在一个数据集中，我们需要找出对因变量影响显著的变量，对于显著性较低的我们进行剔除，留下显著性高的特征把它们加入模型，从而使我们的模型复杂度更低&…
生信豆芽菜-单基因与基因集的关系
网址：http://www.sxdyc.com/panCancerGeneSet 该工具主要用于查看单基因在泛癌中与各个不同基因集的相关性
提交后等待运行成功即可，还可以关注公众号：豆芽数据分析
专利学习—— 一种基于聚类的水文降雨一致区分析方法
文章目录1 所属领域：属于水文水资源和数据挖掘交叉领域2 步骤分析2.1 根据单场降雨分割规则进行分割，获得单场降雨时间序列2.2 统计单场降雨时间序列的特征量，将每场降雨用一个n维特征向量表示2.3 使用主成分变换，保留特征值贡献率…
【海量数据挖掘/数据分析】 之 K-NN 分类(K-NN、K-NN实例、准确率评估方法、准确率、召回率)
【海量数据挖掘/数据分析】 之 K-NN 分类(K-NN、K-NN实例、准确率评估方法、准确率、召回率) 目录
【海量数据挖掘/数据分析】 之 K-NN 分类(K-NN、K-NN实例、准确率评估方法、准确率、召回率)
一、 K-NN 简介
二、K-NN 分类
三、K-NN 分类实例
1、1-NN 分类 : 此时 A 类别…
专利学习——基于单场降雨类型的降雨站点相似性评价方法
文章目录1 所属领域：水文水资源与数据挖掘技术交叉领域2 步骤分析2.1 提取统计特征量2.2 对2.1中的特征向量，进行均值为0，方差为1的标准化2.3 对特征向量进行聚类2.4 得到N个类别之后，对每个类别降雨场次进行归一化处理࿰…
论文学习——分段时间序列相似性研究与应用
文章目录1 时间序列挖掘 (TSDM, Time Series Data Mining)1.1 研究时间序列相似性度量方式1.2 研究时间序列分段表示方式1.3 降雨时间序列数据集2 数据挖掘中的聚类方法及时间序列相似性分析2.1 聚类的定义2.2 K-means的局限性写在前面：这是一篇硕士论文。我的idea被…
机器学习入门笔记 人工智能 黑马程序员
机器学习入门笔记 前言
这个是根据“黑马程序员”的一套机器学习课程编写的博客。这篇博客上的案例均为课程里面的，但并没有包含所有案例，只是记录了部分。 B站视频地址 文章目录机器学习入门笔记前言特征工程Tf-idf文本特征提取Tf-idf介绍Tf-idf的重要…
pandas中的DataFrame 的values 方法
文章目录1 DataFrame对象2 .values 属性3 .columns 列索引4 .index 行索引pandas 的DataFrame 对象，是机器学习人必备的知识！ 1 DataFrame对象
最常用的就是 pd.read_csv ， 可以返回一个 DataFrame 对象。
import pandas
data_pd pd.read_…
腾讯优图开源深度学习推理框架TNN，助力AI开发降本增效
从学界到工业界，“开源”已经成为AI领域的一个关键词。一方面，它以“授人以渔”的方式为AI构建了一个开放共进的生态环境，帮助行业加速AI应用落地；另一方面，在解决行业实际问题时持续更新和迭代，源源不断地…
还没期末考试，算法却说我的物理一定挂科
By 超神经场景描述：大学物理是理工科学生的基础必修课程，但也因为有一定的难度，令很多学生望而生畏。研究人员提出了用 AI 算法预测，哪些学生物理课有挂科风险，好让老师更好地进行教学指导和调整教育资源的分配。关键词…
人工智能应用-推荐系统概述 2021-11-20
人工智能基础总目录 推荐系统概述人工智能基础总目录一、AI 概述机器学习的模型十大模型1 分类算法2 聚类算法3 关联分析4 连接分析5 python相关算法包深度学习的模型1 深度学习的经典网络模型2 深度学习框架二、推荐系统概述1.机器如何找到这些适合你的商品1 推荐实现方法2 收…
Matlab基本的小常识
文章目录Matlab基本的小常识输出和输入函数(disp 和 input)两个字符串的合并有两种方法sum函数提取矩阵中指定位置的元素size函数repmat函数矩阵的运算求特征值和特征向量find函数的基本用法矩阵与常数的大小判断运算判断语句Matlab基本的小常识
% (1) 在每一行的语句后面加上…
python爬取IHO，上证50，以及两个上证ETF基金并进行对比
IHO在新浪财经爬取 上证50在东方财富网爬取 另外两个上证ETF基金编号分别为510100, 510050在同花顺上爬取
这些网站的图表数据都是通过json传递的 所以找到对应的api即可抓取数据
以下是单纯分析上证50的源代码 显示涨幅的折线图以及存储涨幅数据的EXCEL
# -*- coding: utf-…
Python爬虫在电商数据挖掘中的应用
作为一名长期扎根在爬虫行业的专业的技术员，我今天要和大家分享一些有关Python爬虫在电商数据挖掘中的应用与案例分析。在如今数字化的时代，电商数据蕴含着丰富的信息，通过使用爬虫技术，我们可以轻松获取电商网站上的产品信息、用…
【数据分析】pandas (三)
基本功能
在这里，我们将讨论pandas数据结构中常见的许多基本功能 让我们创建一些示例对象： index pd.date_range(“1/1/2000”, periods8) s pd.Series(np.random.randn(5), index[“a”, “b”, “c”, “d”, “e”]). df pd.DataFrame(np.random.…
基于weka手工实现KNN
一、KNN模型
K最近邻（K-Nearest Neighbors，简称KNN）算法是一种常用的基于实例的监督学习算法。它可以用于分类和回归问题，并且是一种非常直观和简单的机器学习算法。
KNN算法的基本思想是：对于一个新的样本数据&…
8 | 美国航班数据分析
"在现代快节奏的生活中，航空旅行已经成为人们出行的重要方式之一。然而，航班的准时性一直以来都是旅客和航空公司关注的焦点。无论是商务出差还是休闲度假，乘客们都希望能够在既定的时间内安全、准时地到达目的地。而对于航空公司而言，准点运营不仅关乎乘客体验，还涉…
（2）原神角色数据分析-2
功能一：
得到某个属性的全部角色，将其封装在class中
"""各元素角色信息：一对多"""
from pandas import DataFrame, Series
import pandas as pd
import numpy as npclass FindType:# 自动执行，将…
7个顶级开源数据集来训练自然语言处理（NLP）和文本模型
推荐：使用 NSDT场景编辑器快速助你搭建可二次编辑的3D应用场景 NLP现在是一个令人兴奋的领域，特别是在像AutoNLP这样的用例中，但很难掌握。开始使用NLP的主要问题是缺乏适当的指导和该领域的过度广度。很容易迷失在各种论文和代码中ÿ…
![[小尘送书-第二期]《Power BI数据分析与可视化实战》数据清洗、数据建模、数据可视化设计与高级技法](https://img-blog.csdnimg.cn/8db00f7e59664a5fa80e4db1934c5666.png#pic_center)
[小尘送书-第二期]《Power BI数据分析与可视化实战》数据清洗、数据建模、数据可视化设计与高级技法
大家好，我是小尘，欢迎你的关注！大家可以一起交流学习！欢迎大家在CSDN后台私信我！一起讨论学习，讨论如何找到满意的工作！ 👨💻博主主页：小尘要自信 …
爬虫如何应对网站的反爬机制？如何查找user-agent对应的值
import requestsurl https://movie.douban.com/top250
response requests.get(url)
# 查看结果
print(response)在requests使用一文中我们有讲到，当状态码不是200时表示爬虫不可用，也就是说我们获取不到网页源代码。但是我们还是可以挣扎一下ÿ…
ImageNet1000分类，CIFAR10分类， CIFAR100分类【英文原版，中文翻译版】
在训练模型时，可以用imagenet或者 CIFAR进行分类训练，下面是一些分类介绍 目录 一、ImageNet10001、官网网址2、官方英文版分类3、去编号英文版4、中文翻译版 二、CIFAR101、官网网址2、官方英文版3、中文翻译版 三、CIFAR1001、官网地址2、官方英文版3、…
（5）所有角色数据分析页面的构建-5
所有角色数据分析页面，包括一个时间轴柱状图、六个散点图、六个柱状图(每个属性角色的生命值/防御力/攻击力的max与min的对比)。
"""绘图"""
from pyecharts.charts import Timeline
from find_type import FindType
import pandas …
25 | 葡萄酒质量数据分析
基于kaggle提供的公开数据集，对全球葡萄酒分布情况和质量情况进行数据探索和分析 from kaggle： https://www.kaggle.com/zynicide/wine-reviews
分析思路： 0、数据准备 1、葡萄酒的种类 2、葡萄酒质量 3、葡萄酒价格 4、葡萄酒描述词库 5、品鉴师信息 6、总结 0、数据准备 …
【数学建模】--因子分析模型
因子分析有斯皮尔曼在1904年首次提出，其在某种程度上可以被看成时主成分分析的推广和扩展。 因子分析法通过研究变量间的相关稀疏矩阵，把这些变量间错综复杂的关系归结成少数几个综合因子，由于归结出的因子个数少于原始变量的个数，…
2023年7月京东扫地机器人行业品牌销售排行榜（京东数据产品）
伴随消费者解放双手的消费需求，我国清洁电器行业快速发展。且随着消费回暖，我国扫地机器人市场也开始慢慢走出寒冬，止跌回升。
根据鲸参谋电商数据分析平台的相关数据显示，今年7月份，京东平台扫地机器人的销量为16万&…
【数学建模】逻辑回归算法(Logistic Resgression)
逻辑回归算法 简介逻辑回归与条件概率绘制sigmoid函数 简介 逻辑回归算法是一种简单但功能强大的二元线性分类算法。需要注意的是，尽管"逻辑回归"名字带有“回归”二字，但逻辑回归是一个分类算法，而不是回归算法。 我认为ÿ…
月薪五W前辈偷偷告诉我，Python后端工程师这样面试绝对稳
面试其实还是要区分对待的，行内老牛和新人在不同的方向上都有各自的特点，包括老牛们丰富的经验、全面的眼界等等，也包括新人的锐气和新的思维观念。 如果正在Python这条路上愁眉不展的话，可以私信小编我“资料”我收集了不少强力资…
PHP请求API接口对接电商平台亚马逊国际站按关键字搜索商品案例
关键词搜索商品API接口的用途主要包括以下几个方面：
实现商品搜索：通过关键词搜索商品API接口，电商平台可以为消费者提供一个简单、快捷的商品搜索功能。用户只需输入关键词，就可以得到与该关键词相关的商品列表。
提供便捷的商…
基于rsesnet网络架构的图像分类模型
数据预处理部分：
数据增强：torchvision中transforms模块自带功能，比较实用数据预处理：torchvision中transforms也帮我们实现好了，直接调用即可DataLoader模块直接读取batch数据
网络模块设置：
加载预训练…
如何用Pandas更改行或列顺序？如何交换奇偶行或列顺序？
所有需要数据可以从该网址下载：https://github.com/datawhalechina/joyful-pandas
列或行顺序修改
方法一、reindex法更改行或列（定义一个列表，直接对index排序实现行顺序更改，对column排序进行列更改）但这种方法&am…
百度智能云 x 徐工挖机 | 实现数据智能，释放工业大数据价值
徐州，自古以来便是钟灵毓秀之地，近年来更是有“中国工程机械之都”的美称。但你或许没想到的是，在这座千年古城，一支制造业的王牌正在用新的大数据“武器”，加速数字化升级，为智能制造加码。徐州徐工挖掘机…
名老中医经验继承研究现状及“中医处方智能分析系统”应用前景
http://journal.shouxi.net/html/qikan/zgyx/zgzyyxxzz/20105175/ztlt/20100702100858842_535823.html 【关键词】 老中医经验;中医处方智能分析系统;应用前景
中医学是世界医学中的瑰宝,疗效卓著。目前,中医现代化发展创新得到社会普遍关注,而中医继承研究在创新中的作用却常…
28 | Boss直聘数据分析
针对boss直聘网的招聘信息，然后分析互联网发展排名前十的城市在互联网方面职位的薪水，学历要求，经验要求，等等信息。
准备从以下几个方面进行分析：
（1）各个城市的平均工资 （2）各个学历的平均工资 （3）各个岗位的平均工资 （4）不同工作经验要求的工资 （5）各个经验…
python数据分析和数据挖掘之numpy模块函数大全
一、numpy模块
numpy模块可以进行数据的高效处理，提供数组支持，是我们后续学习其他的函数库的基础。
二、numpy的安装与引用
numpy可以通过外部安装方式进行安装，外部安装前的准备工作：准备一台安装了python的联网的计算机。 1…
数据挖掘 - 概述篇
文章目录数据挖掘 - 概述一、历史二、定义三、本质四、过程预处理数据挖掘结果验证五、隐私问题及伦理六、技术1. 统计学：2. 机器学习：3. 数据库系统与数据仓库：七、例子八、工具九、科学计算库参考资料数据挖掘 - 概述 数据挖掘（…
python散点图将整个区域分为10乘10个网格并依次编号
#将散点图分为10乘10个网格并依次编号
from matplotlib import pyplot as plt
import matplotlib as mpl
import pandas as pd
import numpy as np
mpl.rcParams["font.sans-serif"]["LiSu"]
mpl.rcParams["axes.unicode_minus"]False
datapd.re…
实在智能RPA机器人@你，电商RPA助力商家双12步步高升
如今，实在RPA已能全方位实现电商商家店铺运营自动化，助力获客成本大、用工成本高等难题的解决，推动电商品牌提高运营效率、促进店铺销量提升；而当微信进一步开放电商外链，对于社交电商新玩法，实在RPA又能为…
WEKA使用教程(经典教程转载)
WEKA使用教程
目录 1. 简介 2. 数据格式 3.数据准备 4. 关联规则（购物篮分析） 5. 分类与回归 6. 聚类分析
1. 简介 WEKA的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），它的源代码可通…
TCGA数据下载推荐：R语言easyTCGA包
#使用easyTCGA获取数据
#清空
rm(listls())
gc()
# 安装bioconductor上面的R包
options(BioC_mirror"https://mirrors.tuna.tsinghua.edu.cn/bioconductor")
if(!require("BiocManager")) install.packages("BiocManager")
if(!require("TC…
文本挖掘 day5：文本挖掘与贝叶斯网络方法识别化学品安全风险因素
文本挖掘与贝叶斯网络方法识别化学品安全风险因素 1. Introduction现实意义理论意义提出方法，目标 2. 材料与方法2.1 数据集2.2 数据预处理2.3 关键字提取2.3.1 TF-IDF2.3.2 改进的BM25——BM25WBM25BM25W 2.3.3 关键词的产生(相关系数) 2.4 关联规则分析2.5 贝叶斯…
数据挖掘-关联分析频繁模式挖掘Apriori、FP-Growth及Eclat算法的JAVA及C++实现
(update 2012.12.28 关于本项目下载及运行的常见问题 FAQ见 newsgroup18828文本分类器、文本聚类器、关联分析频繁模式挖掘算法的Java实现工程下载及运行FAQ )
一、Apriori算法Apriori是非常经典的关联分析频繁模式挖掘算法，其思想简明，实现方便…
保存位置不同，多个文件如何统一命名并给文件编号
在日常工作中，我们会经常碰到文件或文件夹需要整理归类下，或文件（夹）需要统一名称再编号下再保存，也方便日后用到文件时可以快速找到文件。大家有没有碰到文件多个，但是文件的保存位置不一样，并…
R语言实现随机生存森林（2）
library(survival)
library(randomForestSRC)
help(package"randomForestSRC")
#构建普通的随机生存森林
data(cancer,package"survival")
lung$status<-lung$status-1
rfsrc.fit1 <- rfsrc(Surv(time, status) ~ ., lung,ntree 100,block.size 1,…
数据挖掘-基于贝叶斯算法及KNN算法的newsgroup18828文本分类器的JAVA实现（上）
(update 2012.12.28 关于本项目下载及运行的常见问题 FAQ见 newsgroup18828文本分类器、文本聚类器、关联分析频繁模式挖掘算法的Java实现工程下载及运行FAQ )
本文主要内容如下：对newsgroup文档集进行预处理，提取出30095 个特征词
计算每篇文档中的特征…
数据挖掘-决策树ID3分类算法的C++实现
数据挖掘课上面老师介绍了下决策树ID3算法，我抽空余时间把这个算法用C实现了一遍。
决策树算法是非常常用的分类算法，是逼近离散目标函数的方法，学习得到的函数以决策树的形式表示。其基本思路是不断选取产生信息增益最大的属性来划分样例集和…
44 | 酒店预订及取消的数据分析
1.背景介绍
数据集来自Kaggle网站上公开的Hotel booking demand项目
该数据集包含了一家城市酒店和一家度假酒店的预订信息，包括预订时间、入住时间、成人、儿童或婴儿数量、可用停车位数量等信息。
数据集容量约为12万32
本次数据分析主要包含如下内容： 总览数据，完成对…
数据可视化工具的三大类报表制作流程分享
电脑（pc）、移动、大屏三大类型的BI数据可视化报表制作步骤基本相同，差别就在于尺寸调整和具体的报表布局。这对于采用点击、拖拉拽方式来制作报表的奥威BI数据可视化工具来说就显得特别简单。接下来，我们就一起看看不这三大类型的…
数据挖掘—概念空间挖掘FindS算法的C++实现
该算法是概念空间挖掘最简单的算法，只考虑了正实例，不断做泛化，实际上求得了一个最特化边界
概念挖掘需求 C实现
#include <iostream>
#include <string>
using namespace std;
#define MAXTRAIN 4
#define MAXLEN 7int main()…
Python爬虫之解决浏览器等待与代理隧道问题
作为专业爬虫程序员，我们往往需要应对一些限制性挑战，比如浏览器等待和使用代理隧道。在Python爬虫开发中，这些问题可能会导致我们的爬虫受阻。本文将为你分享解决这些问题的方案，帮助你顺利应对浏览器等待和代理隧道的挑战&#…
数据挖掘—概念学习Candidate-Elimination算法的C++实现
Candidate-Elimination算法是数据挖掘中的一种概念学习算法，部分解决Find-S的不足，可以输出所有与训练样本一致的概念，同时利用概念间偏序关系来指导搜索，其伪代码描述如下 Initialize Gto the set of most-general hypotheses in…
R语言实现计算净重新分类指数（NRI）和综合判别改善指数（IDI）
两个模型比较，与第一个模型相比，NRI（重新分对的 - 重新分错的）/总人数。IDI（新模型患者平均预测概率-旧模型患者平均预测概率）-（新模型非患者平均预测概率-旧模型非患者平均预测概率）…
快手商品详情数据API 抓取快手商品价格、销量、库存、sku信息
快手商品详情数据API是用来获取快手商品详情页数据的接口，请求参数为商品ID，这是每个商品唯一性的标识。返回参数有商品标题、商品标题、商品简介、价格、掌柜昵称、库存、宝贝链接、宝贝图片、商品SKU等。
接口名称：item_get
公共参数
名…
使用ggplot2绘制热图（1）
#使用ggplot2绘制热图
library(ggplot2)
#清空
rm(listls())
gc()
# 创建数据集
data <- mtcars
# 计算相关系数矩阵
cor_matrix <- cor(data)
# 将相关系数矩阵转换为长格式（用于绘制热图）
cor_data <- reshape2::melt(cor_matrix)
str(cor_da…
企业中商业智能BI，常见的工具和技术
商业智能（Business Intelligence，简称BI）数据可视化是通过使用图表、图形和其他可视化工具来呈现和解释商业数据的过程。它旨在帮助组织更好地理解和分析他们的数据，从而做出更明智的商业决策。
常见的商业智能数据可视化工具和技…
地理数据的双重呈现：GIS与数据可视化
前一篇文章带大家了解了GIS与三维GIS的关系，本文就GIS话题带大家一起探讨一下GIS和数据可视化之间的关系。
GIS（地理信息系统）和数据可视化在地理信息科学领域扮演着重要的角色，它们之间密切相关且相互增强。GIS是一种用于采集、…
从数据到价值：数据中台如何加速数字化转型？
在当今数字化时代，数据已经成为企业成功的关键因素之一。企业不再只是生产产品或提供服务，而是需要从大量的数据中获取洞察，优化运营并创造价值。在这个背景下，数据中台成为了加速数字化转型的重要策略之一。本文将深入探讨数据中…
2023年京东榨汁机行业数据分析（京东数据开放平台）
如今，随着消费不断升级，人群不断细分，使得消费需求呈现多样化，小家电市场中不少新兴品类都受到消费者的关注。其中，伴随消费者对健康生活方式的认识不断提高，以及各种蔬菜、水果的供应，榨汁机逐…
重庆人最爱汗蒸，东莞人最爱唱K？美团大数据分析
美团是中国最大的团购和线下服务公司，为用户提供衣食住行等各种生活服务，它是线下经济的一面镜子。
最近抓取了美团数据，期望通过对美团大数据的分析，发现空缺的市场，同时也发现了一些有趣的结论。
数据来源
根据国…
卷积神经网络教程 (CNN) – 使用 TensorFlow 在 Python 中开发图像分类器
在这篇博客中，让我们讨论什么是卷积神经网络 (CNN) 以及 卷积神经网络背后的架构——旨在解决 图像识别系统和分类问题。 卷积神经网络在图像和视频识别、推荐系统和自然语言处理方面有着广泛的应用。 目录 计算机如何读取图像？ 为什么不是全连接网络？
【IEEE会议】第二届IEEE云计算、大数据应用与软件工程国际学术会议 (CBASE2023）
第二届IEEE云计算、大数据应用与软件工程国际学术会议 (CBASE2023）
随着大数据时代的到来，对数据获取的随时性和对计算的需求也在逐渐增长。为推动大数据时代的云计算与软件工程的发展，促进该领域学术交流，在CBASE 2022成功举办的…
机器学习之无监督学习：聚类
前置准备
推荐安装Python3.8及以上环境，选择一款适合的开发环境，下载案例所需的实验数据（提取码：BigG），安装必备的第三方库如下图：
K-means方法及应用
实现机理
K-means算法以k为参数&…
python处理卫星云图获取亮温值
在处理卫星云图hdf文件时，matlab非常好用，但随着python的流行，还是想学习一下python处理卫星云图数据获取亮温值。
我处理数据的前提是：
根据最佳路径数据集，获取经纬度和时间。根据时间找对应的hdf文件，…
生信豆芽菜-oncoPredict预测药物的敏感性
网址：http://www.sxdyc.com/drugOncoPredict 1、数据准备 准备一个行为基因，列为样本的表达谱矩阵即可
2、选择训练集数据库，提交等待运行成功即可
3、结果
当然，如果不清楚数据是什么样的，可以选择下载我们的示…
奥威BI数据可视化工具：360度呈现数据，告别枯燥表格
随着企业数据量的不断增加，如何有效地进行数据分析与决策变得越来越重要。奥威BI数据可视化工具作为一款强大的数据分析工具，在帮助企业深入挖掘数据价值方面具有显著优势。
奥威BI数据可视化工具是一款基于数据仓库技术的数据分析工具，具有…
泰迪大数据挖掘建模平台功能特色介绍
大数据挖掘建模平台面相高校、企业级别用户快速进行数据处理的建模工具。 大数据挖掘建模平台介绍 平台底层算法基于R语言、Python、Spark等引擎，使用JAVA语言开发，采用 B/S 结构，用户无需下载客户端，可直接通过浏览器进行…
Streamlit 讲解专栏（十）：数据可视化-图表绘制详解（上）
文章目录 1 前言2 st.line_chart：绘制线状图3 st.area_chart：绘制面积图4 st.bar_chart：绘制柱状图5 st.pyplot：绘制自定义图表6 结语 1 前言
在数据可视化的世界中，绘制清晰、易于理解的图表是非常关键的。Streamlit…
财务数据分析模板有哪些，能满足决策吗？
虽然企业的业务经营各有不同，但在财务数据分析上却有着相似的需求与流程，因此财务数据分析是可以形成一套标准化模板的。奥威BI数据可视化工具从多年丰富的BI项目中总结经验，形成一套标准化、系统化的财务数据分析模板，内含资产负…
A 题国际旅游网络的大数据分析-详细解析与代码答案（2023 年全国高校数据统计与调查分析挑战赛
请你们进行数据统计与调查分析，使用附件中的数据，回答下列问题： ⚫ 问题 1: 请进行分类汇总统计，计算不同国家 1995 年至 2020 年累计旅游总人数，从哪个国家旅游出发的人数最多，哪个国家旅游到达的人数最多…
分享图片 | 快速浏览网页资源，批量保存、一键分享图片
前言
小伙伴学习吉他，有时需要在互联网搜索曲谱资源，而多数曲谱均为图片，并且为多页，在电脑上显示练习很不方便，需要停下来点击鼠标进行翻页，影响练习的连贯性。
为了解决上述问题，通常把图片…
用加持了大模型的 Byzer-Notebook 做数据分析是什么体验
Byzer-Notebook 是专门为 SQL 而研发的一款 Web Notebook。他的第一公民是 SQL，而 Jupyter 则是是以 Python 为第一公民的。 随着 Byzer 引擎对大模型能力的支持日渐完善， Byzer-Notebook 也在不自觉中变得更加强大。我和小伙伴在聊天的过程中才发现他已…
统计学补充概念06-层次聚类
概念
层次聚类是一种将数据点组织成层次结构的聚类方法，它逐步合并或划分数据点以形成聚类。这种方法不需要预先指定要形成的聚类数量，而是通过一系列步骤来建立聚类层次。层次聚类可以分为两种主要类型：凝聚型和分裂型。
凝聚型层次聚类&a…
窗口函数大揭秘！轻松计算数据累计占比，玩转数据分析的绝佳利器
上一篇文章《如何用窗口函数实现排名计算》中小编为大家介绍了窗口函数在排名计算场景中的应用，但实际上窗口函数除了可以进行单行计算，还可以在每行上打开一个指定大小的计算窗口，这个计算窗口可以由SQL中的语句具体指定，大到整个…
数字孪生在文物保护中的复原和展示
随着科技的迅猛发展，数字孪生技术正在逐渐引起文化遗产领域的重视。数字孪生作为一种虚拟仿真技术，不仅可以在虚拟环境中重现文物和遗产，还能为文物保护带来前所未有的创新和应用。本文带大家一起探讨数字孪生在文物保护方面的应用࿰…
一文速学-LightGBM模型算法原理以及实现+Python项目实战
LighGBM
前言
LighGBM作为GBDT算法的衍生模型，在其他论文研究以及数学建模比赛中十分常见。如果不熟悉GBDT算法的可以去看看我的上一篇文章，过多关于GBDT的细节不再过多描述。主要将讲述一下LighGBM较于GBDT算法的改进以及独特算法细节优化，…
生信豆芽菜-缺氧评分的计算
网址：http://www.sxdyc.com/gradeHypoxia 1、数据准备 表达谱数据，行为基因，列为样本
2、提交后，等待运行成功即可下载
当然，如果不清楚数据是什么样的，可以选择下载我们的示例数据，也可以…
电商平台按关键字搜索商品淘宝京东拼多多api接口PHP示例
关键词搜索商品接口的作用是通过调用接口来实现在电商平台中进行商品搜索。具体而言，该接口可以提供以下功能和作用：
商品搜索：用户可以通过输入关键词，在电商平台上进行商品搜索。接口可以根据关键词对商品的名称、描述、标签等…
一文速学-让神经网络不再神秘，一天速学神经网络基础（一）
前言
思索了很久到底要不要出深度学习内容，毕竟在数学建模专栏里边的机器学习内容还有一大半算法没有更新，很多坑都没有填满，而且现在深度学习的文章和学习课程都十分的多，我考虑了很久决定还是得出神经网络系列文章，…
Kaggle回归问题Mercedes——Benz Greener Manufacturing
目录 前言1 题目介绍2 数据清洗3 数据可视化分析4 模型训练5 源码 前言
这是我在大三选修课的课程设计，内容参考了Kaggle上高赞的代码，有详细批注，整体比较基础，结构相对完整，便于初学者学习。这个是一个回归问题&…
Kaggle分类问题Titanic——Machine Learning from Disaster
目录 前言1 题目介绍2 数据清洗3 数据可视化分析4 模型训练5 源码 前言
这是我在大三选修课的课程设计，内容参考了Kaggle上高赞的代码，有详细批注，整体比较基础，结构相对完整，便于初学者学习。这个是一个分类问题&am…
数字的画笔：数据可视化的魅力与实用性
数据可视化是一种强大的工具，用于将复杂的数据和信息以图形化的方式呈现，以便人们更容易理解、分析和发现其中的模式和趋势。通过图表、图形和其他可视元素，数据可视化可以帮助我们将抽象的数字转化为有意义的视觉呈现，从而提升了…
呈现数据的精妙之道：选择合适的可视化方法
在当今数据时代，数据可视化已成为理解和传达信息的重要手段。然而，选择适合的数据可视化方法对于有效地呈现数据至关重要。不同的数据和目标需要不同的可视化方法，下面我们将探讨如何选择最佳的数据可视化方法来呈现数据。 1. 理解数据类型&a…
数据可视化公司：打造视觉化的数据分析
数据在现代社会中扮演着至关重要的角色。然而，原始和复杂的数据往往难以理解和应用。在这个信息爆炸的时代，数据可视化公司成为了解决这个问题的关键。 数据可视化公司是专业的数据分析和可视化团队，他们的目标是将海量数据转化为易于理解和直…
Python数据分析：挖掘洞察力的强大工具
在当今数据驱动的世界中，数据分析成为了企业和组织中不可或缺的一环。Python作为一种简单易学且功能强大的编程语言，已经成为数据分析领域的热门选择。本文将深入探讨Python数据分析的基础知识、常用工具和技术，帮助读者充分利用Python来进行…
AI驱动的大数据创新：探索软件开发中的机会和挑战
文章目录 机会数据驱动的决策自动化和效率提升智能预测和优化个性化体验 挑战数据隐私与安全技术复杂性数据质量和清洗伦理和社会问题 案例：智能代码生成工具总结 🎈个人主页：程序员 小侯 🎐CSDN新晋作者 🎉欢迎 &…
拼多多app商品详情接口 获取pdd商品主图价格销量库存信息
拼多多是中国一家知名的电商平台，以"社交团购新零售"的商业模式闻名，通过手机app和微信小程序等渠道提供商品销售和购物体验。平台上的商品种类丰富多样，涵盖了服装、家居、美妆、食品、数码电子等各个领域。
拼多多的商业模式主要…
如何评估分类模型的好坏
如何评估分类模型的好坏 评估分类预测模型的质量，常用一个矩阵、三条曲线和六个指标。
一个矩阵：混淆矩阵；三条曲线：ROC曲线、PR曲线、KS曲线；六个指标：正确率Acc、查全率R、查准率P、F值、AUC、BEP值、KS…
Pandas由入门到精通-组合与合并数据
采集的数据存储后通常会分为多个文件或数据库，如何将这些文件按需拼接，或按键进行连接十分重要。这节将介绍数据索引的复杂操作如分层索引，stack,unstack,seet_index,reset_index等帮助重构数据，数据的拼接如merge,join,concat,combine_first等帮助连接数据，以及数据透视表…
电商数据接口API：品牌价格监控与数据分析的重要工具
一、引言
随着电子商务的快速发展，传统品牌企业越来越重视在线销售市场。为了在竞争激烈的市场环境中取得成功，企业需要实时掌握市场动态，了解自身产品的销售情况、价格趋势以及竞品信息。为了实现这一目标，各大电商平台…
实战：基于卷积的MNIST手写体分类
前面实现了基于多层感知机的MNIST手写体识别，本章将实现以卷积神经网络完成的MNIST手写体识别。
1. 数据的准备
在本例中，依旧使用MNIST数据集，对这个数据集的数据和标签介绍，前面的章节已详细说明过了，相对于前面章…
Python Pyecharts 制图
基本图表 - pyecharts - A Python Echarts Plotting Library built with love.
from pyecharts import options as opts
from pyecharts.charts import Pie
from pyecharts.faker import Fakerc (Pie().add("",[list(z) for z in zip(["7室1厅", "5…
【三等奖方案】小样本数据分类任务赛题「复兴15号」团队解题思路
第十届CCF大数据与计算智能大赛（2022 CCF BDCI）已圆满结束。大赛官方竞赛平台DataFountain（简称DF平台）将陆续释出各赛题获奖队伍的方案思路。 本方案为【小样本数据分类任务】赛题的三等奖获奖方案，赛题地址ÿ…
机器学习和数据挖掘01- lasso regularization
概念
Lasso正则化是一种线性回归中的正则化技术，旨在减少模型的复杂性并防止过拟合。Lasso（Least Absolute Shrinkage and Selection Operator）通过在损失函数中添加正则项，促使模型的系数变得稀疏，即某些系数会被压缩…
2023年7月京东笔记本电脑行业品牌销售排行榜（京东数据平台）
随着智能手机、平板电脑等移动互联设备的普及，人们对于个人电脑的依赖减轻，加之电脑的更换率较低，因此当前PC端消费市场整体出现疲态，笔记本电脑的出货量不断下降，今年7月份也同样呈现这一趋势。
根据鲸参谋电商数据分…
1688拍立淘接口 按图搜索1688商品列表
item_get-获得1688商品详情
1688.item_get接入测试 公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item…
拼多多海量商品数据接口API 商品详情接口 商品价格主图接口
拼多多，作为中国最大的社交电商之一，提供了丰富的商品信息和海量的用户数据。对于广大开发者而言，如何快速、准确地获取这些数据，进而开发出各种创新应用，是他们关心的问题。本文将详细介绍拼多多海量商品数据接口API的…
【论文绘图】seaborn分类数据绘图
参考：https://seaborn.pydata.org/tutorial/categorical.html
分类变量关系图中的catplot类似于连续变量中的relplot，默认是stripplot。
分类变量图种类 分类散点图
stripplotswarmplot (kind‘swarm’)
类别分布图
boxplotviolinplotboxenplot …
朴素贝叶斯数据分类------
------------------后期会编辑些关于朴素贝叶斯算法的推导及代码分析-----------------
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB, BernoulliNB, MultinomialNB
from sklear…
拼多多订单打单接口 免申请审核流程接入（拼多多开放平台接入）
pdd.erp.order.sync
erp打单信息同步
更新时间：2021-04-13 23:04:54
免费API必须用户授权
erp打单信息同步
公共参数
名称类型必须描述keyString是调用key（注册获取APIkey）secretString是调用密钥api_nameString是API接口名称ÿ…
淘宝商品销量接口API更新（总销+精准月销API）
不少客户有获取淘宝商品销量的需求，淘宝商品销量接口主要用于以下业务场景。有不齐全的欢迎大家补充。
库存管理：商家可以通过接口获取到实时的销量信息，更好地进行库存管理。供应链计划：商家可以通过接口了解到商品的销售趋势&a…
GPT引领前沿与应用突破之GPT4科研实践技术与AI绘图
GPT对于每个科研人员已经成为不可或缺的辅助工具，不同的研究领域和项目具有不同的需求。如在科研编程、绘图领域：1、编程建议和示例代码: 无论你使用的编程语言是Python、R、MATLAB还是其他语言，都可以为你提供相关的代码示例。2、数据可视化…
2023年7月京东咖啡行业数据分析（京东数据报告）
瑞幸咖啡与贵州茅台推出的联名咖啡“酱香拿铁”正式上市，一度掀起消费者的消费浪潮。在此之前，瑞幸也与多个品牌推出过联名款咖啡，每次的热度都颇高，这在背后，除了有消费者的猎奇心理外，更重要的是…
【数据挖掘】学习笔记
文章目录 < 数据预处理 >
聚集：多个样本或特征进行合并（减少样本规模、转换标度、更稳定）抽样：抽取一部分样本降维：在地位空间中表示样本（PCA、SVD）特征选择：选取重要特征&am…
原神角色数据分析项目说明文档
---项目涉及---
前端html语言，flask框架，excel，MySQL，DataFrame数组，numpy，pyecharts
---实现方式--- 将所有角色数据存储在excel表格中，在需要时读取，当用户想要查看某一项时&…
2023年7月京东投影仪行业品牌销售排行榜（京东大数据）
鲸参谋监测的京东平台7月份投影仪行业销售数据已出炉！
7月份，投影仪市场呈现增长趋势。根据鲸参谋平台的数据可知，7月京东平台投影仪的销量将近20万，同比增长约16%；销售额将近3.8亿，同比增长约4%。 *数据…
数据分析之面试题目汇总
1、解释数据清洗的过程及常见的清洗方法。 数据清洗是指在数据分析过程中对数据进行检查、处理和纠正的过程；是数据预处理的一步，用于处理数据集中的无效、错误、缺失或冗余数据 常见的清洗方法包括：处理缺失值、处理异常值、去除重复值、统一…
懂点心理学 - 踢猫效应
懂点心理学，生活工作两不误～
什么是踢猫效应 某公司董事长为了重整公司事务，许诺自己将早到晚归。有一次，他在家看报太入迷以至于忘记了时间，为了不迟到，他在公路上超速驾驶，结果被警察开了罚单…
生信豆芽菜-风险患者分布基因表达热图
网址：http://www.sxdyc.com/geneExpThermogram 一、使用方法 1、数据准备 第一个文件：基因表达的文件
第二个文件：风险得分的文件
2、选择划分高低风险的阈值，需要注意的是，前面在做riskscore的时候，我…
数据分享|R语言分析上海空气质量指数数据：kmean聚类、层次聚类、时间序列分析：arima模型、指数平滑法...
全文链接：http://tecdat.cn/?p30131 最近我们被客户要求撰写关于上海空气质量指数的研究报告。本文向大家介绍R语言对上海PM2.5等空气质量数据（查看文末了解数据免费获取方式）间的相关分析和预测分析，主要内容包括其使用实例&…
使用高斯混合模型进行聚类
一、说明 高斯混合模型 （GMM） 是一种基于概率密度估计的聚类分析技术。它假设数据点是由具有不同均值和方差的多个高斯分布的混合生成的。它可以在某些结果中提供有效的聚类结果。 二、Kmean算法有效性 K 均值聚类算法在每个聚类的中心周围放置一个圆形边…
PHP调用API接口的方法及实现
随着互联网、云计算和大数据时代的到来，越来越多的应用程序需要调用第三方的API接口来获取数据，实现数据互通和协同工作。PHP作为一种常用的服务器端语言，也可以通过调用API接口来实现不同系统的数据交互和整合。本文将介绍PHP调用API接口的方…
数学建模黄河水沙监测数据分析
数学建模黄河水沙监测数据分析
问题： 黄河是中华民族的母亲河。研究黄河水沙通量的变化规律对沿黄流域的环境治理、气候变化和人民生活的影响，以及对优化黄河流域水资源分配、协调人地关系、调水调沙、防洪减灾等方面都具有重要的理论指导意义。
解题思…
excel数据分析常用50个函数
求和：sum（C3：C6）
平均：avage（）
最大数：max（）
small函数，large函数
求第二小数：small(C3：C6,2) 2是顺位。
if…
信息检索与数据挖掘 |（一）介绍
文章目录 📚信息检索🐇概念🐇结构化与非结构化数据🐇信息检索的基本假设🐇信息检索小结🐇附：IR新课题 📚数据挖掘🐇定义🐇数据挖掘 vs 机器学习 📚…
淘宝/天猫获得淘宝商品详情 API 接口文档
item_get-获得淘宝商品详情 API测试工具 注册开通
taobao.item_get 公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_sear…
数据分析因子评分学习
当多个因素影响一个结果时，我们需要综合考虑这些因素分别对结果德影响。因子评分就是用于比较其对结果德影响程度。 文章目录 前言一、案例背景二、解决方案（一）分析思路（二）剔除无关数据（三）求…
最近在对接电商供应链，说说开放平台API接口
B2B电商开放平台的设计需要从以下几面去思考： 开放平台API接口的设计，主要是从功能需求的角度，设计满足业务需求的接口及对应的字段； 平台与商家之间信息的对接，对接的方法有哪些？对接过程中需要可能会遇到…
分类算法系列⑥：随机森林
目录
集成学习方法之随机森林
1、集成学习方法
2、随机森林
3、随机森林原理
为什么采用BootStrap抽样
为什么要有放回地抽样
4、API
5、代码
代码解释
结果
6、随机森林总结 🍃作者介绍：双非本科大三网络工程专业在读，阿里云专家…
2023年京东睡眠经济市场数据分析（京东商品数据）
如今，伴随快节奏的生活，越来越多的人饱受睡眠问题的影响。同时，伴随现代化的发展，睡眠障碍群体或许会达到新的体量，而日趋增加的失眠人群自然而然低催生了助眠产品的增长。随着人们对健康睡眠重视的程度不断提高&#…
pandas数据分析——groupby得到分组后的数据
groupbyagg分组聚合对数据字段进行合并拼接
Pandas怎样实现groupby聚合后字符串列的合并（四十）
groupby得到分组后的数据
pandas—groupby如何得到分组里的数据
date_range补齐缺失日期
在处理时间序列的数据中，有时候会遇到有些日期的数…
Python数据分析与数据挖掘：解析数据的力量
引言：
随着大数据时代的到来，数据分析和数据挖掘已经成为许多行业中不可或缺的一部分。在这个信息爆炸的时代，如何从大量的数据中提取有价值的信息，成为了企业和个人追求的目标。而Python作为一种强大的编程语言，提供…
财务数据分析？奥威BI数据可视化工具很擅长
BI数据可视化工具通常是可以用户各行各业，用于不同主题的数据可视化分析，但面对财务数据分析这块难啃的骨头，能够好好地完成的，还真不多。接下来要介绍的这款BI数据可视化工具不仅拥有内存行列计算模型这样的智能财务指标计算功能…
谁做的方案，竟把财务数据分析套路都摸透了
来不及计算组合多变又复杂量大的财务数据分析指标？不知道该用哪些财务数据分析方法技巧？不知道怎么把信息量巨大的财务数据分析报表做得易读易理解？别担心，奥威BI数据可视化工具都把套路摸透了，并提出一套系统、标准化…
从零开始做ISPRS Potsdam地物分类研究——数据预处理
我跑的模型需要将数据裁剪为小图 裁剪RGB,DSM和Label数据，大小为1024，步长512，有重叠的裁剪 import cv2
import os
from PIL import Image
import numpy as np# Cutting the input image to h*w blocks
def clip_picture(file_path,outPath,…
数据分析和可视化平台：Splunk Enterprise for mac v9.1.1激活版 兼容m1
Splunk Enterprise 是一个数据分析和可视化平台，可帮助企业理解其数据。虽然没有适用于 Mac OS 的 Splunk Enterprise 官方版本，但他们确实为 Mac OS 提供了一个名为“Splunk Light”的应用程序，它提供了基本的数据索引、搜索和仪表板。或者&…
Python 交易指南：利用 RSI
一、说明 RSI是相对强弱指数（Relative Strength Index）的缩写，是一种技术指标。该指标是用来测量股票或其他交易品种的价格波动强度和速度的，属于动量型指标。RSI常用于技术分析和交易策略中，可以帮助交易者判断市场的…
大数据知识合集之数据分析模型
常用数据分析模型，主要包括：对比分析、漏斗分析、留存分析、A/B测试、用户行为路径分析、用户分群、用户画像分析等。
1、对比分析
对比分析 主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水…
2023国赛数学建模E题思路分析-黄河水沙监测数据分析
E 题 黄河水沙监测数据分析 黄河是中华民族的母亲河。研究黄河水沙通量的变化规律对沿黄流域的环境治理、气候变 化和人民生活的影响，以及对优化黄河流域水资源分配、协调人地关系、调水调沙、防洪减灾 等方面都具有重要的理论指导意义。 附件 1 给出了位于小浪底水…
2023京东医疗保健器械行业数据分析（京东数据分析平台）
随着人们对自身健康的重视程度不断加深，当前市场中各类对疾病具有诊断、预防、监护、治疗或者缓解的医疗保健仪器越来越受到消费者的关注。
根据鲸参谋电商数据分析平台的相关数据显示，今年7月份，京东平台医疗保健仪器的销量为950万…
产业大数据应用：洞察区域产业实况，把握区域经济脉搏
随着新一代信息技术的崛起，我们进入了大数据时代。在这个时代，数据作为基本生产要素不仅改变着我们的日常生活，更是在区域产业经济发展中扮演着重要角色，它赋予了政府、企业和投资者敏锐的洞察力。 一、摸清区域经济现状
基于…
Tableau自学四部曲_Part3：基础图表制作
文章目录 一、 对比分析：比大小1. 柱状图2. 条形图3. 热力图（突出显示表）4. 气泡图5. 词云 二、变化分析：看趋势1. 折线图2. 基于连续时间序列的折线图预测接下来的数据走向3. 面积图 三、构成分析：看占比1. 饼图2. 【…
2023数学建模国赛E题黄河水沙监测数据分析完整代码分析+处理结果+思路文档
已经写出国赛E题黄河水沙监测数据分析完整代码分析处理结果思路分析（30页），包括数据预处理、数据可视化（分组数据分布图可视化、相关系数热力图可视化、散点图可视化）、回归模型（决策树回归模型、随机森林回…
【数学建模】2023数学建模国赛C题完整思路和代码解析
C题第一问代码和求解结果已完成，第一问数据量有点大，经过编程整理出来了单品销售额的汇总数据、将附件2中的单品编码替换为分类编码，整理出了蔬菜各品类随着时间变化的销售量，并做出了这些疏菜品类的皮尔森相关系数的热力图&#…
智能 BI 数据分析平台
智能BI平台 作者：猫十二懿 项目介绍
本项目是基于ReactSpring BootRabbitMQAIGC的智能BI数据分析平台。
访问地址：http://bi.kongshier.top AIGC ：Artificial Intelligence Generation Content(AI 生成内容) 区别于传统的BI，数据…
别问怎么下载，金蝶云星空SaaS BI系统不用下载
国产自研的奥威软件-金蝶云星空SaaS BI，不下载不安装，从浏览器上一键注册登录即可使用：一键点击下载金蝶云星空方案，执行后，BI系统将基于金蝶云星空内的数据与方案自带的BI报表，智能计算分析指标࿰…
历史高频行情数据存储最佳实践：DolphinDB Array Vector 使用指南
越来越多的机构使用 L1/L2 的快照行情数据进行量化金融的研究。作为一个高性能时序数据库，DolphinDB 非常适合存储和处理海量的历史高频行情数据。针对快照数据包含多档位信息的特点，DolphinDB 研发了一种方便、灵活且高效的数据结构——Array Vector&am…
数据统计和分析怎么做?spss如何做好数据分析?
为什么要做数据分析?数据分析有什么意义？数据分析可以为企业和组织提供多方面的帮助，包括提高工作效率、优化业务流程、升职加薪、提高管理效率以及改进汇报效果等方面。 IBM SPSS Statistics 26是一款功能强大的统计分析软件，适用于Mac操作…
融合之力：数字孪生、人工智能和数据分析的创新驱动
数字孪生、人工智能（AI）和数据分析是当今科技领域中的三个重要概念，它们之间存在着紧密的关联和互动，共同推动了许多领域的创新和发展。
一、概念
数字孪生是一种数字化的模拟技术，它通过复制现实世界中的物理实体、…
机器学习与数据挖掘第三、四周
为什么第二周没有呢……因为刚换老师，自学要适应一段时间。
本课程作者之后的学习目标是：实操代码，至少要将作者参加数学建模中用到的数据处理方法都做一遍。
首先，作者复习一下李宏毅老师的两节课程。 机器学习概述
机器学习就…
淘宝商品sku信息抓取接口api
在电商行业中，SKU是一个经常被使用的术语，但是对于很多人来说，这个词可能还比较陌生。在这篇文章中，我们将详细解释什么是SKU，以及在电商业务中它的作用和意义。
什么是SKU？
SKU是“Stock Keeping Unit”…
数据分析方法：RFM模型
一、RFM基本原理
RFM是三个单词的缩写：
最近一次消费时间（Recency），取数的时候一般取最近一次消费记录到当前时间的间隔，比如：7天、30天、90天未到店消费；直观上，一个用户太久不到…
【多任务案例：猫狗脸部定位与分类】
【猫狗脸部定位与识别】 1 引言2 损失函数3 The Oxford-IIIT Pet Dataset数据集4 数据预处理4 创建模型输入5 自定义数据集加载方式6 显示一批次数据7 创建定位模型8 模型训练9 绘制损失曲线10 模型保存与预测 1 引言
猫狗脸部定位与识别分为定位和识别，即定位猫狗…
GEO生信数据挖掘（三）芯片探针ID与基因名映射处理
检索到目标数据集后，开始数据挖掘，本文以阿尔兹海默症数据集GSE1297为例 目录
处理一个探针对应多个基因
1.删除该行
2.保留分割符号前面的第一个基因
处理多个探针对应一个基因
详细代码案例一删除法
详细代码案例二 多个基因名时保留第一个基因名…
参数估计法在逻辑斯谛回归的应用
让我们通过一个简单的示例来说明如何使用类似的参数估计方法在二项逻辑斯谛回归和多项逻辑斯谛回归中进行参数估计。
示例：二项逻辑斯谛回归和多项逻辑斯谛回归的参数估计
假设我们有一个数据集，其中包含学生的考试成绩和他们的通过与否情况。我们想要…
Tableau/Power BI 是什么
目录 1. Tableau 是什么?1.1. Tableau 组件1.2. Tableau 的优劣势 2. Power BI2.1. Power BI 的组成部分2.2. Power BI 概念2.2.1. 容量2.2.2. 工作区2.2.3. 数据集2.2.4. 共享数据集2.2.5. 报表2.2.6. 仪表板2.2.7. 模板应用 1. Tableau 是什么?
Tableau 是 Tableau 公司推…
1688-阿里巴巴批发网（获取优惠券信息）
item_get_app-获取1688app上原数据
为了进行电商平台 的API开发，首先我们需要做下面几件事情。
1）开发者注册一个账号
2）然后为每个1688 应用注册一个应用程序键（App Key) 。
3）下载1688 API的SDK并掌握基本的API基…
数据分析三剑客之一：Numpy详解及实战
1 NumPy介绍
NumPy 软件包是Python生态系统中数据分析、机器学习和科学计算的主力军。它极大地简化了向量和矩阵的操作处理。Python的一些主要软件包（如 scikit-learn、SciPy、pandas 和 tensorflow）都以 NumPy 作为其架构的基础部分。除了能对数值数据…
京东大型API网关实践之路
概述
1、背景
京东作为电商平台，近几年用户、业务持续增长，访问量持续上升，随着这些业务的发展，API网关应运而生。
API网关，就是为了解放客户端与服务端而存在的。对于客户端，使开放给客户端的接口标准统…
京东数据挖掘：2023年8月京东厨卫大电行业数据分析
8月份，厨卫大电市场的销售数据已经出炉。鲸参谋数据显示，今年8月份，京东平台厨卫大电的销量为197万，同比增长9%；销售额将近33亿，同比增长约14%。整体来看，厨卫大电市场在逐步复苏，与…
“五度晟企通”企业发展服务平台正式发布，帮扶企业行稳致远！
在数字中国建设的大背景下，“五度易链”以企业实际发展需求为牵引，以帮扶企业行稳致远为目标，基于全体量产业大数据，运用NLP、AI等新一代信息技术，打造了数字化ToB企业发展服务平台“五度晟企通”，旨在以数…
2023年7月京东饮料行业数据分析（京东运营数据分析）
饮料消费已成为当下快消品行业里的主力军，随着社会群体喜好的改变、消费群体的不断扩大，可选择的饮料种类越来越多，我国饮料市场的体量也较为庞大。根据鲸参谋电商数据分析平台的数据显示，今年7月份，京东平台饮料的销量…
作为数据分析师，如何能把AI工具和数据分析工作更好的结合？
做为数据分析师，如果能够学会把AI工具应用到实际的数据分析工作当中，可以把一些重复性很强的工作交给AI来完成，这样数据分析师在提升效率的过程中能够去有更多的时间考虑具有创意的工作。
数据分析师，在使用AI工具完成数据分…
数据分析（1）——如何用postgres快速找出数据库中所有表格包含空值的列
POSTGRES简介
postgres是一款开源的数据库，好处就在于不会被制裁，之前美国制裁委内瑞拉的时候，禁止委内瑞拉用oracle这款数据库，mysql最后委内瑞拉也用不了了，因为oracle把mysql收购了吗，这是不是也让大家…
数据分享|SAS数据挖掘EM贷款违约预测分析：逐步Logistic逻辑回归、决策树、随机森林...
全文链接：http://tecdat.cn/?p31745 近几年来，各家商业银行陆续推出多种贷款业务，如何识别贷款违约因素已经成为各家商业银行健康有序发展贷款业务的关键（点击文末“阅读原文”获取完整数据）。 相关视频 在贷款违约预…
淘宝双11数据分析与预测课程案例中（林子雨）错误点总结
问题一：可视化代码中男女买家各个年龄段对比散点图中数值不显示以及坐标不正确问题如下图 解决方法： 1修改坐标 2修改数值 修改后散点图 问题二：各省份的总成交量对比中地图显示不出来 有时间再写
药品销售数据分析报告（报告资源-干货篇）
药品分析报告包含了药品研究分析报告、药品审评分析报告、药品市场分析报告、药品专利分析报告、药品上市分析报告、药品原料药分析报告、药品立项分析报告、药品投融资分析报告......所以我们在写作药品分析报告之前一定要明确需求者目的，如此方能针对核心内容进行…
二值贝叶斯滤波计算4d毫米波聚类目标动静属性
机器人学中有些问题是二值问题，对于这种二值问题的概率评估问题可以用二值贝叶斯滤波器binary Bayes filter来解决的。比如机器人前方有一个门，机器人想判断这个门是开是关。这个二值状态是固定的，并不会随着测量数据变量的改变而改变。就像门…
API接口对接电商平台，接入亚马逊国际站按关键字搜索商品API源数据采集示例
在电商平台中，关键词推荐是提高用户购物体验和销售业绩的一个重要手段。它的重要性体现在以下几个方面：
提升购物体验：通过关键词推荐，电商平台可以根据用户的搜索意图和行为来向其推荐相关的商品。这样可以帮助用户更快地找到自…
数据分析工具有哪些，哪个好学？
Tableau、帆软BI、思迈特BI、SpeedBI数据分析云……这些都是比较常见的BI数据分析工具。从学习成本、操作难度以及数据可视化分析效果来看，SpeedBI数据分析云都表现地可圈可点。
1、不需下载安装、学习成本低
SpeedBI数据分析云是一款SaaS BI数据分析工具…
前后端分离，JSON数据如何交互
如何接收：
在配置文件商法加上相应注解 EnableWebMvc 在接收的路径上加上RequestBody注解
注解的作用：在Spring框架中，RequestBody注解用于将HTTP请求的body中的内容转换为Java对象，并将其作为参数传递给控制器方法。它通常用…
2023年7月京东手机行业品牌销售排行榜（京东数据分析软件）
鲸参谋监测的京东平台7月份手机市场销售数据已出炉！
根据鲸参谋平台的数据显示，7月份京东平台的销量为410万，同比下降约9%；销售额将近145亿，同比增长超过17%。由此也可以看到，同比来看，7月份手…
pinduoduo（商品详情）API接口
为了进行电商平台 的API开发，首先我们需要做下面几件事情。
1）开发者注册一个账号
2）然后为每个pinduoduo应用注册一个应用程序键（App Key) 。
3）下载pinduoduo API的SDK并掌握基本的API基础知识和调用
4ÿ…
客户需求调研的三个实用工具
在竞争激烈的市场中，了解客户的需求并满足他们的期望对于企业的成功至关重要。因此，进行客户需求调研是一项关键性工作，可以帮助企业更好地理解客户的需求、偏好和行为。为了更有效地进行客户需求调研，以下是三个实用工具…
2023年8月京东彩瞳行业数据分析（京东商品数据）
和传统的框架眼镜、隐形眼镜相比，多种花纹、颜色的美瞳镜片给了爱美的年轻人更多的选择，因此，在颜值经济叠加悦己思潮的影响下，兼具“视力矫正美妆”的彩瞳受追捧。
根据鲸参谋电商数据分析平台的相关数据显示，8月份&…
淘宝/天猫获取商品历史价格信息 API 返回值说明
淘宝/天猫获取商品历史价格信息 API 返回值说明
item_history_price-获取商品历史价格信息 注册开通
taobao.item_history_price 公共参数
请求地址: https://api-gw.onebound.cn/taobao/item_history_price
名称类型必须描述keyString是调用key（必须以GET方式…
数据可视化：理论与技术
推荐：使用 NSDT场景编辑器 快速搭建3D应用场景 在由大数据和复杂算法主导的数字环境中，人们会认为普通人迷失在数字和数据的海洋中。
不是吗？
然而，原始数据和可理解的见解之间的桥梁在于数据可视化的艺术。
它是指引我们的指南…
什么软件做可视化大屏最简单、最快？
做可视化大屏的工具有很多，但要说什么软件做可视化大屏最简单、最快，那必然是BI系统，特别是国产BI系统奥威BI。奥威BI系统能提供大量的模板功能，精简操作，提高效率，而且采用的是零编程，即点击、…
Python数据分析 — 数据分析概念、重要性、流程和常用工具
前言：Hello大家好，我是小哥谈。Python数据分析是利用Python编程语言进行数据处理、转换、清洗、可视化和建模的过程。Python在数据科学领域非常流行，有许多强大的库和工具可供使用，例如NumPy、Pandas、Matplotlib和Scikit-learn等…
PyTorch实战-实现神经网络图像分类基础Tensor最全操作详解(二)
前言
PyTorch可以说是三大主流框架中最适合初学者学习的了，相较于其他主流框架，PyTorch的简单易用性使其成为初学者们的首选。这样我想要强调的一点是，框架可以类比为编程语言，仅为我们实现项目效果的工具，也就是我们…
数据分析三剑客之Matplotlib
0.Matplotlib绘图和可视化
1.简介
我的前面两篇文章介绍了 Nimpy ，Pandas 。今天来介绍一下Matplotlib。
简单来说，Matplotlib 是 Python 的一个绘图库。它包含了大量的工具，你可以使用这些工具创建各种图形，包括简单的散点图&…
【案例+操作+演示】20分钟带你入门Pandas，掌握数据分析科学模块，附带上百个案例练习题【含答案】
二十分钟入门pandas，学不会私信教学！
有需要pyecharts资源的可以点击文章上面下载！！！
需要本项目运行源码可以点击资源进行下载
资源
#coding:utf8
%matplotlib inline这个一篇针对pandas新手的简短入门࿰…
20行Python代码爬取拼多多商品详情数据api
拼多多根据ID取商品详情 API
pinduoduo.item_get 获取商品详情
pinduoduo.item_get_app 获取app商品详情
公共参数
请求地址: https://api-TEST.cn/pinduoduo/item_get_app
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretStr…
数据清洗：数据挖掘的前期准备工作
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
2021年电工杯数学建模A题高铁牵引供电系统运行数据分析及等值建模求解全过程论文及程序
2021年电工杯数学建模
A题 高铁牵引供电系统运行数据分析及等值建模
原题再现： 我国是世界上电气化铁路运营里程最长、服役电力机车型号最多、运营最繁忙的国家。截至 2020 年底，我国铁路年消耗电量约 800 亿千瓦时，约占三峡年总发电量的 8…
数据变换：数据挖掘的准备工作之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
〖Python网络爬虫实战㉟〗- 极验验证码的识别
订阅：新手可以订阅我的其他专栏。免费阶段订阅量1000+python项目实战 Python编程基础教程系列（零基础小白搬砖逆袭) 说明：本专栏持续更新中，订阅本专栏前必读关于专栏〖Python网络爬虫实战〗转为付费专栏的订阅说明作者：爱吃饼干的小白鼠。Python领域优质创作者，2022年度…
电商平台API接口采集电商平台淘宝天猫京东拼多多数据获取产品详情信息，销量，价格，sku案例
淘宝SKU详情接口是指，获取指定商品的SKU（Stock Keeping Unit，即库存量单位）的详细信息。SKU是指提供不同的商品参数组合的一个机制，通过不同的SKU来标识商品的不同组合形式，如颜色、尺寸等。SKU详情接口可以…
淘宝/天猫电商平台获取商品数据按关键字搜索淘宝商品|优惠价|销量|价格|商品推荐案例
关键词搜索商品API接口的用途主要包括以下几个方面：
帮助实现商品搜索：通过关键词搜索商品API接口，电商平台可以为消费者提供一个简单、快捷的商品搜索功能。用户只需输入关键词，就可以得到与该关键词相关的商品列表。为开发者提…
金融风控建模常用指标介绍（WOE, IV, KS, PSI）
金融风控建模常用指标介绍（WOE, IV, KS, PSI）
近期在做金融风控相关项目，有必要把特征和模型的衡量指标总结下，以备不时之需。这次主要介绍4个指标（WOE, IV, KS, PSI）。 WOE（Weight of Evidenc…
“淘宝” 开放平台接口设计思路（内附API接口免费接入地址）
最近对接的开放平台有点多，像淘宝、天猫、京东、拼多多、快手、抖音等电商平台的开放平台基本对接了个遍，什么是CRUD BODY也许就是这样的吧！！！
经过这几天的整理，脑子里大概有了个开放平台接口的设计套路&…
如何接入电商数据平台API接口实现数据采集请求获取商品详情价格、优惠券、优惠活动、品牌、店铺、主图等数据示例
app商品详情原数据API接口可以获取拼多多平台上某个商品的详细信息，包括商品标题、价格、图片、规格、参数、店铺信息等。
通过这个接口获取到的商品详情数据可以结合其他数据进行深度挖掘，例如可以将商品数据对比分析，找出同类商品中的优劣…
百度飞浆ResNet50大模型微调实现十二种猫图像分类
12种猫分类比赛传送门
要求很简单，给train和test集，训练模型实现图像分类。
这里使用的是残差连接模型，这个平台有预训练好的模型，可以直接拿来主义。
训练十几个迭代，每个批次60左右，准确率达到90%以上…
数据湖在爱奇艺数据中台的应用
01 我们眼中的数据湖 作为爱奇艺的数据中台团队，我们的核心任务是管理和服务公司内的大量数据资产。在实施数据治理的过程中，我们不断吸收新的理念，引入尖端的工具，以精细化我们的数据体系管理。“数据湖”作为近年来数据领域广泛…
数据分析思维-分析方法（基础）
数据分析的基础方法概念理解，其关键在于在业务中锻炼数据分析思维。（将以下基础方法带有好奇心的应用在生活中练习数据分析思维 ）
例如：经典的啤酒与尿布（分析一个爸爸去超市买东西的行为，将尿布和啤酒放在…
详解API接口如何安全的传输数据
概述
API接口的安全传输是确保数据在API请求和响应之间的传输过程中不被截获、篡改或泄露的重要步骤。以下是一些用于增强API接口安全传输的常见技术和最佳实践： 使用HTTPS：使用HTTPS协议而不是HTTP，以确保数据在传输过程中的安全性。HTTPS使…
Java语言请求API接口案例采集电商平台数据获得1688商品评论阿里巴巴中国站示例
商品评论API接口在电商平台和其他产品服务中具有重要的作用。以下是商品评论API接口的一些重要性：
用户反馈和评价：商品评论是用户对购买产品或使用服务的反馈和评价。商品评论API接口可以提供用户对商品的评价和意见，包括产品的质量、功能、…
FastViT实战：使用FastViT实现图像分类任务（一）
文章目录 摘要安装包安装timm安装 grad-cam安装mmcv 数据增强Cutout和MixupEMA项目结构计算mean和std生成数据集补充一个知识点：torch.jit两种保存方式 摘要
论文翻译：https://wanghao.blog.csdn.net/article/details/132407722?spm1001.2014.3001.550…
数据分析三剑客之一：Pandas详解
目录 1 Pandas介绍
2 Pandas的安装与导入
2.1 Pandas模块安装
2.2 Pandas模块导入
3 pandas数据结构及函数
3.1 Series结构
3.1.1 ndarray创建Series对象
3.1.2 dict创建Series对象
3.1.3 标量创建Series对象
3.1.4 位置索引访问Series数据
3.1.5 标签索引访问Series…
目标分类笔记(二): 利用PaddleClas的框架来完成多标签分类任务（从数据准备到训练测试部署的完整流程）
文章目录 一、演示多分类效果二、PaddleClas介绍三、代码获取四、数据集获取五、环境搭建六、数据格式分析七、模型训练7.1 其他训练指标 八、模型预测九、模型评估十、PaddleClas相关博客 一、演示多分类效果 二、PaddleClas介绍
PaddleClas主要构件：
PP-ShiTu&a…
爬虫技术对携程网旅游景点和酒店信息的数据挖掘和分析应用
导语
爬虫技术是一种通过网络爬取目标网站的数据并进行分析的技术，它可以用于各种领域，如电子商务、社交媒体、新闻、教育等。本文将介绍如何使用爬虫技术对携程网旅游景点和酒店信息进行数据挖掘和分析，以及如何利用Selenium库和代理IP技术…
数据挖掘note（1）
数据挖掘一般分为机器学习和统计学习，大数据学的课程一般是关于机器学习，我们学的浅，主要关于统计学习，示意图如下所示： 这是一个大数据时代，但是数据挖掘的利用率不足0.5%，可见数据挖掘的空间巨…
大数据驱动业务增长：数据分析和洞察力的新纪元
文章目录 大数据的崛起大数据的特点大数据技术 大数据驱动业务增长1. 洞察力和决策支持2. 个性化营销3. 风险管理4. 产品创新 大数据分析的新纪元1. 云计算和大数据示例代码：使用AWS的Elastic MapReduce（EMR）进行大数据分析。 2. 人工智能和机…
【数据挖掘】2017年 Quiz 1-3 整理 带答案
目录 Quiz 1Quiz 2Quiz 3Quiz 1
Answer Problems 1-2 based on the following training set, where A , B , C A, B, C A,B,</
第80步 时间序列建模实战：GRNN回归建模
基于WIN10的64位系统演示
一、写在前面
这一期，我们使用Matlab进行GRNN模型的构建。
使用的数据如下：
采用《PLoS One》2015年一篇题目为《Comparison of Two Hybrid Models for Forecasting the Incidence of Hemorrhagic Fever with Renal Syndrom…
数字时代古文的传承———云南文化瑰宝“爨文化“(我为家乡发声)
文章目录 前言⭐ "爨"意味着什么，究竟何为"爨文化"？⭐ 爨文化鲜明的特点1.经济生活2.政治生活3.文化艺术 ⭐ 数字时代古文的传承与传播1.藏品数字化2.建立数据库3.传播大众化 前言
爨文化是继古滇文化之后崛起于珠江正源南盘江流域…
全连接网络实现回归【房价预测的数据】
也是分为data，model，train，test import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optimclass FCNet(nn.Module):def __init__(self):super(FCNet,self).__init__()self.fc1 nn.Linear(331,200)s…
K-Means（上）：数据分析 | 数据挖掘 | 十大算法之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
Python 数据分析与挖掘（一）
Python 数据分析与挖掘（数据探索）
数据探索
1.1 需要掌握的工具（库）
1.1.1 Nump库
Numpy 提供多维数组对象和各种派生对象（类矩阵），利用应用程序接口可以实现大量且繁琐的数据运算。可以构建…
EM聚类（下）：用EM算法对王者荣耀英雄进行划分
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
代谢组学最常用到的数据分析方法（五）
代谢组学是一门对某一生物或细胞所有低分子质量代谢产物（以相对分子质量<1000的有机和无机的代谢物为研究核心区）进行分析的新兴学科。因此从复杂的代谢组学数据中确定与所研究的现象有关的代谢物，筛选出候选生物标记物成为代谢物组学研究…
数据挖掘（3）特征化
从数据分析角度，DM分为两类，描述式数据挖掘，预测式数据挖掘。描述式数据挖掘是以简介概要的方式描述数据，并提供数据的一般性质。预测式数据挖掘分析数据建立模型并试图预测新数据集的行为。 DM的分类： 描述式DM&#…
数据仓库与数据挖掘（1）概述
一、数据仓库和数据挖掘概述
1.1 数据仓库的产生
数据仓库与数据挖掘： 数据仓库和联机分析处理技术(存储)。数据挖掘：在大量的数据中心挖掘感兴趣的知识、规则、规律、模式、约束(分析)。数据仓库用于决策分析： 数据仓库：是在数…
各种业务场景调用API代理的API接口教程
API代理的API接口在各种业务场景中具有广泛的应用，本文将介绍哪些业务场景可以使用API代理的API接口，并提供详细的调用教程和代码演示，同时，我们还将讨论在不同场景下使用API代理的API接口所带来的好处。
哪些业务场景可以使用AP…
![[管理与领导-108]：IT人看清职场中的隐性规则 - 5 - 你会在不经意间被归属在不同的分类中，一旦分类定型，你就会被打上了某种标签（职场分类方法大全）](https://img-blog.csdnimg.cn/1c3e04878a8e4576a2bb515607f6fdb9.png)
[管理与领导-108]：IT人看清职场中的隐性规则 - 5 - 你会在不经意间被归属在不同的分类中，一旦分类定型，你就会被打上了某种标签（职场分类方法大全）
目录
前言：
一、关于分类
1.1 什么是分类
1.2 分类是人们理解复杂问题的一种常见方式
1.3 分类的优点与缺点
1.4 职场中的分类方法
二、职场对人的分类方法1：组织架构
2.1 职位和职级分类
2.2 按照部门、岗位进行分类
三、职场对人的分类方法2…
信息检索与数据挖掘｜（四）索引构建
目录
📚硬件基础
📚基于块的排序索引方法
🐇BSBI算法(blocked sort-based indexing)
📚内存式单遍扫描索引构建方法
🐇SPIMI算法(single-pass in-memory indexing)
📚分布式索引构建方法 Ὅ…
2000年至2017年LandScan全球人口分布数据（1KM分辨率）
简介：
LandScan全球人口分布数据来自于East View Cartographic，由美国能源部橡树岭国家实验室(ORNL)开发。LandScan运用GIS和遥感等创新方法，是全球人口数据发布的社会标准，是全球最为准确、可靠，基于地理位置的&…
小红书官方平台API接口根据关键词获取商品列表页、产品图片、产品销量、价格信息示例
关键词搜索商品API接口可以提供给电商平台一些有用的数据分析。例如，通过分析用户搜索的关键词，电商平台可以了解用户的购物偏好和需求，从而改进自己的商品推荐系统，并且还可以帮助广告主实现精准定位服务。广告主可以利用该接口&…
电商数据平台西域根据ID取商品详情API接口采集产品详情数据、价格 、销量数据操作指南
商品详情API接口是一种用于访问和获取商品信息的接口，通常用于连接电商平台和商家应用程序。这个接口可以提供有关商品的各种详细信息，如名称、价格、描述、图片、类别、库存和评价等。它使得开发者能够为平台上的消费者提供更个性化和定制化的购物体验&…
简单谈谈我参加数据分析省赛的感受与体会
数据分析省赛的感受与体会 概要考试前的感受与体会考试注意事项小结 概要
大数据分析省赛指的是在省级范围内举办的大数据分析竞赛活动。该竞赛旨在鼓励和推动大数据分析领域的技术创新和人才培养，促进大数据技术与应用的深度融合，切实解决实际问题。参…
【生物信息学】使用谱聚类（Spectral Clustering）算法进行聚类分析
目录
一、实验介绍
二、实验环境
1. 配置虚拟环境
2. 库版本介绍
3. IDE
三、实验内容
0. 导入必要的工具
1. 生成测试数据
2. 绘制初始数据分布图
3. 循环尝试不同的参数组合并计算聚类效果
4. 输出最佳参数组合
5. 绘制最佳聚类结果图
6. 代码整合 一、实验介绍…
傅里叶系列 P2 的定价选项
系列上文：傅里叶系列 P1 的定价选项_无水先生的博客 一、说明 通过本文，您可以了解： 如何从知道什么是傅里叶级数到能够在黑色下为期权定价。 如果您想了解更多关于傅里叶级数基础知识的信息，请查看第 1 部分。随附笔记本&#…
优化大型机床装配调度：项目管理软件的应用方法
最近，Zoho Projects项目管理软件的一位资深客户，跟我们分享了他是如何把Projects应用于大型机床装配的复杂调度。小Z觉得特别有必要，把各行各业的成功应用和实践经验发布出来。在取得这位资深用户同意后，我们推出了本篇文章&#…
KNN算法 c++实现
来源【机器学习实战之一】：C实现K-近邻算法KNN_两个图像的特征向量应用knn模型进行匹配-CSDN博客 //计算每个训练数据到待分类元组的距离，取和待分类元组距离最近的k个训练数据，k个数据中哪个类别的训练数据占多数，则待分类元组就…
数据分析中实用的 Excel 函数，你都知道吗？
一、关联匹配类
1. VLOOKUP 功能：用于查找首列满足条件的元素。 语法：VLOOKUP（要查找的值，要在其中查找值的区域，区域中包含返回值的列号，精确匹配或近似匹配 – 指定为 0/FALSE 或 1/TRUE）。 …
GEE ——绘制二元分类的特征 (ROC) 曲线、计算曲线下面积 (AUC)
简介：
一个示例 GEE 脚本，用于绘制二元分类的接收者操作特征 (ROC) 曲线、计算曲线下面积 (AUC) 并找到最接近完美分类的截止点。
要计算ROC曲线，首先需要计算分类器不同阈值下的真正率（TPR）和假正率（FPR）。TPR是正确分类的正例的比例，而FPR是错误分类的负例的比例。…
关联规则挖掘（上）：数据分析 | 数据挖掘 | 十大算法之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
关联规则挖掘（下）：数据分析 | 数据挖掘 | 十大算法之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
数据分析篇-数据认知分析
一简介
数据认知分析，实际是对数据的整体结构和分布特征进行分析，是对整个数据外在的认识，也是数据分析的第一步。对于数据认知的分析，一般会考虑分散性、位置特性、变量的相关性等，一般会考虑平均数、方差、极差、峰…
选择适合户外篷房企业的企业云盘解决方案
“户外篷房企业用什么企业云盘好？Zoho WorkDrive企业网盘可以帮助户外篷房企业实现文档统一管理、提高工作效率、加强团队协作，并且支持各种文件类型的预览和编辑。” S公司是一家注重管理规范的大型户外篷房企业，已经有10余年的经验。作为设…
反爬虫机制与反爬虫技术(一)
反爬虫机制与反爬虫技术一 1、网络爬虫的法律与道德问题2、反爬虫机制与反爬虫技术2.1、User-Agent伪装2.2、代理IP2.3、请求频率控制2.4、动态页面处理2.5、验证码识别3、反爬虫案例：豆瓣电影Top250爬取3.1、爬取目标3.2、库（模块）简介3.3、翻页分析3.4、发送请求3.5、提取…
AdaBoost（上）：数据分析 | 数据挖掘 | 十大算法之一
⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
ExtraTrees之ExtraTreesRegressor参数详解以及调参
ExtraTrees之ExtraTreesRegressor参数详解以及调参 一、参数、属性及方法1、参数n_estimatorscriterionmax_depthmin_samples_splitmin_samples_leafmax_featuresmax_leaf_nodesmin_impurity_decreasebootstrapoob_scoren_jobsrandom_stateverbosewarm_startccp_alphamax_sampl…
1.1 基础热图绘制
1 写在前面
最近在作图，一直在寻找《小杜的生信笔记》前期发表的代码。众所周知，小杜的教程基本都是平时自己用到的绘图教程，也是自己一个分享和总结。
自己在后期作图的时候，也会去寻找自己前期的教程作为基础，进行…
京东商品数据：8月京东环境电器行业数据分析
8月份，环境电器大盘市场整体下滑。鲸参谋数据显示，8月京东平台环境电器的大盘将近570万，环比下滑约29%，同比下滑约10%；销售额为25亿，环比下滑约23%，同比下滑约8%。 *数据源于鲸参谋-行业趋势分析…
京东数据分析软件：2023年8月京东彩妆行业品牌销售排行榜
鲸参谋监测的京东平台8月份彩妆市场销售数据已出炉！
根据鲸参谋平台的数据显示，今年8月份，京东平台上彩妆行业的销量将近390万，其中，环比来看增长约11%，同比则降低约34%；销售额为6.3亿…
京东数据接口|电商运营中数据分析的重要性
在电商运营中，数据分析是非常重要的一环，它可以帮助电商企业更好地了解市场、了解消费者、了解产品、了解销售渠道等各种信息，从而制定更为科学有效的运营策略，提高销售效益。
数据方面用户可以直接选择使用数据接口来获取&#…
三、机器学习基础知识：Python常用机器学习库（Numpy第一部分）
文章目录 1、Numpy定义2、ndarray对象3、Numpy数据类型4、Numpy数组类型 1、Numpy定义
Numpy是Numberical Python的简称，是用来进行高性能计算与分析的基础包，是Python中重要的扩充库。它支持高维度数组与矩阵运算，也针对数组运算提供了大量…
【手写数字识别】数据挖掘实验二
文章目录 Ⅰ、项目任务要求任务描述：主要任务要求(必须完成以下内容但不限于这些内容)： II、实现过程数据集描述实验运行环境描述KNN模型决策树模型朴素贝叶斯模型SVM模型不同方法对MNIST数据集分类识别结果分析(不同方法识别对比率表及结果分析) 完整代…
走进API，了解数字化转型时代应用新宠
现今，国家正全面推进各行业数字化转型进程，“十四五”规划和2035年远景目标纲要明确提出“加快数字化发展”“建设数字中国”要求。近年来，随着数字化时代的来临，加之疫情的催生，已有越来越多的企业投入到数字化转型的…
GEO生信数据挖掘（七）差异基因分析
上节，我们使用结核病基因数据，做了一个数据预处理的实操案例。例子中结核类型，包括结核，潜隐进展，对照和潜隐，四个类别。本节延续上个数据，进行了差异分析。 差异分析 计算差异指标step12
加载…
64_Pandas进行字符串和数字的相互转换和格式化
64_Pandas进行字符串和数字的相互转换和格式化
本文介绍如何在 pandas.DataFrame 和 pandas.Series 中进行字符串和数字之间的转换，以及如何更改字符串的格式。
下面对内容进行说明。
类型转换（强制转换）：astype() 将数字转换为…
GEO生信数据挖掘（六）实践案例——四分类结核病基因数据预处理分析
前面五节，我们使用阿尔兹海默症数据做了一个数据预处理案例，包括如下内容：
GEO生信数据挖掘（一）数据集下载和初步观察
GEO生信数据挖掘（二）下载基因芯片平台文件及注释
GEO生信数据挖掘&…
怎么向国外客户催单？这样做既有效又不让客户反感
外贸业务员接单的过程其实是一场利益博弈的过程，而且外贸销售永远靠结果说话，所以无论你的客户如何承诺，甚至有时候都已经签订了定单合同做了PI，但客户钱没到账公司，一切就有可能归零。 01
心态一定要稳住 对于每个有…
数据挖掘与统计分析——T检验，正态性检验和一致性检验——代码复现
T检验是一种统计测试，用于确定两个样本组的均值是否有统计学上的显著差异。以下是对T检验的详细介绍：
定义：
T检验是一种参数检验，它的前提是数据近似于正态分布。它通过计算T统计量，并将其与特定分布（T分…
京东数据报告：2023年常温奶消费市场数据分析
众所周知，目前大家所熟知的乳企品牌最初能够在中国市场立足，靠的就是常温奶产品。作为一个传统领域赛道，常温奶多年来的规模增长大多来自于新老产品的升级迭代。
然而在消费加速升级的当下，常温奶行业显然陷入了僵局，…
高效防汛决策：山海鲸可视化系统助力城市防洪
随着全球气候的变化，自然灾害如洪水、台风等频发，防范洪水成为城市管理者和居民们亟待解决的重要问题。 洪水的威胁
洪水是自然界的杀手之一，不仅会造成大量的财产损失，还可能危害人们的生命安全。因此，预测、监测和有…
没用的知识增加了，尝试用文心实现褒义词贬义词快速分类
尝试用文心实现褒义词贬义词快速分类 一、我的需求二、项目环境搭建千帆SDK安装及使用流程 三、项目实现过程创建应用获取签名调用接口计算向量积总结 百度世界大会将于10月17日在北京首钢园举办，今天进入倒计时五天了。通过官方渠道的信息了解到，这次是…
如何一站式解决跨境电商难题？
跨境电商经营面临着众多挑战，如海外IP访问限制、账号封禁风险等。然而，借助指纹浏览器的一站式解决方案，跨境电商可以轻松应对这些难题，实现顺畅的全球业务拓展。
一、跨境电商面临的挑战：
跨境电商经营面临以下挑战…
京东运营数据分析：2023年中秋大闸蟹市场销售数据分析
双节也带不动大闸蟹市场？
早在放假前，各界消息都称今年是大闸蟹的丰收年。一方面，今年受到台风影响较少，整体气温适合大闸蟹生长；另一方面，蟹苗选育手段也在不断精进。因此今年大闸蟹产量预计会有明显提升…
印尼禁令频出，Shopee该站也停止销售跨境商品
日前，Shopee印尼站已经正式停止销售来自海外或跨境卖家的商品，这一举措于10月4日开始施行。
Shopee印尼公共政策负责人Radityo Triatmojo表示，该举措系对印尼2023年第31号贸易部长条例（Reg 31/2023）的响应。该条例旨在…
相似与不同：数字孪生和元宇宙的对比
数字孪生和元宇宙是两个备受瞩目的概念，都在数字领域产生了巨大的影响。它们有一些相似之处，但也存在显著的不同。本文将介绍它们的相同点和不同点，以及它们在不同应用领域的前景。
1. 相同点
虚拟性质： 数字孪生和元宇宙都是虚…
易点易动固定资产管理系统：RFID出入监控，保障固定资产安全
在企业管理中，固定资产的安全和管理一直是一项重要的任务。企业往往面临着固定资产丢失、盗窃和不当使用等问题，给企业带来巨大的经济损失和管理难题。为了解决这些问题，我们推出了易点易动固定资产管理系统，结合RFID出入监控技术…
2023年Q3季度国内手机大盘销额下滑2%，TOP品牌销售数据分析
根据Canalys机构发布的最新报告，2023年第三季度，全球智能手机市场出货量仅下跌1%，可以认为目前全球手机市场的下滑势头有所减缓。而国内线上市场的表现也类似。 根据鲸参谋数据显示，今年Q3京东平台手机累计销量约1100万件…
【论文复现】基于多模态深度学习方法的单细胞多组学数据聚类（【生物信息学】实验二：多组学数据融合：scMDC）
目录
一、实验介绍
1. 论文：基于多模态深度学习方法的单细胞多组学数据聚类
Abstract
2. Github链接
二、实验环境
0. 作者要求
1. 环境复现
实验一
实验二（本实验）
2. 库版本介绍
实验一
实验二
3. IDE
三、实验内容
1. 用法…
京东官方平台API接口获得JD商品详情页信息数据采集产品价格、原价、销量、商品属性名等
京东商品详情API接口的作用是获取京东平台上某个商品的详细信息，包括商品标题、价格、图片、规格、参数、店铺信息等。开发者可以通过该接口获取到商品的原始数据，方便进行数据分析、价格比较、爬取等操作。
通过该接口获取到的商品详情数据可以结合其他…
【基于Kmeans、Kmeans++和二分K均值算法的图像分割】数据挖掘实验三
文章目录 Ⅰ、项目任务要求任务描述：主要任务要求： II、实现过程数据集描述实现描述具体实现过程 III、完整代码代码①代码② Ⅰ、项目任务要求
任务描述：
图像分割是图像处理和计算机视觉中重要的一环，在实际生活中得到了广泛的…
智慧应急三维电子沙盘系统
1 概述 深圳易图讯科技有限公司（www.3dgis.top）采用大数据、云计算、虚拟现实、物联网、AI等先进技术为支撑，以6博硕团队为核心，研发了智慧应急三维电子沙盘系统，成功案例100。该系统支持高清卫星影像、DEM高程数据、…
数据分析案例-基于snownlp模型的MatePad11产品用户评论情感分析（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
模式植物背景基因集制作
一边学习，一边总结，一边分享！
写在前面
关于GO背景基因集文件的制作，我们在很早以前也发过。近两天，自己在分析时候，也是被搞了头疼。想重新制作一份GO背景基因集，进行富集分析。但是结果&…
GEO生信数据挖掘（八）富集分析（GO 、KEGG、 GSEA 打包带走）
第六节，我们使用结核病基因数据，做了一个数据预处理的实操案例。例子中结核类型，包括结核，潜隐进展，对照和潜隐，四个类别。第七节延续上个数据，进行了差异分析。 本节对差异基因进行富集分析。 …
相似性搜索：第 7 部分--LSH 组合物
Vyacheslav Efimov – Medium S相似性搜索是一个问题，给定一个查询，目标是在所有数据库文档中找到与其最相似的文档。
一、说明 在数据科学中，相似性搜索经常出现在 NLP 领域、搜索引擎或推荐系统中，其中需要检索最相关的文档或项…
从鸟瞰世界：倾斜摄影技术的地理信息之美
在当今数字时代，地理信息和地图数据的需求与应用已经成为我们生活的一部分。这些数据不仅在导航、地图应用中发挥着关键作用，还在城市规划、环境保护、农业、建筑和许多其他领域中至关重要。而倾斜摄影技术与可视化技术的结合，正为地理信息的…
【OJ比赛日历】快周末了，不来一场比赛吗？ #10.21-10.27 #11场
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
2023-10-21（周六） #2场比赛2023-10-22…
京东数据分析：2023年9月京东洗烘套装品牌销量排行榜！
鲸参谋监测的京东平台9月份洗烘套装市场销售数据已出炉！ 根据鲸参谋平台的数据显示，今年9月份，京东平台洗烘套装的销量为7100，环比下降约37%，同比增长约87%；销售额为6000万，环比下降约48%&#…
京东数据分析：2023厨房小电市场遇冷，空气炸锅等明星产品被抛弃
过去几年间，宅经济的爆发带火了酸奶机、煮蛋器、豆浆机、空气炸锅、养生壶等，一众外观小巧、功能丰富、价格相对便宜的厨房小家电。但随着年轻人走出家门回归工作岗位，厨房小家电们却步入了艰难时刻。 如今，厨房小家电们似乎正在经…
SAP-QM-动态检验规则
Dynamic Modification Rule （动态修改规则）
1、决定样本大小的方式有3种：
手动输入比例大小采样过程
物料主数据质量视图 2、采样过程的创建方式有2种
跟批量大小有关系：百分比/AQL跟批量大小没有关系：固定值
而当…
进阶课2——语音分类
语音分类主要是对语音从不同的维度进行识别和分类，这些维度可以包括语种、性别、年龄段、情绪、说话人身份等，具体如下：
语种分类：根据发音人的母语或者惯用语言，将语音分为不同的语种，例如中文、英文、法…
DELM深度极限学习机回归预测研究（Matlab代码实现）
💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…
彻底弄懂base64的编码与解码原理
背景
base64的编码原理网上讲解较多，但解码原理讲解较少，并且没有对其中的内部实现原理进行剖析。想要彻底了解base64的编码与解码原理，请耐心看完此文，你一定会有所收获。
涉及算法与逻辑运算概念
在探究base64编码原理和解码…
阿里巴巴中国站item_search_img按图搜索1688商品（拍立淘） API 返回值说明
1. 商品API：提供了搜索、详情、评价等与商品相关的接口，可以通过关键词搜索商品，获取商品详情、销量等信息。 2. 店铺API：提供了店铺信息、店铺内商品等接口，可以查询店铺的基本信息、主营类目、评分等，还可…
三步，金蝶K3的数据可视化了
数据可视化的一大特点就是“一图胜千言”，没什么能比图表更直观展现数据的了。那，金蝶K3系统上那海量数据能不能也做成数据可视化报表？操作复杂吗，难度大吗？
换了别的软件来做，操作多、难度大是板上钉钉&a…
大模型在数据分析场景下的能力评测
“你们能对接国产大模型吗？”
“开源的 LLaMA 能用吗，中文支持怎么样？”
“私有化部署和在线服务哪个更合适？” 自 7 月 14 日发布 AI 数智助理 Kyligence Copilot 后，我们收到了很多类似上面的咨询，尤其…
2023年清洁电器行业数据分析：洗地机市场规模持续倍增，进入赛点
洗地机作为清洁电器领域的明星品类，正在成为继扫地机器人之后拉动清洁电器市场大盘的又一核心动力。 在清洁电器领域，扫地机器人、洗地机和吸尘器是三大热门品类。截至今年9月份，根据鲸参谋平台的数据显示，吸尘器的规模继续大幅下…
2023年香水行业数据分析：国人用香需求升级，高端香水高速增长
在人口结构变迁的背景下，“Z世代”作为当下我国的消费主力，正在将“悦己”消费推动成为新潮流。具备经济基础的“Z世代”倡导“高颜值”、“个性化”、“精致主义”，这和香水、香氛为代表的“嗅觉经济”的特性充分契合，因此&#…
京东平台数据分析：2023年9月京东空气净化器行业品牌销售排行榜
鲸参谋监测的京东平台9月份空气净化器市场销售数据已出炉！ 9月份，空气净化器的销售同比上年增长。根据鲸参谋平台的数据显示，今年9月，京东平台空气净化器的销量将近15万，同比增长约1%；销售额将近2亿元&…
数据分析必备原理思路（二）
文章目录 三、主流的数据分析方法与框架使用1. 五个数据分析领域关键的理论基础（1）大数定律（2）罗卡定律（3）幸存者偏差（4）辛普森悖论（5）帕累托最优（…
洞察运营机会的数据分析利器
这套分析方法包括5个分析工具：
用“描述性统计”来快速了解数据的整体特点。用“变化分析”来寻找数据的问题和突破口。用“指标体系”来深度洞察变化背后的原因。用“相关性分析”来精确判断原因的影响程度。用“趋势预测”来科学预测未来数据的走势，
【OJ比赛日历】快周末了，不来一场比赛吗？ #10.29-11.04 #7场
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
2023-10-29（周日） #3场比赛2023-10-30…
电商平台亚马逊国际站点获得AMAZON商品详情API接口、卖家信息、销量、价格、商品规格信息列表参数详情示例分享案例
商品详情API接口可以获取到商品的完整详细信息，包括商品名称、价格、图片、描述、规格、库存等。这些信息对于用户来说是购买决策的重要依据，帮助他们了解商品的特性和性能。通过这个接口，开发者可以在自己的应用或网站中展示商品的详细信息&…
MacOS系统Chrome开发者模式下载在线视频
操作流程 # step1. 进入开发者模式 command option i
# step2. 在搜索栏中搜索 getHttpVideoInfo.do?关键词
# step3. 在Preview的Json界面中找到video，然后选择不同resolution & duration的视频片段；
# step4. 选择合适的video::chapters, 选择…
详细介绍如何使用 NeRF 进行 3D 体积渲染-附源码下载
介绍
在此示例中，我们展示了 Ben Mildenhall 等人的研究论文 NeRF：将场景表示为用于视图合成的神经辐射场的最小实现 。等人。作者提出了一种巧妙的方法，通过神经网络对体积场景函数进行建模来合成场景的新颖视图。
为了帮助您直观地理解这一点，让我们从以下问题开始： 是…
速卖通商品详情API接口获取aliexpress速卖通商品详情信息、销量、价格、商品规格信息参数调用示例说明
商品详情API接口在电商平台和购物应用中的作用非常重要。它提供了获取商品详细信息的能力，帮助用户了解和选择合适的商品，同时也支持开发者进行竞品分析、市场研究和推广营销等工作，以提高用户体验和促进销售增长。
aliexpress.item_get-获得…
【贝叶斯回归】【第 2 部分】--推理算法
一、说明 在第一部分中，我们研究了如何使用 SVI 对简单的贝叶斯线性回归模型进行推理。在本教程中，我们将探索更具表现力的指南以及精确的推理技术。我们将使用与之前相同的数据集。 二、模块导入 [1]:%reset -sf[2]:import logging
import osimport tor…
mediapipe 训练自有图像数据分类
参考： https://developers.google.com/mediapipe/solutions/customization/image_classifier https://colab.research.google.com/github/googlesamples/mediapipe/blob/main/examples/customization/image_classifier.ipynb#scrollToplvO-YmcQn5g
安装：…
跨境卖家如何提高工作效率？——VMLogin多开浏览器
对于跨境卖家来说，提高工作效率是至关重要的，因为他们需要同时处理多个业务需求和平台账户。本文将介绍一些跨境卖家的常见业务需求，并提供一种有效的解决方案——VMLogin多开浏览器*（www.vmlogin.com.cn) *，以帮助他们…
shopee选品软件：解决你店铺选品难题的神器-shopee选品软件知虾
在如今竞争激烈的电商市场中，选品难、定价难、销量差等问题一直困扰着许多商家。然而，如今有一款强大的工具能够帮助商家解决这些难题，它就是shopee选品软件——知虾。本文将介绍知虾的功能以及如何利用它来提升店铺的运营效果。 一、产品功能…
API安全之《大话：API的前世今生》
写在前面：本文结合API使用的业界现状，系统性地阐述API的基本概念、发展历史、表现形式等基础内容，主要包含以下内容：
1.什么是API
2.API的发展历史
3.现代API常用消息格式
4.top N 互联网企业API 使用现状 当前的世界是一个信…
【生物信息学】单细胞RNA测序数据分析：计算亲和力矩阵（基于距离、皮尔逊相关系数）及绘制热图（Heatmap）
文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、实验内容0. 导入必要的库1. 读取数据集2. 质量控制（可选）3. 基于距离的亲和力矩阵4. 绘制基因表达的Heatmap5. 基于皮尔逊相关系数的亲和力矩阵6. 代码整合 一、实验介绍 计算亲和力…
损失函数(Loss Function)一文详解-回归问题常见损失函数Python代码实现+计算原理解析
前言
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法…
客户收到样品后“消失”，怎么破？
对于大部分外贸人来说，谈客户几乎不是一次性谈成的，而是要进行多次的沟通。在沟通过程中难免会遇到各种问题，一些小问题容易解决，但有一些棘手的问题却不知该如何下手。 比如：
①客户收到样品后就“消失”，…
数据分析面试的一些问题提炼与总结
你是怎么进行数据跟踪 数据异常监控的 举个例子
比如在上家公司 发现当日活跃人数环比上日下降40% 这就是一个异常 我们去监控出现这个问题的原因 是不是有用户对新版本的不熟悉、操作不习惯导致日活跃人数下降 或者是版本太久没有更新 内容没有什么变化 用户粘性不高 导致下降…
数据分析指标体系的构建
指标体系是什么？ （S1）为了用量化方式准确描述场景，提出一系列的指标。（S2）将指标有系统地组织起来，形成的逻辑体系 指标体系 指标 体系 单独的几个指标不能称之为指标体系
如何评价指…
关于爬虫API常见的技术问题和解答
随着互联网的快速发展，数据获取变得越来越重要。爬虫API作为一种高效的数据获取手段，被广泛应用于各种场景。然而，在实际使用过程中，我们经常会遇到一些技术问题。本文将详细介绍爬虫API的常见技术问题及相应的解决方案。
一、爬…
制造业经营效益差？业务数据管理是关键
《中国制造2025》 指出，目前中国制造业整体尚处于由工业2.0向工业3.0过渡的阶段，而欧美的制造强国已提出工业4.0概念，由“制造”迈向“智造”， 实现智能工厂、 智能生产和智能物流，建立一个高度灵活的个性化和数字化的…
损失函数(Loss Function)一文详解-聚类问题常见损失函数Python代码实现+计算原理解析
损失函数(Loss Function)一文详解-聚类问题常见损失函数Python代码实现计算原理解析
前言
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但…
分析报告有样板了-奥威BI数据可视化报表模板
述职报告、月度数据分析报告、季度数据分析报告、区域数据分析报告……人在职场，数据分析报告少不了。那么，怎么才能在极短的时间内做出一张既好看又突出重点、分析逻辑在线的数据可视化分析报表？奥威BI软件的建议是采用BI数据可视化报表模板…
45基于matlab的ARIMA：AutoregressiveIntegratedMovingAverage model。
基于matlab的ARIMA：AutoregressiveIntegratedMovingAverage model。自回归差分移动平均模型(p,d,q)，AR自回归模型，MA移动平均模型，时间序列模型步骤包括：1. 数据平稳性检验；2. 确定模型参数；3. …
企业数字化转型与供应链效率-基准回归复刻（2007-2022年）
参照张树山（2023）的做法，本团队对来自统计与决策《企业数字化转型与供应链效率》一文中的基准回归部分进行复刻。文章实证检验企业数字化转型对供应链效率的影响。用年报词频衡量上市公司数字化转型程度，以库存周转天数来衡量供应…
淘宝、1688代购系统；微信代购小程序，代购系统源代码，PHP前端源码演示
淘宝代购是近年兴起的一种购物模式，是帮国外客户购买中国商品。主要是通过外贸代购系统，把淘宝、天猫等电商平台的全站商品通过API接入到你的网站上，瞬间就可以架设一个有数亿产品的大型网上商城，而且可以把这些中文的商品全 部自…
爬虫试用 | 京东商品详情搜索采集助手 – 一键批量采集下载商品详情
商品详情页（链接中可获取商品ID） API接口调用代码
Request address: https://api-服务器.cn/jd/item_get/?key【你的key】& &num_iid10335871600&cacheno&&langzh-CN&secret【你的密钥】
点此获取APIkey和secret
响应示例…
白上这么多年班，才知道数据可视化这么简单
写编程整理数据、做数据可视化分析，不仅难度大、易僵化，还效率低，不能及时响应业务的数据分析需求。那怎么办？换个BI数据可视化工具，套用BI方案，数据分析模型、BI数据可视化分析报表都一应俱全，…
全国2021年夜间灯光数据，有图有数据
在昨天的文章里，我们分享了全国手机基站数据，今天我们来分享全国2021年夜间灯光数据~
这些数据是由中国国家统计局发布的，并且包含了多个省份和城市的夜间灯光数据。通过这些数据，我们可以了解不同地区的发展状况和人口分布情况。…
第二章:人工智能深度学习教程-深度学习简介
深度学习是基于人工神经网络的机器学习的一个分支。它能够学习数据中的复杂模式和关系。在深度学习中，我们不需要显式地对所有内容进行编程。近年来，由于处理能力的进步和大型数据集的可用性，它变得越来越流行。因为它基于人工神经网络&#…
【GEE】7、利用GEE进行遥感影像分类【随机森林分类】
1简介 在本模块中，我们将讨论以下概念： 监督和非监督图像分类之间的区别。Google Earth Engine 提供的各种分类算法的定义和应用。如何使用 randomForest 设置和运行分类，以 aspen 存在和不存在作为示例数据集。 2背景 图像分类 人类自然倾向…
什么是数据库？数据库有哪些基本分类和主要特点？
数据库是以某种有组织的方式存储的数据集合。本文从数据库的基本概念出发，详细解读了数据库的主要类别和基本特点，并就大模型时代备受瞩目的数据库类型——向量数据库进行了深度剖析，供大家在了解数据库领域的基本概念时起到一点参考作用。
…
什么是MES管理系统生产建模
随着科技的飞速发展，智能制造已成为制造业的新常态。MES生产管理系统作为支撑智能制造的核心技术之一，在推动制造业转型升级中发挥着至关重要的作用。而MES管理系统生产建模，作为MES管理系统的关键环节，对于实现数字化、智能化的生…
领导说，效率越高的人，越擅长数据可视化
领导说效率越高的人，就越擅长数据可视化，因为他们总能找到操作简单、指标计算又快又准、分析效率极高的数据可视化工具，比如说奥威BI数据可视化工具。
奥威BI数据可视化工具，集齐一个高效BI数据可视化工具的五大使用优点…
电商API：淘宝京东拼多多1688多电商平台的商品销量库存信息获取
item_get 获得淘宝商品详情 获取APIkeyitem_get_pro 获得淘宝商品详情高级版item_review 获得淘宝商品评论item_fee 获得淘宝商品快递费用item_password 获得淘口令真实urlitem_list_updown 批量获得淘宝商品上下架时间seller_info 获得淘宝店铺详情item_search 按关键字搜索淘…
基于机器学习的 ICU 脑血管疾病死亡风险智能预测系统
温馨提示：文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介 重症患者或重大手术后的患者在重症监护室（ICU）内通过多种生命支持系统以维持生理功能。患者在ICU 内会被频繁持续的记录生命体征和实验室测量等多种数据。由于高频…
基于CLIP的图像分类、语义分割和目标检测
OpenAI CLIP模型是一个创造性的突破； 它以与文本相同的方式处理图像。 令人惊讶的是，如果进行大规模训练，效果非常好。 在线工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 3D…
2023年眼镜行业分析（京东眼镜销量数据分析）：市场规模同比增长26%，消费需求持续释放
随着我国经济的不断发展，电子产品不断普及，低龄及老龄人口的用眼场景不断增多，不同年龄阶段的人群有不同的视力问题，因此，视力问题人口基数也随之不断加大，由此佩戴眼镜的人群也不断增多。 同时，…
第四章:人工智能深度学习教程-激活函数(第四节-深入理解激活函数)
什么是激活函数？ 在人工神经网络中，节点的激活函数定义了该节点或神经元对于给定输入或一组输入的输出。然后将该输出用作下一个节点的输入，依此类推，直到找到原始问题的所需解决方案。
它将结果值映射到所需的范围，例…
数据分析实战 | 线性回归——女性身高与体重数据分析
目录
一、数据集及分析对象
二、目的及分析任务
三、方法及工具
四、数据读入
五、数据理解
六、数据准备
七、模型训练
八、模型评价
九、模型调参
十、模型预测 实现回归分析类算法的Python第三方工具包比较常用的有statsmodels、statistics、scikit-learn等&#…
基于广义回归神经网络的货运量预测
大家好，我是带我去滑雪！ 广义回归神经网络（GRNN）是径向基神经网络的一种，GRNN具有很强的非线性映射能力和柔性网络结构以及高度的容错性和鲁棒性，适合解决非线性问题。GRNN在逼近能力和学习速度上较RBF网络…
探索双十一：从技术角度剖析电商狂欢节
每年的11月11日，全球最大的在线购物狂欢节“双十一”在中国掀起了一场规模空前的消费风暴。以阿里巴巴为代表的电商平台和众多品牌商家，不仅为消费者提供了数以亿计的优惠商品，同时也将这一活动打造成了一个科技与商业完美结合的标志事件。本…
通过商品ID获取到京东商品详情页面数据，京东商品详情官方开放平台API接口，京东APP详情接口，可以拿到sku价格，销售价演示案例
淘宝SKU详情接口是指，获取指定商品的SKU的详细信息。SKU是指提供不同的商品参数组合的一个机制，通过不同的SKU来标识商品的不同组合形式，如颜色、尺寸等。SKU详情接口可以帮助开发者获取指定商品的SKU列表，以及每个SKU的属性、库存…
数据分析实战 | 贝叶斯分类算法——病例自动诊断分析
目录
一、数据及分析对象
二、目的及分析任务
三、方法及工具
四、数据读入
五、数据理解
六、数据准备
七、模型训练
八、模型评价
九、模型调参
十、模型预测 一、数据及分析对象
CSV文件——“bc_data.csv”
数据集链接：https://download.csdn.net/d…
多平台商品采集——API接口：支持淘宝、天猫、1688、拼多多等多个电商平台的爆款、销量、整店商品采集和淘客功能
item_get-获得淘宝商品详情
item_get_app-获得淘宝app商品详情原数据
item_get_pro-获得淘宝商品详情高级版
item_search-按关键字搜索淘宝商品
item_search_img-按图搜索淘宝商品（拍立淘）
item_search_shop-获得店铺的所有商品
API请求地址
公共…
各种业务场景调用API代理的API接口教程（附带电商平台api接口商品详情数据接入示例）
API代理的API接口在各种业务场景中具有广泛的应用，本文将介绍哪些业务场景可以使用API代理的API接口，并提供详细的调用教程和代码演示，同时，我们还将讨论在不同场景下使用API代理的API接口所带来的好处。 哪些业务场景可以使用API…
数据挖掘：分类，聚类，关联关系，回归
数据挖掘：
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开 测开的话，你就得学数据库，sql，oracle，尤其sql要学&…
数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树
数据挖掘：关联规则
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开 测开的话，你就得学数据库，sql，oracle，尤其sql要…
jupyter lab常用插件集合
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
Lasso回归和岭回归详解
当数据特征存在多重共线性，特征矩阵不满秩，或者用普通线性回归过拟合的状况时，我们需要用lasso回归或岭回归来构建模型。 左边是lasso回归，右边是岭回归。
Lasso使用的是系数 的L1范式（L1范式则是系数 的绝对值&#…
回顾 — SFA：简化快速 AlexNet（模糊分类）
模糊图像的样本 一、说明 在本文回顾了基于深度学习的模糊图像分类（SFA）。在本文中：Simplified-Fast-AlexNet (SFA)旨在对图像是否因散焦模糊、高斯模糊、雾霾模糊或运动模糊而模糊进行分类。 二、大纲 图像模糊建模简要概述简化快速 AlexNet…
淘宝API接口开发系列，获取商品详情，按关键词搜索商品，拍立淘，商品评论销量商品类目，买家卖家订单接口等演示案例
关键词推荐API接口通过提供相关的关键词推荐，能够帮助用户更快捷地搜索、改善用户体验，同时也对于SEO优化、广告投放、内容创作和个性化推荐等方面有着重要的作用。
item_search-按关键字搜索淘宝商品 公共参数
名称类型必须描述keyString是调用key&am…
1688往微信小程序自营商城铺货商品采集API接口
一、背景介绍
随着移动互联网的快速发展，微信小程序作为一种新型的电商形态，正逐渐成为广大商家拓展销售渠道、提升品牌影响力的重要平台。然而，对于许多传统企业而言，如何将商品信息快速、准确地铺货到微信小程序自营商城是一个…
数据可视化在监控易中的艺术与实践
在数字化运维管理中，数据可视化成为一种日益重要的工具，它将复杂的数据通过图形化的方式呈现，帮助运维团队更加直观和快速地理解系统的运行状况。监控易（MeiXin Era）将数据可视化引入到运维监控中，通过科学…
虾皮数据参谋：助您实现最优运营策略的神奇工具
在如今竞争激烈的电商市场中，拥有准确的数据分析和市场洞察力是取得成功的关键。虾皮数据参谋（Shopee生意参谋）作为一款强大的工具，为商家提供全面的数据分析和市场情报，帮助他们做出明智的决策并实现最佳运营效果。本…
信息检索与数据挖掘 | 【实验】检索评价指标MAP、MRR、NDCG
文章目录 📚实验内容📚知识梳理📚实验步骤🐇前情提要🐇MAP评价指标函数🐇MRR 评价指标函数🐇NDCG评价指标函数🐇调试结果 📚实验内容
实现以下指标评价，并对…
图像分类：弥合像素和理解之间的差距
一、介绍 在人工智能的广阔领域中，图像分类作为一种关键应用脱颖而出，它无缝地融合了计算机视觉和机器学习的复杂性。图像分类的核心是训练机器对数字图像中的对象或场景进行识别和分类。这项技术有着广泛的应用，从自动驾驶汽车和医疗诊断到社…
京东数据挖掘（京东数据采集）：2023年Q3电脑行业数据分析报告
近年来，在远程办公、远程教育等需求的刺激下，电脑的销售增长较为显著。不过，随着市场的成熟乃至饱和，电脑销售市场也逐渐出现增长困难、需求疲软等问题。 2023年第三季度，电脑市场的出货量同比下滑。根据鲸参谋电商数据…
手写LASSO回归python实现
import numpy as np
from matplotlib.font_manager import FontProperties
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as pltclass Lasso():def __init__(self):pass# 数据准备def prepar…
R语言绘制精美图形 | 火山图 | 学习笔记
一边学习，一边总结，一边分享！
教程图形 前言
最近的事情较多，教程更新实在是跟不上，主要原因是自己没有太多时间来学习和整理相关的内容。一般在下半年基本都是非常忙，所有一个人的精力和时间有限&#x…
大数据HCIE成神之路之数学（1）——基础数学
基础数学 1.1 基础数学实验介绍1.1.1 内容介绍1.1.2 框架介绍 1.2 基础数学实现1.2.1 ceil实现1.2.2 floor实现1.2.3 cos实现1.2.4 tan实现1.2.5 degrees实现1.2.6 exp实现1.2.7 fabs实现1.2.8 factorial实现1.2.9 fsum实现1.2.10 fmod实现1.2.11 log实现1.2.12 sqrt实现1.2.13…
国科大数据挖掘期末复习——聚类分析
聚类分析
将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。由聚类所生 成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。
聚类属于无监督学习（unsupervised learning&…
多视图聚类的论文阅读（一）
当聚类的方式使用的是某一类预定义好的相似性度量时， 会出现如下情况：
数据聚类方面取得了成功，但它们通常依赖于预定义的相似性度量，而这些度量受原始方法的影响:当输入维数相对较高时，往往是无效的。
1. Deep Mult…
项目中如何配置数据可视化展现
在现今数据驱动的时代，可视化已逐渐成为数据分析的主要途径，可视化大屏的广泛使用便应运而生。很多公司及政务机构，常利用大屏的手段展现其实力或演示业务，可视化的效果能让观者更快速的理解结果并直观的看到数据展现。因此&#…
Apache Superset数据分析平台如何实现公网实时远程访问数据【内网穿透】
文章目录 前言1. 使用Docker部署Apache Superset1.1 第一步安装docker 、docker compose1.2 克隆superset代码到本地并使用docker compose启动 2. 安装cpolar内网穿透，实现公网访问3. 设置固定连接公网地址 前言
Superset是一款由中国知名科技公司开源的“现代化的…
《斯坦福数据挖掘教程·第三版》读书笔记（英文版）Chapter 3 Finding Similar Items
来源：《斯坦福数据挖掘教程第三版》对应的公开英文书和PPT
It is therefore a pleasant surprise to learn of a family of techniques called locality-sensitive hashing, or LSH, that allows us to focus on pairs that are likely to be similar, without hav…
京东数据采集（京东数据运营）：怎样快速获取京东市场大数据？
相信京东平台的很多品牌方们都有做数据分析的需求，但面对多而杂的市场数据，很多运营者都没有思路。单依靠肉眼来看，很多商品的类目、销售成绩、价格分布等运营者也未必清楚。 其实对于京东平台上市场数据的获取，品牌可以直接借助一…
【聚类 | K-means】原理及推导流程（附模板代码，库手撕实现）
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
数据分析实战案例：Python 分析员工为何离职（附完整代码）
大家好，今天给大家介绍一个Python数据分析项目实战，不仅包含代码，还提供分析数据集。
员工流失或是员工离开公司的比率是公司关注的一个重要问题。它不仅会导致宝贵人才的流失，还会产生成本并破坏生产力。了解员工辞职的原因对于…
数据收集和准备：打造高质量的数据集
写在开头
在数据科学的舞台上，数据被誉为新时代的燃料。但要将原始数据转化为高质量、可用于分析的数据集，需要经历一系列复杂的步骤。本篇博客将深入探讨数据的收集和准备过程，结合实际数字、场景和代码，助你在数据科学的旅程中打造高质量的数据集。
1. 数据收集
1.1 常…
模块一、任务一.数据分析概述
一、module1 预测未来-总统大选
样本偏差 二、module2 优化现状-化妆品销售 1、数据分析师从业务类型上划分 2、目标：总销量 达到 目标销量 3、固定基本流程 （1）确定
一、目标值节节升高，是否合理？根据什么定的&…
Pandas数据分析开发实战博文集锦
本文为最近年来使用Pandas进行数据分析的实践笔记集锦，为了便于博主与爱好者查找相关内容，以及学习、应用过程，进行了初步简单梳理。内容包括：数据分析处理、可视化分析、数据库相关（ClickHouse、MongoDB、CSV、MySQL、…
拼多多官方开放平台接口app商品详情接口获取实时商品详情数据演示
拼多多开放平台提供了一种名为“商品详情接口”的API接口，它允许卖家从自己的系统中快速获取商品信息，如商品标题、描述、价格、库存等，并将这些信息展示在自己的店铺中。通过该接口，卖家可以更好地管理自己的商品库存和销售&…
一整个分析模型库，大数据分析工具都这么玩了吗？
一整个分析模型库，100张BI报表，覆盖销售、财务、采购、库存等多个分析主题。只需对接ERP，就能自动生成BI报表，完成对海量数据的系统化分析。现在大数据分析工具都发展到这种程度了吗？
放眼看去，现阶段能做…
【人工智能Ⅰ】8-回归 降维
【人工智能Ⅰ】8-回归 & 降维
8-1 模型评价指标
分类任务
准确率、精确率与召回率、F值、ROC-AUC、混淆矩阵、TPR与FPR
回归任务
MSE、MAE、RMSE
无监督任务（聚类）
兰德指数、互信息、轮廓系数
回归任务的评价指标
1：MSE均方误差…
用Markdown Nice写作
网址：https://www.mdnice.com/ 代码 表格 第二行用来对齐：
-表示左对齐
:-:表示居中
-:表示右对齐 数学
上下标 分数 累加 幂 对数 根式 微积分 交集、并集 格式
标题 缩进 删除线 斜体 加粗 参考文献
京东数据分析（京东数据采集）：2023年10月京东平板电视行业品牌销售排行榜
鲸参谋监测的京东平台10月份平板电视市场销售数据已出炉！ 根据鲸参谋电商数据分析平台的相关数据显示，10月份，京东平台上平板电视的销量将近77万，环比增长约23%，同比则下降约30%；销售额为21亿，环…
接入电商数据平台官方开放平台API接口获取商品实时信息数据，销量，评论，详情页演示
要接入电商数据平台官方开放平台API接口获取商品实时信息数据、销量、评论和详情页演示，需要按照以下步骤进行操作： 找到可用的API接口：首先，需要找到支持查询商品信息的API接口。可以在电商数据平台的官方开放平台上查找相应的AP…
Pandas-pd.to_numeric函数知识点总结
前言 本文是该专栏的第38篇，后面会持续分享python数据分析的干货知识，记得关注。
我们在处理数据分析项目的时候，通常会需要处理各种类型的数据，比如说“时间日期，字符串，布尔值”等等类型。有的时候，恰巧需要用Pandas将这些数据转换为数值类型，以便于后期进行统计或计…
淘宝API接口，获取商品详情，按关键词搜索，拍立淘，商品评论销量商品类目，买家卖家订单接口等接入演示
接入淘宝电商平台API接口的操作示例及具体步骤：
注册电商平台账号并获取API接口的访问权限：首先需要在电商平台网站上注册一个账号，并申请API访问权限。不同电商平台的申请流程可能有所不同，一般需要提供相关信息并完成认证流程。…
【11月比赛合集】5场可报名的「创新应用」、「数据分析」和「程序设计」大奖赛，任君挑选！
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
创新应用赛（1场比赛）数据分析赛&#…
京东数据分析平台（京东运营数据采集）：2023年10月京东白酒品牌销售排行榜
鲸参谋监测的京东平台10月份白酒市场销售数据已出炉！ 鲸参谋数据显示，10月份，京东平台上白酒的销量为340万，环比增长约16%，同比增长约37%；销售额为28亿，环比增长约20%，同比增长约122…
【AI读论文】AutoML的8年回顾：分类、综述与趋势
论文标题：Eight years of AutoML: categorisation, review and trends 论文链接：https://link.springer.com/article/10.1007/s10115-023-01935-1 本文主要围绕自动机器学习（AutoML）展开了系统性的文献综述，总结了该领…
2023亚太赛B题详细讲解 玻璃温室中的微气候
Problem B
Microclimate Regulation in Glass Greenhouses
问题B玻璃温室中的微气候法规 温室作物的产量受到各种气候因素的影响，包括温度、湿度和风速[1]。其中，适宜的温度和风速是植物生长[2]的关键。为了调节玻璃温室内的温度、风速等气候因素&…
【OJ比赛日历】快周末了，不来一场比赛吗？ #11.25-12.01 #17场
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
2023-11-25（周六） #9场比赛2023-11-26…
实现外卖配送的智能化：外卖配送可视化技术解析
随着互联网技术的不断发展，外卖配送行业也迎来了快速发展的时代。而随之而来的是越来越多的用户对于外卖配送的质量和效率提出了更高的要求。如何让外卖配送更加可视化，成为了外卖配送行业亟需解决的问题。 外卖配送可视化是指通过技术手段，将…
大数据分析与应用实验任务九
大数据分析与应用实验任务九
实验目的 进一步熟悉pyspark程序运行方式； 熟练掌握pysaprkRDD基本操作相关的方法、函数，解决基本问题。
实验任务
进入pyspark实验环境，打开命令行窗口，输入pyspark，完成下列任务&am…
浅谈国内智能制造现状和未来发展趋势
进人二十一世纪，互联网、新能源、大数据等技术的迅猛发展，从而使得社会发生巨大的改变，人类生产工业发生变革。为应对全球挑战，我国根据发展的实际情况，提出《中国制造2025》的国家战略规划。毋庸置疑的是，…
利用python对数据进行季节性和趋势拆解
1. 引言
时间序列数据是按时间顺序排列的数据点的集合。与传统的交叉-sectional 数据不同，时间序列数据通常具有时间维度，因此每个数据点都与一个特定的时间点相关联。这种数据类型在许多领域中都很常见，如经济学、气象学、股票市场分析等。…
【数据清洗 | 数据规约】数据类别型数据 编码最佳实践，确定不来看看？
🤵♂️ 个人主页: AI_magician 📡主页地址： 作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！&…
数据可视化：用图表和图形展示数据
写在开头
在当今信息爆炸的时代，海量的数据如同一座沉默的宝库，等待着我们挖掘和理解。然而，这些庞大的数据集本身可能令人望而生畏。在这个时候，数据可视化成为了解数据、发现模式和传达信息的强大工具。本篇博客将带领你探索数据可视化的奇妙世界，学习如何在python中使…
【人工智能Ⅰ】实验4：贝叶斯分类
实验4 贝叶斯分类
一、实验目的
1. 了解并学习机器学习相关库的使用。
2. 熟悉贝叶斯分类原理和方法，并对MNIST数据集进行分类。 二、实验内容
1. 使用贝叶斯方法对mnist或mnist variation数据集进行分类，并计算准确率。数据集从网上下载࿰…
京东数据分析（京东大数据采集）：2023年线上珍珠市场销售数据采集
在珠宝首饰市场，从黄金到钻石，如今年轻人的新风潮又转向了珍珠。珍珠热潮并非刚刚兴起，早在前两年，抖音、快手等短视频台的珍珠开蚌直播内容，就掀起了一波珍珠热潮。 此后，随着珍珠饰品被越来越多社交平台的…
今天给大家分享一套Python入门基础测试题，大家看看都会做吗？
今天给大家分享一套Python入门基础测试题，大家看看都会做吗？
一、测试题
1. 正确下载Anaconda平台或Python安装包并成功安装。
2. 掌握Python注释与print()和input()两个函数的用法，并作答以下选择题（不定项选择，正…
Hisat-Trinity-PASA等组学分析流程
一边学习，一边总结，一边分享！
详细教程请访问： 组学分析流程
本期分析流程
Hisat2-SamtoolsTrinity_GG_denovoPASA
…
本期教程文章 题目：Genomic insights into local adaptation and future climate-induced vu…
GraphPad Prism 9：最强大的数据分析软件，助您轻松解析复杂数据！
您是否正在寻找一个功能强大、易于使用的数据分析软件？GraphPad Prism 9是您的最佳选择！作为全球领先的科学数据分析工具，Prism 9提供了广泛的功能和先进的统计分析方法，帮助您轻松解析和可视化复杂的数据。
Prism 9不仅具备直观…
数据挖掘与低代码开发应用：加速业务创新的黄金组合
数据挖掘与低代码开发是当今创新领域的两大热点技术。数据挖掘技术可以从大量数据中发现隐藏的模式和知识，为决策提供有力支持；而低代码开发则使得应用程序的开发变得更加快捷和高效。本文将介绍数据挖掘和低代码开发的概念及其应用，并阐述它…
CRM：如何通过客户数据分析获得业务洞察？
客户数据分析，也称客户分析，是收集、组织和分析客户数据，以深入了解客户行为的过程。企业将利用这些数据来制定与营销、产品开发、销售等相关的业务决策。
通过客户分析，你可以做出简单的业务决策，比如找出投资回报率…
扩展学习|商务智能与社会计算
一、概念介绍
（一）商务智能 商务智能（Business Intelligence，简称BI）是一种基于数据分析的决策支持系统，旨在帮助企业或组织更好地理解和利用自身数据，发现其中的模式和趋势，并提供…
从二分类到多分类：探索Logistic回归到Softmax回归的演进
随着机器学习和深度学习的迅猛发展，我们需要越来越灵活和强大的模型来解决各种不同的问题。在分类问题中，Logistic回归一直是一个常见而有效的工具，尤其是在二分类场景中。然而，随着问题变得更加复杂，我们需要更先进的…
免费的数据采集软件，最新免费的几款数据采集软件【2024】
在当今数字化时代，数据是企业决策和业务发展的关键。而如何高效获取数据成为许多企业和研究机构的关注焦点。本文将深入探讨数据采集软件的种类。帮助大家选择最适合自己需求的数据采集工具。
数据采集软件种类
在众多数据采集软件中，有一类强大而多样…
Python数据科学视频讲解：Python元组
2.12 Python元组 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解2.12节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程，包括数据科学应用…
【数据挖掘】国科大苏桂平老师数据库新技术课程作业 —— 第三次作业
part 1
设计一个学籍管理小系统。系统包含以下信息：
学号、学生姓名、性别、出生日、学生所在系名、学生所在系号、课程名、课程号、课程类型（必修、选修、任选）、学分、任课教师姓名、教师编号、教师职称、教师所属系名、系号、学生所选课…
京东数据运营（京东API接口）：10月投影仪店铺数据分析
鲸参谋监测的京东平台10月份投影仪市场销售数据已出炉！ 10月份，环同比来看，投影仪市场销售均上涨。鲸参谋数据显示，今年10月，京东平台投影仪的销量为16万，环比增长约22%，同比增长约8%࿱…
要求CHATGPT高质量回答的艺术：提示工程技术的完整指南—第 19 章：聚类提示
要求CHATGPT高质量回答的艺术：提示工程技术的完整指南—第 19 章：聚类提示
聚类提示是一种允许模型根据某些特征或特性将相似数据点分组的技术。
具体做法是向模型提供一组数据点，并要求它根据某些特征或特性将这些数据点分组。
这种技术适…
【数据分析实战】华住集团酒店行业洞察：节假日与工作日表现对比
文章目录 1. 写在前面2. 数据采集源介绍2.1 数据展示 3. 节假日与工作日入住率对比3.1 入住率数据3.2 数据可视化3.3 本人浅薄分析 4. 节假日与工作日日均价对比4.1 日均价数据4.2 数据可视化4.3 本人浅薄分析 5. 总结与展望 1. 写在前面
随着旅游业的蓬勃发展和疫情逐渐得到控…
简单的图像分类任务全流程示例（内含代码）
以下是一个简单的示例，展示了如何使用 PyTorch 处理自定义图像分类数据集：
import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
from torch.utils.data import DataLoad…
数据仓库与数据挖掘c5-c7基础知识
chapter5 分类
内容 分类的基本概念 分类 数据对象 元组(x,y) X 属性集合 Y 类标签 任务 基于有标签的数据，学习一个分类模型，通过这个分类模型，可以把一组属性x映射到一个特定的类别y上 类别y 提前设定好的--如：学生…
社交网络分析3：社交网络隐私攻击、保护的基本概念和方法 + 去匿名化技术 + 推理攻击技术 + k-匿名 + 基于聚类的隐私保护算法
社交网络分析3：社交网络隐私攻击、保护的基本概念和方法 去匿名化技术 推理攻击技术 k-匿名 基于聚类的隐私保护算法 写在最前面社交网络隐私泄露用户数据暴露的途径复杂行为的隐私风险技术发展带来的隐私挑战经济利益与数据售卖防范措施 社交网络 用户数据隐私…
《PySpark大数据分析实战》-09.Spark独立集群安装
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
missingno——缺失数据可视化
【说明】文章内容来自《机器学习入门——基于sklearn》，用于学习记录。若有争议联系删除。 数据处理中，缺失数据可视化。missingno提供了一个灵活且易于使用的缺少数据可视化工具和实用程序的小型工具集，可以快速直观地概述数据集的完整性。 …
天猫数据分析-天猫数据分析工具-11月天猫面霜面膜数据分析报告：市场销售额超150亿！
秋冬气温下降、天气干燥，护肤品的市场需求也与日俱增。根据鲸参谋电商数据分析平台的相关数据显示，今年11月份，天猫平台上护肤品市场的销量销额都纷纷上升，其中，市场销量将近1.2亿，环比增长约14%࿱…
数字化新风潮：数据可视化引领小微企业
数据可视化技术正在成为小微企业数字化转型的利器。它不仅为企业提供了更清晰、更直观的数据呈现方式，还在企业决策、运营和客户体验等方面发挥着巨大的作用。下面我就以可视化从业者的角度，简单分析数据可视化是如何助力小微企业实现数字化加速的。 数据…
《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
地方招商策略：招商招哪些，如何选择理想的企业？
招商引资是推动地方经济发展的不二选择，通过吸引优质企业入驻，不仅可以带来直接的投资和税收，还可以为地方创造更多的就业机会，引入高端人才、先进的技术及管理经验，同时，招商引资还能够促进地方的产业升级…
论文阅读：一种通过降低噪声和增强判别信息实现细粒度分类的视觉转换器
论文标题： A vision transformer for fine-grained classification by reducing noise and enhancing discriminative information 翻译： 一种通过降低噪声和增强判别信息实现细粒度分类的视觉转换器
摘要
最近，已经提出了几种基于Vision T…
Spatial Data Analysis（三）：点模式分析
Spatial Data Analysis（三）：点模式分析
---- 1853年伦敦霍乱爆发
在此示例中，我将演示如何使用 John Snow 博士的经典霍乱地图在 Python 中执行 KDE 分析和距离函数。
感谢 Robin Wilson 将所有数据数字化并将其转换为友好的 G…
数据分析简单项目总结
基于BERT模型的群众问政留言之城乡建设热点大数据分析 基于Python爬取了1500条阳光热线中关于城乡建设的留言，通过BERT预训练语言模型提取文本的语义向量特征，利用临近传播算法对语义向量特征进行聚类得到127类群众关注问题，定义热度评价指标…
2023年日度煤炭价格数据，表格数据，市级精度 需要自取
基本信息.
数据名称: 日度煤炭价格数据
数据格式: excel
数据几何类型: 无
数据坐标系: WGS84
数据来源：网络公开数据
此数据为表格数据，无空间数据；2023年数据只到10月份，并非所有煤炭品种每月都有日价格，且煤…
【产品设计】SaaS产品数据分析之指标与标签
数据分析能够应用到各个领域和岗位，那么在SaaS产品中的应用会是如何？本文将探索SaaS产品在数据分析中的应用，并对其指标与标签的设计进行总结分析，一起来看看吧。 数据分析是业务开展过程中，收集记录各种行为产生的数据…
数据挖掘 分类模型选择
选择的模型有： 决策树、朴素贝叶斯、K近邻、感知机 调用的头文件有：
import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
from sklearn.linear_model import Perceptron
from sklearn.naive_bayes import GaussianNB
from s…
resnet 图像分类的项目
1. 项目文件 文件下载资源：resnet 图像分类的项目代码 本章利用reset34 作图像分类，包括计算训练集和测试集的loss、accuracy曲线，对训练好的网络在训练集测试集上求混淆矩阵 data 文件为训练集测试集，图像按照文件夹摆放inferenc…
jvs智能bi新增：数据集添加sql自定义节点、添加websocket任务进度动态展示等等
智能bi更新功能
新增:
1.数据集添加sql自定义输入节点，支持mysql Oracle数据源；
用户可以从这些数据源中获取数据，并通过SQL语句对数据进行自定义处理和分析。可以帮助用户更加灵活地处理和分析数据，满足各种个性化的需求。 2.…
推荐4个优秀的 Python 时间序列分析库
时间序列分析在金融和医疗保健等领域至关重要，在这些领域，理解随时间变化的数据模式至关重要。在本文中，我们将介绍四个主要的Python库——statmodels、tslearn、tssearch和tsfresh——每个库都针对时间序列分析的不同方面进行了定制。这些库…
做数据分析为何要学统计学（0）——如果提高数据样本质量
样本是数据分析的关键，直接影响研究成果质量。如果样本质量不高，即使使用再好的分析方法，也无法得出理想的结论。所以数据学科圈里有句名言“数据比方法更重要”。所以如何提高数据样本的质量是保证研究成果质量的第一步，虽然这一…
《PySpark大数据分析实战》-03.了解Hive
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
Data Mining数据挖掘—2. Classification分类
3. Classification
Given a collection of records (training set) – each record contains a set of attributes – one of the attributes is the class (label) that should be predicted Find a model for class attribute as a function of the values of other attribu…
通过商品ID获取到速卖通商品详情api接口，包括主图，销量，价格，优惠券信息，优惠价，商品评论内容等数据，速卖通商品详情接口接入方案
要通过API接口获取速卖通的商品数据，您需要使用速卖通的API接口文档中提供的特定接口和参数。以下是一般步骤：
获取API接口：首先，您需要找到电商平台的API接口文档或开发者资源，以了解可用的API接口和相应的参数。这些…
城市数字经济数据，附数字经济主成分公式，shp/excel格式，2011-2019年
数字经济主成分普惠金融指数* 0.6716信息传输计算机服务和软件业人*0.1896互联网宽带接入用户数万户* 0.0865移动电话用户数万人*0.0358电信业务收入万元* 0.0166 基本信息.
数据名称: 城市数字经济数据
数据格式: Shpexcel
数据时间: 2011-2019年
数据几何类型: 面
数…
做数据分析为何要学统计学（7）——什么问题适合使用方差分析？
方差分析（ANOVA，也称变异数分析）是英国统计学家Fisher（1890.2.17－1962.7.29）提出的对两个或以上样本总体均值进行差异显著性检验的方法。
它的基本思想是将测量数据的总变异（即总方差ÿ…
山海鲸可视化软件：选择合适的图表，让数据可视化更高效
作为一名山海鲸可视化软件的开发者，我深知选择合适的图表对于数据可视化的重要性。下面我将从开发者的角度，分享一些关于如何选择合适可视图表的建议。 首先，我们需要明确数据可视化的目标。不同的图表类型具有不同的特点和适用场景ÿ…
（开源）2023工训大赛智能垃圾分类项目(可循环播放视频，显示垃圾分类信息，拍照识别，垃圾分类，满载报警，压缩）
省赛:由于这个比赛是两年一届，并未做足充分的准备，但是通过一定的单片机基础，加上速成能力，也就是熬夜学，通过疯狂的网络搜索，在省赛第5 入选国赛 下面来简单介绍一下我们作品： 主控࿱…
京东看数据-京东运营数据分析-10月宠物市场销售数据分析（宠物店铺数据查询）
近年来，宠物成为越来越多家庭的成员，宠物数量不断增长，“宠物经济”异军突起，成为消费市场中特殊的存在。“撸猫”“吸狗”正迅速成为人们交际的热门谈资，宠物经济也迈入快速发展阶段。 根据鲸参谋电商数据分析平台的相…
CNN 卷积神经网络之 DenseNet 网络的分类统一项目(包含自定义数据集的获取)
1. DenseNet 网络介绍
本章实现的项目是DenseNet 网络对花数据集的五分类，下载链接：
基于迁移学习的 DenseNet 图像分类项目
DenseNet 网络是在 ResNet 网络上的改进，大概的网络结构如下： 1.1 卷积的简单介绍
图像识别任务主要…
易基因：动脉粥样硬化中的DNA甲基化和组蛋白修饰及其表观遗传治疗视角｜综述
动脉粥样硬化（Atherosclerosis, as）是一种以动脉血管壁炎症和斑块积聚为特征的血管病变，是大多数心血管疾病的重要病因。除了脂质沉积和慢性炎症外，越来越多的证据表明表观遗传修饰与动脉粥样硬化越来越相关，并从治疗和…
《PySpark大数据分析实战》-08.宽窄依赖和阶段划分
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
数据分析为何要学统计学（0）——如何提高数据样本质量
样本是数据分析的关键，直接影响研究成果质量。如果样本质量不高，即使使用再好的分析方法，也无法得出理想的结论。所以数据学科圈里有句名言——“数据比方法更重要”。所以如何提高数据样本的质量是保证研究成果质量的第一步，虽然…
天猫数据分析（天猫数据查询）：11月茅台涨价依然稳居销冠，白酒市场销售现状分析
11月份，贵州茅台宣布涨价。2023年11月1日起茅台上调53%vol贵州茅台酒（飞天、五星）出厂价格，平均上调幅度约为20%。有媒体报道，随着茅台酒出厂价宣布上调后，市场销售价普遍上涨50元至100元不等。 如今&#…
stata进行面板数据回归
文章目录 面板数据 panel data 面板数据 panel data
面板数据（Panel Data）又被称为平行数据，指的是对某变量在一定时间内持续跟踪观测的结果。面板数据兼具了横截面数据和时间序列数据的特点，即有横截面维度（在同一时…
小白学爬虫：根据商品ID或商品链接获取淘宝商品详情数据接口方法
小白学爬虫的准备工作包括以下几个方面：
学习Python基础知识：首先需要掌握Python编程语言的基本语法和数据类型，了解Python的常用库和模块，例如requests库等。了解HTTP协议和HTML语言：了解HTTP协议的基本概念和原理&a…
Python虚拟环境指南：告别依赖地狱
一、背景
在SAAS（软件即服务）平台中，用户使用自行定制的Python脚本已经成为司空见惯的做法，然而，由于不同用户对Python三方库的需求各不相同，而底层服务器一般只安装了一个Python版本。举例来说࿰…
「玩转 TableAgent 数据智能分析」实战数据分析演练
文章目录 前言TableAgent 功能亮点人人都是数据分析师融合创新应用的新成果 TableAgent 使用介绍登陆功能介绍申请认证 实战数据集分析一导入 CSV 文件数据发起提问TableAgent 应答结果贴切的服务推荐问题提问 实战数据集分析二分析结果分析哪个城市的未来人口最多 总结 TableA…
seaborn库图形进行数据分析（基于tips数据集）
Seaborn 是一个基于 matplotlib 的数据可视化库，可以用来绘制各种统计图表，包括散点图、条形图、折线图、箱线图等。Seaborn 提供了一些用于美化图表的默认样式和颜色主题，使得生成的图表更具有吸引力。下面是一些 Seaborn 库的常用功能和用法…
淘宝类目信息API接口获取淘宝商品分类信息API调用说明（含APIkey密钥）
cat_get-获得淘宝分类详情
item_cat_get-获得淘宝商品类目
公共参数
名称类型必须描述keyString是调用key（点此获取）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_…
《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
决策树相关算法_ID3_C45_信息熵_剪枝
决策树算法的主要思想源于Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法，以及由Breiman等人在1984年提出的CART算法，其主要优点是： 可读性；分类速度快。 决策树学习通常包括3个步骤： 特征选择；决策树…
小红书获得小红书笔记详情 API
小红书笔记详情 API 调用说明文档
一、背景
小红书是一个生活方式分享社区，用户可以在平台上发布和获取各类生活方式的笔记内容。为了提供更高效、更便捷的服务，我们开放了小红书笔记详情 API，供开发者查询小红书笔记的详细信息。
二、应用…
【模式识别】探秘分类奥秘：最近邻算法解密与实战
🌈个人主页：Sarapines Programmer🔥 系列专栏：《模式之谜 | 数据奇迹解码》⏰诗赋清音：云生高巅梦远游， 星光点缀碧海愁。 山川深邃情难晤， 剑气凌云志自修。 目录
🌌1 初识模式识…
平衡二叉树的构建（递归
目录 1.概念：2.特点：3.构建方法：4.代码：小结： 1.概念：
平衡二叉树（Balanced Binary Tree），也称为AVL树，是一种二叉树，它满足每个节点的左子树和右…
BI 商业数据分析能够给企业带来什么改变？
时下，随着中国企业数据整合应用的意识不断提高，BI 商业数据分析的应用驶入飞速发展的“快车道”。BI 商业智能利用数据分析技术与业务场景联系起来，通过一系列思维方法、指标体系及工具模型来支持市场分析、产品优化、客户洞察，从…
数据分析-19-Thera Bank信贷业务数据（包含数据代码）
文章目录 0. 数据代码下载1. 数据集介绍1.1 原始数据集变量的含义：1.2 原始数据的读入与清洗1.3 数据清洗及预处理 2. 探索数据变量2.1 数据相关系数的探索2.2 分类变量与开通贷款的关系探索2.2.1 银行存款证（CD）帐户与贷款之间的关系2.2.2 教…
Python 时间处理与数据分析利器：深入剖析 Arrow 模块的优势
写在开头
时间在数据分析中扮演着至关重要的角色，而选择适当的时间处理模块对于提高代码效率和可读性至关重要。本文将深入介绍 Arrow 模块，探讨其相对于其他时间处理模块的优势，以及在数据分析中的实际应用。
1. Arrow 模块概览
Arrow 模…
基于Kdtree加速的DBSCAN点云聚类
目录
一、相关介绍
二、实现原理
三、实现代码
四、运行结果 一、相关介绍 在点云数据分析中，我们经常需要对点云数据进行分割，提取感兴趣的部分。聚类是点云分割中的一类方法（其他方法有模型拟合、区域增长、基于图的方法、深度学习方法等）
数据分析之词云图绘制
试验任务概述：如下为所给CSDN博客信息表，分别汇总了ai, algo, big-data, blockchain, hardware, math, miniprog等7个标签的博客。对CSDN不同领域标签类别的博客内容进行词频统计，绘制词频统计图，并根据词频统计的结果绘制词云图。…
大厂接连崩溃，帆软BI、奥威BI这老牌BI呢？
阿里崩完了滴滴崩，滴滴崩完了腾讯崩。说的正是前段时间大厂们接连崩溃，影响万千企业用户的事。这也引发了人们对软件系统的担忧，比如在BI软件朋友圈内就有人问：帆软BI、奥威BI这些老牌BI软件会崩溃吗？
帆软BI软件是一…
**Python**综合案例
Python综合案例
一、系统需求分析
1、需求分析
使用面向对象编程思想完成学员管理系统的开发，具体如下：
① 系统要求：学员数据存储在文件中
② 系统功能：添加学员、删除学员、修改学员信息、查询学员信息、显示所有学员信息、保存学员信息及退出系统等功能。
2、角色…
【数据分析】numpy基础第四天
文章目录 1. 前天教程与巩固1.1. 第一天1.2. 第二天1.3. 第三天 2. 问题解析2.1. 第一天1. 如何创建Numpy数组2. 如何获取第3个元素3. 如何获取包含第1、2、3行的切片 2.2. 第二天4. 如何将一个有10个元素的一维数组，转变为10行1列的二维数组5. 如何在垂直或者水平上…
这儿有一道SPSS回归分析考试题，大家学会了吗？
为研究某地区房地产市场的价格与相关影响因素之间的关系，现从该地区采集了 20 份样本，数据如下表，请给出销售价格与相关影响因素之间的函数表达式，并从统计学角度分析这些因素之间的关系，最后预测 X 小区的平均销售价格…
数字智慧：数据可视化如何引领各行各业的未来？
在信息时代的浪潮中，数据无疑成为推动各行各业发展的引擎。而数据可视化作为数据处理与表达的有力工具，其在各个领域发挥的重要作用日益凸显，成为推动创新、提高效率的关键因素。下面我就从可视化行业从业者的角度，简单聊聊这个问…
【完整思路】2023 年中国高校大数据挑战赛 赛题 B DNA 存储中的序列聚类与比对
2023 年中国高校大数据挑战赛 赛题 B DNA 存储中的序列聚类与比对 任务 1.错误率和拷贝数分析：分析“train_reads.txt”和“train_reference.txt”数据集中的错误率（插入、删除、替换、链断裂）和序列拷贝数。 2.聚类模型开发：开发…
基于Python的B站排行榜大数据分析与可视化系统
温馨提示：文末有 CSDN 平台官方提供的学长 QQ 名片 :) 1. 项目简介 本文介绍了一项基于Python的B站排行榜大数据分析与可视化系统的研究。通过网络爬虫技术，系统能够自动分析B站网址，提取大量相关文本信息并存储在系统中。通过对这些信息进行…
Python数据科学应用从入门到精通--Python读取、合并SPSS数据文件
在很多情况下，我们需要调用SPSS软件产生的数据，下面通过示例来进行讲解。首先需要将本书提供的数据文件存储在安装spyder-py3的默认路径位置（C:/Users/Administrator/.spyder-py3/，注意具体的安装路径可能与此不同）&am…
2023 年中国高校大数据挑战赛赛题B DNA 存储中的序列聚类与比对-解析与参考代码
题目背景：目前往往需要对测序后的序列进行聚类与比对。其中聚类指的是将测序序列聚类以判断原始序列有多少条，聚类后相同类的序列定义为一个簇。比对则是指在聚类基础上对一个簇内的序列进行比对进而输出一条最有 可能的正确序列。通过聚类与比对将会极大…
大数据HCIE成神之路之特征工程——特征选择
特征选择 1.1 特征选择 - Filter方法1.1.1 实验任务1.1.1.1 实验背景1.1.1.2 实验目标1.1.1.3 实验数据解析1.1.1.4 实验思路 1.1.2 实验操作步骤 1.2 特征选择 - Wrapper方法1.2.1 实验任务1.2.1.1 实验背景1.2.1.2 实验目标1.2.1.3 实验数据解析1.2.1.4 实验思路 1.2.2 实验操…
数据挖掘总结(考试版）
数据挖掘总结：
第一章：
数据挖掘KDD步骤：
数据清理: (消除噪声和删除不一致的数据)数据集成（多种数据源可以组合在一起）数据选择（从数据库中提取与分析任务相关的数据）数据变换（数…
时间序列自相关性检验方法
时间序列的自相关是指一个给定时间点的时间序列中的值可能与另一个时间点的值具有相关性，也可以指序列数据中具有固定距离的任意两点之间是否存在相关性。
import wooldridge as woo
import pandas as pd
import numpy as np
import statsmodels.api as sm
import …
大数据分析案例-基于LinearRegression回归算法构建房屋价格预测模型
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
leaflet聚类——leaflet.markercluster
leaflet实现为实现mark聚类渲染提供了很好的插件：leaflet.markercluster。
demo查看地址：Leaflet 聚类渲染
插件下载地址：https://github.com/Leaflet/Leaflet.markercluster
用法
创建一个新的 MarkerClusterGroup，将您的标记…
基于网络爬虫的天气数据分析
二、网络爬虫设计
网络爬虫原理 网络爬虫是一种自动化程序，用于从互联网上获取数据。其工作原理可以分为以下几个步骤：
定义起始点：网络爬虫首先需要定义一个或多个起始点（URL），从这些起始点开始抓取数据…
3、非数值型的分类变量
非数值型的分类变量 有很多非数字的数据，这里介绍如何使用它来进行机器学习。 在本教程中，您将了解什么是分类变量，以及处理此类数据的三种方法。 本课程所需数据集夸克网盘下载链接：https://pan.quark.cn/s/9b4e9a1246b2 提取码：uDzP 文章目录 1、简介2、三种方法的使用1…
使用 LinkAi 打造自己的知识库和数字人
其他系列文章导航 Java基础合集数据结构与算法合集 设计模式合集 多线程合集 分布式合集 ES合集 文章目录
其他系列文章导航
文章目录
前言
一、LinkAi 介绍
二、文档库
2.1 创建知识库
2.2 配置知识库
2.3 Ai配置
2.4 导入文档
2.5 接入微信
三、扩展
四、总结…
超级菜鸟怎么学习数据分析？
如果你有python入门基础，在考虑数据分析岗，这篇文章将带你了解：数据分析人才的薪资水平，数据人应该掌握的技术栈。
首先来看看，我在搜索数据分析招聘时，各大厂开出的薪资： 那各大厂在数据领域…
第二章第17节：Excel中match 函数
1, match和index 函数介绍
01，match 功能:返回符合特定值，特定顺序的项在数组中的相对位置。 语法:= INDEX(lookup_value, lookup_array,[match type])
2,match函数的用法
用法：MATCH(要查找的数据, 查找区域, 查找方式) 重点：第三参数，-1，0，1； -1代表降序排列， 0表…
【数据结构】从顺序表到ArrayList类
文章目录 1.线性表1.1线性表的概念2.顺序表2.1顺序表的概念2.2顺序表的实现2.3接口的实现(对数组增删查改操作)3.ArrayList简介4. ArrayList使用 4.1ArrayList的构造4.2 ArrayList的方法4.3 ArrayList的遍历 1.线性表
1.1线性表的概念
线性表（linear list…
Python 数据分析实战——为什么销售额减少？酒卷隆治_案例1
# 为什么黑猫游戏的销售额会减少？
# 数据集
DAU : 每天至少来访问一次的用户数据
数据内容 数据类型 字段名
访问时间 string（字符串） log_data
应用名称 string（字符串） app_name
用户 ID int（数值&…
掌握可视化大屏：提升数据分析和决策能力的关键(下)
🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…
辽宁链家新房数据采集与可视化实现
摘 要
网络爬虫也叫做网络机器人，是一种按照一定的规则，自动地抓取网络信息，进行数据信息的采集与整理的程序或者脚本。随着海量数据的出现，如何快速有效的获取到我们想要的数据成为难题。以房源信息为例，该文使用Pyt…
###C语言程序设计-----C语言学习（4）#
前言：感谢老铁的浏览，希望老铁可以一键三连加个关注，您的支持和鼓励是我前进的动力，后续会分享更多学习编程的内容。现在开始今天的内容： 一. 主干知识的学习
1.字符型数据
（1）字符型常量 字…
如何多个excel中的数据分发到多个excel中去
这个问题之前有一个文章我写了这个方法，但是后来发现效率太低了，于是再次更新一下对应的技术方案，提速5000倍。
一下代码主要实现的功能：
我有5000多个excel文件，每个文件是一只股票从上市至今的日K交易数据࿰…
4D毫米波雷达分类和工程实现
4D毫米波目标检测信息丰富，可获得目标3维位置信息、径向速度vr和rcs等，能够对目标准确分类。 4D毫米波和激光做好时空同步，可以用激光目标给4D毫米波做标注，提升标注效率。
1 激光用做4D毫米波分类真值 128线激光推理的结果作为4…
穷游网酒店数据采集与可视化分析与实现
摘 要
穷游网酒店数据采集与可视化分析大屏的背景是为了满足用户对酒店数据的需求以及提供数据洞察和决策支持。随着旅游业的快速发展，人们对酒店信息的需求日益增加，而穷游网作为一家专注于旅游信息的网站，拥有丰富的酒店数据资源。
这个大…
ImageNet预训练图像分类模型预测单张图像
导入基础工具包
import osimport cv2import pandas as pd
import numpy as npimport torchimport matplotlib.pyplot as plt
%matplotlib inline
计算设备确定
# 有 GPU 就用 GPU，没有就用 CPU
device torch.device(cuda:0 if torch.cuda.is_available() else c…
代理IP在SEO优化、市场调研和数据挖掘中的应用实例
代理IP在SEO优化、市场调研和数据挖掘中的应用实例广泛且实用，下面分别详细说明： 1. SEO优化： 排名追踪：SEO专家可以利用代理IP模拟不同地理位置的用户访问搜索引擎，获取特定关键词下的搜索结果排名。这有助于监控自家…
【12月比赛合集】4场可报名的「创新应用」、「数据分析」和「程序设计」大奖赛，任君挑选！
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
数据分析赛（1场比赛）程序设计赛&#…
《PySpark大数据分析实战》-24.数据可视化图表介绍
📋 博主简介 💖 作者简介：大家好，我是wux_labs。😜 热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP…
【Project】TPC-Online Module (manuscript_2024-01-07)
PRD正文
一、概述
本模块实现隧道点云数据的线上汇总和可视化。用户可以通过注册和登录功能进行身份验证，然后上传原始隧道点云数据和经过处理的数据到后台服务器。该模块提供数据查询、筛选和可视化等操作，同时支持对指定里程的分段显示和点云颜色更改…
一文讲透使用Python绘制双纵轴线图
双纵轴线图主要用来展示两个因变量和一个自变量的关系，并且两个因变量的数值单位不同。具体来说，双纵轴线图是指在一幅图上有一个横轴和两个纵轴，适用于三个变量。两个纵轴分别表示一个变量，横轴变量同时适用于两个纵轴上的变量&a…
扩展学习|数据融合助推商务智能与分析
文献来源：[1]李爱华,续维佳,石勇.基于数据融合的商务智能与分析架构研究[J].计算机科学,2022,49(12):185-194. 一、信息融合
（一）信息融合定义演变 早期信息融合的定义指出，其主要任务是综合分析若干传感器观测到的信息[9,…
数据挖掘在制造业中的预测与优化应用
随着大数据时代的到来，数据挖掘技术在各行各业的应用日益广泛，尤其在制造业中，其对于提升生产效率、降低运营成本、优化供应链管理等方面发挥着不可替代的作用。本文将探讨数据挖掘在制造业中的预测与优化应用，通过深入剖析实际案…
广告投放场景中ABtest分析的评价、优化和决策建议
写在开头
在当今数字化的商业环境中，广告投放是企业获取客户和推动销售的重要手段。然而，随着市场竞争的加剧，制定有效的广告策略变得愈发复杂。在这个背景下，AB测试成为了广告主们不可或缺的工具之一。本文将深入探讨广告投放中的AB测试，着重于评价指标的选择、统计学方…
京东（天猫淘宝）数据分析工具-鲸参谋系统全功能解析——行业大盘、红蓝海市场、品牌分析、店铺分析、商品分析、竞品监控（区分自营和POP）
作为第三方电商数据平台，鲸参谋电商大数据系统能够为品牌方和商家提供包括行业趋势、热门品牌、店铺分析、单品分析在内的多个层面数据分析，帮助商家做出更加准确的经营决策，提升经营效率，实现精准营销。
下面，我们针…
【财务数据分析经验分享】如何进行三大报表的年度解读
很快就要到年底了，大家又要开始进行年度经营数据分析了。今天我就用一个例子来演示财务数据分析三张报表的年度分析。
为了更便捷的从年度来分析三大报表，我分别以同样的基本思路对三大报表开发出三张年度分析报表：
1、 按年度来进行筛选分…
京东年度数据报告-2023全年度笔记本十大热门品牌销量（销额）榜单
2023年度，在电脑办公市场整体销售下滑的环境下，笔记本市场的整体销售也不景气。
根据鲸参谋平台的数据显示，京东平台上笔记本的年度销量为650万，同比下滑约16%；销售额约为330亿，同比下滑约19%。同时&#…
Python图形界面开发：Tkinter与PyQt
Python是一种非常流行的编程语言，它拥有丰富的图形用户界面（GUI）开发库。其中，Tkinter和PyQt是最常用的两个库。下面是对这两个库的简单介绍。
1. Tkinter
Tkinter是Python的标准图形用户界面库。它提供了一组简单的工具和函数&…
数据交付变革：研发到产运自助化的转型之路
作者 | Chris 导读 本文讲述为了提升产运侧数据观察、分析、决策的效率，支持业务的快速迭代，移动生态数据研发部对数仓建模与BI工具完成升级，采用宽表建模与TDA平台相结合的方案，一站式自助解决数据应用需求。在此过程中ÿ…
京东年度数据报告-2023全年度游戏本十大热门品牌销量（销额）榜单
同笔记本市场类似，2023年度游戏本市场的整体销售也呈下滑态势。根据鲸参谋电商数据分析平台的相关数据显示，京东平台上游戏本的年度销量累计超过350万，同比下滑约6%；销售额将近270亿，同比下滑约11%。 鲸参谋综合了京东…
图解智慧：数据可视化如何助你高效洞悉信息？
在信息爆炸的时代，数据扮演着越来越重要的角色，而数据可视化则成为解读和理解海量数据的得力工具。那么，数据可视化是如何帮助我们高效了解数据的呢？下面我就以可视化从业者的角度来简单聊聊这个话题。 无需深奥的专业知识&#x…
2. seaborn-可视化分类数据
在seaborn中，有几种不同的方法可以对分类数据进行可视化。类似于relplot()与scatterplot()或者lineplot()之间的关系，有两种方法可以制作这些图。有许多axes-level函数可以用不同的方式绘制分类数据，还有一个figure-level接口catplot()&#…
一文速学-selenium高阶性能优化技巧
一文速学-selenium高阶性能优化技巧
前言
最近写的挺多自动化办公的selenium程序没有做优化，执行效率不高，启动浏览器又慢但是又可能出现其他不可控的因素，总结来说虽然放心运行但是又没那么好用，项目是写完了最后还是需要优化结…
中国硝酸异辛酯行业调研与投资预测报告（2024版）
内容介绍：
硝酸异辛酯是一种常用的柴油添加剂，用于改进柴油的十六烷值，其分子式为（C8H17O）NO2，外观为无色（或淡黄色）透明液体。
十六烷值是衡量柴油着火性能和抗爆性能的指标。一般…
大数据业务解析：探索OLAP、数据挖掘、即席查询和仪表板的无限潜力
大数据业务解析：探索OLAP、数据挖掘、即席查询和仪表板的无限潜力 这个系列主要帮助那些想要了解大数据和想结合大数据到自己实际业务的人，使其掌握对应的技术和业务水平 引言：
在当今数据驱动的商业环境中，理解联机分析处理&…
公司运营数据分析大屏：引领企业决策，驱动业务增长
在数字化时代，数据已经成为企业决策的关键。为了更好地洞察市场趋势、优化业务流程、提升运营效率，越来越多的企业开始引入数据分析大屏以分析公司运营状况。这一创新举措不仅改变了传统的管理模式，更引领企业迈向智能化决策的新篇章。 公司运…
电商API接口的大数据分析与挖掘技巧
随着电商行业的快速发展，电商平台上的交易数据量也越来越大。如何对这些数据进行分析和挖掘，从中获取有价值的信息，已经成为电商企业和开发者关注的重点。本文将介绍电商API接口的大数据分析与挖掘技巧。
一、数据采集
1.确定分析目标&…
探索数据的奥秘：一份深入浅出的数据分析入门指南
数据分析
书籍推荐
入门读物
深入浅出数据分析啤酒与尿布数据之美数学之美
数据分析
Scipy and NumpyPython for Data AnalysisBad Data Handbook集体智慧编程Machine Learning in Action机器学习实战Building Machine Learning Systems with Python数据挖掘导论Machine L…
《Python 网络爬虫简易速速上手小册》第7章：如何绕过反爬虫技术？（2024 最新版）
文章目录 7.1 识别和应对 CAPTCHA7.1.1 重点基础知识讲解7.1.2 重点案例：使用Tesseract OCR识别简单CAPTCHA7.1.3 拓展案例 1：使用深度学习模型识别复杂CAPTCHA7.1.4 拓展案例 2：集成第三方 CAPTCHA 解决服务 7.2 IP 轮换与代理的使用7.2.1 重…
每天一个数据分析题（一百五十四）
给定下面的Python代码片段，哪个选项正确描述了代码可能存在的问题？ from scipy import stats
返回异常值的索引
z stats.zscore(data_raw[‘Age’]) z_outlier (z > 3) | (z < -3) z_outlier.tolist().index(1)
A. 代码将返回数据集Age列中第…
《MySQL 简易速速上手小册》第2章：数据库设计最佳实践（2024 最新版）
文章目录 2.1 规划高效的数据库架构2.1.1 基础知识2.1.2 重点案例2.1.3 拓展案例 2.2 数据类型和表设计2.2.1 基础知识2.2.2 重点案例2.2.3 拓展案例 2.3 索引设计原则2.3.1 基础知识2.3.2 重点案例2.3.3 拓展案例 2.1 规划高效的数据库架构
在开启我们的数据库设计之旅之前&a…
利用低代码 BI 平台获得竞争优势：实现数据分析与业务决策的革新
介绍
疫情迫使企业优先考虑数字化转型。由于公司被迫参加计划外的数字化速成课程，这种文化转变将数字技术的采用加速了数年。
转向数字解决方案已成倍增加了跨行业生成的数据量。大量数据可以更好地了解运营、客户和市场，还可以推动任何组织的创新。
…
MATLAB实现LSTM时间序列预测
LSTM模型可以在一定程度上学习和预测非平稳的时间序列，其具有强大的记忆和非线性建模能力，可以捕捉到时间序列中的复杂模式和趋势[4]。在这种情况下，LSTM模型可能会自动学习到时间序列的非平稳性，并在预测中进行适当的调整。其作为循环神经网络（RNN）的特殊形式，继承了循…
数据采集接口分类：数据采集、数据的采集有哪些?
中国的人工智能会面临着前所未有的发展机遇，她也将会以真正解决人类钢需载入史册，我们也期待着在天津跟在座的各位合作伙伴共同努力，真正的用人工智能建设美好世界。 API接口数据采集 主流电商数据采集
一、 什么是数据采集 确立一个算法模…
《MySQL 简易速速上手小册》第4章：数据安全性管理（2024 最新版）
文章目录 4.1 用户认证和权限控制4.1.1 基础知识4.1.2 重点案例：使用 Python 管理 MySQL 用户权限4.1.3 拓展案例 4.2 防止 SQL 注入和其他安全威胁4.2.1 基础知识4.2.2 重点案例：使用 Python 和 MySQL 进行安全的数据查询4.2.3 拓展案例 4.3 数据加密和…
天猫数据分析（天猫数据查询工具）：2023年滑雪服市场消费现状及趋势（天猫服饰行业分析报告）
随着全民健身的理念逐渐深入人心，滑雪运动产业迎来了前所未有的发展机遇。相关政策的大力支持，冰雪旅游服务设施的日益完善，都为滑雪运动的普及和推广提供了有力保障。
目前，滑雪行业正在蓬勃发展，而在滑雪运动的热潮…
《CSS 简易速速上手小册》第8章：CSS 性能优化和可访问性（2024 最新版）
文章目录 8.1 CSS 文件的组织和管理8.1.1 基础知识8.1.2 重点案例：项目样式表结构8.1.3 拓展案例 1：使用BEM命名规范8.1.4 拓展案例 2：利用 Sass 混入创建响应式工具类 8.2 提高网页加载速度的技巧8.2.1 基础知识8.2.2 重点案例：图…
huggingface pipeline零训练样本分类Zero-Shot Classification的实现
1 ： 默认的model 。
from huggingface_hub.hf_api import HfFolder
HfFolder.save_token(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)
from transformers import MBartForConditionalGeneration, MBart50TokenizerFastfrom transformers import pipelineclassifier p…
Python商业数据挖掘实战——爬取网页并将其转为Markdown
前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家：https://www.captainbed.cn/z
ChatGPT体验地址 文章目录 前言前言正则表达式进行转换送书活动 前言
在信息爆炸的时代，互联网…
ERNIE实现酒店情感分析（文本分类）
ERNIE实现酒店情感分析（文本分类）
引言
在自然语言处理（NLP）领域，文本分类是一项重要的任务，它能够帮助我们理解和分析大量的文本数据。随着深度学习技术的发展，预训练模型成为了处理文本分类…
回归预测模型：机器学习回归模型
1.支持向量机回归 (Support Vector Machine Regression, SVR)
支持向量机回归（SVR）是支持向量机（SVM）在回归问题上的应用。与SVM用于分类不同，SVR的目标是找到一个函数，这个函数在所有训练样本的误差都不超…
MATLAB进行特征选择
特征选择是机器学习和统计建模中的重要步骤，它涉及选择最相关、最有信息价值的特征，以提高模型性能、降低过拟合风险，并加速训练过程。以下是一些常见的特征选择方法：
（1）方差选择法 计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征作为筛选出来的特…
面试：正确率能很好的评估分类算法吗
正确率（accuracy） 正确率是我们最常见的评价指标，accuracy (TPTN)/(PN)，正确率是被分对的样本数在所有样本数中的占比，通常来说，正确率越高，分类器越好。 不同算法有不同特点，在不同…
1.27马尔科夫链，抽样蒙特卡洛模拟（逆转化方法，接受拒绝矩阵），马尔科夫链蒙特卡洛MCMC，隐马尔科夫（HMM(V算法剪枝优化），NLP）
马尔科夫链 蒙特卡洛法模拟
抽样，逆转换方法
就是说由系统自带的随机函数RANDOM，通过下面这个方法，可以变为对应的随机模拟函数 就是说要实现蒙特卡洛模拟，是要先有一个概率表达式，然后基于这个概率表达式࿰…
基于大数据的淘宝电子产品数据分析的设计与实现
（1）本次针对开发设计系统并设置了相关的实施方案，利用完整的软件开发流程进行分析，完成了设置不同用户的操作权限和相关功能模块的开发，最后对系统进行测试。 （2）框架可以帮助程序开发者快速构建…
用户体验优化：HubSpot的秘密武器
在当今数字化市场中，提升用户体验已经成为企业成功的关键因素之一。HubSpot，作为一款领先的营销自动化工具，不仅在推动销售业绩上表现出色，同时通过其独特的策略也致力于提升用户体验。运营坛将深入探讨HubSpot是如何通过个性化推…
超过1000种工具揭示了单细胞RNA数据分析的趋势
文章：Over 1000 tools reveal trends in the single-cell RNA-seq analysis landscape 杂志：Genome Biology 年份：2021 从 2016 年开始，scRNA-tools 数据库（https://www.scrna-tools.org/）不断收集单细胞转…
基于深度学习的医学影像新冠肺炎图像分类（含完整代码）
一、绪论 新冠肺炎（COVID-19），由严重急性呼吸综合征冠状病毒2型（SARS-CoV-2）引起，自2019年底首次在中国武汉爆发以来，迅速蔓延至全球，成为一场影响深远的全球性大流行病。 在这场疫情…
Python 处理小样本数据的文档分类问题
在处理小样本数据的文档分类问题时，可以尝试使用迁移学习或者基于预训练模型的方法，如BERT、GPT等。然而，直接在这里编写一个完整的深度学习文档分类代码超出了这个平台的限制，但我可以为你提供一个基本的思路和简单示例ÿ…
每天一个数据分析题（一百五十九）
主成分分析（PCA）不适宜单独用于哪种情况？
A. 员工绩效的评估和排名
B. 描述产品情况，如子公司的业务发展状况
C. 消除数据分析中的共线性问题
D. PCA可以作为异常识别的算法使用
题目来源于CDA模拟题库
点击此处获取答案
数据可视化：让数据“活”起来
在当今数据驱动的时代，数据可视化已经成为了一种至关重要的工具，它可以将复杂的信息以直观、易于理解的方式呈现出来。通过图形、图表、地图等视觉元素，数据可视化帮助我们更好地理解和分析数据，发现隐藏在其中的模式、趋势和关系…
京东数据分析（电商数据查询）：2023年冲锋衣行业大卖，销售额同比增长96%！
在服装行业，每年都会出现不同的服装爆款，成为人们时尚穿搭的新宠，2023年的服装爆款无疑是冲锋衣。
在社交平台上，冲锋衣鲨鱼裤运动鞋的搭配一时间成为许多女性消费者的户外潮流穿搭，不少网友点赞表示“很出片”。对于…
山海鲸可视化软件：多场景下的数据呈现利器
在当今数据驱动的时代，数据可视化成为了企业和个人不可或缺的工具。作为一个老数据人，本文想借用自己常用山海鲸可视化软件，带大家了解在不同使用场景下数据可视化的应用。山海鲸可视化是一款可以免费编辑、本地化部署的产品，对数…
pyhanlp安装和使用教程
文章目录 pyhanlp介绍 pyhanlp介绍
HanLP 是一个由中国开发者何晗(hankcs)于 2014 年开发的自然语言处理库，自发布之后，HanLP 不断更新迭代，进行了许多新功能和性能的优化，Github 上 Star 数量已超过 3w，其在主流自然…
机器学习之梯度下降法直观理解
形象化举例，由上图所示，假如最开始，我们在一座大山上的某处位置，因为到处都是陌生的不知道下山的路，所以只能摸索着根据直觉，走一步算一步。在此过程中，每走到一个位置的时候，都会求…
数据分析 — 电商用户分析和用户 RFM 模型
目录 一、电商用户分析1、数据字段信息2、数据读取3、数据清洗4、可视化分析1、每年销售额的增长情况2、各个地区分店的销售额3、每个分店每一年的销售额4、销售淡旺季5、新增用户 二、RFM 模型1、RFM 模型的三个维度2、RFM 的客户类型标签3、RFM 模型的二分法思想4、代码 一、…
四、分类算法 - 朴素贝叶斯算法
目录
1、朴素贝叶斯算法
1.1 案例
1.2 联合概率、条件概率、相互独立
1.3 贝叶斯公式
1.4 朴素贝叶斯算法原理
1.5 应用场景
2、朴素贝叶斯算法对文本进行分类
2.1 案例
2.2 拉普拉斯平滑系数
3、API
4、案例：20类新闻分类
4.1 步骤分析
4.2 代码分析 …
每天一个数据分析题（一百六十四）
关于OLAP系统，下列选项不正确的是（）
A. 是基于数据仓库的信息进行分析处理过程
B. 用户数量相对较少，其用户主要是业务决策人员与管理人员
C. 对响应时间要求非常高。
D. 基础数据来源于生产系统的操作数据，也就是…
贝叶斯核机回归-因果中介分析 （BKMR-CMA）causalbkmr R包
GAP
混合物的单个元素，暴露混合物和介质的元素以及任何非线性之间的所有真实存在的相互作用需要包括在介质和结果的模型中，以获得无偏估计。随着多维暴露尺寸的增加，使用当前的方法来获得中介效应的无偏估计变得非常困难。
本算法解决的问题
使用BKMR进行中介分析时，可以…
MATLAB基于隐马尔可夫模型-高斯混合模型-期望最大化的MR图像分割
隐马尔可夫模型是一种统计模型，它描述了马尔可夫过程，隐马尔可夫过程中包含隐变量，语音识别和词性自动标注等一些领域常常使用隐马尔可夫模型方法来处理。马尔可夫过程是一类随机过程，马尔可夫链是它的原始模型，马尔可…
四、分类算法 - 决策树
目录
1、认识决策树
2、决策树分类原理详解
3、信息论基础
3.1 信息
3.2 信息的衡量 - 信息量 - 信息熵
3.3 决策树划分的依据 - 信息增益
3.4 案例
4、决策树API
5、案例：用决策树对鸢尾花进行分类
6、决策树可视化
7、总结
8、案例：泰坦尼…
第三章第12节：EXCE利用折线图去直观数据分析 (二)
01, 折线图
图形简介 折线图用于显示指标在连续时间间隔上的变化，特点是反映变量随时间或有序类别的变化趋势。
02, 基础用法
折线图中，数据是递增还是递减、增减的速率、增减的规律(趋势性、周期性、螺旋性、随机性等)、峰值、凹值等特征都可以被清晰…
【数据分析之Numpy基础002】如何访问与修改ndarray对象
ndarray对象的访问与修改十分容易，跟list对象的操作一样，直接通过索引或切片操作就可以实现。 ndarray数组的下标也是从0开始，因此可以设置start，stop以及step参数即可从原数组中切割出一个新的数组。
例： 一维数组的…
上进计划 | Python爬虫经典实战项目——电商数据爬取！
电商数据采集之——电商数据爬虫|电商数据采集API接口
电商数据爬虫背景 在如今这个网购风云从不间歇的时代，购物狂欢持续不断，一年一度的“6.18年中大促”、“11.11购物节”等等成为了网购电商平台的盛宴。在买买买的同时，“如何省钱&#…
2024年1月手机市场行业分析：苹果手机份额骤降，国产高端手机成功逆袭！
小米Ultra发布。
一方面，我们有望看到国产手机再一次超越自己的决心，继续创新追逐高端；另一方面，我们也不得不正视目前手机市场所面临的危机状态。
2024年1月的线上手机市场远不如去年。根据鲸参谋数据显示，今年1月京…
实时更新：拼多多API确保商品信息最新最准确
实时更新商品信息对于电商平台来说至关重要，因为这关系到用户体验、销售效果以及商家的信誉。拼多多作为中国的主要电商平台之一，也提供了一系列的API接口供商家和开发者使用，以确保商品信息的最新和准确。
以下是关于拼多多API如何确保商品…
AI论文速读 |【综述】深度学习在多元时间序列插补的应用
论文标题： Deep Learning for Multivariate Time Series Imputation: A Survey
链接：https://arxiv.org/abs/2402.04059
作者：Jun Wang ; Wenjie Du ; Wei Cao ; Keli Zhang ; Wenjia Wang ; Yuxuan Liang ; Qingsong Wen
机构：…
应用回归分析：非参数回归
非参数回归是一种统计方法，它在建模和分析数据时不假设固定的模型形式。与传统的参数回归模型不同，如线性回归和多项式回归，非参数回归不需要预先定义模型的结构（例如，模型是否为线性或多项式）。这使得非参…
【奥威-金蝶云星空BI方案】你要的报表，这里都有！
用金蝶云星空来记账，那确实好，但如果让你再去做一份详细的报表呢？自己开发的话，成本大、耗时长，一旦有了新的需求又要一再开发，长此以往将增加使用者使用难度，降低数据分析对运营决策的时效性。…
一种基于道路分类特性的超快速车道检测算法
摘要：
本文介绍了一种新颖、简单但有效的车道检测公式。 车道检测是自动驾驶和高级驾驶员辅助系统 (ADAS) 的基本组成部分，在实际高阶驾驶辅助应用中，考虑车道保持、转向、限速等相关的控制问题，这种方式通常是通过受限的车辆计算…
数据可视化基础与应用-01-数据可视化概述
总结
本系列是数据可视化基础与应用的第02篇，主要介绍数据可视化概述，包括数据可视化的历史，原理，工具等。
认识大数据可视化
数据是什么
信息科学领域面临的一个巨大挑战是数据爆炸。据IDC Global DataSphere统计，…
主数据管理是数字化转型成功的基石——江淮汽车案例分享
汽车行业数字化转型的背景 在新冠疫情导火索的影响下，经济全球化政治基础逐渐动摇。作为全球最大的汽车市场，我国的汽车市场逐渐由增量转为存量市场。
在数字化改革大背景下，随着工业4.0时代的到来，江淮汽车集团力争实现十四五数…
数据可视化引领智慧仓储新时代
随着科技的飞速发展，数据可视化已然成为智慧仓储领域的璀璨明珠，其强大的功能和多面的作用让智慧仓储焕发出勃勃生机。让我们一同探索，数据可视化究竟在智慧仓储中起到了怎样的作用。下面我就以可视化从业者的角度来简单谈谈这个话题。
在这…
GEE案例—— 如何获取包含网格（经纬度）降水数据集图像中每个像元值并导出 CSV
简介
这里我们首先要作的就是给研究区的影像添加一个波段，这个波段是用来获取影像的经纬度，另外，这里我们使用的数据分辨率是5000米，所以这里建议如果分辨率选择更细的话可能导致运行超限
Resolution
5566 meters
Bands Table NameDescriptionMin*Max*Unitsprecipitat…
如何搭建零售行业经营分析体系？
怎么搭建零售行业的经营分析体系？
整体思路就是：利用数据中台基于业务全价值链的数据沉淀，借助大数据技术进行采集、计算、存储和加工，同时统一数据建模与治理，构建数据资产，充分挖掘数据，实…
2024年1月京东洗衣机行业数据分析：TOP10品牌销量销额排行榜
鲸参谋监测的京东平台1月份洗衣机市场销售数据已出炉！
根据鲸参谋电商数据分析平台显示，今年1月份，京东平台上洗衣机的销量约160万件，环比上个月增长约42%，同比去年下滑7%；销售额约28亿元，环比…
像用Excel一样用Python：pandasGUI
文章目录 启动数据导入绘图 启动
众所周知，pandas是Python中著名的数据挖掘模块，以处理表格数据著称，并且具备一定的可视化能力。而pandasGUI则为pandas打造了一个友好的交互窗口，有了这个，就可以像使用Excel一样使用…
数据之美：用山海鲸展现数据魅力
在数据分析领域，数据可视化是一个至关重要的环节。作为一名资深的数据分析师，我深知一个直观、易于理解的数据可视化看板对于传达信息、辅助决策的重要性。今天，我将以自己在用的山海鲸可视化软件为例，与大家分享如何制作一个高效…
应用回归分析：弹性网络回归
弹性网络回归：原理、优势与应用
弹性网络回归（Elastic Net Regression）是一种广泛使用的线性回归方法，它结合了岭回归（Ridge Regression）和套索回归（Lasso Regression）的特点。通过…
nn.Linear() 使用提醒
原本以为它是和nn.Conv2d()一样，就看第二个维度的数值，今天才知道，它是只看最后一个维度的数值！！！ 例子1 Descripttion:
Result:
Author: Philo
Date: 2024-02-27 14:33:50
LastEditors: Philo
LastEditT…
数据分析案例-社交媒体情绪数据集可视化分析（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
基于华为atlas的分类模型实战
分类模型选用基于imagenet训练的MobileNetV3模型，分类类别为1000类。 pytorch模型导出为onnx：
修改mobilenetv3.py中网络结构，模型选用MobileNetV3_Small模型，网络输出节点增加softmax层，将原始的return self.linear4…
医疗行业数据分析，为医疗提质增效提供科学支持
信息化时代的到来，医疗行业数据分析已成为提升医疗服务质量和效率的重要手段。医院拥有大量的医疗数据，医疗数据中包含着很多宝贵的信息与规律，通过深入的数据分析，能够为决策者提供直观、深入的数据洞察，帮助医疗服务…
数据分析Pandas专栏---第十章＜Pandas数据筛选和过滤(2)＞
前言:
继续上一篇数据分析Pandas专栏---第九章＜Pandas数据筛选和过滤(1)＞-CSDN博客 正文: 复杂条件筛选和过滤技巧
A. 使用逻辑运算符进行复杂条件筛选
1. 如何使用逻辑运算符（例如与、或、非等）进行复杂条件筛选
在Pandas中&…
如何利用ChatGPT搞科研？论文检索、写作、基金润色、数据分析、科研绘图（全球地图、植被图、箱型图、雷达图、玫瑰图、气泡图、森林图等）
以ChatGPT、LLaMA、Gemini、DALLE、Midjourney、Stable Diffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗、统计分析、高级编程、代码调试、算法学习、论文检索、写作、翻译、润色、文献辅助…
python_pyecharts_柱形图
from pyecharts.charts import Bar
from pyecharts import options as opts
# 创建一个柱形图实例
bar Bar()
# 设置x轴数据
bar.add_xaxis(["A", "B", "C", "D", "E"])
# 设置y轴数据
bar.add_yaxis("柱形图", …
1 数据分析概述与职业操守
1、 EDIT数字化模型 E——exploration探索 （是什么）
业务运行探索：探索关注企业各项业务的运行状态、各项指标是否合规以及各项业务的具体数据情况等。
指标体系——目标（O）、策略（S）、指标&a…
数据分析Pandas专栏---第八章＜Pandas时间值的处理＞
前言:
时间是数据处理中不可或缺的因素，几乎所有数据都会伴随着时间的演变而产生。在数据分析和建模过程中，正确处理时间是至关重要的。在这样的背景下，Pandas提供了强大的工具和函数，使我们能够轻松处理时间序列数据。
无论是金…
MATLAB环境下基于小波和滤波器组的音频信号处理
音频分类研究的重点，一方面在于音频特征的提取和选择，通常来说数据集和特征集在分类系统中有着极为重要的作用，离开了对数据集的处理、对特征集中特征的提取和选择，分类结果必将产生巨大误差。对于提高音频分类系统的分类准确度和…
72_Pandas.DataFrame保存并读取带pickle的系列（to_pickle、read_pickle）
72_Pandas.DataFrame保存并读取带pickle的系列（to_pickle、read_pickle）
要将 pandas.DataFrame、pandas.Series 对象保存为 pickle 文件，请使用 to_pickle() 方法，并使用 pd.read_pickle() 函数读取保存的 pickle 文件。
在此对…
高效备考一级数据分析师考试《CDA Level I 实操训练营》3月30日开课！
曾经报名了考试，买了教程辅导书，却因为各种原因没有坚持学习，这样的经历可能让你感到沮丧和失望。但是，失败并不代表终结，而是迈向成功的必经之路。为了帮助大家能够快速学习考试相关知识，特别为CDA LEVEL …
B站UP视频播放数据分析之然冉创业说
【背景介绍】
几年前做过类似的分析，但是B站数据加密了，刚好最近在用selenium，就顺手用它爬一下数据。
df pd.read_excel("然冉创业说_13.2万_output.xlsx")
df.head() 以上数据在视频播放页面就可以获取到。
【数据分析】 从数…
泰迪智能科技企业数据挖掘平台使用场景
企业数据挖掘平台助力企业数据挖掘，数据挖掘平台也在多个领域发挥着重要的作用。 企业数据挖掘平台具有数据抓取、数据清洗、数据分析、机器学习等多项功能，广泛应用于企业的各个领域，包括：金融行业、医疗行业、交通领域、教育、制…
【数据分析】Excel中的常用函数公式总结
目录 0 引用方式0.1 相对引用0.2 绝对引用0.3 混合引用0.4 3D引用0.5 命名引用 1 基础函数1.1 加法、减法、乘法和除法1.2 平均数1.3 求和1.4 最大值和最小值 2 文本函数2.1 合并单元格内容2.2 查找2.3 替换 3 逻辑函数3.1 IF函数3.2 AND和OR函数3.3 IFERROR函数 4 统计函数4.1…
优思学院｜质量工程师需要学习什么软件?
初入职质量工程师的朋友常常会问：质量工程师需要学习什么软件？在质量控制和管理的世界里，拥有强大的数据分析工具是走向成功的关键，因此，对于质量工程师来说，掌握正确的软件不仅能提升工作效率，…
Excel常用公式总结非常实用
16个最实用的Excel万能公式 1、多条件判断 IF(And(条件1,条件2..条件N),条件成立返回值) IF(or(条件1,条件2..条件N),条件成立返回值)
2、多条件查找 Lookup(1,0/((条件1*条件2*...条件N)),返回值区域）
3、多条件求和
Sumifs(值区域,判断区域1,条件1,判断区域2,条…
京东数据分析（电商数据分析）：2024年1月京东白酒TOP10品牌销量销额排行榜
在公布2024年1月京东白酒品牌排行榜之前，分享一个有点意思的现象：在今年龙年春晚“黄金5分钟”的广告片里，白酒局知名的品牌基本都亮相了（茅台、五粮液、洋河股份、郎酒、古井贡酒、水井坊），但今年汾酒却缺…
电商上货软件|一键复制搬家|快速铺货必备API
电商上货软件中必不可少的API包括：
item_search 关键字采集商品列表item_get 获取商品详情信息item_search_tmall 按关键字搜索天猫商品item_search_pro 高级关键字搜索淘宝商品item_search_img 按图搜索淘宝商品（拍立淘）item_search_shop 获…
图表背后的智慧：办公场景中的数据可视化革新
在现代办公场景中，数据可视化的应用已经成为提高效率、推动创新的得力工具。无论是管理层还是普通员工，都能从数据可视化中受益匪浅。下面我就以可视化从业者的角度，简单聊聊这个话题。 首先，数据可视化提升了数据的易读性与理解性…
大数据分析案例-基于SVM支持向量机算法构建手机价格分类预测模型
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
数据分析-Pandas数据的探查蜂窝图
数据分析-Pandas数据的探查蜂窝图
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&…
数据挖掘入门项目二手交易车价格预测之数据分析
文章目录 1. 相关库的引入2. 数据的加载3. 数据概况3.1 统计值查看3.2 查看数据类型 4. 判断缺失值4.1 统计每一列空值的数量4.2 可视化缺失值数量 5. 判断异常值5.1 异常值检测 6. 了解预测值的分布6.1 统计各预测值的分布6.2 总体分布概况6.2 查看预测值的具体频数6.3 查看sk…
数据分析-Pandas数据的探查面积图
数据分析-Pandas数据的探查面积图
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&…
FineBI与DeepBI针对用9行数据分析一篇完整的数据报告的速度对比
#数据分析报告#
在我们的理想化构想中，数据分析师如同诸葛亮一般，运筹帷幄之中，决策千里之外。他们似乎拥有无尽的资源，可以随心所欲地运用各种方法和模型。在这样的前提下，数据分析师理应能轻松驾驭复杂的数据&#…
解析数据挖掘：发掘数据中的宝藏
数据挖掘作为一种从大规模数据中发现模式、规律和知识的技术和方法，已经在各个领域展现了强大的应用价值。本文将从数据挖掘的定义、流程、常用算法以及应用场景等方面进行科普介绍，帮助读者深入了解数据挖掘的概念及其在实际应用中的重要作用。
1. 数据…
数据分析Pandas专栏---第七章＜Pandas缺失值的处理(4)＞
前言:
数据分析Pandas专栏---第五章＜Pandas缺失值的处理(1)＞-CSDN博客
数据分析Pandas专栏---第六章＜Pandas缺失值的处理(2)＞-CSDN博客
数据分析Pandas专栏---第七章＜Pandas缺失值的处理(3)＞-CSDN博客
…
【Educoder数据挖掘实训】冗余值的处理
【Educoder数据挖掘实训】冗余值的处理 开挖 这个题就比较容易了，实训里的要求写的也比较清楚。 主要是讲解了 d r o p _ d u p l i c a t e s drop\_duplicates drop_duplicates函数，该函数补全如下：
DataFrame.drop_duplicates(subsetNone…
（Aliyun AI ACP 13）知识点：数据预处理
文章目录 阿里云人工智能工程师ACP认证考试知识点辅助阅读（Aliyun AI ACP 13）知识点：数据预处理数据获取样本 (Sample)变量 (Variable)数据集 (Dataset)变量类型连续型变量（Continuous Variables）离散型变量（Discrete Variables）顺序型变量（Ordinal Variables）类别型变…
Python爬虫实战：京东商品信息爬取
项目背景
需要获取京东的某一领域的商品信息数据，为后续项目推进做准备
实现思路
京东商品API数据采集接口可以实现大批量稳定数据采集。去获取每一个商品的数据首先需要去利用京东的搜索，利用关键字得到相关商品信息，由搜索结果去进行信息…
数据分析-Pandas数据探查初步柱状图
数据分析-Pandas数据探查初步柱状图
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&am…
数据分析-Pandas数据y轴双坐标设置
数据分析-Pandas数据y轴双坐标设置
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&…
产业园区如何实现数字化运营管理？
在数字化浪潮席卷全球的今天，产业园区正经历着前所未有的变革，数字化运营管理成为各个园区转型升级的发力方向，它不仅能够提升园区的运营管理效率，还能够帮助园区提高服务效能、实现精准招商、增强决策效率，从而全面…
数据分析-Pandas数据的直方图探查
数据分析-Pandas数据的直方图探查
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&…
【和鲸冬令营】通过数据打造爆款社交APP用户行为分析报告
【🐋和鲸冬令营】通过数据打造爆款社交APP用户行为分析报告 文章目录 【🐋和鲸冬令营】通过数据打造爆款社交APP用户行为分析报告1 业务背景2 数据说明3 数据探索性分析4 用户行为分析4.1 用户属性与行为关系分析4.2 转化行为在不同用户属性群体中的分布…
数据分析Pandas专栏---第十一章＜Pandas数据聚合与分组(1)＞
前言:
数据聚合和分组操作是数据处理过程中不可或缺的一部分。它们允许我们根据特定的条件对数据进行分组，并对每个组进行聚合计算。这对于统计分析、汇总数据以及生成报告和可视化非常有用。无论是市场营销数据分析、销售业绩评估还是金融数据建模，数据…
【Intel oneAPI实战】使用英特尔套件解决杂草-农作物检测分类的视觉问题
目录 一、简介：计算机视觉挑战——检测并清除杂草二、基于YOLO的杂草-农作物检测分类2.1、YOLO简介2.2、基于YOLO的杂草-农作物检测分类解决方案 三、基于YOLO的杂草-农作物检测分类系统设计3.1、基于flask框架的demo应用程序后端3.2、基于Vue框架的demo应用程序前端…
电商关键词研究：数据收集挑战与解决方案|关键词搜索API接口
电商数据抓取 电商行业通过多种方式在发展进步，使线上购物变得更加便捷。2019年，约有19.2亿人在线购买商品或服务。这一数字预计从2019年的19.2亿增加到2021年的21.4亿。由于线下很多商店关闭，加上购物者也害怕在公共场合感染COVID-19&#x…
ChatGPT论文指南|ChatGPT如何助力论文中的数据分析！【建议收藏】
点击下方▼▼▼▼链接直达AIPaperPass ！
AIPaperPass - AI论文写作指导平台 公众号原文▼▼▼▼：
ChatGPT论文指南|ChatGPT如何助力论文中的数据分析！【建议收藏】 小编在之前的论文写作流程中，介绍了大量论文文字工作ÿ…
数据挖掘基础（第一章）
写在前面的话： 这学期教授《数据挖掘》课程，教材内容略显单薄，故而依据刘鹏教授出版的原书《数据挖掘基础》（第二版）内容归纳重点，并结合畅销书籍易向军所著《大嘴巴漫谈数据挖掘》及袁汉宁版《数据仓库与数…
热门的数据分析软件推荐
在数字化时代，数据分析已成为企业决策的关键。为了帮助企业更好地应对市场竞争，提升业务运营效率，本文将为您推荐一款热门的数据分析软件——VeryReport。作为一款功能全面、操作简便、性能卓越的数据分析软件，VeryReport已成为众…
【python】六个常见爬虫案例【附源码】
大家好，我是博主英杰，整理了几个常见的爬虫案例，分享给大家，适合小白学习
一、爬取豆瓣电影排行榜Top250存储到Excel文件 近年来，Python在数据爬取和处理方面的应用越来越广泛。本文将介绍一个基于Python的爬虫程序&a…
数据分析-Pandas数据分组箱线图
数据分析-Pandas数据分组箱线图
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&#x…
2024年1月京东牛奶乳品行业分析：TOP10品牌销量及销额排行榜
鲸参谋监测的京东平台1月份牛奶乳品市场销售数据已出炉！
根据鲸参谋电商数据分析平台显示，今年1月份，京东平台上牛奶乳品的销量约1600万件，环比上个月增长87%，同比去年下滑16%；销售额约12亿元，…
数据可视化之旅：电商销售看板的制作与心得
作为一名电商工作者，每天都需要与海量的销售数据打交道。在数据海洋中，如何快速准确地找到关键信息，优化销售策略，是摆在我面前的一大挑战。在了解市面上众多可视化产品后，我选择尝试了山海鲸可视化软件，这…
2024宠物行业未来发展趋势：京东宠物健康（宠物营养保健和医疗）市场品类数据分析报告
近段时间，广州某知名宠物医院的医疗事故正在被大众热议，也让越来越多从业者开始关心宠物医疗行业的未来形势。
在2022年下半年，京东平台专门设立了一个一级大类目：宠物健康（将其从原本的宠物生活类目中独立出来&#…
AI论文速读 | 【综述】城市计算中跨域数据融合的深度学习：分类、进展和展望
题目：Deep Learning for Cross-Domain Data Fusion in Urban Computing: Taxonomy, Advances, and Outlook
作者：Xingchen Zou, Yibo Yan, Xixuan Hao, Yuehong Hu, Haomin Wen（温皓珉）, Erdong Liu, Junbo Zhang（张钧…
ChatGPT4+Python数据分析与可视化、人工智能建模及论文高效撰写教程
原文链接：ChatGPT4Python数据分析与可视化、人工智能建模及论文高效撰写教程
前沿 2022年11月30日，可能将成为一个改变人类历史的日子——美国人工智能开发机构OpenAI推出了聊天机器人ChatGPT3.5，将人工智能的发展推向了一个新的高度。2023年…
数据挖掘案例分析：从零售到医疗的深度探索
数据挖掘，作为一种从大量数据中提取有用信息和模式的过程，已经在各个领域得到了广泛的应用。以下，我们将通过几个具体的案例，深入剖析数据挖掘在实际业务中的应用及其带来的价值。
案例一：沃尔玛的“啤酒与尿布”
这…
【OJ比赛日历】快周末了，不来一场比赛吗？ #03.09-03.15 #13场
CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准
目录
2024-03-09（周六） #6场比赛2024-03-10…
人工智能|机器学习——Canopy聚类算法（基于密度）
1.简介 Canopy聚类算法是一个将对象分组到类的简单、快速、精确地方法。每个对象用多维特征空间里的一个点来表示。这个算法使用一个快速近似距离度量和两个距离阈值T1 > T2 处理。 Canopy聚类很少单独使用， 一般是作为k-means前不知道要指定k为何值的时候&#…
mmlspark.lightgbm.LightGBMClassifier参数明
mmlspark.lightgbm.LightGBMClassifier 是一个用于二元分类和多类分类的机器学习模型，它是基于 Microsoft ML for Apache Spark (MMLSpark) 库的。这个类是为了在Spark环境中使用LightGBM实现，提供了大量的参数用于调整模型。下面是一些主要参数的详细中…
人工智能|机器学习——Canopy聚类算法（密度聚类）
1.简介 Canopy聚类算法是一个将对象分组到类的简单、快速、精确地方法。每个对象用多维特征空间里的一个点来表示。这个算法使用一个快速近似距离度量和两个距离阈值T1 > T2 处理。 Canopy聚类很少单独使用， 一般是作为k-means前不知道要指定k为何值的时候&#…
一篇文章带你了解Python数据分析
目录
一、什么是数据分析？
二、为什么学习数据分析？
三、数据分析实现流程 一、什么是数据分析？
是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。
使得数据的价值最大化 指定促销活动的方…
数据分析-Pandas数据画箱线图
数据分析-Pandas数据画箱线图
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表ÿ…
数据分析-Pandas画分布密度图
数据分析-Pandas画分布密度图
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表ÿ…
音频分类革命：如何用Hugging Face实现前沿的音频频谱图变换器
目录
引言
ASTConfig
参数解释
示例代码及注释
ASTFeatureExtractor
参数解释
call 方法参数
ASTModel
参数
forward 方法参数
返回值
返回的主要元素
示例代码及说明
ASTForAudioClassification
参数
forward 方法参数
返回值
主要返回元素
基于BERTopic模型的英文20新闻数据集主题聚类及可视化
文章目录 bertopic介绍20 newsgroups dataset20 newsgroups数据集下载数据导入nltk数据处理bertopic模型构建模型训练运行模型可视化目前主题的一致性得分语料库建模bertopic介绍
BERTopic 是基于深度学习的一种主题建模方法。BERT 是一种用于 NLP 的预训练策略，它成功地利用…
每天一个数据分析题（一百八十五）
给定下述Python代码段，试问哪个选项正确描述了该代码段的功能？ data_raw[‘gender’] data_raw[‘gender’].map({‘Male’: 1, ‘Female’: 0})
A. 代码中对gender变量进行了独热编码(One-Hot Encoding)，并将gender中的缺失值填充为类别平…
第五篇【传奇开心果系列】Python的自动化办公库技术点案例示例：深度解读Pandas在教育数据和研究数据处理领域的应用
传奇开心果博文系列 系列博文目录Python的自动化办公库技术点案例示例系列 博文目录果果老师推荐🔥🔥🔥🌹🌹🌹果子哥个人微信：lxm1093220242前言一、Pandas 在教育和学术研究中的常见应用介绍二…
电商数据分析19——数据分析在电商平台价格弹性研究中的应用
目录 写在开头1. 价格弹性的基本理论1.1 价格弹性的定义1.2 价格弹性对销售和利润的影响1.2.1 如何通过价格弹性预测销量变化1.2.2 价格弹性高和低对企业策略的影响2 数据分析方法在价格弹性研究中的应用2.1 收集与处理销售和价格数据2.1.1 收集数据2.1.2 数据处理2.2 使用统计…
基于R语言的分位数回归技术应用
回归是科研中最常见的统计学研究方法之一，在研究变量间关系方面有着极其广泛的应用。由于其基本假设的限制，包括线性回归及广义线性回归在内的各种常见的回归方法都有三个重大缺陷：(1)对于异常值非常敏感，极少量的异常值可能导致结…
![[分类指标]准确率、精确率、召回率、F1值、ROC和AUC、MCC马修相关系数](https://img-blog.csdnimg.cn/direct/ec34e11aee0b42db8b8a119319207bb4.png)
[分类指标]准确率、精确率、召回率、F1值、ROC和AUC、MCC马修相关系数
准确率、精确率、召回率、F1值
定义：
1、准确率（Accuracy）
准确率是指分类正确的样本占总样本个数的比例。准确率是针对所有样本的统计量。它被定义为： 准确率能够清晰的判断我们模型的表现，但有一个严重的缺陷&…
每天一个数据分析题（一百七十九）
指标体系包括根指标、组合指标和派生指标。业务方最关心的指标称为根指标，根指标与最常用的维度取值相结合生成组合指标，根指标和组合指标的运算得到派生指标。以下属于派生指标的是（）单选
A. 销售额
B. 净利润
C. 客单价
D. …
027—pandas 不同分类每天指定取值的比例
前言
本例我们将进行分组计算，分组后得到一个堆叠数据，并对堆叠数据解除堆叠，最后再按要求格式化为百分数样式。 此类操作会经常发生在业务数据透视场景下，一般都会有 Excel 来操作完成，今天我们使用 Python 的 panda…
【天池课堂】零基础入门数据挖掘-课程汇总
写在前面： 如果你现在很迷茫，但是又对数据挖掘感兴趣，建议先看看以下两个视频直播，两位大佬亲身讲述自己和数据挖掘的前世今生。
《如何入门数据挖掘竞赛》 鱼遇雨欲语与余。天池明星选手，武汉大学硕士，天…
实地研究降本增效的杀伤力，LSTM算法实现全国失业率分析预测
前言
降本增效降本增笑？增不增效暂且不清楚，但是这段时间大厂的产品频繁出现服务器宕机和产品BUG确实是十分增笑。目前来看降本增效这一理念还会不断渗透到各行各业，不单单只是互联网这块了，那么对于目前就业最为严峻的一段时…
分析云星空数据用奥威-金蝶BI，快且直观
财务指标计算难，数量太大，报表需求太多，报表根本做不完？如果云星空用户遇到这种情况，建议用奥威-金蝶BI方案。预设分析模型和BI报表，注册、下载并执行方案，立得200多张BI数据可视化分析报表&…
ESSBAE 数据挖掘
essbase数据挖掘框架
1.算法：用来分析数据的方法
2.模型：系列的算法集合
3.任务：数据挖掘的步骤
4.任务模板，可以重复执行的任务
数据挖掘任务：
明确任务
建立及训练模型
测试模型
执行任务
为模型打分
ess…
从Excel到山海鲸：我的数据可视化升级之旅
作为一名新用户，我最近有幸体验了山海鲸可视化软件，近期山海鲸可视化产品开放了可视化编辑全部功能，并支持本地化部署功能，在使用过程中它不仅打开了我对数据可视化全新世界的大门，而且在实际操作中为我带来了不少惊喜…
【爬虫】实战-爬取Boss直聘信息数据
专栏文章索引：爬虫 所用工具： 自动化工具：DrissionPage 目录
一、找到目标数据(2个确定)
1.确定目标网页
2.确定目标网址
二、编写代码
三、查看数据
五、总结 一、找到目标数据(2个确定)
1.确定目标网页 打开目标网站
网站&am…
2024年国内彩妆行业市场数据分析：增长机会在哪？
从伊蒂之屋、菲诗小铺等平价韩妆的退出，到全球第一眉妆贝玲妃的落幕，曾经的“网红”-“全网断货选手”纷纷退出中国市场。
有人认为是国内彩妆市场不景气？事实上，国内彩妆市场线上市场规模仍在持续扩大。根据鲸参谋数据统计&…
AI大模型智能大气科学探索之：ChatGPT在大气科学领域建模、数据分析、可视化与资源评估中的高效应用及论文写作
本文深度探讨人工智能在大气科学中的应用，特别是如何结合最新AI模型与Python技术处理和分析气候数据。课程介绍包括GPT-4等先进AI工具，旨在帮助大家掌握这些工具的功能及应用范围。本文内容覆盖使用GPT处理数据、生成论文摘要、文献综述、技术方法分析等…
AI：150-基于深度学习的医学数据挖掘与病症关联发现
🚀点击这里跳转到本专栏，可查阅专栏顶置最新的指南宝典~
🎉🎊🎉 你的技术旅程将在这里启航！ 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践都有参考学习意义。 ✨✨✨ 每一个案例都附带关键代码，详细讲解供大家学习，希望…
数据分析可视化神器---streamlit框架，各种图表绘制，布局以及生产综合案例剖析
✨✨ 欢迎大家来到景天科技苑✨✨
🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…
面了几家大厂数据挖掘岗，题是一家比一家难。。。
年前，技术群组织了一场数据类的技术&面试讨论会，邀请了一些大厂同学和23年参加招聘的同学来分享：新人如何入门数据和算法岗，面经/面试题分享、大厂在算法场景的落地项目及经验分享等热门话题。
今天分享一位星球成员的上岸之…
挖掘网络宝藏：利用Scala和Fetch库下载Facebook网页内容
介绍
在数据驱动的世界里，网络爬虫技术是获取和分析网络信息的重要工具。本文将探讨如何使用Scala语言和Fetch库来下载Facebook网页内容。我们还将讨论如何通过代理IP技术绕过网络限制，以爬虫代理服务为例。
技术分析
Scala是一种多范式编程语言&…
探索山海鲸可视化：相较于Excel的独特优势分析
作为一名新用户，我近期开始接触并尝试使用山海鲸可视化工具，这款软件最初吸引我的点在其免费可视化编辑、本地化部署的特点，用了一段时间后，我发现相较于之前使用的Excel来制作可视化看板，两者在多个方面有着显著的区别…
零基础入门数据挖掘系列之「建模调参」
摘要：对于数据挖掘项目，本文将学习如何建模调参？从简单的模型开始，如何去建立一个模型；如何进行交叉验证；如何调节参数优化等。 建模调参：特征工程也好，数据清洗也罢，都是…
Datawhale 零基础入门数据挖掘-Task1 赛题理解
一、 赛题理解
Tip:此部分为零基础入门数据挖掘的 Task1 赛题理解 部分，为大家入门数据挖掘比赛提供一个基本的赛题入门讲解，欢迎后续大家多多交流。
赛题：零基础入门数据挖掘 - 二手车交易价格预测
地址：零基础入门数据挖掘 -…
遥感图像地物分类流程
遥感图像地物分类流程
1. 制作标签
使用arcgis pro或者arcgis或者envi，画标签，保存为tiff格式
2. 处理标签数据
用python gdal库安装 osgdal库，如果安装失败就需要下载 对应库得 .whl去安装，网站具体搞忘了，可以百…
「数据分析」之零基础入门数据挖掘
摘要：对于数据挖掘项目，本文将学习应该从哪些角度分析数据？如何对数据进行整体把握，如何处理异常值与缺失值，从哪些维度进行特征及预测值分析？ 探索性数据分析（Exploratory Data Analysis&#…
数据可视化：守护食品安全的利器
在当今食品安全日益受到关注的背景下，数据可视化技术成为保障食品安全的重要利器。通过数据可视化，我们能够实时监测食品生产、加工、运输和销售等环节，及时发现和解决食品安全问题，保障公众健康。数据可视化如何为食品安全保驾护…
2.Python数据分析—数据分析入门知识图谱索引(知识体系上篇)
2.Python数据分析—数据分析入门知识图谱&索引 一个人简介二数据分析的重要性和用途Python在数据分析中的角色 三Python数据分析基础Python简介和安装指南Python基本语法和数据结构Python中的数学运算 四数据分析工具和库概览NumPy：高效的多维数组操作Pandas&am…
BI让数据分析不在困难，分解企业数据分析流程
一、数据培养
数据分析最关键的是什么？其实从名字上就可以看出来，数据是一切的关键，没有数据的话数据分析从何谈起呢。但数据的积累不是一天两天就能成功的，企业的一定要有培养数据的意识，在业务活动中沉淀数据&#…
九.pandas绘图基础
目录
九.pandas绘图基础
1-柱状图
--参数stackedTrue堆积
--参数figsize(宽,高)
--自定义横坐标
--设置字体&显示负号
2.箱型图
3. 折线图 九.pandas绘图基础 Pandas的DataFrame和Series，在matplotlib基础上封装了一个简易的绘图函数, 使得我们在数据处…
数据分析---SQL实战（2）
目录 sql查询重复出现的email在学生成绩单中查找出语文、数学和英语成绩的各自前三名计算每个部门的平均薪水，并按照薪水降序排列获取每个学生的排名sql查询重复出现的email GROUP BY和HAVING子句SELECT email, COUNT(*) as count
FROM your_table
GROUP BY email
HAVING coun…
数据噪声对数据分析的影响及其应对策略
在数字化时代，数据作为决策的重要依据，其准确性和可靠性对于分析结果的正确性至关重要。然而，在实际应用中，数据往往不可避免地会受到各种噪声的干扰。那么，数据噪声究竟会对数据分析产生怎样的影响呢？本文…
阿里巴巴国际站商品采集商品信息抓取API免费测试入口（英文商品信息跨境电商商品信息自动化抓取）
alibaba.item_get 获取商品详情信息
alibaba.item_search 关键字搜索商品列表
进入API测试页，获取key和密钥
公共参数
名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称…
1.Python数据分析—数据分析与挖掘详讲
1.Python数据分析—数据分析与挖掘详讲 一个人简介二数据分析与挖掘概述三什么是数据分析和挖掘四数据分析与挖掘在不同领域的应用4.1医疗领域：4.1.1 建立疾病数据库：4.1.2 临床决策支持：4.1.3 疾病预警和监控： 4.2 电子商务领域&…
数据挖掘|数据集成|基于Python的数据集成关键问题处理
数据挖掘|数据集成|基于Python的数据集成关键问题处理 1. 实体识别2. 数据冗余与相关性分析3. 去除重复记录4. 数据值冲突的检测与处理5. 基于Python的数据集成5.1 merge()方法5.2 Concat()方法 数据集成是把来自多个数据库或文件等不同数据源的数据整合成一致的数据存储。其中…
【数据分析】Pandas内容补充
Pandas内容补充
1.lambda函数
①f lambda x:x ** 2
f lambda( x:x ** 2)
print(f(100)) # 10000②f lambda x:fun1(x)
def fun1(x):return str(x) "hahla"
f lambda x:fun1(x)
print(f(100)) # 100hahla③f (lambda x,y:x y)(32,23)
f (lambda x,y:x y…
大数据分析-基于Python的电影票房信息数据的爬取及分析
概要 现如今，人民群众对物质生活水平的要求已不再局限于衣食住行，对于精神文化有了更多的需求。电影在我国越来越受欢迎，电影业的发展越来越迅猛，为了充分利用互联网技术的发展，掌握电影业的态势，对信息进行…
案例--某站视频爬取
众所周知，某站的视频是： 由视频和音频分开的。 所以我们进行获取，需要分别获得它的音频和视频数据，然后进行音视频合并。 这么多年了，某站还是老样子，只要加个防盗链就能绕过。（防止403…
无人机自动返航算法部署与飞行控制实践
一、环境准备 无人机硬件：确保你有一台支持自定义飞行控制的无人机，通常配备有Pixhawk或其他类似的飞行控制器。 地面站软件：安装如Mission Planner或QGroundControl等地面站软件，用于配置无人机参数和上传飞行控制代码。 编程环…
temu英国电商市场洞察：2月份商品销售数据分析Python数据采集Api
文章目录 引言可视化分析数据展示商品类目占比分析销售额分析价格区间占比分析各类目新品占比分析 写在最后 引言 在美国市场稳步增长基础上，Temu也不断加快全球步伐，现已进入47个国家，光23年9月份就进驻了10个国家，创造单月扩张国…
数据对比与处理利器——Pandas 实战
Pandas作为数据处理利器，在数据对比与处理方面发挥着重要作用。下面我们将通过实战案例来展示Pandas的强大功能。
一、数据导入与清洗
首先，我们需要从数据源导入数据，并进行必要的清洗。Pandas支持多种数据格式，如CSV、Excel、…
探索非监督学习：解决聚类问题
目录 1 非监督学习的概念1.1 非监督学习的定义1.2 非监督学习的重要性 2 聚类问题的定义和意义2.1 聚类问题的定义2.2 聚类问题的意义2.3 聚类问题在非监督学习中的地位 3 聚类算法介绍3.1 K均值聚类3.2 层次聚类3.3 密度聚类 4 聚类问题的评估4.1 内部评估指标4.2 外部评估指标…
数据分析实战-Python实现博客评论数据的情感分析
数据分析实战-Python实现博客评论数据的情感分析 学习建议SnowNLP基础什么是SnowNLP？SnowNLP情感分析 SnowNLP使用SnowNLP安装情感分析中文分词关键词提取拼音、词性标准 SnowNLP实战-博客评论数据的情感分析数据准备数据获取数据分析 总结 学习建议
现在很多网站、…
数据分析-Pandas如何观测数据的中心趋势度
数据分析-Pandas如何观测数据的中心趋势度
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据…
上证指数000001行情数据API接口
# 测试：返回不超过10条数据（2年历史）
https://tsanghi.com/api/fin/index/CHN/daily?tokendemo&ticker000001&order2Python示例 import requestsurl f"https://tsanghi.com/api/fin/index/CHN/daily?tokendemo&ticker000…
创业板指399006行情数据API接口
# 测试：返回不超过10条数据（2年历史）
https://tsanghi.com/api/fin/index/CHN/daily?tokendemo&ticker399006&order2Python示例 import requestsurl f"https://tsanghi.com/api/fin/index/CHN/daily?tokendemo&ticker399…
机器学习算法在数据挖掘中的应用
在数据挖掘的实践中，各种机器学习算法都扮演着重要的角色，它们能够从数据中学习规律和模式，并用于预测、分类、聚类等任务。以下是几种常见的机器学习算法以及它们在数据挖掘任务中的应用场景和优缺点。
1. 决策树（Decision Tree…
数据预处理在数据挖掘中的重要性
数据挖掘作为从大量数据中提取有用信息和知识的过程，其结果的准确性和可靠性直接受到数据质量的影响。因此，数据预处理在数据挖掘中扮演着至关重要的角色。让我们探讨数据质量对数据挖掘结果的影响，并介绍常见的数据预处理方法以及它们如何提…
中文分词库：jieba的词性对照表
jieba词性对照表
字母词性a形容词ad副形词ag形容词性语素an名形词b区别词c连词d副词dg副词素e叹词f方位词g语素h前接成分i成语j简称略称k后接成分l习用语m数词mq数量词n名词ng名词性语素nr人名ns地名nt机构团体名nz其他专名o拟声词p介词q量词r代词rg代词性语素rr人称代词rz指示…
简单接入电商API接口|轻松实现实时采集淘宝、抖音、快手、1688商品，挖掘潜力款
今天给大家带来一款非常实用的电商API接口，这款数据采集接口支持淘宝采集、抖音采集、快手采集、1688采集以及潜力款分析，功能强大，助您在电商领域更上一层楼。 首先，我们来了解一下淘宝采集功能。作为国内最大的电商平台…
ETL的数据挖掘方式
ETL的基本概念 数据抽取（Extraction）：从不同源头系统中获取所需数据的步骤。比如从mysql中拿取数据就是一种简单的抽取动作，从API接口拿取数据也是。 数据转换（Transformation）：清洗、整合和转…
AI概念之人工智能、机器学习和数据挖掘之间的联系与区别
摘要：
本文深入探讨人工智能、机器学习和数据挖掘之间的联系与区别，涵盖基础知识、工作流程、需求分析、设计方案、实现步骤、代码示例、技巧与实践、常见问题与解答等内容，旨在帮助读者全面了解这三者之间的异同，并学会如何在实…
【数据分析】专栏文章索引
为了方便 快速定位 和 便于文章间的相互引用等 作为一个快速准确的导航工具
数据分析 目录：
（一）数据分析介绍
（二）环境搭建
（三）matploatlib绘图
（四）numpy
&…
数据分析入门，深入浅出的数据分析
时下正值大数据与人工智能高速发展的时刻，相信很多对数据分析感兴趣的朋友想要转行。很多朋友选择从事数据分析，主要是看到这个岗位的发展前景和薪资待遇。
但是一些小伙伴并不知道数据分析到底是做什么的？需要用到哪些知识？
为…
【Educoder数据挖掘实训】插值填充法处理遗漏值
【Educoder数据挖掘实训】插值填充法处理遗漏值 开挖 这关的介绍非常详细，只要看懂了基本就没有问题。 所谓插值其实就是根据已有的数据构造出函数，然后用这个函数来计算遗漏的数据。 比如这个题目中介绍的拉格朗日插值以及 K K K近邻。 有关拉格朗日插值…
每天一个数据分析题（一百九十九）
指标体系由各种不同类型指标构成，以下关于各个指标类型的描述正确的是（）
A. 一般业务方最关心的指标被认为是根指标。
B. 根指标与最常用的派生指标结合，生成组合指标。
C. 根指标与最常用的维度取值相结合，生成组合…
Python中的惩罚分析：理论与实践指南
目录 写在开头1. 理论基础1.1 优化问题与约束条件简介1.2 什么是惩罚分析1.3 惩罚分析的应用场景1.4 惩罚方法的类型2. 惩罚分析在Python中的实现2.1 实现代码示例2.2 未加惩罚的模型2.3 加惩罚的模型（L1和L2正则化）2.4 选择合适的惩罚方法与调整强度2.5 惩罚过程改善过拟合问…
Altair® RapidMiner®数据分析与人工智能平台
无论您的组织处于数据旅程的哪个阶段，Altair RapidMiner 都能帮助您克服前进道路上的挑战性障碍。我们为成熟的数据分析团队提供现代化之路，也为刚刚起步的团队提供自动化之路。我们不需要您的组织从根本上改变人员、流程、计算环境或现有数据状况&#…
今晚直播交流：解读Lancet关于医学论文数据分析的统计学建议
由浙江省预防医学会卫生统计专委会2024年“医学科研设计与统计”学术沙龙在2024年1月8号将正式启动。 欢迎预约报名学习，接下来是第5场预告。 第5场：2024年3 月07日：浙江中医药大学郑卫军：解读Lancet杂志的统计学建议 接着&#x…
Hmmer安装与使用-Hmmer-3.3.2（bioinfomatics tools-009）
01 背景
HMMER用于搜索序列数据库以查找序列同源物，并进行序列比对。它实现了使用概率模型称为Profile Hidden Markov Models（profile HMMs）的方法。
HMMER通常与profile数据库一起使用，例如Pfam或许多参与Interpro的数据库。但…
郭炜老师mooc第十一章数据分析和展示(numpy,pandas, matplotlib)
多维数组库numpy numpy创建数组的常用函数 # numpy数组import numpy as np #以后numpy简写为np
print(np.array([1,2,3])) #>>[1 2 3]
print(np.arange(1,9,2)) #>>[1 3 5 7] 不包括9
print(np.linspace(1,10,4)) #>>[ 1. 4. 7. 10.]
# linespace(x,y,n)&…
跨平台数据整合：电商平台如何利用API进行数据分析和决策支持
在当今数据驱动的商业环境中，跨平台数据整合对于电商平台来说至关重要。API（应用程序编程接口）提供了一种高效的方式来收集、整合和分析来自不同平台的数据，从而支持更明智的商业决策。以下是电商平台如何利用API进行数据分析和决…
提升数据分析效率，选择IBM SPSS Statistics专业统计分析软件
在当今信息爆炸的时代，数据已经成为决策的重要依据。对于研究人员、学者、企业管理者等群体来说，如何高效地进行数据分析并得出准确结论至关重要。而IBM SPSS Statistics作为一款专业统计分析软件，为用户提供了强大的工具和功能，助…
第N4周：中文文本分类-Pytorch实现
>- **🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/rbOOmire8OocQ90QM78DRA) 中的学习记录博客** >- **🍖 原作者：[K同学啊 | 接辅导、项目定制](https://mtyjkh.blog.csdn.net/)** # -*- coding: utf-8 -…
提高分类或者预测模型的准确度
模型融合（Ensemble）：尝试将多个模型的预测结果进行融合，可以通过投票、加权平均等方式。这通常可以提高模型的鲁棒性和性能。
自适应学习率调整：使用自适应学习率调整方法，如AdamW中的自适应学习率&#x…
【能源数据分析-00】能源领域数据集集锦（动态更新）
一、前言
大数据科学在能源领域的深度应用，已经深刻改变了这一行业的垂直格局。它为我们提供了宝贵的见解，帮助降低下游市场的成本，使石油生产商能够更好地应对市场繁荣期的需求。近期，石油价格的剧烈下跌给全球经济带来了沉重打…
如何快速利用COX回归开展影响因素分析？
在日常COX回归分析操作时，您是否觉得SPSS操作繁琐，分析结果还需要逐个筛选整理，太费时间；R语言分析结果界面简单，但需要代码基础，对小白不太友好。这里给大家介绍一个比SPSS更快速，比R语言操作更…
1688 API接口在数据分析与营销决策中的应用探索
在当今数字化快速发展的时代，数据分析与营销决策已成为企业运营中不可或缺的重要环节。而1688 API接口，作为阿里巴巴旗下的一个强大的数据交互平台，为企业在数据分析与营销决策方面提供了丰富的数据源和灵活的操作方式。本文将深入探讨1688 A…
ChatGPT GPT4科研应用、数据分析与机器学习、论文高效写作、AI绘图技术
原文链接：ChatGPT GPT4科研应用、数据分析与机器学习、论文高效写作、AI绘图技术https://mp.weixin.qq.com/s?__bizMzUzNTczMDMxMg&mid2247596849&idx3&sn111d68286f9752008bca95a5ec575bb3&chksmfa823ad6cdf5b3c0c446eceb5cf29cccc3161d746bdd9f2…
【机器学习-01】机器学习基本概念与建模流程
机器学习的过程本质上是一个不断通过数据训练来提升模型在对应评估指标上表现的过程。在此过程中，为模型提供有效的反馈并基于这些反馈进行持续的调整是至关重要的。只有当这个过程顺利进行时，模型才能得到有效的训练，机器才能真正实现学习。…
十五、自回归（AutoRegressive）和自编码（AutoEncoding）语言模型
参考自回归语言模型（AR）和自编码语言模型（AE）
1 自回归语言模型（ AR） 自回归语言模型（AR）就是根据上文内容（或下文内容）预测下一个（或前一个&…
数据分析之POWER Piovt透视表分析
将几个数据表之间进行关联 生成数据透视表 超级透视表这里的字段包含子字段 这三个月份在前面的解决办法 1.选中这三个月份，鼠标可移动的时候移动到后面 2.在原数据进行修改 添加列获取月份，借助month的函数双击日期 选择月份这列----按列排序-----选择月…
2024 年（第 12 届）“泰迪杯”数据挖掘挑战赛——B 题：基于多模态特征融合的图像文本检索完整思路与源代码分享
一、问题背景 随着近年来智能终端设备和多媒体社交网络平台的飞速发展，多媒体数据呈现海量增长 的趋势，使当今主流的社交网络平台充斥着海量的文本、图像等多模态媒体数据，也使得人 们对不同模态数据之间互相检索的需求不断增加。有效的信…
2024 年(第 12 届)“泰迪杯”数据挖掘挑战赛—— C 题：竞赛论文的辅助自动评阅完整思路与源代码分享
一、问题背景 近年来我国各领域各层次学科竞赛百花齐放，层出不穷，学生参与度也越来越高。随着参赛队伍的增 加，评阅论文的工作量急剧增加，这对评阅论文的人力要求也越来越大。因此引入机器辅助评阅成为竞赛主办方的现实需求。 在…
R语言：microeco:一个用于微生物群落生态学数据挖掘的R包，第六：trans_nullmodel class
近几十年来，系统发育分析和零模型的整合通过增加系统发育维度，更有力地促进了生态位和中性影响对群落聚集的推断。trans_nullmodel类提供了一个封装，包括系统发育信号、beta平均成对系统发育距离(betaMPD)、beta平均最近分类单元距离(betaMNT…
数据分析（三）线性回归模型实现
1. 惩罚线性回归模型概述
线性回归在实际应用时需要对普通最小二乘法进行一些修改。普通最小二乘法只在训练数据上最小化错误，难以顾及所有数据。
惩罚线性回归方法是一族用于克服最小二乘法（ OLS）过拟合问题的方法。岭回归是惩罚线性回归的…
每天一个数据分析题（二百零六）
如果要使用卡方检验来判断违约状态（bad_ind）和破产状态（bankruptcy_ind）两个分类型变量之间是否存在统计学上的关联，下面哪个步骤不是必须的？ A.计算每个单元格的实际频数。 B.计算每个单元格的期望频数。 …
看完不会来揍我 | R包的下载与安装 | 再也没有一个包可以逃出你的手掌心啦
好久不见！非常抱歉有一段时间没有更新正经内容啦！主要是最近接了一个项目和一个一对一指导，实在是精力有限，又不想随便写几篇应付大家。毕竟，咱们主打高质量嘛！来！大声喊出来！ 「要知…
数据可视化：智慧农业发展的催化剂
数据可视化在智慧农业中发挥着不可替代的作用。随着科技的不断进步，农业领域也在不断探索创新，以提高生产效率、优化资源利用，从而实现可持续发展。而数据可视化技术的应用，则成为了实现智慧农业目标的重要途径。下面我就从可视化…
电商技术揭秘五：电商平台的个性化营销与数据分析
文章目录 引言1. 个性化营销的概念与价值1.1 个性化营销的定义1.1.1 个性化营销的基本概念1.1.2 个性化营销在电商领域的重要性 1.2 个性化营销的核心价值1.2.1 提升用户体验1.2.2 增加转化率和客户忠诚度1.2.3 优化营销资源配置 2. 用户画像与行为分析2.1 用户画像的构建2.1.1…
数据分析之POWER BI Desktop可视化应用案列
在power bi中导入数据
导入前期建好的模型 简单介绍（power bi desktop） 将右边字段全部展开 各类数据 所作的模型 在excel中是单向的，power bi 中可以是双向的 右键单击----点击属性 选择两个---在两个方向上应用安全筛选器 变为双向的…
数据挖掘|关联分析与Apriori算法详解
数据挖掘|关联分析与Apriori算法 1. 关联分析2. 关联规则相关概念2.1 项目2.2 事务2.3 项目集2.4 频繁项目集2.5 支持度2.6 置信度2.7 提升度2.8 强关联规则2.9 关联规则的分类 3. Apriori算法3.1 Apriori算法的Python实现3.2 基于mlxtend库的Apriori算法的Python实现 1. 关联分…
机器学习每周挑战——信用卡申请用户数据分析
数据集的截图
# 字段 说明
# Ind_ID 客户ID
# Gender 性别信息
# Car_owner 是否有车
# Propert_owner 是否有房产
# Children 子女数量
# Annual_income 年收入
# Type_Income 收入类型
# Education 教育程度
# Marital_status 婚姻状况
# Housing_type 居住…
京东业务场景API接口京东获得JD商品评论APIitem_review-获得JD商品评论接入示例
京东业务场景API接口通过商品id获得JD商品评论的接入示例如下： 首先，你需要注册一个ApiKey和ApiSecret。 然后，使用ApiKey和ApiSecret获取访问令牌（access_token）。 最后，使用访问令牌调用item_review接口…
互联网、电商行业实时大数据分析最佳实践|实时大数据分析最重要的数据采集|电商API采集接口
电商API采集接口的分类 此API目前支持以下基本接口： item_get 获得淘宝商品详情item_get_pro 获得淘宝商品详情高级版item_review 获得淘宝商品评论item_fee 获得淘宝商品快递费用item_password 获得淘口令真实urlitem_list_updown 批量获得淘宝商品上下架时间selle…
数据挖掘|序列模式挖掘及其算法的python实现
数据挖掘|序列模式挖掘及其算法的python实现 1. 序列模式挖掘2. 基本概念3. 序列模式挖掘实例4. 类Apriori算法（GSP算法）4.1 算法思想4.2 算法步骤4.3 基于Python的算法实现 1. 序列模式挖掘
序列(sequence)模式挖掘也称为序列分析。 序列模式发现&…
Python实战：打造学生信息管理系统
Python实战：打造学生信息管理系统
简介：本文将介绍如何使用Python编写一个功能齐全的学生信息管理系统，包括添加、删除、修改和查询学生信息的基本操作。通过本教程，您将学习到如何运用Python编程知识解决实际问题的技巧和方法。…
ObjectiveC-10-OOP面向对象程序设计-分类/类别
类别(Category)是OjectiveC的一个特性，主要目的是让开发者可以以模块的形式向类添加方法（扩展），创建标准化的方法列表供给其他人实现。 有些文档也会翻译成类别，其实是一个意思。 概述
语法说明
类别提供了一个简单的…
MySQL -- 07_最流行的查询需求分析（一些分组排序查询、开窗函数 dense_rank、distinct 去重函数 等~）
目录 最流行的查询需求分析07演示数据准备的SQL需求演示36、查询每一门课程成绩都在70分以上的姓名、课程名称和分数group by min() in() 函数 37、查询不及格的课程及学生普通表连接查询 38、查询课程编号为01语文且课程成绩在80分以上的学生的学号和姓名普通表连接查询 39、…
平滑处理在眼动追踪数据分析中的应用
眼动追踪数据的平滑处理技术
眼动追踪技术作为研究人类视觉注意、界面设计效果评估以及增强现实（AR）和虚拟现实（VR）中交云互动的重要工具，其准确性和流畅性对实验结果和用户体验至关重要。然而，由于测量误…
数据挖掘入门项目二手交易车价格预测之建模调参
文章目录 目标步骤1. 调整数据类型，减少数据在内存中占用的空间2. 使用线性回归来简单建模3. 五折交叉验证4. 模拟真实业务情况5. 绘制学习率曲线与验证曲线6. 嵌入式特征选择6. 非线性模型7. 模型调参（1） 贪心调参（2）…
计算机视觉入目要学习哪些东西及就业方向
计算机视觉是人工智能领域的一个重要分支，它涉及使计算机能够从图像或多维数据中理解和解释视觉信息的技术。要学习计算机视觉，你需要掌握以下几个方面的知识和技能： 基础数学知识： 线性代数：矩阵运算、特征值和特征向…
Python网络爬虫的技术体系|主流电商数据API接口
Python网络爬虫的技术体系
请求API调用，先注册封装好的电商数据采集API接口。 1.请求库：用于向目标网站发送HTTP请求。常用的请求库包括requests、httplib、urllib等。这些库可以帮助我们模拟浏览器行为，发送GET、POST等请求，并…
【机器学习】K-means聚类算法：原理、应用与优化
一、引言
1、简述聚类分析的重要性及其在机器学习中的应用 聚类分析，作为机器学习领域中的一种无监督学习方法，在数据探索与知识发现过程中扮演着举足轻重的角色。它能够在没有先验知识或标签信息的情况下，通过挖掘数据中的内在结构和规律&a…
奥威BI零售方案，一套解决80%通用需求的数据分析方案
这意味着什么，意味着只需要点击应用奥威BI零售数据分析方案，就可以解决80%的通用分析需求，日常经营决策所需的分析指标再也不用花费大量时间去整理计算，事关运营决策的人、货、场分析都能立即获取，立即掌握数据情况。 …
【论文阅读】RSMamba：基于状态空间模型的遥感图像分类
【论文阅读】基于状态空间模型的遥感图像分类 文章目录 【论文阅读】基于状态空间模型的遥感图像分类一、介绍二、方法2.1 预准备 2.1 RSMamba2.2 动态多路径激活2.3 模型结构 三、实验结果 RSMamba: Remote Sensing Image Classification with State Space Mode 遥感图像分类是…
在 macOS 上创建安装程序
在 macOS 上创建安装程序通常涉及使用 Apple 提供的 PackageMaker 工具或者创建一个 .dmg（磁盘映像文件），其中包含应用程序和安装脚本。那么如果在安装中出现下面情况可以用我的解决方案。 一、问题背景
开发者编写了一个 Python 应用程序&a…
基于Swin Transformers的乳腺癌组织病理学图像多分类
乳腺癌的非侵入性诊断程序涉及体检和成像技术，如乳房X光检查、超声检查和磁共振成像。成像程序对于更全面地评估癌症区域和识别癌症亚型的敏感性较低。
CNN表现出固有的归纳偏差，并且对于图像中感兴趣对象的平移、旋转和位置有所不同。因此，…
一文了解和区分数据中台、数据平台、数据湖、数据仓库
在当今数字化时代，数据已经成为推动科技发展和商业创新的关键要素之一。数据中台、数据平台、数据湖和数据仓库是构建现代数据架构的重要组成部分。然而，这些概念之间往往容易混淆。本文将深入介绍并区分这些概念，通过生动的例子帮助读者更好…
代码+视频，手动绘制logistic回归预测模型校准曲线（Calibration curve）（2）
校准曲线图表示的是预测值和实际值的差距，作为预测模型的重要部分，目前很多函数能绘制校准曲线。 一般分为两种，一种是通过Hosmer-Lemeshow检验，把P值分为10等分，求出每等分的预测值和实际值的差距 另外一种是calibrat…
智慧园区革新之路：山海鲸可视化技术引领新变革
随着科技的飞速发展，智慧园区已成为城市现代化建设的重要组成部分。山海鲸可视化智慧园区解决方案，作为业界领先的数字化革新方案，正以其独特的技术优势和丰富的应用场景，引领着智慧园区建设的新潮流。
本文将带大家一起了解一下…
山海鲸智慧交通：可视化技术助力城市交通管理升级
随着城市化进程的加速和汽车保有量的不断增加，交通拥堵、安全事故频发等问题日益凸显。在这样的背景下，智慧交通成为了解决城市交通难题的重要途径。山海鲸智慧交通可视化解决方案，以其创新的技术和卓越的性能，为城市交通管理提供…
AI技术创业机会之大数据分析与决策支持
大数据分析与决策支持作为AI技术的重要应用领域，蕴含着丰富的创业机遇。以下详述了大数据分析与决策支持背景下AI技术的创业机会及其具体细节与内容，以5000字篇幅深入探讨各细分领域，为有志于投身这一领域的创业者提供全面、深入的商业洞察与方向指引。
一、智能数据分析与…
R语言数据可视化：Lattice绘图系统
Lattice绘图系统有自己的绘图函数，主要是在Lattice包里面，其中最常用的就是xyplot，其他比较常用的还有bwplot，histogram，stripplot，dotplot，splom，levelplot，contourplot…
2月智能手表线上电商市场（京东天猫淘宝）分析：华为手表成最大赢家！
近年来，各大厂商纷纷积极布局健康管理领域，智能手表成为可穿戴市场的热门产品。随着越来越多的厂商进入，智能手表的芯片技术、显示屏技术、传感器技术等都在不断进步，整体性能和功能得到显著提升，使得用户体验更加出色…
textcnn做多分类
textcnn.py代码文件
import jieba
import pickle
import numpy as np
from tensorflow.keras import Model, models
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing import sequence
from tensorflow.keras.layers import…
API接口在数据分析中的应用：淘宝商品信息获取实例
在数字化时代，数据分析已经成为各行各业不可或缺的一部分。无论是市场调研、竞争对手分析，还是产品优化、用户行为研究，数据分析都发挥着至关重要的作用。而API接口作为数据获取的重要渠道，其在数据分析中的应用也日益广泛。本文将…
代购业务|电商ERP系统|订单信息同步我们需要对接哪些电商API数据接口？
电商API接口是指电子商务平台提供的应用程序接口，用于实现与第三方系统的数据交换和功能整合。通过电商API接口，开发者可以实现商品信息同步、订单管理、支付接口对接等功能。常见的电商API接口包括商品查询接口、下单接口、库存查询接口、物流跟踪接口等…
电商技术揭秘十五：数据挖掘与用户行为分析
相关系列文章
电商技术揭秘一：电商架构设计与核心技术
电商技术揭秘二：电商平台推荐系统的实现与优化
电商技术揭秘三：电商平台的支付与结算系统
电商技术揭秘四：电商平台的物流管理系统
电商技术揭秘五：电商平台…
execl多维度数据建模（一）--选择列表框进行数据联动
目的： 当1.2部分的选择改变时，3,4,5,6部分的数据都会联动改变 1、建模过程
（1）打开原始数据表
原始数据如下： （2）公式--名称管理器--新建--定义名称：
a.输入“名称”
b.应用位置…
解锁数据可视化新境界：山海鲸可视化免费编辑与组件探索
作为一名长期使用山海鲸可视化的资深用户，我在数据可视化看板的制作过程中，深刻感受到了这款软件带来的便捷与高效。今天，我想与大家分享一些我在使用山海鲸可视化制作数据可视化看板时的经验，给对这款产品同样感兴趣的朋友同行一…
Nadaraya-Watson核回归
目录
基本原理
编辑 核函数的选择
带宽的选择
特点
应用
与注意力机制的关系
参考内容 在统计学中，核回归是一种估计随机变量的条件期望的非参数技术。目标是找到一对随机变量 X 和 Y 之间的非线性关系。 在任何非参数回归中，变量 Y 相对于变量…
工程信号的去噪和（分类、回归和时序）预测
🚀【信号去噪及预测论文代码指导】🚀 还为小论文没有思路烦恼么？本人专注于最前沿的信号处理与预测技术——基于信号模态分解的去噪算法和深度学习的信号（回归、时序和分类）预测算法，致力于为您提供最精确、…
易基因：人类大脑的单细胞DNA甲基化和3D基因组结构｜Science
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。
高通通量表观基因组分析技术可用于阐明大脑中细胞复杂性的基因调控程序。5-甲基胞嘧啶 (5mCs)是哺乳动物基因组中最常见的修饰碱基，大多数5mCs发生在胞嘧啶-鸟嘌呤二核苷酸&a…
数据可视化看板的进阶之路：山海鲸可视化私有化部署体验
作为一名长期使用山海鲸可视化的资深用户，我在数据可视化看板的制作过程中，深刻感受到了这款软件带来的便捷与高效。今天，我想与大家分享一些我在使用山海鲸可视化制作数据可视化看板时的经验，给对这款产品同样感兴趣的朋友同行一…
零基础入门转录组数据分析——绘制差异火山图
零基础入门转录组数据分析——绘制差异火山图 差异分析的火山图（Volcano Plot）在生物信息学数据分析中，特别是在基因表达差异分析中，是一个非常直观和有用的工具。
本教程将从导入的数据结构开始，一步步带大家在R中绘制好看的火山图，最后对火山图进行解读，确保读者理解…
运动想象 (MI) 分类学习系列 (2) : EEG-FMCNN
运动想象分类学习系列:EEG-FMCNN 0. 引言1. 主要贡献2. 提出的网络结构2.1 SE模块2.2 多分支一维卷积神经网络 3. 实验结果3.1 消融实验结果3.2 与基线模型比较 4. 总结欢迎来稿 论文地址：https://link.springer.com/article/10.1007/s11517-023-02931-x 论文题目&a…
电商数据分析25——电商平台优惠券营销效果的数据分析
目录 写在开头1. 优惠券营销的战略意义1.1 优惠券对消费者行为的影响1.1.1 改变购买决策1.1.2 增加购买意愿 1.2 优惠券在促销活动中的应用1.2.1 提高产品销量1.2.2 增强市场占有率 2. 数据分析在优惠券营销中的应用2.1 优惠券使用率和转化率分析2.2 消费者行为分析与细分2.3 优…
数据分析概述、Conda环境搭建及JupyterLab的搭建
1. 数据分析职责概述
当今世界对信息技术的依赖程度在不断加深，每天都会有大量的数据产生，我们经常会感到数据越来越多，但是要从中发现有价值的信息却越来越难。这里所说的信息，可以理解为对数据集处理之后的结果，是从…
面对数据集不平衡的分类任务怎么办？
如果有一个数据集其中一个类别数据有几十万，而一类数据只有几万。该怎么做才能更好的训练模型进行分类？
1.重采样技术 过采样少数类：增加少数类的样本数量，可以通过简单复制、SMOTE（Synthetic Minority Over-sampling…
GraphPad Prism 10：一站式数据分析解决方案
GraphPad Prism 10是一款功能强大的数据分析和可视化软件，广泛应用于生命科学研究、医学、生物、化学等多个领域。以下是对其详细功能的介绍：
首先，GraphPad Prism 10具有出色的数据可视化功能。它支持各种类型的图表和图形，包括…
数据挖掘与机器学习 1. 绪论
于高山之巅，方见大河奔涌；于群峰之上，便觉长风浩荡 —— 24.3.22 一、数据挖掘和机器学习的定义
1.数据挖掘的狭义定义 背景：大数据时代——知识贫乏 数据挖掘的狭义定义： 数据挖掘就是从大量的、不完全的、有噪声的、…
2024 年(第 12 届)“泰迪杯”数据挖掘挑战赛B题 解题全流程（持续更新）
2024 年(第 12 届)“泰迪杯”数据挖掘挑战赛B题 解题全流程（持续更新）
-----基于多模态特征融合的图像文本检索
一、写在前面：
本题的全部资料打包为“全家桶”， “全家桶”包含：数据、代码、模型、结果csv、教程…
【数据挖掘】实验5：数据预处理（1）
实验5：数据预处理（1） 一：实验目的与要求
1：熟悉和掌握数据预处理，学习数据清洗、数据集成、数据变换、数据规约、R语言中主要数据预处理函数。 二：实验内容
【缺失值分析】
第一步࿱…
数据分析-Pandas类别的排序和顺序
数据分析-Pandas类别的排序和顺序
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&…
每天一个数据分析题（二百二十）
在集成学习的GBDT算法中，每次训练新的决策树的目的是( )？
A. 预测原始数据的标签
B. 预测上一个模型的残差
C. 降低模型的偏差
D. 降低模型的方差
题目来源于CDA模拟题库
点击此处获取答案
【数据挖掘】实验4：数据探索
实验4：数据探索 一：实验目的与要求
1：熟悉和掌握数据探索，学习数据质量分类、数据特征分析和R语言的主要数据探索函数。 二：实验内容
1：数据质量分析
2：统计量分析
3：贡献度分析…
5.3 用PyTorch实现Logistic回归
一、数据准备
Logistic回归常用于解决二分类问题。
为了便于描述，我们分别从两个多元高斯分布 N₁（μ₁，Σ₁ ）、N₂（μ₂，Σ₂）中生成数据 x₁ 和 x₂，这两个多元高斯分布分别表示…
数据挖掘|贝叶斯分类器及其Python实现
分类分析|贝叶斯分类器及其Python实现 0. 分类分析概述1. Logistics回归模型2. 贝叶斯分类器2.1 贝叶斯定理2.2 朴素贝叶斯分类器2.2.1 高斯朴素贝叶斯分类器2.2.2 多项式朴素贝叶斯分类器 2.3 朴素贝叶斯分类的主要优点2.4 朴素贝叶斯分类的主要缺点 3. 贝叶斯分类器在生产中的…
【第十二届“泰迪杯”数据挖掘挑战赛】【2024泰迪杯】B题基于多模态特征融合的图像文本检索—解题全流程（论文更新）
【第十二届“泰迪杯”数据挖掘挑战赛】【2024泰迪杯】B题基于多模态特征融合的图像文本检索更新（论文更新）
本节主要更新了论文、训练日志的log数据提取（Loss、ACC、RK）等数据可视化作图的代码
B题交流QQ群： 4583…
xgb和gbm做回归代码sklearn
xgb和gbm做回归代码sklearn接口
import numpy as np
import pandas as pd
import re
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_splitfrom sklearn import datasets
from sklearn.model_selection imp…
数据分析之Tebleau的度量和维度
维度 维度是分类的字段。如名称、国家、地区等，一般为非数字 度量 度量是数值字段。如销量、利润、折扣等，一般为数字 注意 字符串、日期格式为维度 [数据桶]连续型数据离散化为维度 例如：0，1，2，3ÿ…
【分类评估指标，精确率，召回率，】from sklearn.metrics import classification_report
from： https://zhuanlan.zhihu.com/p/368196647
多分类
from sklearn.metrics import classification_report
y_true [0, 1, 2, 2, 2]
y_pred [0, 0, 2, 2, 1]
target_names [class 0, class 1, class 2]
# print(classification_report(y_true, y_pred, targe…
【数据分析】Pandas内容补充（Lambda、applymap、merge...）
Pandas内容补充
1.lambda函数
①f lambda x:x ** 2
f lambda( x:x ** 2)
print(f(100)) # 10000②f lambda x:fun1(x)
def fun1(x):return str(x) "hahla"
f lambda x:fun1(x)
print(f(100)) # 100hahla③f (lambda x,y:x y)(32,23)
f (lambda x,y:x y…
我在京东做数据分析，一位京东数据分析师的工作日常
有人说：“种下一棵树最好的时间是十年前，其次是现在”。任何时候，我们都应该抓住机遇，说不定就是改变你现状的一个机会。
2020年，我在疫情得到控制后，面试入职京东大数据组，截止目前࿰…
数据挖掘与分析学习笔记
一、Numpy
NumPy（Numerical Python）是一种开源的Python库，专注于数值计算和处理多维数组。它是Python数据科学和机器学习生态系统的基础工具包之一，因为它高效地实现了向量化计算，并提供了对大型多维数组和矩阵的支持…
机器学习导论：概念、分类与应用场景
目录
1.引言
2. 机器学习基本概念与分类方法
2.1. 基本概念
1.2. 分类方法
3.主要应用场景与现实案例剖析
3.1. 推荐系统
3.2. 金融风控
3.3. 医学诊断
3.4. 自然语言处理
4.结束语 1.引言 在数字化时代，数据已成为驱动社会进步的关键要素。…
跟张良均老师学大数据人工智能——数据挖掘集训营开营
集训营特色：
知识点深入浅出，实现以学促用
以业务内容为主线，数据挖掘技能嵌入
多行业项目实战，全面提升职业素养
全程线上辅导，助力熟练掌握技能 惊喜优惠： 限时“六折”！
师傅带练 方向…
数据库备份工具（实现数据定时覆盖）
数据库备份工具（实现数据定时覆盖） 永远热爱，永远执着！ 工具介绍
自动化测试数据库更新调度程序
这段 Python 脚本自动化了每天定时从生产数据库更新测试数据库的过程。它利用了 schedule 库来安排并执行每天指定时间的更新任务…
2月京东天猫淘宝茗茶电商数据分析（茗茶行业未来趋势分析）
随着消费者对健康饮食和品质生活的追求，茗茶行业受到许多青睐和关注。
根据鲸参谋数据显示，今年2月，茗茶行业在某东平台上销售数据呈现出一种特殊的趋势。销售量总计约450万件，同比去年下滑了7%。；销售额总计6.4亿元&…
卷起来——高级数据分析师
要成为一名高级数据分析师，需要掌握一系列的技能，包括数据处理、统计分析、机器学习、数据可视化以及业务理解等，喜欢或者想往这方面发展的童鞋们，卷起来，点击以下链接中的链接，备注"分析"进群交…
勾八头歌之分类回归聚类
一、机器学习概述 第1关机器学习概述
B AD B BC 第2关常见分类算法
#编码方式encodingutf8from sklearn.neighbors import KNeighborsClassifierdef knn(train_data,train_label,test_data):input:train_data用来训练的数据train_label用来训练的标签test_data用来测试的数据…
【42 可视化大屏 | 某瓣电影Top250数据分析可视化大屏】
文章目录 🏳️🌈 1 普版大屏🏳️🌈2 Flask版大屏🏳️🌈3 FlaskMysql版大屏🏳️🌈 4. 可视化项目源码数据 大家好，我是 👉【Python当打之年(点击跳转)…
Scikit-learn 数据挖掘和数据分析工具的使用指南
Scikit-learn是Python中一款非常强大且广泛使用的数据挖掘和数据分析工具。它为数据挖掘和数据分析任务提供了简单高效的接口，涵盖了分类、回归、聚类、降维、模型选择等多个方面。以下是一份详细的使用指南，帮助用户更好地理解和使用Scikit-learn。
一…
4.Python数据分析—数据分析入门知识图谱索引(知识体系下篇)
4.Python数据分析—数据分析入门知识图谱&索引-知识体系下篇 一个人简介二机器学习基础2.1 监督学习与无监督学习2.1.1 监督学习：2.1.2 无监督学习： 2.2 特征工程2.3 常用机器学习算法概述2.3.1 监督学习算法：2.3.2 无监督学习算法&#…
Altair Compose® 数学运算、编程、数据分析及可视化
Altair Compose 数学运算、编程、数据分析及可视化
分析数据、开发算法或创建模型 - Altair Compose 旨在将你的想法付诸实施。
Altair Compose 是一个用于数学计算、数据操作和可视化、编程和调试脚本的环境，对重复运算和流程自动化非常有用。Altair Compose 让用…
书籍推荐|meta分析R语言实践教程-Doing Meta-Analysis with R: A Hands-On Guide
“The problems are solved, not by giving new information, but by arranging what we have known since long.” – Ludwig Wittgenstein 推荐理由
《Doing Meta-Analysis with R: A Hands-On Guide》是由 Mathias Harrer, Pim Cuijpers, Toshi Furukawa, 和 David Ebert所…
数据分析-GroupBy的排序和缺失值处理
数据分析-GroupBy的排序和缺失值处理
数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？
数据表&a…
Paper Digest｜基于在线聚类的自监督自蒸馏序列推荐模型
论文标题： Leave No One Behind: Online Self-Supervised Self-Distillation for Sequential Recommendation
作者姓名： 韦绍玮、吴郑伟、李欣、吴沁桐、张志强、周俊、顾立宏、顾进杰
组织单位： 蚂蚁集团
录用会议： WWW 2024 …
如何通过数据可视化优化城市交通？
在当今社会，数据已成为信息时代的关键资源，而数据可视化则是将这些庞杂的数据转换为易于理解和分析的图形和图表的过程。随着城市化进程的加快，交通拥堵、安全管理、环境监测等问题日益凸显，智慧交通系统的构建成为了解决这些问题…
智慧水利中数据可视化的关键作用
在当今这个数据驱动的时代，数据可视化已成为转化复杂数据集为易于理解的视觉格式的关键技术，它在智慧水利领域的应用尤为显著。智慧水利利用现代信息技术，整合水资源管理的各个方面，旨在提高水资源的使用效率和管理效能。数据可视…
InsectMamba：基于状态空间模型的害虫分类
InsectMamba：基于状态空间模型的害虫分类 摘要IntroductionRelated WorkImage ClassificationInsect Pest Classification PreliminariesInsectMambaOverall Architecture InsectMamba: Insect Pest Classification with State Space Model 摘要
害虫分类是农业技术…
R: 支持向量机（Support Vector Machine，简称SVM）
在数据科学和机器学习领域中，支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，常用于分类和回归分析。它的优点之一是可以适用于复杂的数据集，并且在高维空间中表现良好。在本文中&am…
（WSI分类）WSI分类文献小综述 2024
2024的WSI分类。
Multiple Instance Learning Framework with Masked Hard Instance Mining for Whole Slide Image Classification （ICCV2024）
由于阳性组织只占 Gi- gapixel WSI 的一小部分，因此现有的 MIL 方法直观上侧重于通过注意力机…
OLAP在线实时 数据分析平台
随着业务的增长，精细化运营的提出，产品对数据部门提出了更高的要求，包括需要对实时数据进行查询分析，快速调整运营策略；对小部分人群做 AB 实验，验证新功能的有效性；减少数据查询时间࿰…
KNN分类算法的MATLAB实现以及可视化
一、KNN简介
KNN算法，即K-Nearest Neighbors，是一种常用的监督学习算法，可以用于分类问题，并且在实际应用中取得了广泛的成功。
二、KNN算法的基本原理
对于给定的测试样本，KNN算法首先计算它与训练集中所有样本的距…
基于R语言的选举数据的模型建立与预测分析
本文利用选举数据，通过K-近邻、支持向量机、人工神经网络等三类分类算法，利用R语言统计软件，实现选举数据的模型建立与预测分析。并对三个模型的预测结果进行对比分析，从而选择最优分类策略，进而为选举提供有效、有力的数据支持。 1.数据探索
1.1 数据来源及说明 数据来源…
BI数据分析软件：选择最适合企业发展的工具
随着大数据时代的到来，数据分析在各个行业中扮演着越来越重要的角色。而BI数据分析软件作为数据处理和可视化的核心工具，既能帮助企业更好地理解和利用数据，又能提升决策的准确性和效率。在市面上，有许多优秀的BI数据分析软件可以…
人工智能分类算法概述
文章目录 人工智能主要分类算法决策树随机森林逻辑回归K-均值 总结 人工智能主要分类算法
人工智能分类算法是用于将数据划分为不同类别的算法。这些算法通过学习数据的特征和模式，将输入数据映射到相应的类别。分类算法在人工智能中具有广泛的应用，如图…
数据仓库与数据挖掘（第三版）陈文伟思维导图1-5章作业
第一章 概述 8.基于数据仓库的决策支持系统与传统决策支持系统有哪些区别？ 决策支持系统经历了4个阶段。 1.基本决策支持系统 是在运筹学单模型辅助决策的基础上发展起来的，以模型库系统为核心，以多模型和数据库的组合形成方案辅助决策。 它…
电商用户行为数据分析
本文针对淘宝app的运营数据，以行业常见指标对用户行为进行分析，包括UV、PV、新增用户分析、漏斗流失分析、留存分析、用户价值分析、复购分析等内容。本文使用的分析工具以MySQL为主，涉及分组汇总，引用变量，视图&#…
分类模型绘制决策边界、过拟合、评价指标
文章目录 1、线性逻辑回归决策边界1.2、使用自定义函数绘制决策边界1.3、三分类的决策边界1.4、多项式逻辑回归决策边界 2、过拟合和欠拟合2.2、欠拟合2.3、过拟合 3、学习曲线4、交叉验证5、泛化能力6、混淆矩阵7、PR曲线和ROC曲线 x2可以用x1来表示 1、线性逻辑回归决策边界 …
数据分析 -- pandas
文章目录 1. Pandas简介2. Pandas类型2.1 Series类型2.2 DataFrame类型 3. pandas操作3.1 数据查询3.2 数据分析3.3 数据清洗 1. Pandas简介
Pandas基于Numpy实现，扩展数据类型，更关注数据与索引之间的关系；Pandas可以处理各种文件格式&…