最近我们被客户要求撰写关于神经网络的研究报告，包括一些图形和统计输出。 用于R语言的多层感知器（MLP）和极限学习机（ELM）进行时间序列预测。请注意，由于神经网络无法利用GPU处理，因此大型网络的训练速度往往很慢。与现有神经网络实现的不同之处在于，R可以自动设计具有合理预测性能的网络。这增加了神经网络的鲁棒性，但也有助于减少训练时间。 使用MLP进行预测 使用R软件包，您可以生成外推（单变量）预测，也可以包含解释变量。 单变量预测 最简单的形式，您只需输入要建模的时间序列。     fit1<MLPfit(Air) print(fit1) 输出表明结果网络具...

口腔健康是整体健康的重要基石，当前，无论是哪个年龄段的人群，或多或少都会受到口腔问题的困扰。随着国民口腔健康意识的不断提高，消费者对口腔医疗服务的需求日益多元化，口腔医疗行业也迎来了快速发展阶段。 本报告合集着重探讨中国口腔医疗行业的现状及未来趋势，覆盖了产业链的上中下游。其中，上游包括口腔医疗器械的生产和供应，中游为口腔医疗服务机构，下游则涉及口腔医疗费用的支付问题。我们深入分析了中国社会办口腔医疗服务市场的供给现状，深度洞察了口腔医疗机构，特别是社会办医疗机构所面临的挑战和问题。同时，我们在人才培养、学科建设、医保支付、质量监督、医院管理等方面提出了建议，以期为中国口腔事业的发展提供有...

分析师：DavisLuo 数据挖掘和分析的最核心也最重要的问题就是“预测”。广义的“预测”即包含预测事物未来走势，也包括预测事物之间隐藏的关联。 例如在医疗健康领域，找到事物之间隐藏关联对于辅助诊断、知识发现等有重要的意义。 解决方案 任务/目标 从电子病历中提取患者的疾病信息，构建疾病关联网络，并据此进行并发症预测。 数据源准备 电子病历作为医疗信息的重要载体，有很大的挖掘空间和意义。同时，由于中文的多义性、表述不规范性，分析自然语言书写的电子病历也带来很大挑战。 根据提取数据要求的不同，可以采用不同方式处理中文文本。例如在这个工作中，采取中文分词、术语词典比对等方式，提取病历中关键信息。...

此示例显示如何 lasso 识别和舍弃不必要的预测变量。 使用各种方法从指数分布生成200个五维数据X样本。   html rng(3,'twister')%实现可重复性 fori=1:5 X(:,i)=exprnd end 生成因变量数据 Y =  X   r +  eps ，其中 r 只有两个非零分量，噪声 eps 正态分布，标准差为0.1。 用拟合交叉验证的模型序列 lasso ，并...

随着经济的快速发展和城市化进程的不断推进，土地资源的利用和管理成为了一项极为重要的任务。而对于全国各省市而言，如何合理利用土地资源，通过科学的方法进行规划和管理，是提高土地利用效率的关键。 本文旨在应用SPSSModeler，帮助客户采用K-means（K-均值）聚类、CHAID、CART决策树等方法，对31个省市的土地利用情况数据进行分析和建模，以期提供科学有效的土地利用规划和管理策略。 31省市土地利用情况数据 数据流 本文使用的数据来自于国家统计局发布的31省市土地利用情况数据，选取31个省市作为研究对象，并选取了包括草地、耕地、园地、林地、水域和建设用地等7种土地类型的利用情况数据...

PLS回归主要的客户来自于化学、药品、食品和塑料行业。在本文中，我们将使用此类背景下的示例。 什么是偏最小二乘回归（PLS回归）？ 偏最小二乘回归（PartialLeastSquares,PLS）是一种将预测变量降维为一组不相关的成分，并在这些成分上执行最小二乘回归的技术，而不仅仅是在原始数据上执行回归。 与多元回归不同，PLS不假设预测变量是固定的。这意味着预测变量可能带有误差，使得PLS对测量不确定性更加稳健。 使用PLS 在文中讨论了一种制药产品的化学制造过程。     library(pls) library(Amelia) 在这个问题中，目标是理解原材料的生...

  在常规的马尔可夫链模型中，我们通常感兴趣的是找到一个平衡分布。 MCMC则是反过来思考——我们将平衡分布固定为后验分布： 并寻找一种转移核，使其收敛到该平衡分布。 岛屿示例 首先提供一个示例，以具体展示Metropolis算法的机制，然后探讨为什么它有效。 以一个有趣的例子开始，讲述了政治家访问一系列岛屿以争取支持的情况——由于缺乏经验，政治家使用简单的规则来确定下一个要访问的岛屿。每天，政治家选择一个相邻的岛屿，并将其人口与当前岛屿的人口进行比较。如果相邻的岛屿人口更多，则政治家前往该岛屿。如果相邻的岛屿人口更少，则政治家以概率 p=pneighbor/pcurr...

统计量T是数据的一个函数，不依赖于任何未知参数（即我们可以根据数据计算得到它）。这意味着给定数据值x1,x2,⋯,xn，统计量T就是一个"数字"。然而，在观察到数据之前，"数据"是随机变量X1,X2,⋯,Xn，而我们的统计量T作为随机变量的函数，也是一个随机变量。T的分布被称为"抽样分布"。 例如，如果我们有以下数据： 感兴趣的统计量是X¯=1/n∑ni=1Xi，我们知道 这就是X¯的抽样分布。统计量的抽样分布并不总是容易找到。让我们考虑两种抽样分布更难以通过解析方法找到的情况。 情况1 假设我们有来自一个倾斜分布的40个数据点。下面给出了数据的直方图。 我们首先计算样本均值和样本标准...

随着我国经济的快速发展，上市公司的经营绩效成为了一个备受关注的话题。本文旨在探讨上市公司经营绩效的相关因素，并运用数据处理、图示、检验和分析等方法进行深入研究，帮助客户对我国45家上市公司的16项财务指标进行了因子分析与聚类分析。 分析脉络如下： 数据预处理(包括缺失值，异常值，标准化这些) 数据图示 相关性检验正态性检验 做因子分析和聚类分析 查看数据 读取到r软件中： 数据预处理(包括缺失值，异常值，标准化 首先，在进行数据分析前，需要对数据进行预处理。数据预处理包括缺失值的处理、异常值的排除、标准化处理等。另外，为了减少数据误差，需要对数据进行标准化处理。   &nb...

 最近我们被客户要求撰写关于时变VAR模型的研究报告，包括一些图形和统计输出。 加载R包和数据集  加载包后，我们将此数据集中包含的12个心情变量进行子集化：     mood_data<as.matrix(symptom_data$data[,1:12])子集变量 mood_labels<symptom_data$colnames[1:12]子集变量标签 colnames(mood_data)<mood_labels time_data<symptom_data$data_time   对象mood_data是一...

KNN是一种非参数学习算法，这意味着它不会对底层数据做出任何假设。这是一个非常有用的特性，因为大多数客户的数据并不真正遵循任何理论假设，例如线性可分性，均匀分布等等。 何时应使用KNN？ 假设您想要租一间公寓并最近发现您的朋友的邻居可能在两周内将她的公寓出租。由于该公寓尚未出现在租赁网站上，因此您如何尝试估算其租金？ 假设您的朋友每月支付1,200的租金。则您的租金价值可能约为该数字，但是公寓并不完全相同（方向、面积、家具质量等），因此如果有更多其他公寓的数据将会很好。 通过询问其他邻居并查看同一建筑物上的租赁网站列出的公寓，最接近的三个邻居公寓的租金分别为1,200、1,210、1,210...

这篇文章展示了自激励阈值自回归SETAR的使用，用于分析经常被客户研究的太阳黑子数据集。具体而言，研究SETAR模型的估计和预测。 我们在这里考虑原始的太阳黑子序列以匹配ARMA示例，尽管文献中许多来源在建模之前对序列进行变换。     importnumpyasnp importpandasaspd ......     dta.index=pd.Index(sm.......m_range('1700','2008')) 首先，我们将用ARMA对数据进行AR(3)过程拟合。     arma_mod30=sm.tsa...

本文描述了帮助客户使用马尔可夫链蒙特卡洛（MCMC）方法通过贝叶斯方法估计基本的单变量随机波动模型，就像Kim等人（1998年）所做的那样。 定义模型以及从条件后验中抽取样本的函数的代码也在Python脚本中提供。     %matplotlibinline from__future__importdivision ...... fromsrcimportsv 来自Kim等人（1998年）的经典单变量随机波动性模型，在此之后简称KSC，如下所示: 这里，yt代表某个资产的修正后平均收益，ht为对数波动率 示例 我们将对1981年10月1日至1985年6月28日期间...

摘要 贝叶斯回归分位数在最近的文献中受到广泛关注，本文实现了贝叶斯系数估计和回归分位数（RQ）中的变量选择，带有lasso和自适应lasso惩罚的贝叶斯。还包括总结结果、绘制路径图、后验直方图、自相关图和绘制分位数图的进一步建模功能。 简介 回归分位数（RQ）由（Koenker和Gilbert，1978）提出，将感兴趣的结果的条件分位数作为预测因子的函数来建模。自引入以来，分位数回归一直是理论界非常关注的话题，也在许多研究领域得到了大量的应用，如计量经济学、市场营销、医学、生态学和生存分析（Neelon等，2015；Davino等，2013；Hao和Naiman，2007）。假设我们有一个观...

面板数据回归可以缓解省略变量偏误的问题，特别是当没有既与感兴趣的回归变量相关又与依赖变量相关的变量信息时，并且这些变量在时间或实体维度上是恒定的。 当客户有面板数据可用时，可以使用面板回归方法来改善多元回归模型。这是因为在这种情况下，多元回归模型可能会产生缺乏内部有效性的结果。 本文涵盖以下主题： 面板数据符号表示 固定效应回归使用时间和/或实体固定效应 在固定效应回归模型中计算标准误差 我们使用一个面板数据集，报告了1982年至1988年期间交通死亡率观察到的年度记录。应用分析酒精税和酒后驾车法律对道路死亡率是否有影响，如果存在，这些影响有多强烈。 面板数据 有时，面板数据也被称为纵向数...

 最近我们被客户要求撰写关于Stan,JAGS的研究报告，包括一些图形和统计输出。 本文将介绍如何在R中用rstan和rjags做贝叶斯回归分析，R中有不少包可以用来做贝叶斯回归分析，比如最早的（同时也是参考文献和例子最多的）R2WinBUGS包。这个包会调用WinBUGS软件来拟合模型，后来的JAGS软件也使用与之类似的算法来做贝叶斯分析。然而JAGS的自由度更大，扩展性也更好。近来，STAN和它对应的R包rstan一起进入了人们的视线。STAN使用的算法与WinBUGS和JAGS不同，它改用了一种更强大的算法使它能完成WinBUGS无法胜任的任务。同时Stan在计算上也更为快捷...

我们常说的中药挖掘，一般是用药挖掘，还有穴位的挖掘，主要是想找出一些用药的规律。在中医挖掘中，数据的来源比较广泛,有的是通过临床收集用药处方，比如，一个著名老中医针对某一疾病的用药情况;有的是通过古籍，古代流传下来的药方;还有一种情况是在论文数据框里查找专门治疗某一疾病的文献，从中找到处方，用来分析。 Apriori算法是一种最有影响的挖掘关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则，Apriori算法采用了逐层搜索的迭代的方法，算法简单明了，没有复杂的理论推导，也易于实现。 由于Apriori算法的特性，十分适合中药处方、膏方...

视频|分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现 分类模型评估精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现 本文将帮助您回答以下问题： ROC曲线是什么？ 曲线下的面积是多少？ 二元分类的决策阈值是多少？ 分类模型可接受的AUC值是多少？ 什么是精确召回曲线？ 什么时候应该使用精确召回和ROC曲线？ 什么是ROC曲线？ 如果你用搜索ROC曲线，你会得到以下答案： “ 接受者操作特征曲线或ROC曲线是一个图形，它说明了二元分类器系统在其区分阈值变化时的诊断能力。” 这个定义不容易理解，对初学者来说可能听起来很吓...

点模式分析（点格局分析）是一组用于分析空间点数据的技术。在生态学中，这种类型的分析可能在客户的几个情境下出现，但对数据生成方式做出了特定的假设，因此让我们首先看看哪些生态数据可能与点模式分析相关或不相关。 哪些数据适用于点模式分析？ 点模式分析的最重要假设是点的数量和位置都需要是随机的。此外，我们需要知道客户的采样区域（即所谓的窗口）。以下是适用于点模式分析的示例： 森林样地中树木的位置 草地区域中蚂蚁巢穴的分布 以下是不适合进行点模式分析的示例： 在较大的样地中事先定义好的子样方形成的规则网格中的群落组成 记录了给定区域内固定数量的鸟巢的位置 以下示例可能适用于点模式分析，也可能不...

通常在现实应用中，我们需要去理解一个变量是如何被一些其他变量所决定的。 最近我们被客户要求撰写关于回归分析的研究报告，包括一些图形和统计输出。 回答这样的问题，需要我们去建立一个模型。一个模型就是一个公式之中，一个因变量（dependentvariable）(需要预测的值)会随着一个或多个数值型的自变量（independentvariable）（预测变量）而改变的。我们能够构建的最简单的模型之一就是线性模型，我们可以假设因变量和自变量间是线性的关系。回归分方法可用于预测数值型数据以及量化预测结果与其预测变量之间关系的大小及强度。本文将介绍如何将回归方法应用到你自己的数据中，主要介绍学习内容：...