一,概念 1,Spark虽然也是阿帕奇的,但是它开发时仅用于分布式数据计算,和hadoop并无关系,spark有自己的资源调度(master和worker)和任务管理模块(driver和executor,dirver和MR中的AM一样是进程中的老大,而exe是普通员工,负责一个进程的)。这些模块的功能和hadoop中的yarn是差不多的。Hadoop中有分布式计算框架MapRudece,也是用来分布式计算的,但是MR的计算能力完全不如spark。 2,spark是spark,Hadoop是Hadoop,二者没联系。前者擅长分布式计算,后者擅长分布式存储,本来企业中应该同时搭建它们2个的,但是为...

  SkyPJX5vy5h5   2023年11月02日   42   0   0 python数据spark数据sparkpython

1,虚拟筛选分为两种,基于受体结构的虚拟筛选(靶点结构的虚拟筛选),基于配体的虚拟筛选。俄文论文是基于靶点结构的。 2,靶点结构的虚拟筛选,基于锁钥理论,酶和底物的配对。 蛋白质的结构决定了蛋白质的功能,小分子药物可以与【受体蛋白质】结合,从而改变蛋白质的结构,从而激活或者抑制该蛋白的功能表达。 小分子药物和蛋白质结合需要能量,我们尽可能选能量小的。 Receptor受体。ligands配体。Docking对接。把结合结果按从低到高排序。 受体一般是蛋白质,它一般比较大。 配体信号分子小分子。可以是气体分子、脂质、蛋白质。 3,虚拟筛选的步骤 (1)建立受体模型 ①可以通过pubmed、PDB...

(1)在训练时要加上train()。在测试和使用时要加上eval()。它们两个函数用来控制【batchNorm层,dropout层等用于优化训练而添加的网络层】的开关。 Train()会开启那些层,eval会关闭那些层。 (2)dropout层的作用,在每一次的训练过程中,随机舍弃一定比例的神经元,每次训练舍弃的神经元都不同,可以有效防止模型在训练过程中过拟合。

  SkyPJX5vy5h5   2023年11月02日   30   0   0 网络层网络层过拟合过拟合

1,使用tokenizer对用户输入分词。①把单个汉字转为编号id(就是vocab.txt中该字对应的行号)所以说一个汉字会对应一个id②在输入的开头加上[CLS],结尾加上[SEP]。 2,模型的输出:logits。即logisticunit逻辑单元 (1)logits其实就是每个字对应的概率,他还没有经过softmax层处理,所以概率和不是1。Logits里面的值都是tensor类型,通过比较tensor值的大小判断下一个字可能是什么,tensor最大的就是最有可能的字。可以通过“logits.shape或size”查看它的维度。 (2)当用户输入一个字时,torch.Size([1,3,...

1,损失函数的作用是计算实际输出和预期输出之间的差距。损失函数有许多种,每一种的计算差距的方法都不一样。我们可以任意选择一种损失函数。 2,损失函数作用 ①计算实际输出和预期输出的差距。对应代码 result_loss=loss(outputs,targets) ②根据差距去设置grad(梯度)。【反向传播】对应代码 result_loss.backward() Ⅰ,定义模型时有一个方法叫做forward,它表示向前传播。而loss这里的backward方法表示反向传播 Ⅱ,执行完这句代码后, 3,梯度 梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值。类似与某...

1,它也是一个可视化库,对matplotlib进行了二次封装。比起pyplot它的接口更加集成,对numpy\pandas支持良好。可以设置图片风格style。seaborn与matplotlib的关系是互为补充而非替代:多数场合中seaborn是绘图首选,而在某些特定场景下则仍需用matplotlib进行更为细致的个性化定制。 2,sns的风格设置。它一共提供了5种风格,默认风格是darkgrid。 设置方法sns.set(style='ticks')

  SkyPJX5vy5h5   2023年11月02日   25   0   0 封装封装

1,魔法函数其实就是以两个下划线开头,两个下划线结束的方法。它是python提供的,类里面都可以使用。每一个魔法函数都有自己的功能。 2,魔法函数都是一种为了方便调用实例的简写,魔法函数相当于类的内置函数,当对实例进行某种操作时,实例可以直接定位到对应的内置函数。 3,任何__xx__样式的函数,都不会被类的实例调用。实例只会调用普通方法。我们使用实例时,类就会自动去调用。 魔法函数只要定义了,就不需要开发者调用,Python解释器自己知道什么时候调用它。 4,魔法函数是在object类中的,所以每个类都包含了它们,我们定义魔法函数时,其实在重写object类的魔法函数。

关注 更多

空空如也 ~ ~

粉丝 更多

空空如也 ~ ~