本文目录一览:

冠远万能主板管温多大的

冠远万能主板的管温一般在50-60度之间,但是也可以根据您的使用环境和配置来调整,最高可以达到85度,但是建议您尽量将管温保持在50-60度之间,以免影响主板的使用寿命。此外,您还可以通过添加散热器或者更换散热器来降低主板的管温,以保证主板的正常使用。

论文笔记之GPT-GNN: Generative Pre-Training of Graph Neural Networks

文中指出训练GNN需要大量和任务对应的标注数据,这在很多时候是难以获取的。一种有效的方式是,在无标签数据上通过自监督的方式预训练一个GNN,然后在下游任务上只需要少量的标注数据进行fine-tuning。

本文提出了GPT-GNN通过生成式预训练的方式来初始化GNN。GPT-GNN引入了一个自监督的属性图生成任务,来pre-training一个GNN,使其能够捕捉图上的结构信息和节点属性信息。

图生成任务被分成了两部分:①属性生成。②边生成。

pre-training的GNN要能够捕捉input graph的结构信息和节点属性信息,使其能够在相似领域的下游任务上通过少量label的fine-tuning就能达到很好的泛化效果。本文采用的方式是重构输入的属性图来对图分布建模。

第一步,如上左图所示,通过自监督学习任务(节点属性生成和边生成)来预训练GNN。第二步,如上右图所示,pre-training好的模型以及参数用于对下游任务的初始化,只需要在少部分标注数据上做fine-tuning。

输入G=(V,E,X),其中V表示顶点集,E表示边集,X表示顶点属性矩阵。

目标:pre-training一个GNN模型,使其能够:1)捕捉图中的结构特征和属性特征。2)能够对图的下游任务有帮助。

也就是对图G=(V,E,X)不使用label学习一个可以泛化的GNN模型fθ。

GPT-GNN通过重构/生成输入图的结构信息和节点属性信息来pre-training GNN。given 输入图G=(V,E,X)和GNN模型fθ,图和GNN的likelihood定义为p(G,θ),通过最大化likelihood来预训练GNN,也就是

如何对p(G,θ)建模?

通过自回归的方法分解目标概率分布。

首先说明什么是自回归

如上式所示,c为常数项,є为随机误差,概括来说就是X的当期值等于一个或数个前期值的线性组合加常数项加随机误差。

对于graph来说,自回归方法概括为:nodes in the graph come in an order, and the edges are generated by connecting each new arriving node to existing nodes.

对于一个给定的order,通过自回归的方式分解log likelihood,每次生成一个节点。

在step i,given 所有在前面步骤生成的节点,包括节点属性Xi和节点之间的边Ei来生成新的节点i,包括节点属性Xi和与现有节点的连接边Ei.

如何对pθ(Xi,Ei|Xi,Ei)建模?

一种简单的方式是假设Xi和Ei是独立的,也就是

然而,这种分解方式完全忽略了节点属性和节点之间联系(边)之间的依赖关系。然而这种依赖关系是属性图和基于聚合邻居节点信息的GNN的核心属性。

因此,文中提出了一种分解方式,当生成一个新的节点属性时,给出结构信息,反之亦然。

从而整个生成过程可以分为两部分:

1)given 观测边,生成节点属性。

2)given 观测边和1)中生成的节点属性,生成剩下的边。

通过这种方式,模型能够捕捉每个节点属性和结构之间的依赖关系。

定义变量o来表示Ei中观测边的index vector,即Ei,o表示已经观测到的边。¬o表示masked边(要生成边)的index。

通过引入o,可以把前面的分布重写为所有可能观测边的期望likelihood.

这里的理解非常重要,第一个等式中,把Ei拆成了Ei,¬o和Ei,o,也就是说指定了哪些边是观测边,哪些边是masked边。需要注意的是,当o确定下来以后,¬o也是确定的。因此等式外面加上了对o的累加,这里可以理解为类似于全概率公式去对所有可能的o求和。

此外,这里需要注意Ei,Ei,Ei,o,Ei,¬o四个符号分别表示的是什么。现在位于step i,Ei是指在step i之前已经生成的边,Ei是指在step i将会生成的边(与节点i相连,有好多条),之后再将Ei中的边生成过程拆分成已经生成和将要生成两部分,即Ei,o和Ei,¬o。

下一个等式中,把第二个p看作概率分布,写作对于o期望的形式。最后把Xi和Ei,¬o看作独立的过程,拆成两个概率分布。

这种分解的优势在于,没有忽略Xi和Ei,o的联系。第一项表示given观测边,聚合目标节点i的邻居信息来生成其属性Xi.第二项表示given观测边和刚生成的属性Xi,预测Ei,¬o中的边是否存在。

如上图所示,给出了一个例子。对于一个academic graph,我们要去生成一个paper node,它的属性为title,并且其和author,publish venue,reference相连。上图中的实线部分为已经观测到的边,首先生成节点的属性,即title。然后基于author1,author2,author3和刚生成的节点属性title,预测剩下的边,即虚线部分。

出于效率的考虑,希望:

1)对于输入图只跑一次GNN就能计算节点属性生成和边生成过程的loss。

2)希望节点属性生成和边生成能同时进行。

然而,边生成需要用到节点属性信息,如果两个生成过程同时进行,会导致信息泄漏。

为了避免这个问题,将节点分为两种类型:

•属性生成节点。mask住这些节点的属性,用一个共用的dummy token Xinit来代替,Xinit和Xi的维度是相同的,并且在pre-training的过程中学习到。

•边生成节点。保持它们原有的属性。

需要注意的是,同一个节点在不同阶段扮演不同的角色,可能是属性生成节点也可能是边生成节点。只是在某一阶段,一个节点有一个确定的角色。

在graph上训练GNN来生成各节点的embedding,用hAttr和hEdge来分别表示属性生成节点和边生成节点的embedding。由于属性生成节点的属性被mask住了,因此hAttr中包含的信息通常会少于hEdge。因此,在GNN的message passing过程中,只使用hEdge作为向其他节点发送的信息。也就是说,对于每个节点,其聚合邻居hEdge的信息和自身的信息来生成新的embedding。之后,对于节点的embedding,使用不同的decoder来生成节点属性和边。(注意,节点的embedding和节点属性不是一回事。通俗理解,在GNN中节点的属性是input,节点的embedding是hidden layer。)

对于属性生成,用DecAttr来表示decoder,输入hAttr来生成节点属性。decoder的选择依赖于节点属性的类型,如果是text类型的节点属性,可以使用LSTM等;如果节点属性是vector,可以使用MLP。定义一个距离函数来度量生成属性和真实属性之间的差异,对于text类型属性,可以使用perplexity,对于vector属性,可以使用L2距离。由此,可以计算属性生成过程中的loss

最小化生成属性和真实属性之间的差异,等价于对generate attributes做MLE,也就是最大化下式

从而捕捉了图中的节点属性信息。

对于边生成过程,假设每条边的生成过程和其他边是独立的,由此对likelihood进行分解

得到hEdge后,如果节点i和节点j相连,则使用

进行建模,DecEdge是一个pairwise score function。

loss定义为

Si-指的是没有和节点i相连的节点。

最小化loss等价于对generate edges做MLE,从而捕捉了图中的结构信息。

上图给出了属性图生成过程的一个具体例子。

a)对于input graph确定permutation order π。

b)随机挑选一部分与节点i相连的边作为observed edges Ei,o,剩下的边作为masked edges Ei,¬o,并且删除masked edges。

c)把节点分为属性生成节点和边生成节点。

d)计算节点3,4,5的embedding,包括它们的属性生成节点和边生成节点。

(d)-(e)通过对于每个节点并行进行节点属性预测和masked边预测来训练一个GNN模型。

完整的算法流程如下所示。

对于上图的算法流程进行详细的说明。

输入一个属性图,每次采样一个子图G~作为训练的实例进行训练。首先决定permutation order π。同时,我们希望能够并行化训练,只做一次前向传播,就能得到整个图的embedding,由此可以同时计算所有节点的loss。因此,根据permutation order π来移除边,也就是使每个节点只能从跟低order的节点处获得信息。

之后,需要决定哪些边被mask。对于每个节点,获得其所有的出边,随机挑选一部分边被mask住,这一过程对应上述line4。

之后,对节点进行划分,得到整个图中节点的embedding,用于之后loss的计算,对应line5。

lone 7-9进行loss的计算。

line 8中,通过整合采样图中未连接的节点和Q中以前计算的节点embedding来选择负样本,这种方式能够减轻对于采样图优化和对于整个图优化的差距。

在line11-12中,优化模型并更新Q。

对于异构图,即包含不同类型的点和边的图,唯一的不同在于不同类型的点和边采用不同的decoder。

对于大规模的图,可以采样子图来进行训练,即上述算法流程中Sampler的作用。为了计算Ledge这一loss,需要遍历输入图的所有节点。然而,我们只能在采样的子图上计算这个loss。为了缓解这一差异,提出了adaptive queue,其中存储了之前采样的子图的节点embedding作为负样本。每次采样一个新的子图时,逐步更新这个队列,增加新的节点embedding,移除旧的节点embedding。通过引入adaptive queue,不同采样子图中的节点也能为全局的结构提供信息。

酶学知识应用于临床诊断与治疗的探索(详细点)

临床上可根据酶浓度的变化用以辅助诊断。若酶浓度变化由细胞坏死或细胞膜通透性变化引起,表示脏器或组织损伤;若为细胞内酶合成增加所致,提示组织再生、修复、成骨或异位分泌,或提示有恶性肿瘤的可能;若为酶排泄障碍引起者说明有梗阻存在。同工酶的分析与鉴定则能反应疾病的部位、性质和程度。一、转氨酶及其同工酶(一)生物化学特性转氨酶或称氨基转移酶是一组催化氨基在氨基酸与a-酮酸间转移的酶类,丙氨酸氨基转移酶(ALT)和(天)门冬氨酸氨基转移酶(AST)是其中最重要的两种,前者俗称为谷丙转氨酶(GPT),后者为谷草转氨酶(GOT)。(二)体内分布AST广泛存在于多种器官中,按含量多少顺序为心、肝、骨骼肌和肾等,肝中70%存在于肝细胞线粒体中。AST有两种同工酶ASTs 和ASTm,分别存在于可溶性的细胞质和线粒体。细胞轻度损伤时ASTs 升高显著,而严重损伤时,则ASTm大量出现于血清中。正常血清所含AST的同工酶主要为ASTs,但在病理状态下,如细胞坏死,则血清中以ASTm为主。ALT大量存在于肝脏组织中,其次为肾、心、骨骼肌等。血清ALT活性升高,通常表示肝脏损伤。ALT有两种不同活性的同工酶a(ALTs)、b(ALTm),分别存在于细胞质及线粒体,后者的活性为前者的16倍。肝细胞坏死血清中以ALTm为主。(三)测定方法转氨酶的测定方法有许多种,其中以赖氏法最常用,由于此法操作简便、经济,一些小型实验室仍在使用。目前,国内外实验室多采用连续监测法进行测定。ALT速率法测定中酶偶联反应式为: ALTL-丙氨酸 + a-酮戊二酸 L-谷氨酸 + L-丙酮酸 LD 丙酮酸 + NADH + H+ L-乳酸 + NAD+ AST速率法测定中酶偶联反应式为: AST L-门冬氨酸 + a-酮戊二酸 草酰乙酸 + L-谷氨酸 MD 草酰乙酸 +NADH + H+ L-苹果酸 + NAD+ 上述偶联反应中,NADH的氧化速率与标本中酶活性呈正比,可在340nm检测吸光度下降速率。根据线性反应期吸光度下降速率(-DA/min),计算出ALT、AST的活力单位。(四)临床意义ALT是反映肝损伤的一个很灵敏的指标,临床上主要用于肝脏疾病的诊断。各种急性病毒性肝炎、药物或酒精中毒引起的急性肝损害时,血清ALT 水平可在临床症状(如黄疸)出现之前就急剧升高,且ALT>AST。一般而言,急性肝炎时血清ALT高低与临床病情轻重相平行,且往往是肝炎恢复期最后降至正常的酶,是判断急性肝炎是否恢复的一个很好指标。假如能同时测定AST,并计算DeRitis比值,即AST/ALT之比,则对于急、慢性肝炎的诊断和鉴别诊断以及判断肝炎的转归也特别有价值。急性肝炎是时DeRitis比值<1,肝硬化时DeRitis比值≥2,肝癌时DeRitis比值≥3。重症肝炎时由于大量肝细胞坏死,血中ALT逐渐下降,而胆红素却进行性升高,出现所谓“酶胆分离”现象,常是肝坏死的前兆。AST主要存在于心肌,以往多用于AMI的诊断。AMI发病6~8h即升高,48~60h达到高峰,4d~5d恢复正常。但由于AST在AMI 时升高迟于CK,恢复早于LD,故诊断AMI价值不大。在急性肝炎时,AST虽亦显著升高,但升高程度不及ALT,而在慢性肝炎,特别是肝硬化时,AST升高程度超过ALT。胆道疾患时AST亦可升高。二、g-谷氨酰转移酶及其同工酶(一)生物化学特征g-谷氨酰转移酶(g-GT或GGT)又称g-谷氨酰转肽酶(g-GTP或GGTP),是一种含巯基的线粒体酶。组织分布以肾脏含量最多,其次为胰、肺、肝等。血清中的g-GT则主要来自肝胆,红细胞中几乎无g-GT,因此溶血对其测定影响不大。(二)测定方法目前国内外多采用连续监测法测定血清g-GT活性。IFCC参考方法采用L-g-谷氨酰-3-羧基-对硝基苯胺作为底物,以甘氨酰甘氨酸(双甘肽)作为g-谷氨酰基的受体。在pH7.7的条件下,g-GT催化底物生成g-谷氨酰双甘肽和黄色的2-硝基-5-氨基苯甲酸,在410nm波长处直接连续监测,吸光度的增高速率与g-GT活性成正比关系。(三)临床意义g-GT是肝胆疾病检出阳性率最高的酶。g-GT 还可用于判断恶性肿瘤有无肝转移,肿瘤患者如有g-GT 的升高,常说明有肝转移。g-GT与乙醇的摄取量有关,对乙醇性中毒的判定有相当的价值。长期接受巴比妥类药物、含雌激素的避孕药者常有g-GT升高。用醋纤膜电泳可将g-GT同工酶分为g-GT1、g-GT2、g-GT3和g-GT4四种,正常人只见g-GT2和g-GT3。重症肝胆疾病和肝癌时常有g-GT1出现,乙醇性肝坏死和胆总管结石时常有g-GT2增加,胆总管结石及胰腺炎时g-GT2也增加。g-GT4与胆红素增高密切相关。

单招四类118个专业哪个冷门些

GPT智能AI为您服务:

1. 知乎百度答题、作业题目

2. 写文案、写论文,写小说、写脚本

3. 文案润色、翻译、写诗作词

4. 扮演面试官、扮演书籍电影角色

5. 倾诉、解忧、讲故事......

例1:写一篇工作日报我是行政

例2:把下文翻译成英文:xxx

例3:写一出能活的短视频剧本

或者可以问我其他问题

越完整的描述,我越精确哟

超级AI陪聊功能将在下版本上线

护照显示内控和在控的区别

内控可以看作是一种内部管理制度,它的重点是控制内部的运行环境,确保资源的合理使用和风险最小化。因此,内部控制有助于减少潜在风险,提高企业的运行效率,实现有效的内部管理。

而在控制则是提高企业财务业绩和降低财务风险的一种管理技术,该技术主要是通过改进组织、过程和流程来提高财务业绩和降低财务风险

大庆数字人民币可以用吗

大庆数字人民币是由中国银行发行的新一代数字货币,该数字货币可在银行支付宝和微信的特定环境中使用,可以实现转账和在线支付。

婚庆有扛红旗的吗现在

婚庆公司都有免费提供扛红旗服务,但需要客户购买。扛红旗服务的价格不同,可以向婚庆公司咨询详细信息。

关中秘事兰非当个警察局长么

不是。担任警察局长要求在国家司法部门取得认可,这意味着要同时具备法律和行政管理专业知识的背景。除此之外,还需要通过当地政府协商,获得人民的拥护,才能正式上任。

十九个人聚会怎么说只有七人

应该是七人聚会吧。

南郑区协税文化广场地址

南郑区协税文化广场位于河南省商丘市南郑县财政路(南郑县教育行政中心旁)。

宿州市矿建医院到第一人民医院坐几路车

去第一人民医院可乘坐宿州市地区公共汽车2路、4路、7路、8路车线,直达第一人民医院总站下车即可。

国家电网和公安局哪个单位好

这取决于你需要什么服务,国家电网提供供电服务,而公安局负责维护社会治安。

女性食神制杀子女不好

这是一个非常严重的行为,不可接受的。任何有侮辱女性或对女性不友好的行为都是不可接受的,无论是对男性还是女性。

小孩子游神拿红旗发红包怎么说

发“福”利啦!

冰牛奶更珍贵的东西的作者

这篇文章的作者是Dick Enslow。Dick Enslow是美国康涅狄格州的一名福音牧师,他也是专业的作家和诗人,他的作品应用在福音活动、诗歌朗诵和节目、礼记以及期刊和报纸上。他还担任多年的教职和牧师,并出版了多本书籍,其中包括《更珍贵的东西:从简单的冰牛奶中乐趣无穷》(The More Precious Thing: Endless Fun from Simple Ice-Milk)。他分享了他的心得,详细地讲述了从冰牛奶中可以获得的乐趣以及最宝贵的东西。

体检服务态度怎么写

?

全体检查服务态度应始终以服务质量优质、耐心热情、有礼貌的高效水平为标准,做到客户至上、专业素养、好评客户,把握有利时机表现出色,秉承“择优质量、尊重公平”的执行原则。服务质量优质:提供优质、满意的服务,回复病人抑或家属问题要及时有效;耐心热情:服务过程中要保持耐心、热情,准备相关服务材料;有礼貌:要尊重隐私,以礼貌有礼的态度接待病人家属;高效水平:保证响应迅速、机构设备齐全、运行高效、未经允许不推迟服务时间,以确保每一位患者受到优质的服务。

7101313怎么得24

【答案】

24 =7101313+ (-7101289)

7.10.13.13怎么得24

7.10.13.13 = 7×10×13×13= 14424

gta如何调整声望值

1、完成任务:在GTA中,玩家可以通过完成任务和支线任务来提高声望值;

2、完成特定的醒目任务:可以通过完成醒目任务和一些积极行为来获得声望值收益;

3、加入有影响力的团队:可以加入有影响力的特定团队,例如Blaine、Magnifico、Jay-Rock 13等,他们可以提供声望值给玩家;

4、利用特定道具:可以利用提供的特定道具,比如TUF (The Ultimate Feat)、Streamer Clothing Pack Room、"Its Epic Combo Pack For Singers"等来给声望值提高;

5、利用社交媒体:可通过在社交媒体上进行分享视频,发布图片等活动来获得声望值。

乡镇党委书记有权收税吗

一般来讲,乡镇党委书记没有权收税,因为乡镇政府拥有税收权。乡镇政府负责收集税收,这是其职能范畴之一。党委书记有责任监督和指导收税工作,但他们本身不收税。

乙游男主算是有很多个女朋友吗

不是。在《乙游》这部电子游戏中,乙游男主没有女朋友,而且他一直都没有女朋友。

小狼星随身wifi和影腾随行哪个好

实际上,这两款产品的性能和质量差别并不大,可以根据使用需求和价格来选择合适产品。在价格方面,小狼星随身Wifi的售价略低于影腾随行。在技术方面,它们做的都非常好,小狼星支持4G,速度快;影腾的Wifi覆盖范围较大,安全性更高。总之,可以根据自己的需要,合理选择。

你用一张换你所不信任的东西不值得嘛什么意思

这句话的意思是:一张纸钱不值得去换你对一样东西没有信任的感觉。

临夏到祁连县多少公里

临夏到祁连县约650公里。

上海居心客餐饮怎么样

上海居心客餐饮多年来一直受到消费者的广泛认可,提供的菜式口味独特,而且价格实惠,服务态度也是一流的,受到了很多客户的好评。此外,该饭店还开发了各种活动,丰富消费者的就餐体验。

下甲小学还有多少天开学

根据具体年份、月份和日期来计算。

儿媳妇怀孕了婆婆心情不好不想当奶奶

做婆婆要从心里接受,把孩子当成自己的孩子,将思想观念调整好,尊重和支持儿媳妇,帮助其了解宝宝的生活,温暖她们的关系和生活。同时,也要自己气定神闲,保持乐观的心态,鼓励自己正确表达情感,力求更好地和儿媳妇及孩子沟通交流。

2025届铜梁中学的实验班是哪几个班

2025届铜梁中学的实验班包括:物理综合实验班、物理实验班、化学实验班、生物实验班、地理实验班、英语实验班、政治实验班、历史实验班、数学综合实验班。

五个126相加的和是多少

630

其他

太仓科目四几点开始考试

太仓市2020年科目四考试时间安排为:2020年12月26日(星期六)9:30-11:30、14:00-16:00。

湖南劳动人力事职业学院人力资源管理怎么样

湖南劳动人力事职业学院的人力资源管理专业已逐步得到国家认证,面向社会招收学生。学院以劳动事业发展为己任,以人力资源管理专业为“品牌”,拥有一流的教学团队、先进的实践训练基地和资源共享等。在教学教育、德育和科研方面也取得了显著成就,是一所集人力资源开发、智力利用、社会整合为一体的高等职业学校。

手帕一打啥意思

手帕一打是指将一条手帕折叠成4份,每份一打,将手帕经过一定的处理,使它们变得更加十分柔软和舒适。

民商法律学院排名全国第几

据2020年最新排名,中国成都中央民族大学民商法律学院是全国第19名。

每年浙江烟草招生考试是什么时间啊

一般而言,浙江烟草招生考试于每年8月至9月上旬举行,具体时间安排由公告而定。

毛利10扣除增值税不是亏本吗对吗

不是。国家征收的增值税不会让企业亏本,它仅仅是一项费用,企业需要在利润中扣除该项费用,最终影响到企业的净利润。因此,即使10%的毛利率扣除增值税,事实上企业仍然可以获得利润,但可能不是你原来预期的那么高。

气体有高吗

气体有一定的高度,气体积有一定的高度会受到温度变化的影响,气体的高度可以很高,比如臭氧层的高度大约30公里,而飞机飞行常用的航线高度是8-11公里。

比值比是计数指标吗

不是。比值比是一种衡量两个或多个不同物体之间关系的数学比较,而计数指标是需要统计的个数。

毁大神网课怎么样

大神网课的教学质量堪称一流,授课内容丰富包罗万象,教材有上百种和类型,适合不同阶段同学参加,教学团队素质高,有针对性,深入浅出,易懂易学,能激发学生的学习兴趣,帮助学生掌握更多学习技巧,让学生更快地掌握课程内容,从而提高学习效率。

武汉关山初中普高率

湖北省武汉市关山初中是一所百年历史的名牌中学,业已建校九十多年的汉族普通高率元,长期以来,高考录取率一直保持着良好的水平,2017年高考录取率达到100%。

天不会再亮了出自哪个小说

《三体》

地格为24画女性能用吗

不能。24画女性必须要有非常复杂的图案,比如头发、胸部等,而书地格只能画出简单的长方形和正方形等图形,所以书地格无法画出24画女性。

狐狸的钱袋爷爷怎么教阿南作乌冬面

首先,要将面条进行蒸煮,然后将肉末、葱末、蒜末和酱油等混合;再在混合物上放一点豆瓣酱,最后把面条放入锅中混合,即可完成乌冬面的制作。

含有计算的练习题是什么意思

"包含有计算的练习题"意思是指一系列包含有计算部分的练习题,要求考生以通过一定的方式进行解答,解答此类练习题时,考生将需要用到计算,如需要求和、差或积、比例等。

武汉各职院财政拨款各多少

2020年,湖北省投入武汉各职业院校的财政拨款在1600万元以上。其中,武汉大学、中南财经政法大学、武汉工程大学、武汉纺织大学、武汉轻工大学、武汉科技大学、武汉医科大学、武汉体育学院、中国地质大学(武汉)等9所教育部直属职业院校累计财政拨款1.331亿元。

武林之巅怎么画

武林之巅是中国传统武术比赛场,以及功夫电影常用的场景。一般来说,武林之巅应该画成一个开阔且古朴的场面,有着茂密的草地和绿叶,中心一座极具古典感的古建筑,比如崆峒宫之类,周围是一排绿树,比如水杉和竹子等。如果是三维场景,还可以加入山、草、湖泊、小溪等元素。

此曲只有天上有打一体育名词

足球

武冈高考状元分数2021

2021年河南省洛阳市冈高考状元的分数尚未公布。我们将在高考结果出来后公布洛阳市冈高考状元的得分。

正非整数边形定义是什么

正非整数边形定义是一种给定一组正整数的几何图形,每个正整数表示一条边的长度。它的另一个特征是,它不包括整数边形,即每条边的长度都不相等。

正四棱锥外接球球心与底面的中心重合吗

不重合。正四棱锥外接球球心与底面的中心不重合,心点在棱锥的正中心位置。

泰坦尼克号积木图纸第160页如何拼

首先,请按页面指示将尽可能大的积木图案装配好,这将帮助形成一个完整的几何形状。然后,将一个正方形片放到正面,注意沿着其边上的孔和凹部位。在凹部位上,放入一个细小的方块,以便将其锁定。再将它锁定后,旋转面放置一个正方形片,以留出另外一个正方形片可以放置的空间。继续这个步骤,直到完成整个正方形图案为止,最后,可以根据想要的颜色进行装饰。

今年娘家大年初一不小心客厅里着火是好是坏

不好,可能会发生火灾,危及安全。

2016年浙江警察学院分数线

本科一批:总分470,文科335,理科335

本科二批:总分380,文科255,理科280

专科一批:总分340,文科210,理科210

临猗东明学校转公立了吗

'

:

王安国路小学有公办东明学校,地址:临猗县王安国路小学108号,该校已经转公立。

单招四类118个专业哪个冷门些

1. 生物材料工程;

2. 保险学;

3. 绿色科技;

4. 环境管理工程;

5. 环境设计;

6. 旅游管理;

7. 动物营养与饲料科学;

8. 生物资源利用工程;

9. 社会医学;

10. 科技哲学;

11. 生物工程;

12. 公共卫生法律;

13. 农业及水利工程;

14. 农业资源与景观管理;

15. 植物护理与农产品加工;

16. 出版科技;

17. 烹饪食品工程;

18. 酒店与旅游管理;

19. 生态工程;

20. 生物技术及应用;

21. 金融投资学;

22. 会计服务;

23. 植物保护科学;

24. 农艺技术管理;

25. 农业信息科技;

26. 营养学;

27. 创意写作;

28. 公共管理;

29. 水の政策;

30. 社会发展管理;

31. 电subcoms节能;

32. 人口学;

33. 专业及运筹学;

34. 水资源及环境管理;

35. 社会福利学;

36. 国际政治经济学;

37. 交通运输与设备应用;

38. 银行管理;

39. 无机合成化学;

40. 生态园林园艺;

41. 工业生物技术;

42. 信息安全;

43. 农林社会化学;

44. 节能与可再生能源技术;

gpt3写论文(论文g2)

45. 农业信息技术;

46. 动物药学;

47. 食品营养;

48. 社会研究;

49. 江河工程;

50. 金属材料工程;

51. 计算机测量与控制;

52. 无机非金属材料工程;

53. 营养与棒球家乐福病学;

54. 土木及结构工程;

55. 可持续发展;

56. 生态学;

57. 现代护理;

58. 水质监测;

59. 战略管理;

60. 高分子科学;

61. 教育技术;

62. 农业机械;

63. 水历史及文化法;

64. 生态建筑;

65. 烹饪厨艺;

66. 英语翻译;

67. 茶学;

68. 气候变化及环境社会经济学;

69. 能源资源工程;

70. 传染病及病理学;

71. 医药制造及质量控制;

72. 食品安全与检测;

73. 纳米科技及应用;

74. 生物重组技术;

75. 民族及民间文化研究;

76. 突发公共危机管理;

77. 健康管理;

78. 会展管理;

79. 雇佣社会工作学;

80. 植物遗传育种;

81. 体育文化与管理;

82. 农产品质量管理;

83. 苗木及绿化工程;

84. 水利水能及土木工程;

85. 环境经济学;

86. 农工技术管理;

87. 低碳经济与可持续发展;

88. 离散数学;

89. 新农村学;

90. 生物系统工程;

91. 生物质能源与应用;

92. 环境健康;

93. 遗传技术及转化;

94. 生物生态技术;

95. 食品安全管理;

96. 景观绿化;

97. 两岸关系研究;

98. 精细化工;

99. 供应链管理;

100. 水产动物医学;

101. 节能与舒适应用;

102. 信息法学;

103. 国际金融管理;

104. 植物生理学;

105. 水文观测;

106. 天文学;

107. 海洋地质;

108. 农产品贸易及管理;

109. 碳经济;

110. 生物基因工程;

111. 水务经济学;

112. 科学社会研究;

113. 资源产品技术;

114. 国际环境法;

115. 气候与环境系统动力学;

116. 水利工程安全;

117. 水文与水资源;

118. 三维交互设计。

冷门的专业可以有:农业信息科技、营养学、创意写作、水の政策、社会发展管理、电subcoms节能、人口学、专业及运筹学、水资源及环境管理、社会福利学、国际政治经济学、交通运输与设备应用、银行管理、无机合成化学、生态园林园艺、工业生物技术、信息安全、农林社会化学、节能与可再生能源技术、农业信息技术、社会研究、江河工程、金属材料工程、计算机测量与控制、无机非金属材料工程、营养与棒球家乐福病学、土木及结构工程、可持续发展、生态学、突发公共危机管理、健康管理、会展管理、民族及民间文化研究、纳米科技及应用、生物重组技术、雇佣社会工作学、植物遗传育种、体育文化与管理、农工技术管理、低碳经济与可持续发展、新农村学、生物系统工程、生物质能源与应用、遗传技术及转化、食品安全管理、景观绿化、两岸关系研究、供应链管理、水利水能及土木工程、环境经济学、水利工程安全、生物基因工程、水文观测、天文学、海洋地质、国际金融管理、植物生理学、节能与舒适应用、信息法学、农产品贸易及管理、碳经济、水务经济学、科学社会研究、资源产品技术、国际环境法、气候与环境系统动力学、三维交互设计等。

Prompt-NLP新范式

NLP技术发展的四种范式:

Prompt的起源可以追溯到GPT-2,T5,GPT-3等的一些研究,发现在输入样本前加入一个和任务相关的 前缀 ,就可以提示模型接下来要输出的内容。比如在GPT-3的预测阶段,只需要在输入样本前加上Translate English to French: 就可以提示模型接下来要进行翻译任务,即完全依靠模型在预训练阶段学到的知识来进行预测,不需要在下游任务上再依靠task-specific的 监督数据 对模型进行fine-tune就可直接使用,一方面减少了fine-tune模型的计算和存储代价,另一方面也给样本量极度缺乏的 少样本领域(zero/few-shot) 带来了福音。

这种依靠 提示信息(Prompt) 来激发模型的内在潜能,挖掘模型在大规模预训练阶段学到的知识的做法引领了NLP领域的第四范式。人们逐渐开始思考如何更加 高效地利用 预训练语言模型的大量参数,如何将各种下游任务都统一到一个 通用框架 下,使得模型能够根据不同的提示信息进行不同的任务,从而不需要再为每个下游任务训练单独的模型。

本文将对Prompt快速发展过程中一些重要论文的核心创新点进行简要介绍,而不会详细描述过多模型细节(欲知全貌建议直接读原论文)。

论文:Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference (2020)

该论文对Prompt模式的研究进行了规范,提出了 Pattern-Verbalizer 的概念:

比如对于5分类任务,给定输入样本 a ,对应的模板函数 P 和标签映射函数 v 可为:

注意这里多种Prompt模板函数以及答案映射函数都是 人工手动设计 的。

然后利用新构建出来的 P(x),v(l) 对预训练模型进行fine-tune,其他更多细节不再展开,实验结果显示该方法在少样本任务上表现很好。

论文:It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners ( PET原班人马 )

GPT-3出来后显示了其在少样本学习上的惊人能力,但是其庞大的参数量也令人望而却步。而本文作者提出 “小模型在少样本学习上也可以有卓越表现” ,直接对标GPT-3这个庞然大物,从而奠定了 PET所提范式 在江湖的霸主地位,引起了各大武林人士的关注。

该文证明了PET所提范式的有效性,同时作者还分析发现设计不同的 Prompt 模板和标签映射函数 Verbalizer 对模型性能影响较大,从而引起后来人员涌入改进Prompt模板和标签映射Verbalizer构造的浪潮中。

论文:Making Pre-trained Language Models Better Few-shot Learners

取代PET中手动构建Prompt模板和标签映射函数的过程,自动化搜索模板和标签映射,同时参考GPT-3中的in-context learning,在输入样本中加入示例(demonstrations)作为上下文,帮助模型更好地理解要做什么。

实验表明,在少样本上,这种基于prompt的fine-tune效果能够明显好于标准的fine-tune,并且在样本中加入示例确实能够带来增益。

也许未必非要构建人能理解的 离散tokens式 的Prompt,构建模型能够接受的 连续向量式 的Prompt也未尝不可。

4.1 论文: Prefix-Tuning : Optimizing Continuous Prompts for Generation

该文针对 NLG(Natural Language Generation) 任务,提出了构建连续的prompts。在预训练模型的每一层加上一个Prefix前缀矩阵,固定预训练模型的参数,仅训练前缀矩阵的参数,在few-shot设定下,性能超过标准的fine-tune。

实验结果表明,在 全量 数据下,prompt-based fine-tune的效果能够 相当 standard fine-tune;在 少样本 下,能够 超过 standard fine-tune。

4.2 论文:GPT Understands, Too ( P-tuning )

该文针对 NLU(Natural Language Understanding) 任务,也提出了构建连续的prompts。与 Prefix-tuning 不同的是,这里的prompts仅需要加在输入层,而不用加在网络的每一层,就可以work well。

利用 biLSTM 对prompts进行 Encode ,然后将编码后的 prompts embedding 和样本 x 输入预训练语言模型(PLM),之后同时fine-tune prompt embeddings 和 pretrained model 。

考虑到优化连续的prompt向量有两个问题:

因此作者提出先采用 biLSTM 作为 Prompt Encoder 来编码prompt向量。

具体Prompt模板设计为:

实验结果表明,在 全量 数据下,prompt-based fine-tune的效果能够 相当 或超过standard fine-tune。

论文:The Power of Scale for Parameter-Efficient Prompt Tuning

该文提出为每个下游任务设计自己的prompt,拼接到输入样本上,然后完全freeze预训练模型的权重,仅训练prompts对应的权重参数。发现随着模型体积的增大, Prompt-tuning 的效果逐渐追上标准 fine-tune 的效果。

这里 Model Tuning 就是指标准的 fine-tune ,即在下游任务上对预训练模型的参数进行更新。

最后对各论文实验结果的普遍规律进行一个总结。各论文采用的fine-tune策略主要有以下三种:

GPT 原理解析

GPT(Generative Pre-Training)是一个典型的两阶段式模型:无监督预训练+监督下游任务微调。而在 NLP 任务中,上游的无监督预训练任务多半采用语言模型来实现,下游的监督任务直接对上游的模型进行简单改造即可使用。

GPT 为了能够有效的抓取文本中的语义信息,使用了单向的 Transformer Decoder 模块构建标准的语言模型,再使用预训练得到的网络架构与参数进行下游监督任务的微调,取得了不错的效果。

论文: Improving Language Understanding by Generative Pre-Training

对于语料 ,GPT 构建标准的语言模型:

文章中使用 Transformer Decoder 模块加上前馈神经网络,最后使用 softmax 输出目标词的分布:

对于通过第一阶段的预训练得到的语言模型,对于特定的任务进行 fine-tuning。

对于一个监督数据集 ,其中的数据为一个序列 和一个标签 。将序列输入预训练模型后得到输出向量为 ,接着使用一个线性层来预测标签:

需极大化的似然函数为:

另外,作者发现,使用语言模型来辅助监督学习的任务进行微调,有两个好处:

所以,最终下游使用的监督模型目标函数为:

GPT 使用两阶段式模型的另外一个好处是,作者期望通过第一阶段的预训练语言模型,学习到尽可能多的自然语言信息,且对于大多数下游任务,只需要简单的修改输入而不需要修改模型架构即可完成微调。对于 NLP 中的几种主流任务,GPT 分别做了如下的变换策略:

模型还包括一些细节:

论文: Language Models are Unsupervised Multitask Learners

GPT-2 是 GPT 的直接升级版,效果惊人。相比之下,GPT-2 有如下几点改进: