本文目录一览:
- 1、冠远万能主板管温多大的
- 2、论文笔记之GPT-GNN: Generative Pre-Training of Graph Neural Networks
- 3、酶学知识应用于临床诊断与治疗的探索(详细点)
- 4、单招四类118个专业哪个冷门些
- 5、Prompt-NLP新范式
- 6、GPT 原理解析
冠远万能主板管温多大的
冠远万能主板的管温一般在50-60度之间,但是也可以根据您的使用环境和配置来调整,最高可以达到85度,但是建议您尽量将管温保持在50-60度之间,以免影响主板的使用寿命。此外,您还可以通过添加散热器或者更换散热器来降低主板的管温,以保证主板的正常使用。
论文笔记之GPT-GNN: Generative Pre-Training of Graph Neural Networks
文中指出训练GNN需要大量和任务对应的标注数据,这在很多时候是难以获取的。一种有效的方式是,在无标签数据上通过自监督的方式预训练一个GNN,然后在下游任务上只需要少量的标注数据进行fine-tuning。
本文提出了GPT-GNN通过生成式预训练的方式来初始化GNN。GPT-GNN引入了一个自监督的属性图生成任务,来pre-training一个GNN,使其能够捕捉图上的结构信息和节点属性信息。
图生成任务被分成了两部分:①属性生成。②边生成。
pre-training的GNN要能够捕捉input graph的结构信息和节点属性信息,使其能够在相似领域的下游任务上通过少量label的fine-tuning就能达到很好的泛化效果。本文采用的方式是重构输入的属性图来对图分布建模。
第一步,如上左图所示,通过自监督学习任务(节点属性生成和边生成)来预训练GNN。第二步,如上右图所示,pre-training好的模型以及参数用于对下游任务的初始化,只需要在少部分标注数据上做fine-tuning。
输入G=(V,E,X),其中V表示顶点集,E表示边集,X表示顶点属性矩阵。
目标:pre-training一个GNN模型,使其能够:1)捕捉图中的结构特征和属性特征。2)能够对图的下游任务有帮助。
也就是对图G=(V,E,X)不使用label学习一个可以泛化的GNN模型fθ。
GPT-GNN通过重构/生成输入图的结构信息和节点属性信息来pre-training GNN。given 输入图G=(V,E,X)和GNN模型fθ,图和GNN的likelihood定义为p(G,θ),通过最大化likelihood来预训练GNN,也就是
如何对p(G,θ)建模?
通过自回归的方法分解目标概率分布。
首先说明什么是自回归
如上式所示,c为常数项,є为随机误差,概括来说就是X的当期值等于一个或数个前期值的线性组合加常数项加随机误差。
对于graph来说,自回归方法概括为:nodes in the graph come in an order, and the edges are generated by connecting each new arriving node to existing nodes.
对于一个给定的order,通过自回归的方式分解log likelihood,每次生成一个节点。
在step i,given 所有在前面步骤生成的节点,包括节点属性Xi和节点之间的边Ei来生成新的节点i,包括节点属性Xi和与现有节点的连接边Ei.
如何对pθ(Xi,Ei|Xi,Ei)建模?
一种简单的方式是假设Xi和Ei是独立的,也就是
然而,这种分解方式完全忽略了节点属性和节点之间联系(边)之间的依赖关系。然而这种依赖关系是属性图和基于聚合邻居节点信息的GNN的核心属性。
因此,文中提出了一种分解方式,当生成一个新的节点属性时,给出结构信息,反之亦然。
从而整个生成过程可以分为两部分:
1)given 观测边,生成节点属性。
2)given 观测边和1)中生成的节点属性,生成剩下的边。
通过这种方式,模型能够捕捉每个节点属性和结构之间的依赖关系。
定义变量o来表示Ei中观测边的index vector,即Ei,o表示已经观测到的边。¬o表示masked边(要生成边)的index。
通过引入o,可以把前面的分布重写为所有可能观测边的期望likelihood.
这里的理解非常重要,第一个等式中,把Ei拆成了Ei,¬o和Ei,o,也就是说指定了哪些边是观测边,哪些边是masked边。需要注意的是,当o确定下来以后,¬o也是确定的。因此等式外面加上了对o的累加,这里可以理解为类似于全概率公式去对所有可能的o求和。
此外,这里需要注意Ei,Ei,Ei,o,Ei,¬o四个符号分别表示的是什么。现在位于step i,Ei是指在step i之前已经生成的边,Ei是指在step i将会生成的边(与节点i相连,有好多条),之后再将Ei中的边生成过程拆分成已经生成和将要生成两部分,即Ei,o和Ei,¬o。
下一个等式中,把第二个p看作概率分布,写作对于o期望的形式。最后把Xi和Ei,¬o看作独立的过程,拆成两个概率分布。
这种分解的优势在于,没有忽略Xi和Ei,o的联系。第一项表示given观测边,聚合目标节点i的邻居信息来生成其属性Xi.第二项表示given观测边和刚生成的属性Xi,预测Ei,¬o中的边是否存在。
如上图所示,给出了一个例子。对于一个academic graph,我们要去生成一个paper node,它的属性为title,并且其和author,publish venue,reference相连。上图中的实线部分为已经观测到的边,首先生成节点的属性,即title。然后基于author1,author2,author3和刚生成的节点属性title,预测剩下的边,即虚线部分。
出于效率的考虑,希望:
1)对于输入图只跑一次GNN就能计算节点属性生成和边生成过程的loss。
2)希望节点属性生成和边生成能同时进行。
然而,边生成需要用到节点属性信息,如果两个生成过程同时进行,会导致信息泄漏。
为了避免这个问题,将节点分为两种类型:
•属性生成节点。mask住这些节点的属性,用一个共用的dummy token Xinit来代替,Xinit和Xi的维度是相同的,并且在pre-training的过程中学习到。
•边生成节点。保持它们原有的属性。
需要注意的是,同一个节点在不同阶段扮演不同的角色,可能是属性生成节点也可能是边生成节点。只是在某一阶段,一个节点有一个确定的角色。
在graph上训练GNN来生成各节点的embedding,用hAttr和hEdge来分别表示属性生成节点和边生成节点的embedding。由于属性生成节点的属性被mask住了,因此hAttr中包含的信息通常会少于hEdge。因此,在GNN的message passing过程中,只使用hEdge作为向其他节点发送的信息。也就是说,对于每个节点,其聚合邻居hEdge的信息和自身的信息来生成新的embedding。之后,对于节点的embedding,使用不同的decoder来生成节点属性和边。(注意,节点的embedding和节点属性不是一回事。通俗理解,在GNN中节点的属性是input,节点的embedding是hidden layer。)
对于属性生成,用DecAttr来表示decoder,输入hAttr来生成节点属性。decoder的选择依赖于节点属性的类型,如果是text类型的节点属性,可以使用LSTM等;如果节点属性是vector,可以使用MLP。定义一个距离函数来度量生成属性和真实属性之间的差异,对于text类型属性,可以使用perplexity,对于vector属性,可以使用L2距离。由此,可以计算属性生成过程中的loss
最小化生成属性和真实属性之间的差异,等价于对generate attributes做MLE,也就是最大化下式
从而捕捉了图中的节点属性信息。
对于边生成过程,假设每条边的生成过程和其他边是独立的,由此对likelihood进行分解
得到hEdge后,如果节点i和节点j相连,则使用
进行建模,DecEdge是一个pairwise score function。
loss定义为
Si-指的是没有和节点i相连的节点。
最小化loss等价于对generate edges做MLE,从而捕捉了图中的结构信息。
上图给出了属性图生成过程的一个具体例子。
a)对于input graph确定permutation order π。
b)随机挑选一部分与节点i相连的边作为observed edges Ei,o,剩下的边作为masked edges Ei,¬o,并且删除masked edges。
c)把节点分为属性生成节点和边生成节点。
d)计算节点3,4,5的embedding,包括它们的属性生成节点和边生成节点。
(d)-(e)通过对于每个节点并行进行节点属性预测和masked边预测来训练一个GNN模型。
完整的算法流程如下所示。
对于上图的算法流程进行详细的说明。
输入一个属性图,每次采样一个子图G~作为训练的实例进行训练。首先决定permutation order π。同时,我们希望能够并行化训练,只做一次前向传播,就能得到整个图的embedding,由此可以同时计算所有节点的loss。因此,根据permutation order π来移除边,也就是使每个节点只能从跟低order的节点处获得信息。
之后,需要决定哪些边被mask。对于每个节点,获得其所有的出边,随机挑选一部分边被mask住,这一过程对应上述line4。
之后,对节点进行划分,得到整个图中节点的embedding,用于之后loss的计算,对应line5。
lone 7-9进行loss的计算。
line 8中,通过整合采样图中未连接的节点和Q中以前计算的节点embedding来选择负样本,这种方式能够减轻对于采样图优化和对于整个图优化的差距。
在line11-12中,优化模型并更新Q。
对于异构图,即包含不同类型的点和边的图,唯一的不同在于不同类型的点和边采用不同的decoder。
对于大规模的图,可以采样子图来进行训练,即上述算法流程中Sampler的作用。为了计算Ledge这一loss,需要遍历输入图的所有节点。然而,我们只能在采样的子图上计算这个loss。为了缓解这一差异,提出了adaptive queue,其中存储了之前采样的子图的节点embedding作为负样本。每次采样一个新的子图时,逐步更新这个队列,增加新的节点embedding,移除旧的节点embedding。通过引入adaptive queue,不同采样子图中的节点也能为全局的结构提供信息。
酶学知识应用于临床诊断与治疗的探索(详细点)
临床上可根据酶浓度的变化用以辅助诊断。若酶浓度变化由细胞坏死或细胞膜通透性变化引起,表示脏器或组织损伤;若为细胞内酶合成增加所致,提示组织再生、修复、成骨或异位分泌,或提示有恶性肿瘤的可能;若为酶排泄障碍引起者说明有梗阻存在。同工酶的分析与鉴定则能反应疾病的部位、性质和程度。一、转氨酶及其同工酶(一)生物化学特性转氨酶或称氨基转移酶是一组催化氨基在氨基酸与a-酮酸间转移的酶类,丙氨酸氨基转移酶(ALT)和(天)门冬氨酸氨基转移酶(AST)是其中最重要的两种,前者俗称为谷丙转氨酶(GPT),后者为谷草转氨酶(GOT)。(二)体内分布AST广泛存在于多种器官中,按含量多少顺序为心、肝、骨骼肌和肾等,肝中70%存在于肝细胞线粒体中。AST有两种同工酶ASTs 和ASTm,分别存在于可溶性的细胞质和线粒体。细胞轻度损伤时ASTs 升高显著,而严重损伤时,则ASTm大量出现于血清中。正常血清所含AST的同工酶主要为ASTs,但在病理状态下,如细胞坏死,则血清中以ASTm为主。ALT大量存在于肝脏组织中,其次为肾、心、骨骼肌等。血清ALT活性升高,通常表示肝脏损伤。ALT有两种不同活性的同工酶a(ALTs)、b(ALTm),分别存在于细胞质及线粒体,后者的活性为前者的16倍。肝细胞坏死血清中以ALTm为主。(三)测定方法转氨酶的测定方法有许多种,其中以赖氏法最常用,由于此法操作简便、经济,一些小型实验室仍在使用。目前,国内外实验室多采用连续监测法进行测定。ALT速率法测定中酶偶联反应式为: ALTL-丙氨酸 + a-酮戊二酸 L-谷氨酸 + L-丙酮酸 LD 丙酮酸 + NADH + H+ L-乳酸 + NAD+ AST速率法测定中酶偶联反应式为: AST L-门冬氨酸 + a-酮戊二酸 草酰乙酸 + L-谷氨酸 MD 草酰乙酸 +NADH + H+ L-苹果酸 + NAD+ 上述偶联反应中,NADH的氧化速率与标本中酶活性呈正比,可在340nm检测吸光度下降速率。根据线性反应期吸光度下降速率(-DA/min),计算出ALT、AST的活力单位。(四)临床意义ALT是反映肝损伤的一个很灵敏的指标,临床上主要用于肝脏疾病的诊断。各种急性病毒性肝炎、药物或酒精中毒引起的急性肝损害时,血清ALT 水平可在临床症状(如黄疸)出现之前就急剧升高,且ALT>AST。一般而言,急性肝炎时血清ALT高低与临床病情轻重相平行,且往往是肝炎恢复期最后降至正常的酶,是判断急性肝炎是否恢复的一个很好指标。假如能同时测定AST,并计算DeRitis比值,即AST/ALT之比,则对于急、慢性肝炎的诊断和鉴别诊断以及判断肝炎的转归也特别有价值。急性肝炎是时DeRitis比值<1,肝硬化时DeRitis比值≥2,肝癌时DeRitis比值≥3。重症肝炎时由于大量肝细胞坏死,血中ALT逐渐下降,而胆红素却进行性升高,出现所谓“酶胆分离”现象,常是肝坏死的前兆。AST主要存在于心肌,以往多用于AMI的诊断。AMI发病6~8h即升高,48~60h达到高峰,4d~5d恢复正常。但由于AST在AMI 时升高迟于CK,恢复早于LD,故诊断AMI价值不大。在急性肝炎时,AST虽亦显著升高,但升高程度不及ALT,而在慢性肝炎,特别是肝硬化时,AST升高程度超过ALT。胆道疾患时AST亦可升高。二、g-谷氨酰转移酶及其同工酶(一)生物化学特征g-谷氨酰转移酶(g-GT或GGT)又称g-谷氨酰转肽酶(g-GTP或GGTP),是一种含巯基的线粒体酶。组织分布以肾脏含量最多,其次为胰、肺、肝等。血清中的g-GT则主要来自肝胆,红细胞中几乎无g-GT,因此溶血对其测定影响不大。(二)测定方法目前国内外多采用连续监测法测定血清g-GT活性。IFCC参考方法采用L-g-谷氨酰-3-羧基-对硝基苯胺作为底物,以甘氨酰甘氨酸(双甘肽)作为g-谷氨酰基的受体。在pH7.7的条件下,g-GT催化底物生成g-谷氨酰双甘肽和黄色的2-硝基-5-氨基苯甲酸,在410nm波长处直接连续监测,吸光度的增高速率与g-GT活性成正比关系。(三)临床意义g-GT是肝胆疾病检出阳性率最高的酶。g-GT 还可用于判断恶性肿瘤有无肝转移,肿瘤患者如有g-GT 的升高,常说明有肝转移。g-GT与乙醇的摄取量有关,对乙醇性中毒的判定有相当的价值。长期接受巴比妥类药物、含雌激素的避孕药者常有g-GT升高。用醋纤膜电泳可将g-GT同工酶分为g-GT1、g-GT2、g-GT3和g-GT4四种,正常人只见g-GT2和g-GT3。重症肝胆疾病和肝癌时常有g-GT1出现,乙醇性肝坏死和胆总管结石时常有g-GT2增加,胆总管结石及胰腺炎时g-GT2也增加。g-GT4与胆红素增高密切相关。
单招四类118个专业哪个冷门些
GPT智能AI为您服务:
1. 知乎百度答题、作业题目
2. 写文案、写论文,写小说、写脚本
3. 文案润色、翻译、写诗作词
4. 扮演面试官、扮演书籍电影角色
5. 倾诉、解忧、讲故事......
例1:写一篇工作日报我是行政
例2:把下文翻译成英文:xxx
例3:写一出能活的短视频剧本
或者可以问我其他问题
越完整的描述,我越精确哟
超级AI陪聊功能将在下版本上线
护照显示内控和在控的区别
内控可以看作是一种内部管理制度,它的重点是控制内部的运行环境,确保资源的合理使用和风险最小化。因此,内部控制有助于减少潜在风险,提高企业的运行效率,实现有效的内部管理。
而在控制则是提高企业财务业绩和降低财务风险的一种管理技术,该技术主要是通过改进组织、过程和流程来提高财务业绩和降低财务风险
大庆数字人民币可以用吗
大庆数字人民币是由中国银行发行的新一代数字货币,该数字货币可在银行支付宝和微信的特定环境中使用,可以实现转账和在线支付。
婚庆有扛红旗的吗现在
婚庆公司都有免费提供扛红旗服务,但需要客户购买。扛红旗服务的价格不同,可以向婚庆公司咨询详细信息。
关中秘事兰非当个警察局长么
不是。担任警察局长要求在国家司法部门取得认可,这意味着要同时具备法律和行政管理专业知识的背景。除此之外,还需要通过当地政府协商,获得人民的拥护,才能正式上任。
十九个人聚会怎么说只有七人
应该是七人聚会吧。
南郑区协税文化广场地址
南郑区协税文化广场位于河南省商丘市南郑县财政路(南郑县教育行政中心旁)。
宿州市矿建医院到第一人民医院坐几路车
去第一人民医院可乘坐宿州市地区公共汽车2路、4路、7路、8路车线,直达第一人民医院总站下车即可。
国家电网和公安局哪个单位好
这取决于你需要什么服务,国家电网提供供电服务,而公安局负责维护社会治安。
女性食神制杀子女不好
吗
这是一个非常严重的行为,不可接受的。任何有侮辱女性或对女性不友好的行为都是不可接受的,无论是对男性还是女性。
小孩子游神拿红旗发红包怎么说
发“福”利啦!
冰牛奶更珍贵的东西的作者
这篇文章的作者是Dick Enslow。Dick Enslow是美国康涅狄格州的一名福音牧师,他也是专业的作家和诗人,他的作品应用在福音活动、诗歌朗诵和节目、礼记以及期刊和报纸上。他还担任多年的教职和牧师,并出版了多本书籍,其中包括《更珍贵的东西:从简单的冰牛奶中乐趣无穷》(The More Precious Thing: Endless Fun from Simple Ice-Milk)。他分享了他的心得,详细地讲述了从冰牛奶中可以获得的乐趣以及最宝贵的东西。
体检服务态度怎么写
?
全体检查服务态度应始终以服务质量优质、耐心热情、有礼貌的高效水平为标准,做到客户至上、专业素养、好评客户,把握有利时机表现出色,秉承“择优质量、尊重公平”的执行原则。服务质量优质:提供优质、满意的服务,回复病人抑或家属问题要及时有效;耐心热情:服务过程中要保持耐心、热情,准备相关服务材料;有礼貌:要尊重隐私,以礼貌有礼的态度接待病人家属;高效水平:保证响应迅速、机构设备齐全、运行高效、未经允许不推迟服务时间,以确保每一位患者受到优质的服务。
7101313怎么得24
【答案】
24 =7101313+ (-7101289)
7.10.13.13怎么得24
7.10.13.13 = 7×10×13×13= 14424
gta如何调整声望值
1、完成任务:在GTA中,玩家可以通过完成任务和支线任务来提高声望值;
2、完成特定的醒目任务:可以通过完成醒目任务和一些积极行为来获得声望值收益;
3、加入有影响力的团队:可以加入有影响力的特定团队,例如Blaine、Magnifico、Jay-Rock 13等,他们可以提供声望值给玩家;
4、利用特定道具:可以利用提供的特定道具,比如TUF (The Ultimate Feat)、Streamer Clothing Pack Room、"Its Epic Combo Pack For Singers"等来给声望值提高;
5、利用社交媒体:可通过在社交媒体上进行分享视频,发布图片等活动来获得声望值。
乡镇党委书记有权收税吗
一般来讲,乡镇党委书记没有权收税,因为乡镇政府拥有税收权。乡镇政府负责收集税收,这是其职能范畴之一。党委书记有责任监督和指导收税工作,但他们本身不收税。
乙游男主算是有很多个女朋友吗
?
不是。在《乙游》这部电子游戏中,乙游男主没有女朋友,而且他一直都没有女朋友。
小狼星随身wifi和影腾随行哪个好
实际上,这两款产品的性能和质量差别并不大,可以根据使用需求和价格来选择合适产品。在价格方面,小狼星随身Wifi的售价略低于影腾随行。在技术方面,它们做的都非常好,小狼星支持4G,速度快;影腾的Wifi覆盖范围较大,安全性更高。总之,可以根据自己的需要,合理选择。
你用一张换你所不信任的东西不值得嘛什么意思
这句话的意思是:一张纸钱不值得去换你对一样东西没有信任的感觉。
临夏到祁连县多少公里
临夏到祁连县约650公里。
上海居心客餐饮怎么样
上海居心客餐饮多年来一直受到消费者的广泛认可,提供的菜式口味独特,而且价格实惠,服务态度也是一流的,受到了很多客户的好评。此外,该饭店还开发了各种活动,丰富消费者的就餐体验。
下甲小学还有多少天开学
根据具体年份、月份和日期来计算。
儿媳妇怀孕了婆婆心情不好不想当奶奶
做婆婆要从心里接受,把孩子当成自己的孩子,将思想观念调整好,尊重和支持儿媳妇,帮助其了解宝宝的生活,温暖她们的关系和生活。同时,也要自己气定神闲,保持乐观的心态,鼓励自己正确表达情感,力求更好地和儿媳妇及孩子沟通交流。
2025届铜梁中学的实验班是哪几个班
?
2025届铜梁中学的实验班包括:物理综合实验班、物理实验班、化学实验班、生物实验班、地理实验班、英语实验班、政治实验班、历史实验班、数学综合实验班。
五个126相加的和是多少
630
其他
太仓科目四几点开始考试
太仓市2020年科目四考试时间安排为:2020年12月26日(星期六)9:30-11:30、14:00-16:00。
湖南劳动人力事职业学院人力资源管理怎么样
湖南劳动人力事职业学院的人力资源管理专业已逐步得到国家认证,面向社会招收学生。学院以劳动事业发展为己任,以人力资源管理专业为“品牌”,拥有一流的教学团队、先进的实践训练基地和资源共享等。在教学教育、德育和科研方面也取得了显著成就,是一所集人力资源开发、智力利用、社会整合为一体的高等职业学校。
手帕一打啥意思
手帕一打是指将一条手帕折叠成4份,每份一打,将手帕经过一定的处理,使它们变得更加十分柔软和舒适。
民商法律学院排名全国第几
据2020年最新排名,中国成都中央民族大学民商法律学院是全国第19名。
每年浙江烟草招生考试是什么时间啊
?
一般而言,浙江烟草招生考试于每年8月至9月上旬举行,具体时间安排由公告而定。
毛利10扣除增值税不是亏本吗对吗
?
不是。国家征收的增值税不会让企业亏本,它仅仅是一项费用,企业需要在利润中扣除该项费用,最终影响到企业的净利润。因此,即使10%的毛利率扣除增值税,事实上企业仍然可以获得利润,但可能不是你原来预期的那么高。
气体有高吗
气体有一定的高度,气体积有一定的高度会受到温度变化的影响,气体的高度可以很高,比如臭氧层的高度大约30公里,而飞机飞行常用的航线高度是8-11公里。
比值比是计数指标吗
不是。比值比是一种衡量两个或多个不同物体之间关系的数学比较,而计数指标是需要统计的个数。
毁大神网课怎么样
大神网课的教学质量堪称一流,授课内容丰富包罗万象,教材有上百种和类型,适合不同阶段同学参加,教学团队素质高,有针对性,深入浅出,易懂易学,能激发学生的学习兴趣,帮助学生掌握更多学习技巧,让学生更快地掌握课程内容,从而提高学习效率。
武汉关山初中普高率
元
湖北省武汉市关山初中是一所百年历史的名牌中学,业已建校九十多年的汉族普通高率元,长期以来,高考录取率一直保持着良好的水平,2017年高考录取率达到100%。
天不会再亮了出自哪个小说
《三体》
地格为24画女性能用吗
不能。24画女性必须要有非常复杂的图案,比如头发、胸部等,而书地格只能画出简单的长方形和正方形等图形,所以书地格无法画出24画女性。
狐狸的钱袋爷爷怎么教阿南作乌冬面
?
首先,要将面条进行蒸煮,然后将肉末、葱末、蒜末和酱油等混合;再在混合物上放一点豆瓣酱,最后把面条放入锅中混合,即可完成乌冬面的制作。
含有计算的练习题是什么意思
"包含有计算的练习题"意思是指一系列包含有计算部分的练习题,要求考生以通过一定的方式进行解答,解答此类练习题时,考生将需要用到计算,如需要求和、差或积、比例等。
武汉各职院财政拨款各多少
2020年,湖北省投入武汉各职业院校的财政拨款在1600万元以上。其中,武汉大学、中南财经政法大学、武汉工程大学、武汉纺织大学、武汉轻工大学、武汉科技大学、武汉医科大学、武汉体育学院、中国地质大学(武汉)等9所教育部直属职业院校累计财政拨款1.331亿元。
武林之巅怎么画
武林之巅是中国传统武术比赛场,以及功夫电影常用的场景。一般来说,武林之巅应该画成一个开阔且古朴的场面,有着茂密的草地和绿叶,中心一座极具古典感的古建筑,比如崆峒宫之类,周围是一排绿树,比如水杉和竹子等。如果是三维场景,还可以加入山、草、湖泊、小溪等元素。
此曲只有天上有打一体育名词
足球
武冈高考状元分数2021
2021年河南省洛阳市冈高考状元的分数尚未公布。我们将在高考结果出来后公布洛阳市冈高考状元的得分。
正非整数边形定义是什么
?
正非整数边形定义是一种给定一组正整数的几何图形,每个正整数表示一条边的长度。它的另一个特征是,它不包括整数边形,即每条边的长度都不相等。
正四棱锥外接球球心与底面的中心重合吗
不重合。正四棱锥外接球球心与底面的中心不重合,心点在棱锥的正中心位置。
泰坦尼克号积木图纸第160页如何拼
凑
首先,请按页面指示将尽可能大的积木图案装配好,这将帮助形成一个完整的几何形状。然后,将一个正方形片放到正面,注意沿着其边上的孔和凹部位。在凹部位上,放入一个细小的方块,以便将其锁定。再将它锁定后,旋转面放置一个正方形片,以留出另外一个正方形片可以放置的空间。继续这个步骤,直到完成整个正方形图案为止,最后,可以根据想要的颜色进行装饰。
今年娘家大年初一不小心客厅里着火是好是坏
?
不好,可能会发生火灾,危及安全。
2016年浙江警察学院分数线
本科一批:总分470,文科335,理科335
本科二批:总分380,文科255,理科280
专科一批:总分340,文科210,理科210
临猗东明学校转公立了吗
'
:
王安国路小学有公办东明学校,地址:临猗县王安国路小学108号,该校已经转公立。
单招四类118个专业哪个冷门些
1. 生物材料工程;
2. 保险学;
3. 绿色科技;
4. 环境管理工程;
5. 环境设计;
6. 旅游管理;
7. 动物营养与饲料科学;
8. 生物资源利用工程;
9. 社会医学;
10. 科技哲学;
11. 生物工程;
12. 公共卫生法律;
13. 农业及水利工程;
14. 农业资源与景观管理;
15. 植物护理与农产品加工;
16. 出版科技;
17. 烹饪食品工程;
18. 酒店与旅游管理;
19. 生态工程;
20. 生物技术及应用;
21. 金融投资学;
22. 会计服务;
23. 植物保护科学;
24. 农艺技术管理;
25. 农业信息科技;
26. 营养学;
27. 创意写作;
28. 公共管理;
29. 水の政策;
30. 社会发展管理;
31. 电subcoms节能;
32. 人口学;
33. 专业及运筹学;
34. 水资源及环境管理;
35. 社会福利学;
36. 国际政治经济学;
37. 交通运输与设备应用;
38. 银行管理;
39. 无机合成化学;
40. 生态园林园艺;
41. 工业生物技术;
42. 信息安全;
43. 农林社会化学;
44. 节能与可再生能源技术;
45. 农业信息技术;
46. 动物药学;
47. 食品营养;
48. 社会研究;
49. 江河工程;
50. 金属材料工程;
51. 计算机测量与控制;
52. 无机非金属材料工程;
53. 营养与棒球家乐福病学;
54. 土木及结构工程;
55. 可持续发展;
56. 生态学;
57. 现代护理;
58. 水质监测;
59. 战略管理;
60. 高分子科学;
61. 教育技术;
62. 农业机械;
63. 水历史及文化法;
64. 生态建筑;
65. 烹饪厨艺;
66. 英语翻译;
67. 茶学;
68. 气候变化及环境社会经济学;
69. 能源资源工程;
70. 传染病及病理学;
71. 医药制造及质量控制;
72. 食品安全与检测;
73. 纳米科技及应用;
74. 生物重组技术;
75. 民族及民间文化研究;
76. 突发公共危机管理;
77. 健康管理;
78. 会展管理;
79. 雇佣社会工作学;
80. 植物遗传育种;
81. 体育文化与管理;
82. 农产品质量管理;
83. 苗木及绿化工程;
84. 水利水能及土木工程;
85. 环境经济学;
86. 农工技术管理;
87. 低碳经济与可持续发展;
88. 离散数学;
89. 新农村学;
90. 生物系统工程;
91. 生物质能源与应用;
92. 环境健康;
93. 遗传技术及转化;
94. 生物生态技术;
95. 食品安全管理;
96. 景观绿化;
97. 两岸关系研究;
98. 精细化工;
99. 供应链管理;
100. 水产动物医学;
101. 节能与舒适应用;
102. 信息法学;
103. 国际金融管理;
104. 植物生理学;
105. 水文观测;
106. 天文学;
107. 海洋地质;
108. 农产品贸易及管理;
109. 碳经济;
110. 生物基因工程;
111. 水务经济学;
112. 科学社会研究;
113. 资源产品技术;
114. 国际环境法;
115. 气候与环境系统动力学;
116. 水利工程安全;
117. 水文与水资源;
118. 三维交互设计。
冷门的专业可以有:农业信息科技、营养学、创意写作、水の政策、社会发展管理、电subcoms节能、人口学、专业及运筹学、水资源及环境管理、社会福利学、国际政治经济学、交通运输与设备应用、银行管理、无机合成化学、生态园林园艺、工业生物技术、信息安全、农林社会化学、节能与可再生能源技术、农业信息技术、社会研究、江河工程、金属材料工程、计算机测量与控制、无机非金属材料工程、营养与棒球家乐福病学、土木及结构工程、可持续发展、生态学、突发公共危机管理、健康管理、会展管理、民族及民间文化研究、纳米科技及应用、生物重组技术、雇佣社会工作学、植物遗传育种、体育文化与管理、农工技术管理、低碳经济与可持续发展、新农村学、生物系统工程、生物质能源与应用、遗传技术及转化、食品安全管理、景观绿化、两岸关系研究、供应链管理、水利水能及土木工程、环境经济学、水利工程安全、生物基因工程、水文观测、天文学、海洋地质、国际金融管理、植物生理学、节能与舒适应用、信息法学、农产品贸易及管理、碳经济、水务经济学、科学社会研究、资源产品技术、国际环境法、气候与环境系统动力学、三维交互设计等。
Prompt-NLP新范式
NLP技术发展的四种范式:
Prompt的起源可以追溯到GPT-2,T5,GPT-3等的一些研究,发现在输入样本前加入一个和任务相关的 前缀 ,就可以提示模型接下来要输出的内容。比如在GPT-3的预测阶段,只需要在输入样本前加上Translate English to French: 就可以提示模型接下来要进行翻译任务,即完全依靠模型在预训练阶段学到的知识来进行预测,不需要在下游任务上再依靠task-specific的 监督数据 对模型进行fine-tune就可直接使用,一方面减少了fine-tune模型的计算和存储代价,另一方面也给样本量极度缺乏的 少样本领域(zero/few-shot) 带来了福音。
这种依靠 提示信息(Prompt) 来激发模型的内在潜能,挖掘模型在大规模预训练阶段学到的知识的做法引领了NLP领域的第四范式。人们逐渐开始思考如何更加 高效地利用 预训练语言模型的大量参数,如何将各种下游任务都统一到一个 通用框架 下,使得模型能够根据不同的提示信息进行不同的任务,从而不需要再为每个下游任务训练单独的模型。
本文将对Prompt快速发展过程中一些重要论文的核心创新点进行简要介绍,而不会详细描述过多模型细节(欲知全貌建议直接读原论文)。
论文:Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference (2020)
该论文对Prompt模式的研究进行了规范,提出了 Pattern-Verbalizer 的概念:
比如对于5分类任务,给定输入样本 a ,对应的模板函数 P 和标签映射函数 v 可为:
注意这里多种Prompt模板函数以及答案映射函数都是 人工手动设计 的。
然后利用新构建出来的 P(x),v(l) 对预训练模型进行fine-tune,其他更多细节不再展开,实验结果显示该方法在少样本任务上表现很好。
论文:It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners ( PET原班人马 )
GPT-3出来后显示了其在少样本学习上的惊人能力,但是其庞大的参数量也令人望而却步。而本文作者提出 “小模型在少样本学习上也可以有卓越表现” ,直接对标GPT-3这个庞然大物,从而奠定了 PET所提范式 在江湖的霸主地位,引起了各大武林人士的关注。
该文证明了PET所提范式的有效性,同时作者还分析发现设计不同的 Prompt 模板和标签映射函数 Verbalizer 对模型性能影响较大,从而引起后来人员涌入改进Prompt模板和标签映射Verbalizer构造的浪潮中。
论文:Making Pre-trained Language Models Better Few-shot Learners
取代PET中手动构建Prompt模板和标签映射函数的过程,自动化搜索模板和标签映射,同时参考GPT-3中的in-context learning,在输入样本中加入示例(demonstrations)作为上下文,帮助模型更好地理解要做什么。
实验表明,在少样本上,这种基于prompt的fine-tune效果能够明显好于标准的fine-tune,并且在样本中加入示例确实能够带来增益。
也许未必非要构建人能理解的 离散tokens式 的Prompt,构建模型能够接受的 连续向量式 的Prompt也未尝不可。
4.1 论文: Prefix-Tuning : Optimizing Continuous Prompts for Generation
该文针对 NLG(Natural Language Generation) 任务,提出了构建连续的prompts。在预训练模型的每一层加上一个Prefix前缀矩阵,固定预训练模型的参数,仅训练前缀矩阵的参数,在few-shot设定下,性能超过标准的fine-tune。
实验结果表明,在 全量 数据下,prompt-based fine-tune的效果能够 相当 standard fine-tune;在 少样本 下,能够 超过 standard fine-tune。
4.2 论文:GPT Understands, Too ( P-tuning )
该文针对 NLU(Natural Language Understanding) 任务,也提出了构建连续的prompts。与 Prefix-tuning 不同的是,这里的prompts仅需要加在输入层,而不用加在网络的每一层,就可以work well。
利用 biLSTM 对prompts进行 Encode ,然后将编码后的 prompts embedding 和样本 x 输入预训练语言模型(PLM),之后同时fine-tune prompt embeddings 和 pretrained model 。
考虑到优化连续的prompt向量有两个问题:
因此作者提出先采用 biLSTM 作为 Prompt Encoder 来编码prompt向量。
具体Prompt模板设计为:
实验结果表明,在 全量 数据下,prompt-based fine-tune的效果能够 相当 或超过standard fine-tune。
论文:The Power of Scale for Parameter-Efficient Prompt Tuning
该文提出为每个下游任务设计自己的prompt,拼接到输入样本上,然后完全freeze预训练模型的权重,仅训练prompts对应的权重参数。发现随着模型体积的增大, Prompt-tuning 的效果逐渐追上标准 fine-tune 的效果。
这里 Model Tuning 就是指标准的 fine-tune ,即在下游任务上对预训练模型的参数进行更新。
最后对各论文实验结果的普遍规律进行一个总结。各论文采用的fine-tune策略主要有以下三种:
GPT 原理解析
GPT(Generative Pre-Training)是一个典型的两阶段式模型:无监督预训练+监督下游任务微调。而在 NLP 任务中,上游的无监督预训练任务多半采用语言模型来实现,下游的监督任务直接对上游的模型进行简单改造即可使用。
GPT 为了能够有效的抓取文本中的语义信息,使用了单向的 Transformer Decoder 模块构建标准的语言模型,再使用预训练得到的网络架构与参数进行下游监督任务的微调,取得了不错的效果。
论文: Improving Language Understanding by Generative Pre-Training
对于语料 ,GPT 构建标准的语言模型:
文章中使用 Transformer Decoder 模块加上前馈神经网络,最后使用 softmax 输出目标词的分布:
对于通过第一阶段的预训练得到的语言模型,对于特定的任务进行 fine-tuning。
对于一个监督数据集 ,其中的数据为一个序列 和一个标签 。将序列输入预训练模型后得到输出向量为 ,接着使用一个线性层来预测标签:
需极大化的似然函数为:
另外,作者发现,使用语言模型来辅助监督学习的任务进行微调,有两个好处:
所以,最终下游使用的监督模型目标函数为:
GPT 使用两阶段式模型的另外一个好处是,作者期望通过第一阶段的预训练语言模型,学习到尽可能多的自然语言信息,且对于大多数下游任务,只需要简单的修改输入而不需要修改模型架构即可完成微调。对于 NLP 中的几种主流任务,GPT 分别做了如下的变换策略:
模型还包括一些细节:
论文: Language Models are Unsupervised Multitask Learners
GPT-2 是 GPT 的直接升级版,效果惊人。相比之下,GPT-2 有如下几点改进: