深度学习在数学文本相关领域的研究分门别类
2025-08-19 12:16:34
本文针对这一使命情节相结合了一个中量级分类数据资料集,并对Word2Vec、ELMO、BERT三种假设进行时了评测。试验中结果显示,相较于Word2Vec,另外两种句子方面的词汇假设表现要较好。
此外本文按照Bert的锻炼方式为重新锻炼了一个NumBert假设,远比起原来的Bert,本文将实锻炼实料之前的倍数解读全部替换变成了科学指造出法,例如314.1被替换为3.141 [EXP] 2。这种指造出原理显示的大幅提高的倍数的中量级解读技能,试验中声称,基于这种字典锻炼的NumBert尽可能较好的捕捉到量辞汇在不同情节下的所代表的就其数中量级。
Numeracy enhances the Literacy of Language Models(EMNLP 2021)本文试图揭示不同的倍数指造出原理对词汇假设的读写(literacy)的影响。给定一句话,“[MASK] 的速度是100 km/h“,根据“100 km/h” 可以推断造出 [MASK] 为摩托车的机率要并不大人或者越野。这无需假设极佳的忽略100这个倍数在这句话之前代表的用法。
本文一共检测了如图所示的六种倍数指造出原理。试验中发现不同的倍数指造出可能会在一定持续性上影响假设的分析结果,其之前Exponent指造出法获取了最佳结果。这声称采取合适的倍数指造出原理尽可能让词汇假设较好的忽略文档。
Injecting Numerical Reasoning Skills into Language Models (ACL 2020)本文提造出了一种统一标准的原理,通过自动转化大量的数据资料并进行时实锻炼,来向词汇假设这样一来流造出系数悬疑的技能。其首先通过模板转化两类数据资料:
(1) Numerical Data,全部由系数计数构变成的论辩文档,例如Q:max(100, 200),A:200;
(2) Textual Data,包括句子的论辩文档,这些文档包括一段句子以及几个系数方面的疑问和谜作序。
基于这些自动转化的论辩抽取,本文结构上了一个最简单的基于BERT的转化假设进行时此后实锻炼。为了防止假设丢失原本的词汇科学,本文在此后实锻炼阶段申请加入了许多现代的MLM损失。试验中证明,该原理可以有效增加假设在系数悬疑使命上的表现,变成功向假设流造出了系数计数的技能。
2
Math Word Problem Solving
Solving Math Word Problems with Multi-Encoders and Multi-Decoders (COLING 2020)无法实现实体的encoder-decoder形态无法实质上逃跑疑问文档之前包括的语句个人信息,本文设计者一种 Multi-Encoders and Multi-Decoders 的假设体系结构,以实现从多个层次区块和解码疑问核酸之前的个人信息。
就其来讲,本文除了将一段疑问描述指造出为一段文档核酸,还通过句法分析工具将其叠加为一棵依存句法松树。远比起许多现代的核酸,依存句法松树可以获取更多关于疑问的形态化个人信息,用作大幅提高疑问文档的再度指造出。
本文采取GRU和GCN作为sequence-based encoder和graph-based encoder,分别对核酸和句法松树进行时区块。得不到的区块结果被同时转换到tree-based decoder 和 sequence-based decoder之前,两个解码装置可能会分别转化给定的冠词表现形式和前缀表现形式,就此假设根据两个decoder转化给定的机率大小来必需再度的谜作序。
Math Word Problem Solving with Explicit Numerical Values (ACL 2021)前文提到过,由于MWP之前不太可能注意到的倍数是无穷的,很难将所有不太可能注意到的倍数都划入到假设的辞汇表当之前,因此之前的数据分析兼职并不一定将疑问之前注意到的倍数全部替换变成并存的codice_标记。
本文无法实现当同样的codice_标记代表不同的系数时,再度的谜作序给定不太可能也有所不同,图例获取了一个就其的值得注意。
为了解决问作序这一疑问,本文在旧的Seq2Tree体系结构上申请加入了一个Numerical Values Encoder用作对倍数进行时区块,得不到区块结果和旧encoder得不到的区块结果进行时concat,以大幅提高疑问的区块指造出。其在解码段设计者了一种Numerical Properties Prediction Mechanism,通过将疑问之前的倍数进行时两两对比来重新考虑哪些倍数应该注意到在再度的给定当之前。
Training Verifiers to Solve Math Word Problems举例来说尝试解决问作序MWP的数据分析兼职大多基于一种修改的方法论,即给定一个疑问和再度谜作序的给定,修改根据交叉熵损失锻炼一个转化装置,在检测阶段转化装置通过自紧接采样,转化单个低温给定并检查再度谜作序前提无论如何来判别性能。本文在此基础上引入一个正确性装置,适用正确性的方式为对假设进行时锻炼。
就其来说,正确性的锻炼方式为包括两个部份:(1) 首先通过上述修改过程对转化装置进行时锻炼;(2)锻炼得不到的转化装置用作对疑问转化多个高热给定,这些给定根据再度得不到的结果前提和无论如何谜作序相也就是说来进行时标注,然后用这些给定和附加去锻炼正确性装置。再度得不到的正确性装置用作在检测时对转化装置转化的给定进行时打分,总分最高的给定被用作计数再度谜作序。
试验中声称,远比起之前适用实体的转化装置进行时修改并根据采样机率来必需给定的方式为,引入额外的正确性装置来必需给定具有较高的效率。
3 Math Formula embedding
Tangent-CFT: An Embedding Model for Mathematical Formulas (ICTIR 2019)无法实现逻辑学不等式之前并不一定包括多样化的形态化个人信息,本文利用逻辑学不等式的两种层次化指造出来对逻辑学不等式进行时比如说。其首先将逻辑学不等式叠加为两种松树形态:
(1)Symbol Layout Tree(SLT),指造出逻辑学不等式各个标记的室内空间位置;
(2)Operator Tree(OPT),定义了逻辑学不等式之前各个常量的计数排序。然后将松树的结点和边指造出变成多个个数,就此适用fastText对这些个数进行时区块。
通过结合SLT和OPT两种松树形态的区块结果,就此获取的不等式比如说同时捕捉到到了不等式的室内空间形态个人信息和语句形态个人信息,在不等式查询使命上获取了有效增加。
MathBERT: A Pre-Trained Model for Mathematical Formula Understanding本文将实锻炼词汇假设引入逻辑学不等式区块使命之前。其基于BERT,提造出一种在逻辑学字典上此后实锻炼的原理。
本文同时无法实现不等式内蕴含的形态化个人信息和不等式的句子之前不太可能包括一些不等式方面的说明文档,将不等式、不等式的句子以及不等式的Operator Tree(OPT)同时转换到词汇假设之前进行时实锻炼。假设在实锻炼同时进修三个实锻炼使命:
(1)Masked Language Modeling;
(2)Context Correspondence Prediction,分析转换的句子和转换的不等式前提相共同点;
(3)Masked Substructure Prediction,选取OPT之前一定比例的结点,对这些结点的父结点和子结点进行时分析。为了让假设较好的捕捉到OPT之前的形态个人信息,本文对转换的OPT部份的attention矩阵进行时修改,让每个结点只能注意到和其连在两兄弟的结点。
4
Educational Questions Representation
QuesNet: A Unified Representation for Heterogeneous Test Questions sigkdd (SIGKDD 2020)在普及教育情节下,逻辑学疑问并不一定包括除了文档以外的许多个人信息,例如图片以及疑问方面的科学点。
本文提造出一种统一标准的假设体系结构,用作对文档核酸、图片、科学点等基本单元进行时并存数据分析。其首先通过Embedding层将三部份个人信息连续函数到同一个formula_室内空间,然后用双向的LSTM对embedding后的formula_核酸进行时区块,得不到每个基本单元的token指造出,就此用self-attention和max-pooling对这些token指造出进行时聚合,得不到再度整个逻辑学疑问的指造出。
本文进一步提造出两个实锻炼使命,分别从token level和sentence level对上述假设进行时实锻炼。
其之前token level的实锻炼使命holed language model (HLM) 根据每个token中间的LSTM输造出的hidden states对举例来说token的个人信息进行时催化。sentence level的实锻炼使命利用了疑问方面的谜作序个人信息,转换一个疑问和谜作序对,判别两者前提也就是说。
此外,本文还对embedding layer进行时了实锻炼,其之前文档embedding层转用word2vec的方式为锻炼,投影和科学点的embedding层转用auto-encoder的方式为进行时锻炼。
DisenQNet: Disentangled Representation Learning for Educational Questions (SIGKDD 2021)本文提造出一种无指导的假设和自指导锻炼方式为为每个逻辑学疑问同时锻炼两种指造出:
(1)concept representation,显式的存储科学点方面的个人信息;
(2)individual representation,只保留文档方面个人信息的指造出。其造出发点在于逻辑学文档之前的某些辞汇汇不太可能和科学点非常方面,而某些辞汇汇更排斥于描述试作序本身的情节。
为了解决问作序这一疑问,本文将区块后的逻辑学文档指造出用不同参数的attention模块进一步分离为concept和individual两种指造出,并设计者三个自指导使命:
(1)Mutual Information Estimator,让分离后的两种指造出和原本的区块指造出互个人信息最大化;
(2)Concept Estimator,利用得不到的concept指造出分析试作序相应的科学点;
(3)Disentangling Estimator,转用对抗锻炼的方式为拉远concept和individual两种指造出的间距。假设在无标注的数据资料上同时简化这三个使命,以实现进一步分离和大幅提高concept和individual两种指造出。
5 总结与展望
本文分别从四个逻辑学方面的应用领域引介了一些最近数据分析进展。从以上数据分析兼职之前可以看造出,如何对较好的对倍数、不等式以及逻辑学疑问进行时数据分析,是举例来说各数据分析兼职的重点。
现有各个数据分析兼职早就尽可能在一定持续性上忽略和指造出逻辑学文档并解决问作序一些最简单的逻辑学应用作序。但最近还有一部份兼职声称,对于复杂的逻辑学疑问解答,例如高之前、大学的逻辑学试作序,现有的假设依然束手无策。
举例来说实锻炼词汇假设的演进声称,通过在大量无标注的文档上实锻炼,词汇假设早就可以进修到和生命体较为的主旨科学,用作解决问作序一些传统习俗的NLP使命。效仿这一点,如果能设计者造出合适的形态和使命,让词汇假设像生命体一样大量的刷作序和补充方面科学点,无论如何假设有一天在逻辑学疑问上也尽可能需有和生命体一样的悬疑和解答技能。
。关节畸形有什么症状南洋克痢痧胶囊芳香中药
艾拉莫德片可以治什么病
当心!孩子发烧不退可能不是感冒,是新冠!
补益药
严重咳嗽吃什么药能快速止咳
牙龈肿痛
咳嗽黄痰可以喝太极急支糖浆吗
下一篇: 生意社:3月15日济南澳辰环己烷月所动态
-
养大后才发现,这些道理都是真的
。我最喜好不来雨声和深处水滴的声音,赶脚研读灵活性都就会变高很多。30. 每两天滚一次好友圈,每次不必的大过一时长。我告诉他你做到勉强封闭票圈,那就找个相同的星期滚一下,给
2025-10-23 00:16:34
-
走近冬奥|北京冬奥会特许商品“冬奥冰雪雄蕊如意”发布
新华社上海12月末18日电 以“寒风上海奥运·大白之约”为主轴的上海奥运许可权商品发布会18日在京举行,“上海奥运寒风花冠大白”正式发售。 上海奥运寒风花冠大白
2025-10-23 00:16:34
-
炉!武汉少年冰上激战
长江日报大郑州应用程序12年底18日讯 12年底18日,第八届全国大众冰山季六场冰山赛事——滑向2022全国青少年冰球系列赛郑州站的表演赛,在郑州国际竞技文化信息中心开幕,东道主郑州经开区队(浅
2025-10-23 00:16:34
-
浙大博士自杀:我们的孩子具备怎样的能力,才能和世界性好好相处?
母亲没有人真是话,我跟他分享了一些自己常在在工作中的的一些要用法,说道母亲:公正是靠自己的不当和努力去赢得的,公正别人就是公正自己。别人公正你,是因为你很出色,出色的人更是懂得公正别人。 p
2025-10-23 00:16:34
-
境外奥运健儿代表团即将访问澳门
应澳门特别行政区邀请,一炮而红的外地冬奥会健儿代表团将于本月19日抵澳,开展月份三天的交流活动。 代表团领导者来自12个体育项目,有29名在东京冬奥会会上取得佳绩的国
2025-10-23 00:16:34