Altium出售TASKING业务，软件行业变动

UNIFIEDSKG: Unifying and Multi-Tasking Structured Knowledge

Grounding with Text-to-Text Language Models

code：

https://github.com/hkunlp/unifiedskg

Abstract

Structure knowledge grounding(SKG) 利用结构化知识完成用户请求，如基于数据库的语义解析和基于知识库的问答 。由于输入和输出 的 SKG 任务是异构的，它们由不同的社区分别研究， 这限制了SKG的系统性和兼容性 研究。本文通过提出UnifiedSKG架构解决上面的限制。这个架构通过融合21个SKG任务到一个text-to-text的结构，旨在促进系统化 SKG 研究，而不是只应用到单个任务、域或数据集 。在不同size的T5的上应用UnifiedSKG结果显示T5（只在必要时简单的调整）在所有21个任务上达到SOTA表现。在多任务上 prefix-tuning在大多数任务上的表现有大幅提升。USKG结构也适用于zero-shot or few-shot的研究。

1. Introduction

结构化知识存储了大量的数据作为大量应用的基础。访问和搜索结构化知识中的数据通常需要通过专业培训掌握查询语言。为了提高数据访问的效率，结构化知识 基础（SKG）系统将用户的请求置于结构化知识中，并产生各种输出，包括计算机程序（例如SQL和SPARQL）、表格单元格 值和自然语言响应（图1）。

文章提出UnifiedSKG架构支持6个任务类型的21歌SKG任务在不同数据domain中（table1）。Unified-SKG将 数据，模型，代码，实验和评估标准化到同一个框架内。

1. Related Work

3 The UNIFIEDSKG Framework

文章的目标不是从模型结构 角度提出一个新颖的模型结构，更大的贡献是提出一个统一的框架在21SKG任务上达到接近SKG的效果。

3.1 统一任务

21个任务来自6大类： Semantic parsing，Question answering，Data-to-text generation，Fact verification，Conversational tasks

Tasks in all these families take as input x a user request, a structured knowledge input, and an optional (dialogue) context to predict an output y.

input x：user request ，一个a structured knowledge input: 和一个可选的context 去预测 output y

Figure 2 illustrates how we convert the input x to an input sequence ~x and the output y to an output sequence ~y by means of “linearization ” (Liu et al., 2021).

Figure 2 显示如果通过linearization 将输入和输出转换。 linearization 将不同的structured knowledge input 统一起来。

3.2 模型

最简单的USKG就是训练一个text2text 的PLM在不同的任务上。这里会最小化negative log-likelihood loss（取每个batch中tokens的平均）

1. 实验

实验结果显示 prefix-tuning可以达到finetune 相类似的结果

待续

武汉格发信息技术有限公司，格发许可优化管理系统可以帮你评估贵公司软件许可的真实需求，再低成本合规性管理软件许可,帮助贵司提高软件投资回报率，为软件采购、使用提供科学决策依据。支持的软件有: CAD,CAE,PDM,PLM,Catia,Ugnx, AutoCAD, Pro/E, Solidworks ,Hyperworks, Protel,CAXA,OpenWorks LandMark,MATLAB,Enovia,Winchill,TeamCenter,MathCAD,Ansys, Abaqus,ls-dyna, Fluent, MSC,Bentley,License,UG,ug,catia,Dassault Systèmes,AutoDesk,Altair,autocad,PTC,SolidWorks,Ansys,Siemens PLM Software,Paradigm,Mathworks,Borland,AVEVA,ESRI,hP,Solibri,Progman,Leica,Cadence,IBM,SIMULIA,Citrix,Sybase,Schlumberger,MSC Products...