kok电子竞技

1、machine learning/nlp for extraction使用机器学习/NLP来提取(感兴趣的)数据点Overall challenge大数据的兴起大部分数据都是非结构化的, 如何理解这些数据? 如何利用这些数据?对于图像数据(对图像数据进行标注, 对图像进行分类)对于文本数据Several kinds of data(requirements)几种常见的数据(需求)1.用户点击网页,产生click log(结构化数据)2.一个网页txt,想得到它的主题(运行LDA)3.一个网页,很多内容,但只有一部有用(?)Case study1(news)尽管里面有很多信息但我们只对某些信息感

2、兴趣Regex(不能应付表达的变种)因为这个例子很简单,如果我们能找到这句话,再使用Regex但这是下一步相似文档与感兴趣的点(厂家文案中成本部分所有的型号)Case study1(news) ML, step1: get training data得到全集,利用rule确定大致位置Dump大致数据手工/半手工挑选过滤数据Case study1(news) ML, step2: Train model(benchmark)选择几个模型训练/对比/调整保存模型Case study1(news) machine learning, step3: Run it!运行模型得到-语句Yes/No在简单的

3、语句上, 运行Regex可以得到一个或多个数(number)Case study1wrap up(总结)机器学习是一种从源/结果得到rule的方法步骤:整理原始数据,(训练,对比模型),使用模型目前经典的ML和DeepLearning有为数众多的选择也就是没有一个one size fits for all的选择感知类数据(图像和语音)已经是DL占统治地位DL对固定领域文本处理/分类有显著优势,开放领域优势不太显著(一词多意的问题etc)翻译是一个例子开放域的问题Entity/phraseCoref的重要性“半路杀出个程咬金，在那里说三道四，弄得我一头雾水”百度half way to kill

4、a gold medal, where I gossip and make me confused.谷歌Halfway through the process to bite gold and say a few rallies there, making me confused.bingSchen, Im confused.腾讯Half way out of the Cheng Yaojin, where the gossip, I was confused讯飞Halfway through the road, Cheng jengjin was making gossip and made

5、 me confusedCase study2classical nlp NER(Noun entity recognition)有些时候,我们需要的信息刚好是NLP NER功能所覆盖的(人名,地名,机构名,数量词,货币,日期). on the shift工具英文StanfordNLP/NLTK/CoreNLP, 中文StanfordNLP/LTP/Jieba,相比 x86 架构服务器，LinuxONE Rockhopper 可助您节省 65% 的成本，加快获得投资回报Case study2classical nlp NER(Noun entity recognition)使用case1方法缩

6、小处理范围运行NLP NER得到结果人工reviewCase study2if not good(enough) /如果效果不好研究现有NLP包code补充训练各种open sourceGoogle SyntaxnetSpacy等等Home brew自己做一个LSTM+CRFCase study2wrap up(总结)NLP包是ML一种应用.前人总结的一些东西是有用的由于训练用语料的kok电子竞技权问题,无法跟上快速增长的entity很可能导致无法识别的entity(特别是地址/电视节目/疾病名称等)如果on the shift工具的效果不好,(很)可能还要回到ML/DL可能需要自己标注的语料/模型,是一

7、笔投资例如spacy有prodigy(交互式)界面专门用于标注Case study3NLP dependency parser for relationship linkedA contested story relates that, when he was eight, he figured out how toadd up all the numbers from 1 to 100.Case study3NLP dependency parser for relationship linkedCase study3NLP dep parser for relationship linke

8、d得到两个VERB第一部分Intel| 250 million第二部分/另一个子句self-driving cars | a realityCase study3comprehension另外一种解决思路机器阅读理解抛开精密的dep关系解析End-to-endoverall自然语言的理解是AI技术的皇冠对于很多信息 (金融/医疗)的类似文档,往往(想)得到精确信息景点介绍文章,往往是有主题的.对于搜索任务, (粗粒度)足够而我们需要的是景点票价.这个问题往往难以解决(细粒度)机器学习,特别是深度学习,为解决文本问题提供了新的武器可能需要大量的(特殊标注) 信息End-to-end的机器学习,直接得到结果如果出错比较难以解释,可以考虑使用rule来拦截错误Overall(extended)传统NLP使用了大量的熟语料,而DL可以使用生语料甚至翻译只使用了平行文本大大降低了标注的要求/难度/成本假如有了大量精确的信息, 可以用于构建行业知识图谱等应用实现简单的推理等知识图谱,语音识别,自然语言理解,对话理解