芒果TV商品用意识别top3思绪分享 (芒果TV商品今日兑换限制已达上限)

本文目录导航：

• 芒果TV商品用意识别top3思绪分享
• 极速上手Dialogflow交互机器人
• 搜查引擎算法体系简介——排序和用意篇

芒果TV商品用意识别top3思绪分享

主办方提供了商品称号和用户query数据供选手启动模型训练，宿愿选手能够设计出一套高效、精准的商品用意识别模型，以协助优化电商搜查的成果，改善顾客的购置体验。

其中提供了两份数据，一个是goods_是商品称号数据，一个是query_是用户query数据，共条

前期咱们做的尝试比拟多，前面差不多烂尾了，庆幸b榜还在第一页，上方引见下咱们队伍的较量思绪。

由于本赛题数据分类一个品质比拟高的goods数据，一个是用户场景下的query数据（相对有噪音），前期咱们尝试独自训练goods或许query数据成果不是很好，goods数据容易过拟合，query数据比拟难收敛， 后续试验咱们选用将两份数据启动兼并训练，成果获取清楚优化。

文本长度统计如下：商品称号数据中 文本字符长度最大为39，最小为6。

咱们在训练当选用了笼罩绝大局部数据长度的大小26，其他没有做过多尝试。

由于本赛题的样本的标签散布不平衡，咱们驳回多折分层采样的模式启动划分训练集，而后输入到模型启动训练，间接驳回sklearn的StratifiedKFold

由于Bert等预训练模型变体成果要好于传统NLP建模方法，咱们一开局试验是从预训练模型开局建模的，对比了几个模型变体之间的成果，其中本次较量给出的baseline ernie模型成果比拟好，尝试了开明的ernie3.0成果不如1.0；其次nezha 成果和chinese-roberta-wwm也不错。

咱们尝试了一些NLP训练优化方法，

为了防止模型颤抖，咱们重要依赖线下cv分数以及a榜分数，对模型设置权重启动加权融合，详细融合模式如下：

其中preden1可以是模型融合的结果，而后基于它的分数再去调配其他两个单模的分数

本次较量数据由于长度比拟短以及粒度为实体名词级别的，ernie成果比拟好，确实是异常之喜。由于期间疑问有些想法还是没有去做尝试，重要有：

宿愿其他前排大佬可以多多交换

极速上手Dialogflow交互机器人

Dialogflow是Google提供的人机交互平台，能轻松构建交互机器人，如网页聊天机器人、电话默认客服等。

经过识别客户输入的语音、文字或情感，Dialogflow成功用意识别（Intents）和实体（Entities）的联合，作出相应的回复。

以下是其重要好处：Dialogflow具备以下几点好处：Dialogflow在实践运行中的案例包含：马来西亚航空与Amadeus协作，应用Google Cloud上的Dialogflow，创立了一个聊天机器人，让客户可以搜查、预订并支付航班，满足未来需求并参与数字渠道的支出。

达美乐披萨的订餐机器人驳回Dialogflow技术，成功了方便的在线订餐服务。

荷兰皇家航空（KLM）于2016年经过测试多个平台后选用了Dialogflow，探求为客户提供更丰盛的体验。

Dialogflow提供罕用工具：内置Small Talk：用于闲谈对话的照应，解答代理范围之外的经常出现疑问，清楚优化用户体验。

Small Talk有多个版本，顺应不同场景需求。

预设代理：提供一组实用于经常出现经常使用场景的代理，可以在此基础上构建特定场景的对话，如外出就餐、酒店预订和导航。

天气和资讯语音问答机器人的制造方法如下：经常使用文字输入模式，经过speech-to-text将音频麦克风流到Dialogflow的文本用意检测API。

经常使用GCP产品成功流程：性能Dialogflow ES，包含用意性能、Webhook性能等，设计输入和回复逻辑。

预备Speech-to-text（STT）到Dialogflow的集成，成功音频输入到文本识别的转换。

经过实时流式音频口头识别，经常使用STT将麦克风继续输入转换为文本，而后将文本输入到Dialogflow用意检测。

Dialogflow用意检测并婚配用意后，生成相应回复，经过webhook前往给客户端。

测试流程包含Dialogflow web测试、程序测试和全流程测试，验证语音输入转文字、用意识别与回复的正确性。

至此，成功了一个天气与资讯语音问答机器人的构建。

Dialogflow还提供其他集成与经常使用模式，供用户参考学习。

宿愿本文能激起更多翻新，协助构建更初级、更默认且合乎特定名目需求的交互机器人。

搜查引擎算法体系简介——排序和用意篇

以下是对刘教员在DataFun Talk算法架构系列优惠中对于搜查引擎算法体系——排序和用意篇的简化整顿。

刘教员重点解说了搜查引擎算法在排序和用意识别畛域的运行，随着技术开展，搜查算法教训了从方便模型到深度学习的演化。

早期，2010年前的搜查算法重要依赖方便模型如贝叶斯、LR和决策树，虽成果良好，但数据量小。

进入2010年至2013年，复杂算法如贝叶斯网络、点击模型等开局运行，如GBDT/RF用于排序，深度学习如CNN、RNN获取宽泛运行。

如今的搜查引擎不只算法优化，还引入监视、非监视学习和强化学习，尝试将这些实践运行于实践场景。

搜查引擎框架教训了三个阶段：初始阶段依赖用户手动查找；第二阶段引入开明平台，要求算法精准定位用户需求；第三阶段是常识图谱和精准问答，触及实体识别和相关开掘。

搜查引擎开发框架中，查问剖析包含查问词剖析和用意识别，文章排序则有多种模型，如LTR、点击模型和共性化模型。

在算法局部，查问剖析重要经过规定、分类器（如神经网络）和深度学习启动，文章排序则触及LTR、点击模型和共性化模型的联合。

用意识别则运用规定开掘和机器学习模型，如Bayes、LR和深度学习模型。

这些模型各有优缺陷，如规定识别算法方便高效，深度学习模型计算速度快但须要少量数据。

最后，刘教员提到的未来趋向包含经常使用用户行为数据的增强学习和反抗网络模型，以及联合人工标注数据的Ubias LTR，以优化排序战略和用户体验。

假设你想深化了解这些算法，可以查阅相关论文和进一步讨论。