您当前的位置:首页 > 电脑百科 > 程序开发 > 算法

程序员应知应会之视频描述算法

时间:2023-05-06 11:30:59  来源:微信公众号  作者:活在信息时代

随着ChatGPT的火爆,人们对于人工智能领域的发展产生了极大的兴趣。很多专家认为,一个人工智能的时代将随着软硬件技术的快速发展即将到来。那么,作为信息技术领域的先锋队,对于程序员们来说,学习人工智能技术也就成了必然的课题。

通常来讲,人工智能可以分为三个研究方向:计算智能、感知智能和认知智能。

计算智能是人们比较熟悉的计算机的常规操作,例如数值运算、矩阵分解、微积分计算等。

感知智能是指将物理世界的信号通过摄像头、麦克风或者其他传感器的硬件设备,借助语音识别、图像识别等前沿技术,映射到数字世界,再将这些数字信息进一步提升至可认知的层次,比如记忆、理解、规划、决策等等。

认知智能则更类似于人类的思维理解、知识共享、行动协同或博弈等,也就是说基于获取的信息做出思考与决策。这一阶段需要运用计算智能、感知智能的数据清洗、图像识别等能力。除此之外,还需要拥有对于业务需求的理解以及对分散数据、知识的统筹治理能力,从而能够针对业务场景进行策略构建和决策。

目前来说,大量的人工智能工作集中在感知智能阶段,对于认知智能,则相对来说进展较为缓慢。

在认知智能领域,与人们生活最为接近的是视频描述技术。通过感知智能技术中的视频分类、物体检测等技术,我们可以对于视频中出现了什么物体进行识别。但是这并不能使人们理解视频到底描述了什么,只能机械的描述说,一个红脸的男人、一把刀和一匹红色的马之类的。

视频描述需要识别出视频中的物体,并理解物体之间的相互关系,同时理解场景的不同,物体运动和行为的不同,结合相应的已存储知识,作出符合实现的描述。这都在技术上带来了很大的挑战性。是一个整合了计算机视觉和自然语言处理的综合技术,类似于将一段视频翻译成一段话。不仅要正确理解视频内容,还要用自然语言表达出视频中物体之间的关系。

当前视频内容描述算法主要分为基于语言模板的方法、基于检索的方法和基本编码器解码器的方法。下面我们分别来介绍一下。

一、基于语言模板的方法

基于语言模板的方法首先通过视频分类或目标检测等方法检测出视频中目标、属性、动作以及目标之间的关系等,然后将检测到的物体,依据一定的规则,填入到事先制定好的语言模板中,从而形成一句完整的描述语句。

基于语言模板的方法简单直观,但是由于受到固定模板的限制,生成的句子语法结构单一,表达形式缺乏灵活性。同时这种方法必须进行前期细致的标注工作,为视频中包含的每个物体、动作、属性等制定统一的类别标签。而且该方法对于超出模板范围的视频,会给出差异很大的结果。

 

图片

 

二、基于检索的方法

基于检索的方法,首先需要建立一个数据库,数据库中每个视频都有对应的语句描述标签。输入待描述的视频,然后找到数据库中与之最相似的一些视频,经过归纳和重置,把该相似视频对应的描述语句迁移到待描述的视频。

通常来讲,基于检索的方法生成的描述语句更加贴近人类自然语言的表达形式,句子结构更加灵活。但是此方法严重依赖数据库的大小,当数据库中缺少与待描述视频类似的视频时,生成的描述语句将和视频内容存在较大的误差。上述两种方法都严重依赖视觉前期复杂的处理过程,且存在对后期生成句子的语言模型优化不足的问题。对于视频描述问题,这两类方法都难以生成描述准确、表达形式多样的高质量语句。

三、基于编码器解码器的方法

基于编码解码器的方法,是目前视频描述领域的主流方法。这主要受益于基于深度神经网络的编码解码模型在机器翻译领域取得的突破进展。

机器翻译的基本思路是: 将输入的源语句和目标语句表示在同一向量空间内,首先使用编码器将源语句编码为一个中间向量,然后再通过解码器将中间向量解码为目标语句。

视频描述问题本质上也可以看做是一个“翻译”问题,即把视频翻译成自然语言。此方法前期不需要对视频采取复杂的处理过程,能够直接从大量的训练数据中学习视频到描述语言的映射关系,实现端到端的训练,并且能够产生内容更加精确、语法灵活和形式多样的视频描述。



Tags:算法   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
随着ChatGPT的火爆,人们对于人工智能领域的发展产生了极大的兴趣。很多专家认为,一个人工智能的时代将随着软硬件技术的快速发展即将到来。那么,作为信息技术领域的先锋队,对于...【详细内容】
2023-05-06  Tags: 算法  点击:(0)  评论:(0)  加入收藏
一、概述马斯克收购了推特,但对其技术表示不满。认为主页速度过慢是因为有 1000 多个 RPC。先不评价马斯克所说的原因是否正确,但可以看出,互联网上为用户提供的一个完整的服务...【详细内容】
2023-05-04  Tags: 算法  点击:(5)  评论:(0)  加入收藏
排序算法是计算机科学领域中非常重要的基础算法之一,主要应用于数据处理中,将未排序的数据按照一定规则排列,以便后续的计算和数据分析。目前常用的排序算法有多种,包括冒泡排...【详细内容】
2023-04-27  Tags: 算法  点击:(13)  评论:(0)  加入收藏
南方财经全媒体记者梅道凤 广州报道《头号玩家》是一部由史蒂文·斯皮尔伯格执导的科幻冒险电影,讲述了在虚拟现实游戏中寻找巨额财富和控制权的故事。电影中的算法师...【详细内容】
2023-04-24  Tags: 算法  点击:(19)  评论:(0)  加入收藏
抖音是一个视频社交应用,它拥有大量的用户和流量。为了满足用户在抖音上的需求,优化搜索功能是必要的。因此,开发者在抖音上创建了一套复杂的搜索优化算法来帮助用户快速找到想...【详细内容】
2023-04-23  Tags: 算法  点击:(19)  评论:(0)  加入收藏
短视频app的迅速崛起已经成为了移动互联网领域中的一股热潮。然而,如何设计个性化推荐算法已经成为了这个领域中的一个核心问题。在本文中,我们将深入探讨如何为短视频app开发...【详细内容】
2023-04-19  Tags: 算法  点击:(4)  评论:(0)  加入收藏
一、图的遍历遍历是指从某个节点出发,按照一定的的搜索路线,依次访问对数据结构中的全部节点,且每个节点仅访问一次。前面已经讲过了二叉树的节点遍历。类似的,图的遍历是指,从给...【详细内容】
2023-04-14  Tags: 算法  点击:(26)  评论:(0)  加入收藏
一、邻接表用邻接矩阵来表示一个图,虽然简单、直观,但是比较浪费存储空间 。对于无向图来说,如果 A[i][j]等于 1,那 A[j][i]也肯定等于 1。实际上,我们只需要存储一个就可以了。...【详细内容】
2023-04-13  Tags: 算法  点击:(14)  评论:(0)  加入收藏
发展史1976年以前,加密世界主要采用对称加密算法(Symmetric-key algorithm)。对称加密存在让人头疼的问题:甲乙双方通信,甲方必须把加密规则告诉乙方,否则无法解密。保存和传递密...【详细内容】
2023-04-07  Tags: 算法  点击:(35)  评论:(0)  加入收藏
4月6日,Meta推出了一个AI模型Segment Anything Model(SAM,分割一切模型),能够根据文本指令等方式实现图像分割,而且万物皆可识别和一键抠图。想必很多小伙伴已经看到了这个东西的...【详细内容】
2023-04-07  Tags: 算法  点击:(34)  评论:(0)  加入收藏
▌简易百科推荐
随着ChatGPT的火爆,人们对于人工智能领域的发展产生了极大的兴趣。很多专家认为,一个人工智能的时代将随着软硬件技术的快速发展即将到来。那么,作为信息技术领域的先锋队,对于...【详细内容】
2023-05-06  活在信息时代  微信公众号  Tags:算法   点击:(0)  评论:(0)  加入收藏
一、概述马斯克收购了推特,但对其技术表示不满。认为主页速度过慢是因为有 1000 多个 RPC。先不评价马斯克所说的原因是否正确,但可以看出,互联网上为用户提供的一个完整的服务...【详细内容】
2023-05-04    DataFunTalk  Tags:算法   点击:(5)  评论:(0)  加入收藏
排序算法是计算机科学领域中非常重要的基础算法之一,主要应用于数据处理中,将未排序的数据按照一定规则排列,以便后续的计算和数据分析。目前常用的排序算法有多种,包括冒泡排...【详细内容】
2023-04-27  编码小哥    Tags:算法   点击:(13)  评论:(0)  加入收藏
一、图的遍历遍历是指从某个节点出发,按照一定的的搜索路线,依次访问对数据结构中的全部节点,且每个节点仅访问一次。前面已经讲过了二叉树的节点遍历。类似的,图的遍历是指,从给...【详细内容】
2023-04-14  日拱一卒程序猿  今日头条  Tags:算法   点击:(26)  评论:(0)  加入收藏
一、邻接表用邻接矩阵来表示一个图,虽然简单、直观,但是比较浪费存储空间 。对于无向图来说,如果 A[i][j]等于 1,那 A[j][i]也肯定等于 1。实际上,我们只需要存储一个就可以了。...【详细内容】
2023-04-13  日拱一卒程序猿  今日头条  Tags:算法   点击:(14)  评论:(0)  加入收藏
业内主要的软件规模估算方法:LOC估算方法、故事点估算法、FPA功能点估算方法、COSMIC功能点估算方法、快速功能点估算方法、IFPUG功能点估算方法和自动化功能点估算方法。1、...【详细内容】
2023-04-11  CoCode  今日头条  Tags:软件   点击:(24)  评论:(0)  加入收藏
本文将分享淘宝个性化推荐场景中关于自适应和无监督的多场景建模的思考及实践。这项工作发表在2022年CIKM上(论文题目: Scenario-Adaptive and Self-Supervised Model for Mu...【详细内容】
2023-04-11  DataFunTalk  微信公众号  Tags:淘宝   点击:(23)  评论:(0)  加入收藏
时间序列分析包括检查随着时间推移收集的数据点,目的是确定可以为未来预测提供信息的模式和趋势。我们已经介绍过很多个时间序列分析库了,但是随着时间推移,新的库和更新也在不...【详细内容】
2023-04-10  DeepHub IMBA  微信公众号  Tags:时间序列   点击:(24)  评论:(0)  加入收藏
发展史1976年以前,加密世界主要采用对称加密算法(Symmetric-key algorithm)。对称加密存在让人头疼的问题:甲乙双方通信,甲方必须把加密规则告诉乙方,否则无法解密。保存和传递密...【详细内容】
2023-04-07  闪念基因  今日头条  Tags:   点击:(35)  评论:(0)  加入收藏
一、定义二叉堆本质上是一种完全二叉树,它分为两个类型。1. 大顶堆(最大堆)最大堆的任何一个父节点的值,都大于或等于它左、右孩子节点的值2. 小顶堆(最小堆)最小堆的任何一个...【详细内容】
2023-04-05  日拱一卒程序猿  今日头条  Tags:二叉堆   点击:(22)  评论:(0)  加入收藏
站内最新
站内热门
站内头条