您当前的位置:首页 > 互联网百科 > 大数据

HadoopHDFS操作命令总结

时间:2019-11-21 11:19:27  来源:  作者:

好程序员大数据教程分享HadoopHDFS操作命令总结

 

  1.列出根目录下所有的目录或文件

  hadoopfs-ls/

  2.列出/logs目录下的所有目录和文件

  hadoopfs-ls/logs

  3.列出/user目录及其子目录下的所有文件(谨慎使用)

  hadoopfs-ls-R/user

  4.创建/soft目录

  hadoopfs-mkdir/soft

  5.创建多级目录

  hadoopfs-mkdir-p/Apps/windows/2017/01/01

  6.将本地的wordcount.jar文件上传到/wordcount目录下

  hadoopfs-putwordcount.jar/wordcount

  7.将/stu/students.txt文件拷贝到本地

  hadoopfs-copyToLocal/stu/students.txt

  8.将word.txt文件拷贝到/wordcount/input/目录

  hadoopfs-copyFromLocalword.txt/wordcount/input

  9.将word.txt文件从本地移动到/wordcount/input/目录下

  hadoopfs-moveFromLocalword.txt/wordcount/input/

  10.将/stu/students.txt拷贝一份为/stu/students.txt.bak

  hadoopfs-cp/stu/students.txt/stu/students.txt.bak

  11.将/flume/tailout/目录下的子目录或文件都拷贝到/logs目录(如果此目录不存在会创建)下

  hadoopfs-cp/flume/tailout//logs

  12.将/word.txt文件重命名为/words.txt

  hadoopfs-mv/word.txt/words.txt

  13.将/words.txt文件移动到/wordcount/input/目录下

  hadoopfs-mv/words.txt/wordcount/input/

  14.将/ws目录以及子目录和文件都删除(谨慎使用)

  hadoopfs-rm-r/ws

  15.将/wordcount/output2/目录下的a.txt文件删除

  hadoopfs-rm/wordcount/output2/a.txt

  16.将/wordcount/input/目录下面的所有文件都删除

  hadoopfs-rm/wordcount/input/*

  17.查看HDFS集群的磁盘空间使用情况

  hadoopfs-df-h

  18.查看/word.txt文件的内容

  hadoopfs-cat/word.txt

  19.将name.txt文件中的内容添加到/wordcount/input/words.txt文件中

  hadoopfs-appendToFilename.txt/wordcount/words.txt

  20.动态查看/wordcount/input/words.txt文件的内容

  hadoopfs-tail-f/wordcount/words.txt

  21.统计/flume目录总大小

  hadoopfs-du-s-h/flume

  22.分别统计/flume目录下各个子目录(或文件)大小

  hadoopfs-du-s-h/flume/*



Tags:HadoopHDFS   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
  1.列出根目录下所有的目录或文件  hadoopfs-ls/  2.列出/logs目录下的所有目录和文件  hadoopfs-ls/logs  3.列出/user目录及其子目录下的所有文件(谨慎使用)...【详细内容】
2019-11-21  Tags: HadoopHDFS  点击:(149)  评论:(0)  加入收藏
▌简易百科推荐
前言什么是数据脱敏数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护常用脱敏规则替换、重排、加密、截断、掩码良好的数据脱敏实施1、尽...【详细内容】
2021-12-28  linyb极客之路    Tags:数据脱敏   点击:(4)  评论:(0)  加入收藏
张欣安科瑞电气股份有限公司 上海嘉定 201801 摘要:随着电力行业各系统接入,海量数据涌现,如何利用电网信息化中大量数据,对客户需求进行判断分析,服务于营销链条,提升企业市场竞...【详细内容】
2021-12-14  安科瑞张欣    Tags:大数据   点击:(10)  评论:(0)  加入收藏
1、什么是数据分析结合分析工具,运用数据分析思维,分析庞杂数据信息,为业务赋能。 2、数据分析师工作的核心流程:(1)界定问题:明确具体问题是什么;●what 发生了什么(是什么)●why 为...【详细内容】
2021-12-01  逆风北极光    Tags:大数据   点击:(26)  评论:(0)  加入收藏
在实际工作中,我们经常需要整理各个业务部门发来的数据。不仅分散,而且数据量大、格式多。单是从不同地方汇总整理这些原始数据就花了大量的时间,更不用说还要把有效的数据收集...【详细内容】
2021-11-30  百数    Tags:数据   点击:(21)  评论:(0)  加入收藏
数据作为新的生产要素,其蕴含的价值日益凸显,而安全问题却愈发突出。密码技术,是实现数据安全最经济、最有效、最可靠的手段,对数据进行加密,并结合有效的密钥保护手段,可在开放环...【详细内容】
2021-11-26  炼石网络    Tags:数据存储   点击:(17)  评论:(0)  加入收藏
导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务。今天将为大家分享...【详细内容】
2021-11-26  DataFunTalk    Tags:大数据   点击:(15)  评论:(0)  加入收藏
导读:数据挖掘是一种发现知识的手段。数据挖掘要求数据分析师通过合理的方法,从数据中获取与挖掘项目相关的知识。作者:赵仁乾 田建中 叶本华 常国珍来源:华章科技数据挖掘是一...【详细内容】
2021-11-23  华章科技  今日头条  Tags:数据挖掘   点击:(20)  评论:(0)  加入收藏
今天再给大家分享一个不错的可视化大屏分析平台模板DataColour。 data-colour 可视化分析平台采用前后端分离模式,后端架构设计采用微服务架构模式。 前端技术:Angularjs、Jq...【详细内容】
2021-11-04  web前端进阶    Tags:DashboardClient   点击:(40)  评论:(0)  加入收藏
在Kubernetes已经成了事实上的容器编排标准之下,微服务的部署变得非常容易。但随着微服务规模的扩大,服务治理带来的挑战也会越来越大。在这样的背景下出现了服务可观测性(obs...【详细内容】
2021-11-02  大数据推荐杂谈    Tags:Prometheus   点击:(40)  评论:(0)  加入收藏
同一产品对老客户的要价竟然比新客户要高?这是当下“大数据杀熟”的直接结果。近年来,随着平台经济的蓬勃发展,大数据在为用户服务之外,也引发了多种不合理现象。为了有效遏制“...【详细内容】
2021-10-29    海外网   Tags:大数据   点击:(31)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条