🐮博主syst1m 带你 acquire knowledge!

✨博客首页——syst1m的博客💘

🔞 《网安小白成长之路(我要变成大佬😎!!)》真实小白学习历程,手把手带你一起从入门到入狱🚭

😘《CTF专栏》超级详细的解析,宝宝级教学让你从蹒跚学步到健步如飞🙈

😎《大数据专栏》大数据从0到秃头👽,从分析到决策,无所不能❕

🔥 《python面向对象(人狗大战)》突破百万的阅读量,上过各种各样的官方大型专栏,python面向对象必学之一!🐽
😋《性格荷官在线送书活动》不定期会存在有送书活动哦,大部分肯定是网安内容的书籍啦宝子们!💘

🎉希望本文能够给读者带来帮助,更好地理解这个问题或解决你的困惑🐾

前言

​ 最近有很多朋友都开始转行大数据竞赛了,大部分都是刚刚入门之类的,我自己是有一些基础的,玩过一段时间,最近很多好友学弟,都问过一个问题就是有没有什么类似于远程控制,或者图形化控制HDFS的插件或者软件啥的,我就想起来有一个插件叫Big Data Tools,之前我学的时候几乎一直都是使用这个插件,巨巨巨好用,就想到出一片文章来为大家讲解一下这个工具,让大家又减少弯路,那就废话不多说了,接下来就是正文了

正文

简介

​ 在Jetbrains的产品软件中,均可以安装插件,其中:Big Data Tools 插件可以帮助我们方便操作HDSF,比如:

IntelliJ IDEA(Java IDE),PyCharm (python IDE),DataGrip (SQL IDE)均可支持Bigdata Tool插件的安装

安装

​ 以下我使用的是pycharm(应该也是大家拥有率最高的),重点!!!必须要使用专业版,社区版没有这个插件,打开pycharm的设置settings,然后找到plugins,搜索Big Data Tools

在这里插入图片描述

点击install安装该插件

配置windows

​ 这个插件使用需要对windows系统做一些配置,才能更好的配合插件使用,解压Hadoop安装包到windows系统,如解压到:E:\hadoop-3.1.4,设置KaTeX parse error: Undefined control sequence: \hadoop at position 21: …P_HOME环境变量指向:E:\̲h̲a̲d̲o̲o̲p̲-3.1.4,将hadoop.…HADOOP_HOME/bin中

在这里插入图片描述

环境变量配置好后,需要重启电脑

配置插件

​ 打开IDE,打开插件Big Data Tools

在这里插入图片描述

输入参数,URL ip加端口,name输入启动HDFS的用户名,最后点击Test connection连接测试,显示绿色的✔,就说明能连接,点击ok连接

在这里插入图片描述

还有一种方法就是使用Configuration Folder模式连接,下面选择etc\hadoop这个文件夹

在这里插入图片描述

因为我们刚刚安装的hadoop里面的配置文件是没有任何配置的,所以我从linux下将linux下的hadoop/etc/hadoop下的配置文件全部打包过来

在这里插入图片描述

放入到windows这个目录下,将之前的所有文件删除,将linux打包过来的放进去

在这里插入图片描述

再进行连接

在这里插入图片描述

完事

总结

​ 在HDFS中结合插件Big Data Tools的使用,对于我们管理HDFS也是变的非常方便了,对于初学者也是非常的友好,能更好的理解

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐