Hadoop Wordcounter예제

하둡 2015. 8. 20. 13:55


하둡-wordcount,명령어 정리.pptx


'하둡' 카테고리의 다른 글

Hadoop 데이터흐름, 파일 리스팅,데이터쓰기  (0) 2015.08.20
Hadoop 분산처리모드  (0) 2015.08.20
Hadoop hdfs 개념과 url로 데이터 읽기  (0) 2015.08.20
Hadoop 설치  (0) 2015.08.20
sudo,su , su-  (0) 2014.06.05
블로그 이미지

왕왕왕왕

,


하둡-데이터흐름,파일리스팅,데이터쓰기.pptx


'하둡' 카테고리의 다른 글

Hadoop Wordcounter예제  (0) 2015.08.20
Hadoop 분산처리모드  (0) 2015.08.20
Hadoop hdfs 개념과 url로 데이터 읽기  (0) 2015.08.20
Hadoop 설치  (0) 2015.08.20
sudo,su , su-  (0) 2014.06.05
블로그 이미지

왕왕왕왕

,

Hadoop 분산처리모드

하둡 2015. 8. 20. 13:54


하둡-Distributed Mode.pptx


하둡-Distributed.pptx


'하둡' 카테고리의 다른 글

Hadoop Wordcounter예제  (0) 2015.08.20
Hadoop 데이터흐름, 파일 리스팅,데이터쓰기  (0) 2015.08.20
Hadoop hdfs 개념과 url로 데이터 읽기  (0) 2015.08.20
Hadoop 설치  (0) 2015.08.20
sudo,su , su-  (0) 2014.06.05
블로그 이미지

왕왕왕왕

,


하둡-hdfs개념과 URL로데이터읽기.pptx


'하둡' 카테고리의 다른 글

Hadoop 데이터흐름, 파일 리스팅,데이터쓰기  (0) 2015.08.20
Hadoop 분산처리모드  (0) 2015.08.20
Hadoop 설치  (0) 2015.08.20
sudo,su , su-  (0) 2014.06.05
rsync 리눅스 동기화  (0) 2014.06.05
블로그 이미지

왕왕왕왕

,

Hadoop 설치

하둡 2015. 8. 20. 11:51


하둡-설치법.pptx


'하둡' 카테고리의 다른 글

Hadoop 분산처리모드  (0) 2015.08.20
Hadoop hdfs 개념과 url로 데이터 읽기  (0) 2015.08.20
sudo,su , su-  (0) 2014.06.05
rsync 리눅스 동기화  (0) 2014.06.05
우분투 apt-get으로 자바설치 명령어  (0) 2013.11.21
블로그 이미지

왕왕왕왕

,

sudo,su , su-

하둡 2014. 6. 5. 18:20

root사용자와 일반사용자를 구분하는 간단한 방법은 프롬프트상에 '#'이면 root사용자,

'$​'이면 일반 사용자라고 보면 된다.

 

​리눅스에서 관리자 계정을 얻는 방법은 2가지가 있다.

  • sudo -s  곧바로 관리자 계정으로 들어가는 것(sudo = Super User DO 수퍼유저가 실행한다), 우분투의 비밀번호는 초기에 설정되지 않기 때문에 sudo -s 명령어로 들어갈 수 있다.

 

  

  • sudo passwd root​  관리자 계정을 바로 얻지 않고, 비밀번호 정하고 로그인 하는 방법이다.

  ​
 

 

 

sudo: 수퍼유저(root)의 권한으로 프로그램을 실행한다.

su: substitute user (사용자 아이디를 잠시 다른 아이디로 바꾼다)

 

 

su 와 su - 의 차이점

 

"su" 와 "su - root" 는 분명히 차이가 있다.

 

root 로 로그인을 변경한다는 것에는 동일하지만

 

"su - root" 대신 "su -" 만 사용해도 된다.

 

만약 su 를 통해서 root 로 로그인 한다고 가정하고..

 

그냥 su 만 사용할 경우에는 root 권한에 포함되어 있는 환경변수는 하나도 가져오지 않는다!! 즉 root 권한의 PATH나 기타 여러가지의 환경변수가 포함되지 않고 단지 로그인 계정만 바꾼다는 것이다!!.. 환경이 바뀌지 않는다는 걸 확인 할 수 있는 것은... su 명령만으로 로그인을 해 보면 일반 사용자가 지금 위치해 있는 디렉토리에 그대로 일것이다. 즉 환경 변수는 제외하고, 권한만 바꿔진 것이다.

 

그렇기때문에  su - 의 경우 환경변수까지 다 가져오게 되는데 위에서 했던 방법처럼 su - 하고 로그인 해 보면 기본 /root 디렉토리로 이동해 있을 것이다.. 환경변수를 가져온다는 말이다.

 

물론 다른 사용자로의 전환도 마찬가지  일반 유저가 test1으로 전환하고자 할 경우

su test1 를 하거나 su - test1을 사용

다른 것은... 환경 변수를 가져오냐 가져오지 않냐의 차이이다.

 


'하둡' 카테고리의 다른 글

Hadoop 분산처리모드  (0) 2015.08.20
Hadoop hdfs 개념과 url로 데이터 읽기  (0) 2015.08.20
Hadoop 설치  (0) 2015.08.20
rsync 리눅스 동기화  (0) 2014.06.05
우분투 apt-get으로 자바설치 명령어  (0) 2013.11.21
블로그 이미지

왕왕왕왕

,

rsync 리눅스 동기화

하둡 2014. 6. 5. 17:57

기본 사용 명령어

 

$rsync -avz /abc/def /xyz

 

/abc/def를 /xyz 디렉토리 하위에 복사하는것이다.

 

/xyz/def 하위에 def디렉토리가 복사된다

 

 

 

만약 /abc/def에서 삭제된 것을 /xyz/def에서도 삭제되도록 --delete 옵션을 추가한다.

$rsync -avz --delete /abc/def /xyz
 

rsync의 장점은 ssh로 다른 서버에 접속해서 로컬 컴퓨터로 동기화시킬 수 있다는 것입니다.

 

예를 들어 abc.com의 root 계정으로 접속한다면 다음과 같이 명령합니다.

 

rsync -avz --delete -e ssh root@abc.com:/abc/def /xyz
 

도메인 대신 IP를 적어도 되고, 같은 네트워크에 있다면 호스트네임을 적어도 됩니다.

 

 

 

리눅스 rsync


 

1. rsync, xinetd 설치

  - rpm -qa | grep rsync, rpm -qa | grep xinetd  설치 되어 있는지 확인

  - 없으면 yum install rsync, yum install xinetd


2. rsync 서버 설정

  - vi /etc/xinetd.d/rsync

  - disable 부분을 no 로 바꾼다.


3. rsync.conf 설정

  - vi /etc/rsyncd.conf

[bluemary]  <-- 사용할 rsync 서비스 이름

path = /home/bluemary  <-- 데이터 원본 경로

comment = bluemary       <-- zhapsxm

uid = nobody                  <-- 권한 사용자

gid = nobody                  <-- 권한 그룹

hosts allow = 192.168.1.22   <-- rsync 클라이언트 IP. 허용할 클라이언트 IP

max connections = 3           <-- 최대 연결 수

timeout = 300                      <-- timeout


4. 서비스 재시작

  - /etc/init.d/xinetd restart


5. 방화벽 확인

  ** rsync는 873 포트를 이용하므로, 873포트iptables에서 열어준다

  - /etc/sysconfig/iptables 에서 873포트 오픈 후 iptables restart


*****  클라이언트 설정 *****

1. rsync 서버 접속 여부 확인

  - telnet 서버IP 873      ex) telnet 192.168.1.2 873

  telnet을 이용하여 873 포트가 정상적으로 연결되는 확인


2. rsync 실행

  rsync -avz [서버ip]::[서비스명] 저장디렉토리

  rsync -avz 192.168.1.2::bluemary /home

'하둡' 카테고리의 다른 글

Hadoop 분산처리모드  (0) 2015.08.20
Hadoop hdfs 개념과 url로 데이터 읽기  (0) 2015.08.20
Hadoop 설치  (0) 2015.08.20
sudo,su , su-  (0) 2014.06.05
우분투 apt-get으로 자바설치 명령어  (0) 2013.11.21
블로그 이미지

왕왕왕왕

,

sudo apt-get install oracle-java7-installer

'하둡' 카테고리의 다른 글

Hadoop 분산처리모드  (0) 2015.08.20
Hadoop hdfs 개념과 url로 데이터 읽기  (0) 2015.08.20
Hadoop 설치  (0) 2015.08.20
sudo,su , su-  (0) 2014.06.05
rsync 리눅스 동기화  (0) 2014.06.05
블로그 이미지

왕왕왕왕

,