사이트 구축/최적화 활용 팁

PHP에서 MySQL에 Bulk Insert 방식으로 대량 INSERT 처리하는 방법입니다.

여러 행을 반복문을 돌면서 MySQL에 Connection을 하여 실행을 하게 되면 성능 저하가 발생하게 됩니다.

일반적으로는 INSERT ~ SELECT 방식으로 진행을 합니다.

위 방식으로 처리를 하지 못하는 경우 PHP내에서 데이터를 구성하여 대량으로 행을 INSERT 해야 할 경우에는 BULK INSERT 방식을 사용하면 됩니다.

예시 : INSERT INTO table ( seq, col ) VALUES ( '1', '가' ) , ( '2', '나' ) , ( '3', '다' )

PHP 프로그램에서 BULK INSERT 문장을 만드는 방법

$arrayList = array('가','나','다');

// 배열 데이터을 반복문읠 이용하여 INSERT 문장을 만든다.
for ( $i = 0; $i < count($arrayList); $i++ )
{
  // 일련번호를 생성한다.
  $seq = $i+1;

  // Bulk Insert를 위한 서브 SQL을 만든다.
  $sub_sql_array[] =	"
  (
    '{$seq}',
    '{$arrayList[$i]}'
  )
  ";
}
// End 배열 데이터을 반복문읠 이용하여 INSERT 문장을 만든다.

// Bulk Insert 방식으로 일괄로 데이터를 저장한다.
$sql = "
INSERT INTO table (
  seq,
  col )
VALUES
";

$sub_sql = implode(', ', $sub_sql_array);
$sql .= $sub_sql;

echo $sql;
// result
// INSERT INTO table ( seq, col ) VALUES ( '1', '가' ) , ( '2', '나' ) , ( '3', '다' )

2019/12/06 - [유용한 활용팁] - PHP 마지막 문자 콤마(,) 제거 방법 - substr, rtrim, trim, implode

2019/12/08 - [유용한 활용팁] - PHP 문자 암호화하여 Form 전송하기 - mcrypt_encrypt, mcrypt_decrypt, bin2hex, pack

2019/11/17 - [유용한 활용팁] - PHP 2차원 Array에서 unset후 배열 index 재 정렬 방법

2019/10/22 - [유용한 활용팁] - PHP Form 데이터 POST, GET 전송시 역슬래쉬(\) 자동 추가 현상 해결 방안 - get_magic_quotes_gpc(), stripslashes

2019/10/14 - [유용한 활용팁] - MySQL 날짜 타입 칼럼 데이터(Date Type column Data) 조회(검색) 방법 - STR_TO_DATE, DATE_SUB 활용

대용량 데이터를 테이블에 INSERT를 할 때는 CSV, 엑셀 파일 등을 만들어 Import를 합니다.
이외에도 직접 INSERT 문장을 만들어 MySQL에 처리를 할 수도 있습니다.

엑셀을 이용하여 대량 INSERT 문장을 만들어서 직접 MySQL에서 처리하는 방법입니다.

엑셀에 필요한 칼럼을 각 셀로 만들고 수식을 이용하여 각 셀의 데이터를 연결합니다.

="insert into table ("&$A$1&", "&$B$1&") values ('"&A2&"','"&B2&"');"

결과값 : insert into table (A_col, B_col) values ('A column data 1','B column data 1');

필요한 만큼 엑셀의 셀에 데이터를 생성 후 INSERT 문장을 복사하여 MySQL에서 실행을 하면 됩니다.

첨부 파일을 이용하여 필요에 맞게 수정하시면 바로 사용하실 수 있습니다.

2019/10/14 - [유용한 활용팁] - MySQL 날짜 타입 칼럼 데이터(Date Type column Data) 조회(검색) 방법 - STR_TO_DATE, DATE_SUB 활용

데이터가 길거나 JSON 형태의 데이터를 FORM으로 전송을 하면

의도하지 않게 데이터가 왜곡 되는 경우가 있습니다.

이 경우 URL ENCODING을 이용하여 처리를 하기도 합니다.

하지만 이렇게 하더라도 데이터 처리간에 데이터 왜곡 현상이 종종 발생을 합니다.

특히나 Value가 JSON일 때는 더욱 심합니다.

이 경우 해당 데이터를 암호화 처리를 하여 전송 후 최종 단계에서 복호화를 하게 되면 쉽게 해결 됩니다.

물론, 최초 데이터를 DB에 저장 후 최종 단계에서 DB에서 호출하는 것도 하나의 방법입니다.

아래 암호화 소스를 이용하여 필요에 맞게 응용을 하시면 됩니다.

function getstringEncryptsting($sStr, $sKey=CIPHER_KEY_HAN288, $sIV=IV2_HAN288){
  $sCipher = mcrypt_encrypt(MCRYPT_RIJNDAEL_128, $sKey, $sStr, MCRYPT_MODE_CFB, $sIV);
  return bin2hex($sCipher);
}

function getstringDecryptstring($sStr, $sKey=CIPHER_KEY_HAN288, $sIV=IV2_HAN288){
  $sDecipher = mcrypt_decrypt(MCRYPT_RIJNDAEL_128, $sKey, pack('H*', $sStr), MCRYPT_MODE_CFB, $sIV);
  return $sDecipher;
}


$str = "123456";

// 문자 암호화
$enc_str = getstringEncryptsting($str);

echo $enc_str;
// result
// 2aefbcc70d4a


// 문자 복호화
$dec_str = getstringDecryptstring($enc_str);

echo $dec_str;
// result
// 123456

2019/12/06 - [유용한 활용팁] - PHP 마지막 문자 콤마(,) 제거 방법 - substr, rtrim, trim, implode

2019/11/17 - [유용한 활용팁] - PHP 2차원 Array에서 unset후 배열 index 재 정렬 방법

2019/10/22 - [유용한 활용팁] - PHP Form 데이터 POST, GET 전송시 역슬래쉬(\) 자동 추가 현상 해결 방안 - get_magic_quotes_gpc(), stripslashes

PHP에서 마지막에 있는 문자 콤마(,)를 제거(삭제)하는 방법입니다.

1. substr를 이용하는 방법

$str = substr($str, 0, -1);

$str = "1,2,3,4,";

$str = substr($str, 0, -1);

echo $str;
// result
// 1,2,3,4

2. rtrim을 이용하는 방법

$str = rtrim($str, ',');

$str = "1,2,3,4,,,,";

$str = rtrim($str, ',');

echo $str;
// result
// 1,2,3,4


$str = "1,2,3,4,";

$str = rtrim($str, ',');

echo $str;
// result
// 1,2,3,4

rtrim 대신 trim 함수를 사용해도 동일한 결과가 나옵니다.

3. implode를 이용하는 방법

- 위의 1번과 2번을 이용하면 거의 해결이 됩니다.
  하지만 간혹 원하는 대로 콤마(,)가 삭제가 안되는 경우가 있습니다.
  이 때 사용하는 방법입니다.

$arr = array();
for ( $i = 0; $i <= 4; $i++ )
{
  $arr[] = $i;
}
// var_dump($arr);
// array(5) { [0]=> string(2) "0," [1]=> string(2) "1," [2]=> string(2) "2," [3]=> string(2) "3," [4]=> string(2) "4," }


$str = implode( ', ', $arr );

echo $str;
// result
// 0, 1, 2, 3, 4

2019/11/17 - [유용한 활용팁] - PHP 2차원 Array에서 unset후 배열 index 재 정렬 방법

2019/10/22 - [유용한 활용팁] - PHP Form 데이터 POST, GET 전송시 역슬래쉬(\) 자동 추가 현상 해결 방안 - get_magic_quotes_gpc(), stripslashes

파이썬(Python) 웹(Web) 연동을 위한 CGI설정 방법입니다.

아파치 설정 파일 수정

1. 아파치 설정 파일에서 아래와 같이 설정을 합니다.
2. 아파치 설정을 반영하기 위해 재기동을 합니다.

<Directory [아파치 Document Root]>
  AddHander cgi-script .py
  Options ExecCGI
</Directory>

파이썬(Python) 웹(Web) 연동을 위한 CGI설정이 완료가 되었으면 웹 연동이 되는지 파일을 만들어 실행을 해 봅니다.

파이썬(Python) 실행 경로 확인

type python3을 실행하여 실행 경로를 확인합니다.

파이썬(Python) 예제 파일 만들기

파일의 첫 구문은 #![파이썬 실행 파일 경로]를 넣어야 합니다.

#!/usr/bin/python3
print("Hello world")

파이썬(Python) 실행 권한 부여하기

1. chmod를 통해서 실행 권한을 부여합니다.
2. a+x 는 모든 그룹에 실행 권한을 주는 것입니다.

chmod a+x [파일명].py

현재까지는 웹에서는 실행이 되지 않습니다.
단지, 리눅스 서버에서 해당 파일을 실행했을 때 실행이 되어 결과값을 볼 수 있을 뿐입니다.

웹에서 파이썬(Python) 실행하여 출력하게 하기

1. content-type과 charset 설정을 하고 줄 바꿈 처리를 합니다.
2. 브라우저에서 해석을 하여 정상적으로 출력이 됩니다.

#!/usr/bin/python3
print("content-type:text/html; charset=UTF-8\n")
print("Hello world")

2019/11/08 - [유용한 활용팁] - 파이썬(Python) 웹(Apache) 연동 방법 및 request module 설치 시 There was a problem confirming the ssl certificate Error(에러) 해결 방법 - 까페24(Cafe24) 기준

IE(Internet Explore) 11에서 background-image 버튼 바꾸는(Change) 방법입니다.

jquery로 .css로 접근시 크롬과 엣지에서 이상없이 버튼 이미지가 바뀌는데,

IE11에서는 바뀌지 않는 에러에 대한 처리 방법입니다.

1. off 이미지와 on 이미지를 CSS(스타일 시트)에 클래스(Class)를 만듭니다.

2. 백그라운드 이미지를 가지고 있는 태그에 대해서 hasClass를 이용하여 on class가 있는지 점검을 합니다.

3. on class가 있다면 on class를 removeClass로 삭제하고 없다면 addClass로 추가를 합니다.

아래와 같이 하면 엣지와 크롬에서는 이상이 없지만 IE11에서는 변경이 되지 않습니다.

$("span").click(function() {
  $(this).css("background-image","url('check_on.png'");
});

addClass, removeClass, hasClass 를 이용한 방법입니다.
이렇게 처리를 하면 모든 브라우저에서 이상없이 변경 처리가 됩니다.

$("span").click(function() {

  if ( $(this).hasClass('on') ) {
    $(this).removeClass('on');
  }
  else {
    $(this).addClass('on');
  }

});

위 방법외에 toggleClass를 이용하여 바로 on/off도 가능합니다.

$("span").click(function() {

  $(this).toggleClass('on');

});

addClass, removeClass, hasClass 로 만든 전체 소스 코드입니다.

소스 코드를 복사해서 메모장에 넣고 html 확장자로 저장하고 브라우저에서 여시면 바로 확인 가능합니다.

<!DOCTYPE html>
<html lang="ko">
<head>
  <meta charset="UTF-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <meta http-equiv="X-UA-Compatible" content="ie=edge">
  <title>Document</title>
  <style>
    span {
        display: inline-block;
        height: 40px;
        padding-left: 50px;
        background-image: url("https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=http%3A%2F%2Fcfile7.uf.tistory.com%2Fimage%2F99B806475DD766A230E5B3");
        background-position: 0px 4px;
        background-repeat: no-repeat;
        font-size: 22px;
        color: #470069;
        line-height: 40px;
        font-weight: 500;
        background-size: 30px 30px;
    	cursor: pointer;
    }

    span.on {
        background-image: url("https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=http%3A%2F%2Fcfile5.uf.tistory.com%2Fimage%2F99FAD43F5DD7669C0470F6");
    }
  </style>
</head>
<body>

<span></span>

<script src='https://code.jquery.com/jquery-3.4.1.min.js'></script>
<script>
$("span").click(function() {

  if ( $(this).hasClass('on') ) {
    $(this).removeClass('on');
  }
  else {
    $(this).addClass('on');
  }

});
</script>

</body>
</html>

toggleClass 로 만든 전체 소스 코드입니다.

<!DOCTYPE html>
<html lang="ko">
<head>
  <meta charset="UTF-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <meta http-equiv="X-UA-Compatible" content="ie=edge">
  <title>Document</title>
  <style>
    span {
        display: inline-block;
        height: 40px;
        padding-left: 50px;
        background-image: url("https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=http%3A%2F%2Fcfile7.uf.tistory.com%2Fimage%2F99B806475DD766A230E5B3");
        background-position: 0px 4px;
        background-repeat: no-repeat;
        font-size: 22px;
        color: #470069;
        line-height: 40px;
        font-weight: 500;
        background-size: 30px 30px;
    	cursor: pointer;
    }

    span.on {
        background-image: url("https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=http%3A%2F%2Fcfile5.uf.tistory.com%2Fimage%2F99FAD43F5DD7669C0470F6");
    }
  </style>
</head>
<body>

<span></span>

<script src='https://code.jquery.com/jquery-3.4.1.min.js'></script>
<script>
  $("span").click(function() {

    $(this).toggleClass('on');

  });
</script>

</body>
</html>

2019/10/23 - [유용한 활용팁] - JavaScript Input 날짜 체크, Date 만들기 - isDate, getDate, calcDate

2019/10/29 - [유용한 활용팁] - JavaScript Input 생년월일 유효성 검사하기 - isBirthDay, 2월 29일 윤년 계산

2019/11/07 - [유용한 활용팁] - JavaScript(자바스크립트), Jquery를 이용하여 이미지 바뀌게(토글, toggle) 하는 방법 - replace 활용

2019/11/15 - [유용한 활용팁] - JavaScript 구분자로 배열 만들기, 타입 변경하기(String, Number)

서브라임텍스트3(Sublime Text 3) SFTP/FTP 설치하고 환경 설정하기입니다.

서브라임텍스트3(Sublime Text 3) SFTP/FTP 설치

1. 메뉴 → Tools → Command Palette... 를 선택합니다.
2. Package Control: Install Package 를 선택합니다.
3. sftp 로 검색을 한 후 패키지를 선택하게 되면 설치가 됩니다.

서브라임텍스트3(Sublime Text 3) SFTP/FTP 셋팅

1. 메뉴 → Project → Add Folder to Project... 클릭하여 미리 만들어 놓은 폴더를 선택합니다.
2. 좌측 Project Folder가 생성되었으면 최상위 폴더에서 우 마우스를 클릭합니다.
3. SFTP/FTP → Map to Remote... 을 선택합니다.

서브라임텍스트3(Sublime Text 3) SFTP/FTP 환경설정

1. host, user, password, port, romote_path 를 설정합니다.
2. upload_on_save : 파일 저장 시 서버에 반영을 하는 옵션입니다.

주의사항

아톰(Atom)의 경우 SFTP/FTP 연결시 Romote로 먼저 연결 할 경우 서버에 있는 소스를 로컬에 먼저 저장을 시킨 후 로컬에서 저장 시 서버에 반영이 됩니다.
하지만 서브라임텍스트3(Sublime Text 3)는 서버 소스와 Sync 작업을 하지 않았을 경우 서버의 최신 소스를 로컬의 소스로 덮어쓰기를 하게 됩니다.
이점을 꼭 주의해서 작업을 하셔야 하겠습니다.

2019/11/21 - [유용한 활용팁] - 서브라임텍스트3 설치하기, 환경 설정하기

2019/11/20 - [유용한 활용팁] - 서브라임 에디터 EUC-KR 한글 인코딩, 탭 인덴트(들여쓰기) 설정 방법

서브라임텍스트3(Download - Sublime Text 3) 설치하기하고 환경 설정하기입니다.

서브라임텍스트3(Download - Sublime Text 3) 다운로드 및 설치

검색 사이트에서 서브라임텍스트3를 검색하고 맨 상단에 있는 사이트로 들어가서 다운로드를 받습니다.

서브라임텍스트3(Download - Sublime Text 3) 환경 설정하기

1. PACKAGE CONTROL 가져오기

import urllib.request,os,hashlib; h = '6f4c264a24d933ce70df5dedcf1dcaee' + 'ebe013ee18cced0ef93d5f746d80ef60'; pf = 'Package Control.sublime-package'; ipp = sublime.installed_packages_path(); urllib.request.install_opener( urllib.request.build_opener( urllib.request.ProxyHandler()) ); by = urllib.request.urlopen( 'http://packagecontrol.io/' + pf.replace(' ', '%20')).read(); dh = hashlib.sha256(by).hexdigest(); print('Error validating download (got %s instead of %s), please try manual install' % (dh, h)) if dh != h else open(os.path.join( ipp, pf), 'wb' ).write(by)

2. 메뉴 → View → Show Console menu

2019/11/20 - [유용한 활용팁] - 서브라임 에디터 EUC-KR 한글 인코딩, 탭 인덴트(들여쓰기) 설정 방법