서울 북서부지역 리눅스 사용자 그룹

휴화산에 불을 붙여 마른 용암을 태운 연기를 마신다

글 전체보기

요즘 과제에, 과사무실 근로에 치이다보니 쉴 곳이라고는 별로 없는 제 학교 앞에서 의외의 장소를 발견했습니다. 이름하여 카페 일 보스코 'ㅅ' 주인 아주머니께서 직접 커피 로스터로(!) 생두를 로스팅해 내린 드립커피와 아메리카노, 그리고 케이크까지 먹...

글 전체보기

It's the installation guide for HP 6715b notebook users. This laptop is something special one which has not accepted to install Linux easily. So I wrote this log for someone who want to install Linux.

In my case, 6715b has MK-38 Turion single core processor. Stepping no. is 2, 2.2 GHz frequency. I also paste /proc/cpuinfo contents below.

jachin@mytury ~ $ cat /proc/cpuinfo
processor       : 0
vendor_id       : AuthenticAMD
cpu family      : 15
model           : 76
model name      : AMD Turion(tm) 64 Mobile Technology MK-38
stepping        : 2
cpu MHz         : 2200.000
cache size      : 512 KB
fpu             : yes
fpu_exception   : yes
cpuid level     : 1
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 syscall nx mmxext fxsr_opt rdtscp lm 3dnowext 3dnow up rep_good extd_apicid pni cx16 lahf_lm svm extapic cr8_legacy
bogomips        : 4389.06
TLB size        : 1024 4K pages
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management: ts fid vid ttp tm stc

As you could see, CPU's flags has pni. This flag is meaning "This Processor has SSSE3 Instruction Set." Yes. It has. But that was not stable for temporature aspects. Don't worry. After free radeon driver support X1250 natively, ACPI also has affected power management for CPU. You could use SSSE3 instruction stably and slowly.

I upgraded my computer specs in memory and hard disk. 6715b has two memory bank slots, bottom of machine and below keyboard. Two DDR2 PC5300U 2 GB Memories and WD Blue 2.5" 500 GB 5400 RPM HDD with 8 MB cache. (I recommend to use some HDD with 16 MB cache. 8 MB is not enough to use laughly.)

The most problem to install Linux on 6715b is 'ACPI'. It has trouble on booting process. ATI's video core rejected to be managed by linux distribution kernel's acpi module. If you want to install Linux without compile, I recommend to install OpenSUSE 11.1 with safe settings mode. That is able to install Linux for 14 hours. After installation, maybe you has doubt about your notebook's performance. It could be felt slower than using MS Windows Vista(C).

So you need to install Gentoo Linux on 6715b. It's more faster, good fancy, more utilized, and no-limitation of your computer's. Yes. It's really free!

After booting with Gentoo Linux minimal install CD or LiveUSB, etc. (Anything you could use live CDs without graphic interfaces.), if you meet the gentoo linux kernel compile interface, you must check follow modes. These modes are support for turion's and your laptop I/O's. Ah! Before compile anything, you must check your gcc's CFLAGS. In my case, I set CFLAGS="-O2 -pipe -march=k8 -msse3". Of course CXXFLAGS too.

General Setup ->
  [ ] remove sysfs features which may confuse old userspace tools (Don't set, It's for udev.)
Processor type and features ->
  [*] Symmetric multi-processing support
  [ ] GART IOMMU support (Don't set)
  [*] AMD IOMMU support
BUS Options (PCI etc.) ->
  [*] Interrupts on hypertransport devices
Networking Support ->
  <*>   Bluetooth subsystem support ->
    <*> Bluetooth device drivers ->
      <*> HCI USB driver
      <*> HCI BCM203x USB driver
  <*> Wireless ->
    <*> Improved wireless configuration API
Device Drivers ->
  <*> SCSI device support
    [*] Probe all LUNs on each SCSI device (for internal Flash memory reader)
  <*> Serial ATA (prod) and Parallel ATA (experimental) drivers ->
    [*] ATA ACPI Support
    [*] SATA Port Multiplier support
    <*> AHCI SATA Support
    <*> ATA SFF Support
      <*> ATI PATA support
...
Kernel Setting File

It's too much! I just attached my kernle's configuration file '.config'. You must check each settings. Cause I check most of TCP/IP rules and extension drivers for extended services. Important points are GART, radeon DRM, ALSA intel HD Driver (You must set ADI driver. It's not ATI IXP drivers!), X86 Platform Specific Device Drivers -&gt; WMI and HP WMI, I2O, I2C, Monitoring device STMicroeletronics LIS3LV02Dx three-axis digital accelerometer.

In fact Kernel 2.6.31 has perfect supports for 6715b. From video card driver to fingerprint scanner, you could use with your detailed settings.

Anyway, after compile kernel, don't forgot to emerge 'b43-fwcutter' and download firmware file from linuxwireless.org for wireless lan. *.fw files is needed on /lib/firmware/b43 directory.

After booting with your custom compiled kernel, you need to install X and KDE environment.

I also paste my emerge-info contents.

Portage 2.1.7.1 (default/linux/amd64/10.0/desktop, gcc-4.4.2, glibc-2.10.1-r0, 2.6.31-gentoo-r4-6715b x86_64)
=================================================================
System uname: Linux-2.6.31-gentoo-r4-6715b-x86_64-AMD_Turion-tm-_64_Mobile_Technology_MK-38-with-gentoo-2.0.1
Timestamp of tree: Thu, 29 Oct 2009 02:30:01 +0000
app-shells/bash:     4.0_p35
dev-java/java-config: 2.1.9-r1
dev-lang/python:     2.6.3, 3.1.1-r1
dev-util/cmake:      2.6.4-r3
sys-apps/baselayout: 2.0.1
sys-apps/openrc:     0.5.2-r1
sys-apps/sandbox:    2.2
sys-devel/autoconf:  2.13, 2.63-r1
sys-devel/automake:  1.8.5-r3, 1.9.6-r2, 1.10.2, 1.11
sys-devel/binutils:  2.18-r3, 2.19.1-r1
sys-devel/gcc-config: 1.4.1
sys-devel/libtool:   2.2.6a
virtual/os-headers:  2.6.30-r1
ACCEPT_KEYWORDS="amd64 ~amd64"
CBUILD="x86_64-pc-linux-gnu"
CFLAGS="-O2 -pipe -march=k8 -msse3"
CHOST="x86_64-pc-linux-gnu"
CONFIG_PROTECT="/etc /usr/share/X11/xkb /usr/share/config"
CONFIG_PROTECT_MASK="/etc/ca-certificates.conf /etc/env.d /etc/env.d/java/ /etc/fonts/fonts.conf /etc/gconf /etc/gentoo-release /etc/php/apache2-php5/ext-active/ /etc/php/cgi-php5/ext-active/ /etc/php/cli-php5/ext-active/ /etc/revdep-rebuild /etc/sandbox.d /etc/terminfo /etc/udev/rules.d"
CXXFLAGS="-O2 -pipe -march=k8 -msse3"
DISTDIR="/usr/portage/distfiles"
FEATURES="assume-digests distlocks fixpackages news parallel-fetch protect-owned sandbox sfperms strict unmerge-logs unmerge-orphans userfetch"
GENTOO_MIRRORS="http://ftp.daum.net/gentoo"
LANG="ko_KR.UTF-8"
LDFLAGS="-Wl,-O1"
LINGUAS="ko en"
PKGDIR="/usr/portage/packages"
PORTAGE_CONFIGROOT="/"
PORTAGE_RSYNC_OPTS="--recursive --links --safe-links --perms --times --compress --force --whole-file --delete --stats --timeout=180 --exclude=/distfiles --exclude=/local --exclude=/packages"
PORTAGE_TMPDIR="/var/tmp"
PORTDIR="/usr/portage"
SYNC="rsync://rsync.gentoo.org/gentoo-portage"
USE="3dnow 3dnowext X a52 aac accessibility acl acpi alsa amd64 apache2 apm avahi bash-completion berkdb blitz bluetooth branding bzip2 cairo cdr cjk cli consolekit cracklib crypt cscope cups dbus disk-partition djbfft dri dts dvd dvdr eds embedded emboss encode evo exif fam fftw firefox flac floppy fortran gd gdbm gif gmp gnome gnutls google-gadgets gphoto2 gpm gs gstreamer gtk hal howl-compat iconv ieee1394 imagemagick ipv6 isdnlog ithreads jbig jpeg jpeg2k kde kerberos laptop lcms ldap libffi libnotify libssh2 lzma lzo mad mdnsresponder-compat mikmod mmx mng modules mp3 mp4 mpeg mudflap multilib multislot multitarget mysql ncurses nls nptl nptlonly ntp ogg opengl openmp oss pam pcre pdf pdo perl perlsuid phonon php png policykit posix ppds pppd profile python python3 qt3support qt4 quicktime readline reflection rle rss samba schroedinger sdl semantic-desktop session spell spl sql sqlite sse sse2 ssl startup-notification svg sysfs syslog tcl tcpd theora threads thunar tiff tk truetype unicode usb vim-pager vim-syntax vim-with-x vorbis webkit x264 xcb xinerama xml xmlpatterns xorg xulrunner xv xvid zeroconf zip zlib" ALSA_CARDS="ali5451 als4000 atiixp atiixp-modem bt87x ca0106 cmipci emu10k1x ens1370 ens1371 es1938 es1968 fm801 hda-intel intel8x0 intel8x0m maestro3 trident usb-audio via82xx via82xx-modem ymfpci" ALSA_PCM_PLUGINS="adpcm alaw asym copy dmix dshare dsnoop empty extplug file hooks iec958 ioplug ladspa lfloat linear meter mmap_emul mulaw multi null plug rate route share shm softvol" APACHE2_MODULES="actions alias auth_basic authn_alias authn_anon authn_dbm authn_default authn_file authz_dbm authz_default authz_groupfile authz_host authz_owner authz_user autoindex cache dav dav_fs dav_lock deflate dir disk_cache env expires ext_filter file_cache filter headers include info log_config logio mem_cache mime mime_magic negotiation rewrite setenvif speling status unique_id userdir usertrack vhost_alias" ELIBC="glibc" INPUT_DEVICES="evdev keyboard mouse synaptics" KERNEL="linux" LCD_DEVICES="bayrad cfontz cfontz633 glk hd44780 lb216 lcdm001 mtxorb ncurses text" LINGUAS="ko en" USERLAND="GNU" VIDEO_CARDS="radeon radeonhd"
Unset:  CPPFLAGS, CTARGET, EMERGE_DEFAULT_OPTS, FFLAGS, INSTALL_MASK, LC_ALL, MAKEOPTS, PORTAGE_COMPRESS, PORTAGE_COMPRESS_FLAGS, PORTAGE_RSYNC_EXTRA_OPTS, PORTDIR_OVERLAY

For using avahi, you must set howl-compat and mdnsresponder-compat USE flags.
'djvu', free pdf encoder and decoder, is using qt3 library. So I don't recommend to use djvu for KDE 4, instead of using poppler. But ebuils has bugs for poppler-utils-0.12.1. To avoid compile error, you must set package.mask on /etc/portage directory.

=sys-devel/binutils-2.20
=app-text/poppler-utils-0.12.1
=dev-libs/poppler-0.12.1

And some packages has troubled to compile on one time. It's from the USE flags set. It's also need to be set on package.use files.

net-dns/avahi -gtk -qt4
media-libs/urt -gif
www-plugins/adobe-flash -32bit

...

Yes. That's all. (But not completely.) If I have the time, I also want  to explain rule of kernel drivers and libraries. But It couldn't. Anyway, I want this article to be good hints for using Gentoo Linux on HP 6715b.크리에이티브 커먼즈 라이센스이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다. -->

삶이 괴로워도 생일은 다가왔다. 생일이어서 즐거운 일은 없다. 그러면 괴로운 일도 없으면 좋을텐데.. 생일이 평일보다 더 괴롭고 힘들다. 나도 안 챙기는 생일을 뭐하러 자꾸 챙기겠다고 덤벼들어선 괴롭히는지 모르겠다. 그냥 내가 태어나지 않았다고 생각해줬으면...크리에이티브 커먼즈 라이센스이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다. -->

Hadoop World: NYC 2009에서 아마존 웹 서비스의 Deepak Singh가 Hadoop for Bioinformatics라는 재미있는 주제로 발표를 했다. 넥스알의 한재선 박사님도 이메일 아카이빙 솔루션인 Terapot에 대해서도 발표를 하셨군요.

1. 엄청난 데이터가 몰려들어와 있고, 몰려들고 있다.
직접 발표를 들은것이 아니라, 슬라이드만 보고 혼자 생각한것을 적어본다면, 1-30 페이지까지는 엄청나게 쏟아져나오는 데이터에 대해서 이야기 하고 있는것 같습니다. 이부분에 대해서는 저도 제작년 발표때 언급을 한것인데, 추가 된것이라면 NGS를 이용한 엄청난 데이터에 대해서 더 언급 되어있습니다.

5-7페이지: 공개된 많은 생물학 데이터(genebank, pdb 등등)들이 있다고 합니다.
9페이지: 월컴 트러스터의 전시홀에 전시된 휴먼 지놈을 프린트해 놓은 책
10페이지: SNP을 찾는 Affymetrix의 칩입니다. 참고로 23andMe는 illumina의 칩을 사용하죠.
11-12 페이지: NGS 기계로 차세대 시퀀싱 기계입니다.
13페이지: 컴플리트 지놈이나 패시픽 바이오사이언스 등의 회사에서 NGS를 이용해 시퀀싱을 하고 있죠.
14-20: 많은 데이터가 빠르게 생성되고 있다.
29페이지: 1.1페타의 스토리지 용량을 보여주고 있습니다. 정말 후덜덜한 용량이 아닐 수 없네요, 출처는 Bioteam의 사장인 Chris Dagdigian씨의 터미널을 캡처한 것 같은데,,, 지난번 온 마이클의 사장님 되겠습니다. ^^

2. 그렇다면 어떻게 해야할까?
30-37페이지까지의 슬라이드에서는 이러한 문제에 대해서 알고리즘, 컴퓨팅 파워, 데이터의 관리, 데이터의 공유, 경영상의 마음가짐, 확장성 등에 대해서 다시 한번 생각해봐야 한다고 말하고 있습니다. 여기서 정확히 operational mindset의 의미를 모르겠지만, 제가 생각하기에 실제 조직내에서 이러한 데이터의 증가에 따른 경영진(생물학만을 전공한 윗분)의 확실한 뒷받침이 필요하다 정도일것 같습니다.

3. 두개의 핵심 트렌드를 잡아라.
38-44페이지에서는 바로 아마존의 웹서비스와 하둡을 언급합니다.

4. 실제 예를 보여줍니다.
47페이지부터는 지놈상의 숏리드(짧은 서열 조각들)를 레퍼런스와 매핑하는 방법에 대해서 이야기하고 시간이 많이 소요되는 작업임을 이야기 하고 있습니다. 그래서 이것을 MapReduce를 이용해서 매핑하는 CloudBurst라는 프로그램에 대해서 이야기 합니다. CloudBurst는 이미 아마존에서 사용할 수 있습니다.

58페이지에서는 보타이(Bowtie:나비넥타이)라는 가장 널리 사용하는 align 프로그램에 대해서 이야기 합니다. 그 다음으로 SOAPsnp으로 이렇게 정렬(align)된 서열로 부터 SNP을 찾아내는 프로그램에 대해서 이야기 합니다. 마지막으로 crossbow라는 snp 분석 프로그램에 대해서도 언급하네요. 이 프로그램들은 CloudBurst와는 달리 MapReduce로 작성된 프로그램이 아닌 시리얼한 프로그램인데 이것을 MapReduce로 하는 방법에 대해서 이야기를 하고 있습니다.

5. 이것뿐이냐?
78페이지에서부터는 이전에 서열정렬 부분이 아닌, 1)드노보 어셈블링(아까 본 서열 정렬 프로그램은 레퍼런스가 있어서 레퍼런스에 맞추는 것이지만, 드노보 어셈블링은 레퍼런스 없이 지들끼리 정렬, 따라서 더 시간이 소요) 2) 머신런닝이나 통계적인 처리 부분 3)단백질의 구조 예측 등등 많은 생물정보학과 하둡의 결합 부분을 이야기 하고 있습니다.

마지막으로 아마존에서 고이 간직하고 있는 public data set에 생물학 관련 데이터들이 있고, 사용 가능한 상태라는 언급을 하고  있습니다.

전체적으로 제가 예전에 발표했던 거랑 맥락은 같으나 실제 예가 더 포함 되어 있네요,,, 지금 서열 정렬부분에 한해서 예를 들었는데, 저는 좀 다른 부분(SNP의 분석쪽)에 관해서 준비하고 있습니다. 그럼 조금만 기다려 주시면,,,

View more presentations from Deepak Singh.

오늘 뉴스 기사에 안중근 의사의 후손의 DNA를 확보했다는 기사를 봤다. 이는 향후 안중근 의사의 유골을 찾았을때 실제 안중근 의사가 맞는지 확인하기 위해서라고 한다.

잠깐 미국으로 건너가 보자. 토마스제퍼슨은 미국의 3대 대통령으로 그의 사생활은 좀 복잡하다. 그의 부인은 일찍 죽었고, 부인의 이복 동생인 흑인 노예 사이에 자식을 둔 것이다. 당시 제퍼슨은 이 사실에 대해서 별 반응이 없었고 그냥 제퍼슨에게 흑인 노예와의 자식이 있더라라는 소문만 무성했다고 한다. 그 후 제퍼슨의 후손이라고 주장하는 사람이 나타났고 이를 위해서 Y 염색체의 STR 마커를 이용해서 진짜 제퍼슨의 후예인지를 확인하는 작업을 진행하게 된다.

하지만 문제는 Y 염색체는 남자에게만 있다는 사실, 즉 제퍼슨의 후손이라고  주장하는 자(남자), 제퍼슨의 진짜 남자 후손이 필요한데, 아쉽게도 제퍼슨의 남자 후손은 대가 끊겨 없다는 것이다. 다행히 제퍼슨 사촌의 남자 후손이 있었고, 이를 통해 제퍼슨의 후손임이 밝혀졌다고 한다.


샐리 해밍스(제퍼슨의 노예 아내?)의 막내 아들(이스턴 해밍스)의 후손과 제퍼슨의 사촌인 필드 제퍼슨의 후손과 STR 마커가 일치하는걸 알 수 있다.
참고, 위키피디아- 제퍼슨의 DNA

그렇다면 나도 어떻게 될줄 모르니까? 남자 후손 하나,,,쯤은 남겨 두어야 하는건가??

아프리카로부터 시작된 인류는 아시아와 북아메리카를 잇는 베링육교를 통해 이주되었다고도 한다. 베링해협의 얕은 바다가 해수면이 낮아지면 이동이 가능했다고 한다. 그런데 특이한 것은 아시아, 유럽, 아메리카 인디언의 사이의 다양성보다 아프리카내 원주인의 다양성이 많다는 것이다.

아프리카 대륙을 떠난 인류가 다양하게 당양성을 보였지만, 아프리카에서 유럽으로 갈때 한번, 아시아에서 아메리카 대륙으로 갈때 한번 이렇게 두번에 걸쳐 유전적 다양성이 감소했다는 것이다. 즉, 두 번의 보틀넥에 걸려서 유전적인 다양성이 확 감소해버렸다는 것이다.

아프리카 대륙의 원주민들간은 얼마나 유전적으로 다양한지에 대한 글은 Expansive genetic diversity in Africa revealed 여기를 참고하시면 될 듯합니다.

시간이 되시는 분들은 여기에 관한 Dienekes의 블로그의 댓글을 읽어보시는것도 좋을 듯합니다.

Tamm E, Kivisild T, Reidla M, Metspalu M, Smith DG, et al. (2007) Beringian Standstill and Spread of Native American Founders. PLoS ONE 2(9): e829.

doi:10.1371/journal.pone.0000829Proceedings of the Royal Society B
Evidence that two main bottleneck events shaped modern human genetic diversity
W. Amos and J. I. Hoffman 베링육교를 지나서 아메리카 대륙으로,,,