随着测序通量持续攀升和测序成本直线下降，测序所产出的数据也出现了激增。这样的海量数据不仅为人们带来了前所未有的机遇，还在数据储存、数据传输和数据分析方面提出了新的挑战。以往研究者们需要建立计算机集群来储存和分析大数据集，同时运行几十台甚至几百台计算机。然而许多人都没有这样的条件，因此越来越多的研究者们选择通过“云计算”来解决问题。尽管你可能对它还不熟悉，但云 …
bio-linux
Linux下的标准输入、输出、重定向、管道在Linux系统中，有4个特殊的符号，<, ‘>’, ‘|’, ‘-‘，在我们处理输入和输出时存在重要但具有迷惑性的作用。默认Linux的命令的结果都是输出到标准输出，错误信息 (比如命令未找到或文件格式识别错误等) 输出到标准错误，而标准输出和标准错误默认都会显示到屏幕上。>表示重定向标准输出，& …
基本概念块设备（blockdevice）--- 是一种具有一定结构的随机存取设备，对这种设备的读写是按块进行的，他使用缓冲区来存放暂时的数据，待条件成熟后，从缓存一次性写入设备或者从设备一次性读到缓冲区。字符设备（Character device）---是一个顺序的数据流设备，对这种设备的读写是按字符进行的，而且这些字符是连续地形成一个数据流。他不具备缓冲区 …
1、Stream 与 Channelstream 不会自动缓冲数据，channel 会利用系统提供的发送缓冲区、接收缓冲区（更为底层）stream 仅支持阻塞 API，channel 同时支持阻塞、非阻塞 API，网络 channel 可配合 selector 实现多路复用二者均为全双工，即读写可以同时进行虽然 Stream 是单向流动的，但是它也是全双工的 …
关于IO会涉及到阻塞、非阻塞、多路复用、同步、异步、BIO、NIO、AIO等几个知识点。知识点虽然不难但平常经常容易搞混，特此Mark下，与君共勉。1 阻塞跟非阻塞1.1 阻塞阻塞IO情况下，当用户调用read后，用户线程会被阻塞，等内核数据准备好并且数据从内核缓冲区拷贝到用户态缓存区后read才会返回。可以看到是阻塞的两个部分。CPU把数据从磁盘读到内核缓 …