在文件读取的时候,会遇到非法转义字符,导致文件按行读取失败.此时可以通过忽略转义字符来解决.本文记录了scala和python的方法.
背景
有50G的服务器日志,拆分为几千个txt文件,编码是utf8,使用scala和python按行处理:
scala
def main(args: Array[String]): Unit = {
for (line <- Source.fromFile("./txt1.log","UTF8").getLines()) {
if (line.contains("ABC")) {
//do something
}
}
}