我花了三天写了手机补帧神器

自从买了最新的iPad以后,我一直考虑移动办公的最大可能性。

目前可以实现远程桌面的方式访问Macbook,体验过TeamViewer,VNC Viewer,还有Google远程桌面。个人觉得Google的远程桌面做的最好。除了VNC Viewer走的VNC协议,其他两个都是通过录屏和TCP长连接实现的远程桌面的。Google远程桌面在触屏方面做的真的很好,但是不确定在国内是否可用。

不过因为我最近一直都在做短视频自媒体,并且对画质还有帧率要求非常高。在iPad上做视频剪辑非常方便,有个神器叫剪影,字节跳动公司开发的,免费使用。

但是这个App有两个我需求的痛点没有解决:

  1. 视频补帧问题。很多素材都是24 FPS,25 FPS或者 30 FPS,但是我希望能补帧到60FPS。自从入了60帧的坑,回头再也无法适应24帧的电影了。目前补帧的方法主要是光流法(optical flow),PC上专业的视频软件FCPX 或者 PR 安装一个叫 Twixtor的插件,就可以实现这个功能。但是这就太复杂了,我只想躺在床上用iPad 剪剪视频,然后补补帧,难道还要发到电脑上处理吗?
  2. 视频压缩问题。通俗来说,所有视频分享平台都有自己的二次压缩的标准,毕竟如果不对你视频进行二次压缩,那么服务器空间远远不够。这也是为什么你的视频做成4k,如果不压缩上传到微信公众号或者抖音,会变成渣渣像素。至于他们二次压缩的标准是什么,有的平台会公开,譬如B站,Youtube,有的不会公开。公开的话就非常好办,按照他们压缩标准来就行了,譬如b站的临界线就是视频的6000k 比特率,而抖音是不公开,需要自己摸索。我也是摸索好久。但是问题是,所有手机上的视频剪切App都不支持视频压缩,要么就是改比特率,但是不支持H264编码啊!众所周知,转码H264格式虽然慢但是效果真的好,目前我测试的视频,体积压缩到三分之一,视觉效果一点都不逊色!而你的视频越小,质量越好,就会小可能触发二次压缩,另外和你的账号本身也会有一定关系,这个就不多少了。

鉴于这两个痛点,我首先是搜索一下有没现有的App能支持其中任何一个痛点的,发现并没有。

其次我在思考解决方案,同时需要着手学习iOS App开发的知识。由于涉及到视频编码的问题,还是首要考虑原生开发。

在此之前我一直有想过学习Objective-c,虽然很多人说语言是相通的,尽管我写过很多语言Java,Python,Javascript,Golang,C,但是我依然还是习惯不了OC的语法,简直有点太难受??銮乙蛭枪ぷ骱笤芰饲怕虻腗ac,以前用黑苹果根本坚持不下去学OC,不然自己开发一个App自己用也是很酷的事情嘛。

直到2020的今天,我发现现在Swift 已经即将要替代这个丑陋的OC语言了,在海外社区iOS的开发者都是在用Swift5,我感觉我又可以入坑了。

在对比了SwiftUI 和 UIKit 这两个框架后,我打算入坑SwiftUI,目前苹果官网有非常良好的教程,上手写简陋的UI问题不大。

最后到了业务问题部分,怎么解决视频补帧和压缩部分。当然做过视频的同学当然都知道FFMpeg,所以我直接移植这个框架。但是之前在交叉编译的时候,老是蹦这个错

ld: unknown option: -target

虽然我重装了LLVM,brew reinstall llvm,依然还是不行。

xcode信息
报错信息
原因追踪

直到我反复检查环境,可能还是因为Python 3的环境问题。然后光速搭建重新搭建了环境。

经过三天不眠不休的编程和学习,我终于完成了这个粗糙的App,虽然丑吧,但是功能还是都有的。

运行截图如下:

App 截图

其实原理很简单,就是先加速视频,然后通过光流法让视频慢下来,这里可以看到针对原视频不同的FPS,应该选择不同的速率,然后点击Slow Motion的话就是补帧+压缩了。最后面为什么会有Add origin sound呢?因为光流法补帧后,会对音频音调产生一定影响,通过这个按钮可以直接把原视频的音频替换掉,解决掉这个问题。

当然,不想补帧的话,直接调节bit rate,直接压缩Compress就可以了。

至此,我可以好好的躺在床上剪视频,输出我想要的帧率和大小,再也不用担心视频平台对我的视频进行二次压缩了。舒服??


?著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,172评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,346评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事?!?“怎么了?”我有些...
    开封第一讲书人阅读 159,788评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,299评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,409评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,467评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,476评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,262评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,699评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,994评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,167评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,827评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,499评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,149评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,387评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,028评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,055评论 2 352