王小新 编译自 Insight Data Blog
量子位 出品 | 公众号 QbitAI
写个网页能有多麻烦？在大多数公司里，这项工作分为三步：
1. 产品经理完成用户调研任务后，列出一系列技术要求；
2. 设计师根据这些要求来设计低保真原型，逐渐修改得到高保真原型和UI设计图；
3. 工程师将这些设计图实现为代码，最终变成用户使用的产品。
这么多环节，任何地方出一点问题，都会拉长开发周期。因此，不少公司，比如Airbnb已经开始用机器学习来提高这个过程的效率。
△ Airbnb内部的AI工具，从图纸到代码一步到位
看起来很美好，但Airbnb还没公开该模型中端到端训练的细节，以及手工设计的图像特征对该模型的贡献度。这是该公司特有的闭源解决方案专利，可能不会进行公开。
好在，一个叫Ashwin Kumar的程序员创建了一个开源版本，让开发者/设计师的工作变得更简单。
以下内容翻译自他的博客：
理想上，这个模型可以根据网站设计的简单手绘原型，很快地生成一个可用的HTML网站：
△ SketchCode模型利用手绘线框图来生成HTML网站
事实上，上面例子就是利用训练好的模型在测试集上生成的一个实际网站，代码请访问：。
从图像标注中获取灵感目前要解决的问题属于一种更广泛的任务，叫做程序综合（program synthesis），即自动生成工作源代码。尽管很多程序综合研究通过自然语言规范或执行追踪法来生成代码，但在当前任务中，我会充分利用源图像，即给出的手绘线框图来展开工作。
在机器学习中有一个十分热门的研究领域，称为图像标注（image caption），目的是构建一种把图像和文本连接在一起的模型，特别是用于生成源图像内容的描述。
△ 图像标注模型生成源图像的文本描述
我从一篇pix2code论文和另一个应用这种方法的相关项目中获得灵感，决定把我的任务按照图像标注方式来实现，把绘制的网站线框图作为输入图像，并将其相应的HTML代码作为其输出内容。
注：上段提到的两个参考项目分别是
pix2code论文：
floydhub教程：?source=techstories.org
获取合适的数据集确定图像标注方法后，理想中使用的训练数据集会包含成千上万对手绘线框图和对应的HTML输出代码。但是，目前还没有我想要的相关数据集，我只好为这个任务来创建数据集。
最开始，我尝试了pix2code论文给出的开源数据集，该数据集由1750张综合生成网站的截图及其相应源代码组成。
△ pix2code数据集中的生成网站图片和源代码
这是一个很好的数据集，有几个有趣的地方：
该数据集中的每个生成网站都包含几个简单的辅助程序元素，如按钮、文本框和DIV对象。尽管这意味着这个模型受限于将这些少数元素作为它的输出内容，但是这些元素可通过选择生成网络来修改和扩展。这种方法应该很容易地推广到更大的元素词汇表。
每个样本的源代码都是由领域专用语言（DSL）的令牌组成，这是该论文作者为该任务所创建的。每个令牌对应于HTML和CSS的一个片段，且加入编译器把DSL转换为运行的HTML代码。
彩色网站图像变手绘图为了修改我的任务数据集，我要让网站图像看起来像手工绘制出的。我尝试使用Python中的OpenCV库和PIL库等工具对每张图像进行修改，包括灰度转换和轮廓检测。
最终，我决定直接修改原始网站的CSS样式表，通过执行以下操作：
1. 更改页面上元素的边框半径来平滑按钮和DIV对象的边缘；
2. 模仿绘制的草图来调整边框的粗细，并添加阴影；
3. 将原有字体更改为类似手写的字体；
最终实现的流程中还增加了一个步骤，通过添加倾斜、移动和旋转来实现图像增强，来模拟实际绘制草图中的变化。
使用图像标注模型架构现在，我已经处理好数据集，接下来是构建模型。
我利用了图像标注中使用的模型架构，该架构由三个主要部分组成：
1. 一种使用卷积神经网络（CNN）的计算机视觉模型，从源图像提取图像特征；
2. 一种包含门控单元GRU的语言模型，对源代码令牌序列进行编码；
3. 一个解码器模型，也属于GRU单元，把前两个步骤的输出作为输入，并预测序列中的下一个令牌。
△ 以令牌序列为输入来训练模型
为了训练模型，我将源代码拆分为令牌序列。模型的输入为单个部分序列及它的源图像，其标签是文本中的下一个令牌。该模型使用交叉熵函数作为损失函数，将模型的下个预测令牌与实际的下个令牌进行比较。
在模型从头开始生成代码的过程中，该推理方式稍有不同。图像仍然通过CNN网络进行处理，但文本处理开始时仅采用一个启动序列。在每个步骤中，模型对序列中输出的下个预测令牌将会添加到当前输入序列，并作为新的输入序列送到模型中；重复此操作直到模型的预测令牌为，或该过程达到每个文本中令牌数目的预定义值。
当模型生成一组预测令牌后，编译器就会将DSL令牌转换为HTML代码，这些HTML代码可以在任何浏览器中运行。
用BLEU分数评估模型我决定使用BLEU分数来评估模型。这是机器翻译任务中常用的一种度量标准，通过在给定相同输入的情况下，衡量机器生成的文本与人类可能产生内容的近似程度。
实际上，BLEU通过比较生成文本和参考文本的N元序列，以创建修改后的准确版本。它非常适用于这个项目，因为它会影响生成HTML代码中的实际元素，以及它们之间的相互关系。
最棒的是，我还可以通过检查生成的网站来比较当前的实际BLEU分数。
△ 观察BLEU分数
当BLEU分数为1.0时，则说明给定源图像后该模型能在正确位置设置合适的元素，而较低的BLEU分数这说明模型预测了错误元素或是把它们放在相对不合适的位置。我们最终模型在评估数据集上的BLEU分数为0.76。
福利：定制网页风格后来，我还想到，由于该模型只生成当前页面的框架，即文本的令牌，因此我可以在编译过程中添加一个定制的CSS层，并立刻得到不同风格的生成网站。
△ 一个手绘图生成多种风格的网页
把风格定制和模型生成两个过程分开，在使用模型时带来了很多好处：
1.如果想要将SketchCode模型应用到自己公司的产品中，前端工程师可以直接使用该模型，只需更改一个CSS文件来匹配该公司的网页设计风格；
2. 该模型内置的可扩展性，即通过单一源图像，模型可以迅速编译出多种不同的预定义风格，因此用户可以设想出多种可能的网站风格，并在浏览器中浏览这些生成网页。
总结和展望受到图像标注研究的启发，SketchCode模型能够在几秒钟内将手绘网站线框图转换为可用的HTML网站。
但是，该模型还存在一些问题，这也是我接下来可能的工作方向：
1. 由于这个模型只使用了16个元素进行训练，所以它不能预测这些数据以外的令牌。下一步方向可能是使用更多元素来生成更多的网站样本，包括网站图片，下拉菜单和窗体，可参考启动程序组件（）来获得思路；
2. 在实际网站构建中，存在很多变化。创建一个能更好反映这种变化的训练集，是提高生成效果的一种好方法，可以通过获取更多网站的HTML/CSS代码以及内容截图来提高；
3. 手绘图纸也存在很多CSS修改技巧无法捕捉到的变化。解决这个问题的一种好方法是使用生成对抗网络GAN来创建更逼真的绘制网站图像。
相关地址代码：
原文：
— 完 —
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
?'?' ? 追踪AI技术和产品新动态
如今，对机器学习潜力感兴趣的程序员都在讨论，如何使用人工智能和基于人工智能的软件开发工具构建应用程序。例如PyTorch和TensorFlow之类的解决方案。
除此之外，机器学习技术正以另一种有趣的方式影响着编程世界，就是那些采用机器学习算法来简化开发人员工作的最新软件开发解决方案。在本文中，我们将重点介绍五个这样的工具。其中三个已经在面世，而另外两个仍处于测试阶段。如果您想知道如何利用机器学习来更快更有效地进行软件开发，可以看看这些解决方案。
Kite–面向开发人员的顶级机器学习工具
该工具主要充当代码完成者。借助机器学习，它可以轻松地实时检测您正在输入的代码，并在您键入时将其完成。往往被视为开发人员的最佳工具之一，它可与许多流行的代码编辑解决方案配合使用。
Kite使用从GitHub获取的工作模型。GitHub代码（所有人都可以使用）用于创建充当Kite模型主干的摘要。这样，该工具可以根据上下文和目的而不只是文本本身，去建议甚至自动完成代码。
Kite刚发布时只能在Mac和Windows上访问。今天，它也可以在Linux上使用。该工具的缺点是目前仅适用于Python。但是，它也可以与Go一起使用。
两年前，开源代码程序员指控Kite处理用户数据不当，并修改了一个流行的Atom插件来自动完成代码。不过，Kite团队此后解决了这两个问题。最近，Kite团队宣布该工具现在可以在用户PC内本地执行所有功能，而不是像以前那样在云中执行。
Codota
该工具非常类似于Kite，因为它使用机器学习来生成自动完成代码。它还使用了由衍生自公开代码的语法树而形成的类型。但是，它确实与Kite有一些差异。
Codota是针对Kotlin和Java语言构建的。它是基于云的解决方案，可自动生成智能预测。值得注意的是，Codota团队表示用户数据未传输到他们的服务器，当需要根据范围和上下文预测代码时，只传输来自编辑文档的有限的加密信息。
Linux，Windows和Mac设备都支持Codota。但是，编辑器模式仅适用于Android Studio，Eclipse和IntelliJ，当您查看该工具所支持的语言时，就可以理解其中的原因了。除此之外，Codota团队还提到其他编程语言的版本正在开发中，预计第一个将发布的版本是JavaScript。
该工具有一个免费版本，它仅根据可公开访问的代码生成自动建议。但是，付费用户也可以使用私人代码。
DeepCode
DeepCode也是当下比较流行的用于软件开发的机器学习工具。它的主要功能是检查代码并突出显示可能容易受到安全漏洞破坏的部分。与之前的两个工具非常相似，DeepCode从公共存储位置评估代码以识别相似之处。相比之下，该工具还利用模式来查找易受攻击的区域。
DeepCode实现了一种方法，可以在达到临界安全级别之前分析用户输入处理。因此，当任何数据在没有安全验证或清除的情况下从一个点移动到另一个点时，该工具会将其标记为受污染的，并向您发出警告。该工具可以标记的问题包括跨网站脚本、SQL注入威胁、远程代码执行以及路径遍历攻击等。
您可以在热门的存储库（例如Bitbucket甚至GitHub）上找到使用DeepCode完成的分析。这些报告是免费的，可用于开源项目或只需少量开发人员的私人作品。您还可以使用DeepCode来分析您的本地代码托管，但需要付费。
PROSE
这个框架由Microsoft创建，可以使用示例生成代码。PROSE代表“使用示例进行编程”（Program Synthesis using Examples），并且可以利用它来创建其他编程工具，而不是直接将其用作预测解决方案。开发人员可以使用PROSE的方式包括通过示例进行文本转换、通过预测进行文件操作以及从文本文件中提取数据。
Pix2code
Pix2code仍处于试验阶段，它是一种创新工具，可以将图形用户界面的屏幕截图转换为计算机代码。通过使用深度学习技术，该软件可以分析三种不同格式的GUI：iOS，Android和HTML / CSS。但是，由于该工具仍处于测试阶段，因此只能将其用于学习或用作其他软件开发的基础。
使用AI工具进行软件开发的好处
如我们所见，这些创新工具可以辅助代码完成、安全措施甚至代码生成。机器学习提供了巨大的可能性，并且可以快速有效地创建软件，因此上述工具是值得研究的。当然我们还是得说——如果没有经验丰富的软件开发人员团队，再好的工具都是无用的。当涉及到节省开发时间时，这些工具是必不可少的，但初始规划过程和测试、QA以及最终的部署过程，仍需要有经验的开发人员。
原文作者：Sandra Parker
一句话就可生成你的专属网站了。本周基于AI技术的3D无代码网站生成平台Dora正式推出了Alpha测试版。Dora将会重新定义网站的设计方式，无代码网页设计也将成为未来的趋势。使用Google账号登录即可使用Dora，目前text to website已经可以使用，动画和3D生成功能则会逐步开放。
Dora的操作方法非常简单，手动输入一段提示词，选择一种风格即可完成网站生成。点击右下角的style，Dora为用户提供了数十种炫酷的设计风格，适合不同类型的网站。例如要求Dora生成一段在线课程的着陆页，风格选择3D半透明，带有渐进色的效果。
设置完成后点击生成按钮，处理过程仅需15秒钟。Dora每次会生成4组预览图，选择其中一种框架开始生成网站，等待1分钟左右Dora就会自动生成一个极简风的网站。完成框架生成后，网站的页眉、页角、导航栏、图像都可以手动修改。
Dora的发布将会让网站设计变得更加简单和高效，大家可以尝试。