package template
import "html/template"
template包(html/template)实现了数据驱动的模板,用于生成可对抗代码注入的安全HTML输出。本包提供了和text/template包相同的接口,无论何时当输出是HTML的时候都应使用本包。
此处的文档关注本包的安全特性。至于如何使用模板,请参照text/template包。
Introduction
本包是对text/template包的包装,两个包提供的模板API几无差别,可以安全的随意替换两包。
tmpl, err := template.New("name").Parse(...)
// 省略错误检测
err = tmpl.Execute(out, data)
如果成功创建了tmpl,tmpl现在是注入安全的了。否则err将返回ErrorCode里定义的某个错误。即使成功生成了模板,执行时仍可能导致ErrorCode里定义的错误。
HTML模板将数据视为明文文本,必须经过编码以便安全的嵌入HTML文档。转义操作会参考上下文,因此action可以出现在JavaScript、CSS、URI上下文环境里。
本包使用的安全模型假设模板的作者是可信任的,但用于执行的数据不可信。更多细节参见下面。
示例:
import "text/template"
...
t, err := template.New("foo").Parse(`{{define "T"}}Hello, {{.}}!{{end}}`)
err = t.ExecuteTemplate(out, "T", "<script>alert('you have been pwned')</script>")
生成:
Hello, <script>alert('you have been pwned')</script>!
但在html/template包里会根据上下文自动转义:
import "html/template"
...
t, err := template.New("foo").Parse(`{{define "T"}}Hello, {{.}}!{{end}}`)
err = t.ExecuteTemplate(out, "T", "<script>alert('you have been pwned')</script>")
生成安全的转义后HTML输出:
Hello, <script>alert('you have been pwned')</script>!
Contexts
本包可以理解HTML、CSS、JavaScript和URI。它会给每一个简单的action pipeline都添加处理函数,如下例:
<a href="/search?q={{.}}">{{.}}</a>
在解析时每个{{.}}都会在必要时重写添加转义函数,此例中会修改为:
<a href="/search?q={{. | urlquery}}">{{. | html}}</a>
Errors
细节请参见ErrorCode类型的文档。
A fuller picture
本包剩余部分的注释第一次阅读时可以跳过;这些部分包括理解转码文本和错误信息的必要细节。多数使用者无需理解这些细节。
Contexts
假设{{.}}是O'Reilly: How are <i>you</i>?
,下表展示了{{.}}用于左侧模板时的输出:
Context {{.}} After
{{.}} O'Reilly: How are <i>you</i>?
<a title='{{.}}'> O'Reilly: How are you?
<a href="/{{.}}"> O'Reilly: How are %3ci%3eyou%3c/i%3e?
<a href="?q={{.}}"> O'Reilly%3a%20How%20are%3ci%3e...%3f
<a onx='f("{{.}}")'> O\x27Reilly: How are \x3ci\x3eyou...?
<a onx='f({{.}})'> "O\x27Reilly: How are \x3ci\x3eyou...?"
<a onx='pattern = /{{.}}/;'> O\x27Reilly: How are \x3ci\x3eyou...\x3f
如果用在不安全的上下文里,值就可能被过滤掉:
Context {{.}} After
<a href="{{.}}"> #ZgotmplZ
因为"O'Reilly:"不是一个可以接受的协议名,如"http:"。
如果{{.}}是一个无害的词汇,如left
,那么它就可以出现在更多地方。
Context {{.}} After
{{.}} left
<a title='{{.}}'> left
<a href='{{.}}'> left
<a href='/{{.}}'> left
<a href='?dir={{.}}'> left
<a style="border-{{.}}: 4px"> left
<a style="align: {{.}}"> left
<a style="background: '{{.}}'> left
<a style="background: url('{{.}}')> left
<style>p.{{.}} {color:red}</style> left
如果{{.}}是非字符串类型的值,可以用于JavaScript上下文环境里:
struct{A,B string}{ "foo", "bar" }
将该值应用在在转义后的模板里:
<script>var pair = {{.}};</script>
模板输出为:
<script>var pair = {"A": "foo", "B": "bar"};</script>
请参见json包来理解非字符串内容是如何序列化并嵌入JavaScript里的。
Typed Strings
本包默认所有的pipeline都生成明文字符串,它会在必要时添加转义pipeline阶段以安全并正确的将明文字符串嵌入输出的文本里。
当用于执行的数据不是明文字符串时,你可以通过显式改变数据的类型以避免其被错误的转义。
类型HTML、JS、URL和其他content.go里定义的类型可以保持不被转义的安全内容。
模板:
Hello, {{.}}!
可以采用如下调用:
tmpl.Execute(out, HTML(`<b>World</b>`))
来输出:
Hello, <b>World</b>!
而不是:
Hello, <b>World<b>!
如果{{.}}是一个内建类型字符串就会产生该输出。
Security Model
本包里安全的定义参加如下网页:
http://js-quasis-libraries-and-repl.googlecode.com/svn/trunk/safetemplate.html#problem_definition
本包假设模板作者可信而执行数据不可信,目标是在保证安全性的前提下保证效率:
结构保留特性:“……当模板作者用安全的模板语言写了一个HTML标签时,不管数据的值为何浏览器都会将输出的相应部分解释为标签,该情况在其他结构里也成立,如属性边界以及JS和CSS边界。”
代码影响特性:“……只有模板作者指定的代码能作为注入模板输出到页面的结果执行,所有模板作者指定的代码都应如此。”
最少惊讶特性:“一个熟悉HTML、CSS、JS的开发者(或代码阅读者),应可以正确的推断出{{.}}会如何转义。”
Index
- type ErrorCode
- type Error
- func (e *Error) Error() string
- func HTMLEscape(w io.Writer, b []byte)
- func HTMLEscapeString(s string) string
- func HTMLEscaper(args ...interface{}) string
- func JSEscape(w io.Writer, b []byte)
- func JSEscapeString(s string) string
- func JSEscaper(args ...interface{}) string
- func URLQueryEscaper(args ...interface{}) string
- type FuncMap
- type HTML
- type HTMLAttr
- type JS
- type JSStr
- type CSS
- type URL
- type Template
- func Must(t *Template, err error) *Template
- func New(name string) *Template
- func ParseFiles(filenames ...string) (*Template, error)
- func ParseGlob(pattern string) (*Template, error)
- func (t *Template) Name() string
- func (t *Template) Delims(left, right string) *Template
- func (t *Template) Funcs(funcMap FuncMap) *Template
- func (t *Template) Clone() (*Template, error)
- func (t *Template) Lookup(name string) *Template
- func (t *Template) Templates() []*Template
- func (t *Template) New(name string) *Template
- func (t *Template) AddParseTree(name string, tree *parse.Tree) (*Template, error)
- func (t *Template) Parse(src string) (*Template, error)
- func (t *Template) ParseFiles(filenames ...string) (*Template, error)
- func (t *Template) ParseGlob(pattern string) (*Template, error)
- func (t *Template) Execute(wr io.Writer, data interface{}) error
- func (t *Template) ExecuteTemplate(wr io.Writer, name string, data interface{}) error
type ErrorCode
type ErrorCode int
ErrorCode是代表错误种类的错误码。
const (
// OK表示没有出错
OK ErrorCode = iota
// 当上下文环境有歧义时导致ErrAmbigContext:
// 举例:
// <a href="{{if .C}}/path/{{else}}/search?q={{end}}{{.X}}"&rt;
// 说明:
// {{.X}}的URL上下文环境有歧义,因为根据{{.C}}的值,
// 它可以是URL的后缀,或者是查询的参数。
// 将{{.X}}移动到如下情况可以消除歧义:
// <a href="{{if .C}}/path/{{.X}}{{else}}/search?q={{.X}}{{end}}"&rt;
ErrAmbigContext
// 期望空白、属性名、标签结束标志而没有时,标签名或无引号标签值包含非法字符时,
// 会导致ErrBadHTML;举例:
// <a href = /search?q=foo&rt;
// <href=foo&rt;
// <form na<e=...&rt;
// <option selected<
// 讨论:
// 一般是因为HTML元素输入了错误的标签名、属性名或者未用引号的属性值,导致解析失败
// 将所有的属性都用引号括起来是最好的策略
ErrBadHTML
// {{if}}等分支不在相同上下文开始和结束时,导致ErrBranchEnd
// 示例:
// {{if .C}}<a href="{{end}}{{.X}}
// 讨论:
// html/template包会静态的检验{{if}}、{{range}}或{{with}}的每一个分支,
// 以对后续的pipeline进行转义。该例出现了歧义,{{.X}}可能是HTML文本节点,
// 或者是HTML属性值的URL的前缀,{{.X}}的上下文环境可以确定如何转义,但该
// 上下文环境却是由运行时{{.C}}的值决定的,不能在编译期获知。
// 这种问题一般是因为缺少引号或者角括号引起的,另一些则可以通过重构将两个上下文
// 放进if、range、with的不同分支里来避免,如果问题出现在参数长度一定非0的
// {{range}}的分支里,可以通过添加无效{{else}}分支解决。
ErrBranchEnd
// 如果以非文本上下文结束,则导致ErrEndContext
// 示例:
// <div
// <div title="no close quote&rt;
// <script>f()
// 讨论:
// 执行模板必须生成HTML的一个文档片段,以未闭合标签结束的模板都会引发本错误。
// 不用在HTML上下文或者生成不完整片段的模板不应直接执行。
// {{define "main"}} <script&rt;{{template "helper"}}</script> {{end}}
// {{define "helper"}} document.write(' <div title=" ') {{end}}
// 模板"helper"不能生成合法的文档片段,所以不直接执行,用js生成。
ErrEndContext
// 调用不存在的模板时导致ErrNoSuchTemplate
// 示例:
// {{define "main"}}<div {{template "attrs"}}&rt;{{end}}
// {{define "attrs"}}href="{{.URL}}"{{end}}
// 讨论:
// html/template包略过模板调用计算上下文环境。
// 此例中,当被"main"模板调用时,"attrs"模板的{{.URL}}必须视为一个URL;
// 但如果解析"main"时,"attrs"还未被定义,就会导致本错误
ErrNoSuchTemplate
// 不能计算输出位置的上下文环境时,导致ErrOutputContext
// 示例:
// {{define "t"}}{{if .T}}{{template "t" .T}}{{end}}{{.H}}",{{end}}
// 讨论:
// 一个递归的模板,其起始和结束的上下文环境不同时;
// 不能计算出可信的输出位置上下文环境时,就可能导致本错误。
// 检查各个命名模板是否有错误;
// 如果模板不应在命名的起始上下文环境调用,检查在不期望上下文环境中对该模板的调用;
// 或者将递归模板重构为非递归模板;
ErrOutputContext
// 尚未支持JS正则表达式插入字符集
// 示例:
// <script>var pattern = /foo[{{.Chars}}]/</script&rt;
// 讨论:
// html/template不支持向JS正则表达式里插入字面值字符集
ErrPartialCharset
// 部分转义序列尚未支持
// 示例:
// <script>alert("\{{.X}}")</script&rt;
// 讨论:
// html/template包不支持紧跟在反斜杠后面的action
// 这一般是错误的,有更好的解决方法,例如:
// <script>alert("{{.X}}")</script&rt;
// 可以工作,如果{{.X}}是部分转义序列,如"xA0",
// 可以将整个序列标记为安全文本:JSStr(`\xA0`)
ErrPartialEscape
// range循环的重入口出错,导致ErrRangeLoopReentry
// 示例:
// <script>var x = [{{range .}}'{{.}},{{end}}]</script&rt;
// 讨论:
// 如果range的迭代部分导致其结束于上一次循环的另一上下文,将不会有唯一的上下文环境
// 此例中,缺少一个引号,因此无法确定{{.}}是存在于一个JS字符串里,还是一个JS值文本里。
// 第二次迭代生成类似下面的输出:
// <script>var x = ['firstValue,'secondValue]</script&rt;
ErrRangeLoopReentry
// 斜杠可以开始一个除法或者正则表达式
// 示例:
// <script&rt;
// {{if .C}}var x = 1{{end}}
// /-{{.N}}/i.test(x) ? doThis : doThat();
// </script&rt;
// 讨论:
// 上例可以生成`var x = 1/-2/i.test(s)...`,其中第一个斜杠作为除号;
// 或者它也可以生成`/-2/i.test(s)`,其中第一个斜杠生成一个正则表达式字面值
// 检查分支中是否缺少分号,或者使用括号来明确你的意图
ErrSlashAmbig
)
我们为转义模板时的所有错误都定义了错误码,但经过转义修正的模板仍可能在运行时出错:
输出"ZgotmplZ"的例子:
<img src="{{.X}}">
其中{{.X}}执行结果为`javascript:...`
讨论:
"ZgotmplZ"是一个特殊值,表示运行时在CSS或URL上下文环境生成的不安全内容。本例的输出为:
<img src="#ZgotmplZ">
如果数据来源可信,请转换内容类型来避免被滤除:URL(`javascript:...`)
type Error
type Error struct {
// ErrorCode描述错误的种类
ErrorCode ErrorCode
// Name是发生错误的模板的名字
Name string
// Line是错误位置在模板原文中的行号或者0
Line int
// Description是供调试者阅读的错误描述
Description string
}
Error描述在模板转义时出现的错误。
func (*Error) Error
func (e *Error) Error() string
func HTMLEscape
func HTMLEscape(w io.Writer, b []byte)
函数向w中写入b的HTML转义等价表示。
func HTMLEscapeString
func HTMLEscapeString(s string) string
返回s的HTML转义等价表示字符串。
func HTMLEscaper
func HTMLEscaper(args ...interface{}) string
函数返回其所有参数文本表示的HTML转义等价表示字符串。
func JSEscape
func JSEscape(w io.Writer, b []byte)
函数向w中写入b的JavaScript转义等价表示。
func JSEscapeString
func JSEscapeString(s string) string
返回s的JavaScript转义等价表示字符串。
func JSEscaper
func JSEscaper(args ...interface{}) string
函数返回其所有参数文本表示的JavaScript转义等价表示字符串。
func URLQueryEscaper
func URLQueryEscaper(args ...interface{}) string
函数返回其所有参数文本表示的可以嵌入URL查询的转义等价表示字符串。
type FuncMap
type FuncMap map[string]interface{}
FuncMap类型定义了函数名字符串到函数的映射,每个函数都必须有1到2个返回值,如果有2个则后一个必须是error接口类型;如果有2个返回值的方法返回的error非nil,模板执行会中断并返回给调用者该错误。该类型拷贝自text/template包的同名类型,因此不需要导入该包以使用该类型。
type HTML
type HTML string
HTML用于封装一个已知安全的HTML文档片段。它不应被第三方使用,也不能用于含有未闭合的标签或注释的HTML文本。该类型适用于封装一个效果良好的HTML生成器生成的HTML文本或者本包模板的输出的文本。
type HTMLAttr
type HTMLAttr string
HTMLAttr用来封装一个来源可信的HTML属性,如dir="ltr"
。
type JS
type JS string
JS用于封装一个已知安全的EcmaScript5表达式,如(x + y * z())
。模板作者有责任确保封装的字符串不会破坏原有的语义,也不能包含有歧义的声明或表达式,如"{ foo: bar() }\n'foo'",这一句既是合法的表达式也是语义完全不同的合法程序。
type JSStr
type JSStr string
JSStr用于封装一个打算嵌入JavaScript表达式中的字符序列,该字符串必须匹配一系列StringCharacters:
StringCharacter :: 除了`\`和行终止符的SourceCharacter | EscapeSequence
注意不允许换行,JSStr("foo\nbar")是可以的,但JSStr("foo\\nbar")不可以。
type URL
type URL string
URL用来封装一个已知安全的URL或URL子字符串(参见RFC 3986)
形如javascript:checkThatFormNotEditedBeforeLeavingPage()
的来源可信的URL应写进页面里,但一般动态的javascript:
URL排除在外(不写进页面),因为它们是频繁使用的注入向量。
type CSS
type CSS string
CSS用于包装匹配如下任一条的已知安全的内容:
1\. CSS3样式表,如`p { color: purple }`
2\. CSS3规则,如`a[href=~"https:"].foo#bar`
3\. CSS3声明,如`color: red; margin: 2px`
4\. CSS3规则,如`rgba(0, 0, 255, 127)`
参见:http://www.w3.org/TR/css3-syntax/#parsing
以及:https://web.archive.org/web/20090211114933/http://w3.org/TR/css3-syntax#style
type Template
type Template struct {
// 底层的模板解析树,会更新为HTML安全的
Tree *parse.Tree
// 内含隐藏或非导出字段
}
Template类型是text/template包的Template类型的特化版本,用于生成安全的HTML文本片段。
func Must
func Must(t *Template, err error) *Template
Must函数用于包装返回(*Template, error)的函数/方法调用,它会在err非nil时panic,一般用于变量初始化:
var t = template.Must(template.New("name").Parse("html"))
func New
func New(name string) *Template
创建一个名为name的模板。
func ParseFiles
func ParseFiles(filenames ...string) (*Template, error)
ParseFiles函数创建一个模板并解析filenames指定的文件里的模板定义。返回的模板的名字是第一个文件的文件名(不含扩展名),内容为解析后的第一个文件的内容。至少要提供一个文件。如果发生错误,会停止解析并返回nil。
func ParseGlob
func ParseGlob(pattern string) (*Template, error)
ParseGlob创建一个模板并解析匹配pattern的文件(参见glob规则)里的模板定义。返回的模板的名字是第一个匹配的文件的文件名(不含扩展名),内容为解析后的第一个文件的内容。至少要存在一个匹配的文件。如果发生错误,会停止解析并返回nil。ParseGlob等价于使用匹配pattern的文件的列表为参数调用ParseFiles。
func (*Template) Name
func (t *Template) Name() string
返回模板t的名字。
func (*Template) Delims
func (t *Template) Delims(left, right string) *Template
Delims方法用于设置action的分界字符串,应用于之后的Parse、ParseFiles、ParseGlob方法。嵌套模板定义会继承这种分界符设置。空字符串分界符表示相应的默认分界符:{{或}}。返回值就是t,以便进行链式调用。
func (*Template) Funcs
func (t *Template) Funcs(funcMap FuncMap) *Template
Funcs方法向模板t的函数字典里加入参数funcMap内的键值对。如果funcMap某个键值对的值不是函数类型或者返回值不符合要求会panic。但是,可以对t函数列表的成员进行重写。方法返回t以便进行链式调用。
func (*Template) Clone
func (t *Template) Clone() (*Template, error)
Clone方法返回模板的一个副本,包括所有相关联的模板。模板的底层表示树并未拷贝,而是拷贝了命名空间,因此拷贝调用Parse方法不会修改原模板的命名空间。Clone方法用于准备模板的公用部分,向拷贝中加入其他关联模板后再进行使用。
如果t已经执行过了,会返回错误。
func (*Template) Lookup
func (t *Template) Lookup(name string) *Template
Lookup方法返回与t关联的名为name的模板,如果没有这个模板会返回nil。
func (*Template) Templates
func (t *Template) Templates() []*Template
Templates方法返回与t相关联的模板的切片,包括t自己。
func (*Template) New
func (t *Template) New(name string) *Template
New方法创建一个和t关联的名字为name的模板并返回它。这种可以传递的关联允许一个模板使用template action调用另一个模板。
func (*Template) AddParseTree
func (t *Template) AddParseTree(name string, tree *parse.Tree) (*Template, error)
AddParseTree方法使用name和tree创建一个模板并使它和t相关联。
如果t已经执行过了,会返回错误。
func (*Template) Parse
func (t *Template) Parse(src string) (*Template, error)
Parse方法将字符串text解析为模板。嵌套定义的模板会关联到最顶层的t。Parse可以多次调用,但只有第一次调用可以包含空格、注释和模板定义之外的文本。如果后面的调用在解析后仍剩余文本会引发错误、返回nil且丢弃剩余文本;如果解析得到的模板已有相关联的同名模板,会覆盖掉原模板。
func (*Template) ParseFiles
func (t *Template) ParseFiles(filenames ...string) (*Template, error)
ParseGlob方法解析filenames指定的文件里的模板定义并将解析结果与t关联。如果发生错误,会停止解析并返回nil,否则返回(t, nil)。至少要提供一个文件。
func (*Template) ParseGlob
func (t *Template) ParseGlob(pattern string) (*Template, error)
ParseFiles方法解析匹配pattern的文件里的模板定义并将解析结果与t关联。如果发生错误,会停止解析并返回nil,否则返回(t, nil)。至少要存在一个匹配的文件。
func (*Template) Execute
func (t *Template) Execute(wr io.Writer, data interface{}) error
Execute方法将解析好的模板应用到data上,并将输出写入wr。如果执行时出现错误,会停止执行,但有可能已经写入wr部分数据。模板可以安全的并发执行。
func (*Template) ExecuteTemplate
func (t *Template) ExecuteTemplate(wr io.Writer, name string, data interface{}) error
ExecuteTemplate方法类似Execute,但是使用名为name的t关联的模板产生输出。